CN115847384B - 机械臂安全平面信息显示方法及相关产品 - Google Patents

机械臂安全平面信息显示方法及相关产品 Download PDF

Info

Publication number
CN115847384B
CN115847384B CN202310179185.6A CN202310179185A CN115847384B CN 115847384 B CN115847384 B CN 115847384B CN 202310179185 A CN202310179185 A CN 202310179185A CN 115847384 B CN115847384 B CN 115847384B
Authority
CN
China
Prior art keywords
display area
plane
interface
preset
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310179185.6A
Other languages
English (en)
Other versions
CN115847384A (zh
Inventor
郎需林
黄睿
姜宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuejiang Technology Co Ltd
Original Assignee
Shenzhen Yuejiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuejiang Technology Co Ltd filed Critical Shenzhen Yuejiang Technology Co Ltd
Priority to CN202310179185.6A priority Critical patent/CN115847384B/zh
Publication of CN115847384A publication Critical patent/CN115847384A/zh
Application granted granted Critical
Publication of CN115847384B publication Critical patent/CN115847384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种机械臂安全平面信息显示方法及相关产品,其中,该方法应用于与机械臂通讯连接的示教器,包括:在示教器的第一显示区域显示主菜单选项卡;在示教器的第二显示区域显示子菜单选项卡;在示教器的第三显示区域显示机械臂的3D模型和至少一个第一安全平面,3D模型的姿态与机械臂相同;在示教器的第四显示区域显示第一操控界面和平面属性界面,第一操控界面用于调控至少一个第一安全平面,平面属性界面用于显示和调整第二安全平面的属性信息,第二安全平面为至少一个第一安全平面中的任意一个,第一操控界面位于平面属性界面上方;在示教器的第五显示区域显示第二操控界面,第二操控界面用于切换操控模式,以及调整机械臂的参数。

Description

机械臂安全平面信息显示方法及相关产品
技术领域
本发明涉及机械臂安全平面信息显示技术领域,具体涉及一种机械臂安全平面信息显示方法及相关产品。
背景技术
随着科技的进步,各种机械臂在各种操作场合下的使用越来越广泛。对此,为了使机械臂可以安全、高效的进行各项工作,机械臂的防碰撞技术越来越得到重视。目前,无论是机械臂自身还是机械臂之间的防碰撞,基本采用设置安全平安的方式进行。
简而言之,安全平面即机器人在工作中,进行安全移动的虚拟平面,机械臂在安全平面下进行运动,可以有效防止各类碰撞。例如:数控机械臂的安全平面可以指刀具在抬刀快速移动过程中的虚拟面,该虚拟面通常高于工件,继而在数控加工时,可以效的防止刀具与工件间的碰撞;机械臂的安全平面可以指机械臂在运行过程中,各个关节点的运行边界,通过设置不同属性安全平面,对各个关节点的运行边界进行限制,继而有效防止机械臂之间的碰撞。
传统的安全平面设置方法是基于机械臂所在的空间坐标系输入坐标参数进行确定,但是,上述方法只便于设置平行于空间坐标系中xOy平面、xOz平面、yOz平面的安全平面,对于其他安全平面则需要一定的技术理解才能进行精准的设置,对操作人员的技术要求较高。同时,现有的方式中,安全平面在设置完成后,需要进行实机测试才能知道设置结果,无法直接的向用户展示安全平面与机械臂之间的相对位置,设置效率较低。
此外,目前市面上的机械臂的人机交互界面都是围绕机械臂的控制进行框架定义,人机交互界面上的显示内容以及交互界面的布局比较固定,无法满足各个使用场景下的显示需求。
发明内容
为了解决现有技术中存在的上述问题,本申请实施方式提供了一种机械臂安全平面信息显示方法及相关产品,可以实现安全平面的可视化设置,同时简化了设置流程,提高了设置效率。
第一方面,本申请的实施方式提供了一种机械臂安全平面信息显示方法,该方法应用于与机械臂通讯连接的示教器,包括:
在示教器的第一显示区域显示主菜单选项卡,其中,主菜单选项卡用于显示至少一个主菜单功能;
在示教器的第二显示区域显示子菜单选项卡,其中,子菜单选项卡用于显示至少一个子菜单功能,至少一个子菜单功能由主菜单选项卡中被选择的主菜单选项决定;
在示教器的第三显示区域显示机械臂的3D模型和至少一个第一安全平面,其中,3D模型的姿态与机械臂相同;
在示教器的第四显示区域显示第一操控界面和平面属性界面,其中,第一操控界面用于调控至少一个第一安全平面,平面属性界面用于显示和调整第二安全平面的属性信息,第二安全平面为至少一个第一安全平面中的任意一个,第一操控界面位于平面属性界面上方;
在示教器的第五显示区域显示第二操控界面,其中,第二操控界面用于切换操控模式,以及调整机械臂的参数;
其中,第一显示区域位于示教器的显示区域的顶端,第五显示区域位于显示区域的底端,第二显示区域、第三显示区域和第四显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第三显示区域和第四显示区域从左至右依次横向排列,且第三显示区域的大小大于第四显示区域的大小。
在一种可能的实施方式中,当接收到针对子菜单选项卡的第一预设操作时,进入平面预设流程,在示教器的第七显示区域显示几何特征列表,几何特征列表用于显示至少一个预设几何特征;
在示教器的第八显示区域显示几何展示界面和第三操控界面,其中,几何展示界面用于展示机械臂的3D模型和至少一个第一几何特征,至少一个第一几何特征由几何特征列表中被选择的预设几何特征决定,第三操控界面用于调整第二几何特征的参数,第二几何特征为至少一个第一几何特征中的任意一个,几何展示界面位于第三操控界面上方;
其中,第七显示区域和第八显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第七显示区域和第八显示区域从左至右依次横向排列,且第七显示区域的大小小于第八显示区域的大小。
在一种可能的实施方式中,在示教器的第八显示区域显示几何展示界面和第三操控界面,包括:
从机械臂获取姿态数据,其中,姿态数据用于标识机械臂当前的动作形态,姿态数据包括机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据;
根据机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据,对预设的3D模型中对应的虚拟末端工具和虚拟关节进行姿态调整,得到第一姿态模型;
对第一姿态模型进行特征提取,得到第一姿态特征;
根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的;
将作业目的和历史安全平面设置信息输入决策模型,预测待设置的安全平面的平面类型和平面位置;
根据待设置的安全平面的平面类型和平面位置,以及第一姿态特征,确定第一姿态模型的展示视角;
确定第一展示视角下,第一姿态模型的长宽比;
根据第八显示区域的尺寸信息和第一姿态模型的长宽比,在第八显示区域中确定模型显示区域和界面显示区域;
根据展示视角在模型显示区域显示第一姿态模型;
在界面显示区域显示第三操控界面。
在一种可能的实施方式中,根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的,包括:
确定第一姿态特征的第一特征长度;
确定姿态库中每个预设姿态的第二特征长度;
确定第一姿态特征和每个预设姿态之间的第一子特征长度,其中,第一子特征长度为第一姿态特征和每个预设姿态之间的所有公共子特征中最长的公共子特征的长度;
确定第一特征长度和每个预设姿态的第二特征长度的平均值;
将第一子特征长度与平均值的商,作为第一姿态特征与每个预设姿态之间的相似度;
将相似度最大的预设特征对应的作业目的,作为机械臂当前的作业目的。
在一种可能的实施方式中,获取训练数据集,训练数据集包括至少一个训练姿态特征、至少一个训练展示视角、至少一个训练安全平面,其中,至少一个训练姿态特征与至少一个训练展示视角一一对应,至少一个训练姿态特征与至少一个训练安全平面一一对应;
调用初始决策模型中的至少一个决策器,对至少一个训练姿态特征中的每个训练姿态特征、以及每个训练姿态特征对应的训练安全平面进行决策处理,得到每个训练姿态特征的初始展示视角;
根据每个训练姿态特征的初始展示视角和每个训练姿态特征对应的训练展示视角,对初始决策模型进行调整,得到决策模型。
在一种可能的实施方式中,第三操控界面包括第四虚拟按钮,当接收到针对第四虚拟按钮的预设操作时,在示教器的第九显示区域显示机械臂的3D模型和第四操控界面,其中,第四操控界面包括第五虚拟按钮和第六虚拟按钮,用于确定或取消当前编辑的几何特征参数,机械臂的3D模型位于第四操控界面的上方;
在示教器的第十显示区域显示第五操控界面,其中,第五操控界面包括基点调整界面和旋转矢量调整界面,第五操控界面用于编辑当前选择的几何特征的参数;
其中,第九显示区域和第十显示区域位于第一显示区域和第五显示区域之间,第九显示区域和第十显示区域从左至右依次横向排列,且第九显示区域的大小大于第十显示区域的大小。
在一种可能的实施方式中,当接收到针对第五虚拟按钮的预设操作时,在第八显示区域显示预设结果对应的平面,其中,预设结果由第五操控界面中输入的几何特征参数确定。
在一种可能的实施方式中,在第八显示区域显示预设结果对应的平面,包括:
获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标;
根据基点的空间坐标和预设的旋转矩阵格式,确定基点相对于初始笛卡尔坐标系的第一旋转矩阵;
将初始笛卡尔坐标系的xOy平面作为第一平面,根据第一平面和欧拉角坐标,建立第二笛卡尔坐标系,其中,第二笛卡尔坐标系的原点与初始笛卡尔坐标系的原点相同,第二笛卡尔坐标系相对于初始笛卡尔坐标系的旋转量满足欧拉角坐标;
将第二笛卡尔坐标系的xOy平面作为第二平面,确定第二平面在初始笛卡尔坐标系中的第二平面坐标;
将第二平面坐标和第一旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标;
基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在一种可能的实施方式中,在第八显示区域显示预设结果对应的平面,包括:
获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标;
以基点的空间坐标为原点,建立第三笛卡尔坐标系,其中,第三笛卡尔坐标系的x轴与初始笛卡尔坐标系的x轴平行且指向相同,第三笛卡尔坐标系的y轴与初始笛卡尔坐标系的y轴平行且指向相同,第三笛卡尔坐标系的z轴与初始笛卡尔坐标系的z轴平行且指向相同;
将第三笛卡尔坐标系的xOy平面作为第三平面,根据第三平面和欧拉角坐标,建立第四笛卡尔坐标系,其中,第四笛卡尔坐标系的原点与第三笛卡尔坐标系的原点相同,第四笛卡尔坐标系相对于第三笛卡尔坐标系的旋转量满足欧拉角坐标;
将第四笛卡尔坐标系的xOy平面作为第四平面,确定第四平面在第三笛卡尔坐标系中的第四平面坐标;
确定第三笛卡尔坐标系和初始笛卡尔坐标系之间的第二旋转矩阵;
将第四平面坐标和第二旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标;
基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在一种可能的实施方式中,第五虚拟按钮用于确定当前编辑的几何特征参数,将当前编辑的几何特征参数对应的平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程;
第六虚拟按钮用于取消当前编辑的几何特征参数;
第五虚拟按钮位于第六虚拟按钮的左侧,第五虚拟按钮和第六虚拟按钮位于旋转矢量调整界面的右下角。
在一种可能的实施方式中,基点调整界面用于输入第一新建基点的坐标参数,旋转矢量调整界面用于输入新建旋转矢量的调整参数;
其中,基点调整界面位于旋转矢量调整界面的上方。
在一种可能的实施方式中,基点调整界面包括第一输入框、第二输入框、第三输入框、第一调节按钮、第二调节按钮和第三调节按钮;
其中,第一输入框与第一调节按钮对应,第一输入框位于第一调节按钮的左侧,第一输入框用于输入第一新建基点的X轴坐标,第一调节按钮用于调节输入的X轴坐标;
第二输入框与第二调节按钮对应,第二输入框位于第二调节按钮的左侧,第二输入框用于输入第一新建基点的Y轴坐标,第二调节按钮用于调节输入的Y轴坐标;
第三输入框与第三调节按钮对应,第三输入框位于第三调节按钮的左侧,第三输入框用于输入第一新建基点的Z轴坐标,第三调节按钮用于调节输入的Z轴坐标;
第一输入框位于第二输入框的上方,第三输入框位于第二输入框的下方。
在一种可能的实施方式中,旋转矢量调整界面包括第四输入框、第五输入框、第六输入框、第四调节按钮、第五调节按钮和第六调节按钮;
其中,第四输入框与第四调节按钮对应,第四输入框位于第四调节按钮的左侧,第四输入框用于输入新建旋转矢量的RX参数,第四调节按钮用于调节输入的RX参数;
第五输入框与第五调节按钮对应,第五输入框位于第五调节按钮的左侧,第五输入框用于输入新建旋转矢量的RY参数,第五调节按钮用于调节输入的RY参数;
第六输入框与第六调节按钮对应,第六输入框位于第六调节按钮的左侧,第六输入框用于输入新建旋转矢量的RZ参数,第六调节按钮用于调节输入的RZ参数;
第四输入框位于第五输入框的上方,第六输入框位于第五输入框的下方。
在一种可能的实施方式中,第三操控界面还包括第七虚拟按钮,当接收到针对第七虚拟按钮的预设操作时,在示教器的第十一显示区域显示几何特征编辑流程,其中,几何特征编辑流程用于显示至少一个编辑步骤,并指示当前编辑步骤所在的轮次;
在示教器的第十二显示区域显示步骤说明界面和第六操控界面,其中,步骤说明界面用于显示第一编辑步骤的操作方法,第一编辑步骤为至少一个编辑步骤中的第一个编辑步骤,第六操控界面用于切换编辑步骤,步骤说明界面位于第六操控界面的上方;
其中,第十一显示区域和第十二显示区域位于第一显示区域和第五显示区域之间,第十一显示区域和第十二显示区域从左至右依次横向排列,且第十一显示区域的大小小于第十二显示区域的大小。
在一种可能的实施方式中,第六操控界面包括第八虚拟按钮,当接收到针对第八虚拟按钮的预设操作时,在步骤说明界面切换显示第一几何特征编辑界面,其中,第一几何特征编辑界面用于新建第一位置点;
第一几何特征编辑界面包括第九虚拟按钮,当接收到针对第九虚拟按钮的预设操作时,跳转显示编辑界面以对第一位置点进行编辑。
在一种可能的实施方式中,在示教器的第十三显示区域显示第一点位调控界面,其中,第一点位调控界面用于对机械臂进行操控以定位当前编辑的位置点;
在示教器的第十四显示区域显示机械臂的3D模型和第七操控界面,其中,第七操控界面用于确定或取消当前编辑的位置点;
在示教器的第十五显示区域显示第二点位调控界面,其中,第二点位调控界面用于输入或调整位置参数以定位当前编辑的位置点;
其中,第十三显示区域、第十四显示区域和第十五显示区域位于第一显示区域和第五显示区域之间,第十三显示区域、第十四显示区域和第十五显示区域从左至右依次横向排列,且第十四显示区域的大小大于第十三显示区域和第十五显示区域的大小。
在一种可能的实施方式中,第二点位调控界面包括点位参数输入界面,其中,点位参数输入界面位于第二点位调控界面的顶端;
第二点位调控界面包括第七输入框、第八输入框和第九输入框;
其中,第七输入框用于输入当前编辑的位置点的X轴坐标,第八输入框用于输入当前编辑的位置点的Y轴坐标,第九输入框用于输入当前编辑的位置点的Z轴坐标,且第七输入框、第八输入框和第九输入框从上至下依次排列。
在一种可能的实施方式中,第七操控界面包括第十虚拟按钮,当接收到针对第十虚拟按钮的预设操作时,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第一几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第一几何特征编辑界面切换显示第二几何特征编辑界面,其中,第二几何特征编辑界面用于新建第二位置点;
其中,第二几何特征编辑界面包括第十一虚拟按钮,当接收到针对第十一虚拟按钮的预设操作时,跳转显示编辑界面以对第二位置点进行编辑。
在一种可能的实施方式中,当在编辑界面中编辑完第二位置点,并接收到针对第十虚拟按钮的预设操作时,在第十一显区域显示几何特征编辑流程,在第十二显示区域显示第二几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第二几何特征编辑界面切换显示第三几何特征编辑界面,其中,第三几何特征编辑界面用于新建第三位置点;
其中,第三几何特征编辑界面包括第十二虚拟按钮,当接收到针对第十二虚拟按钮的预设操作时,跳转显示编辑界面以对第三位置点进行编辑。
在一种可能的实施方式中,当在编辑界面中编辑完第三位置点,并接收到针对第十虚拟按钮的预设操作时,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第三几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第三几何特征编辑界面切换显示预览界面,其中,预览界面用于显示机械臂的3D模型,以及由第一位置点、第二位置点和第三位置点确定出的第一平面。
在一种可能的实施方式中,第六操控界面还包括第十三虚拟按钮,第十三虚拟按钮位于第六操控界面的右侧,用于将第一平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程。
在一种可能的实施方式中,第一操控界面包括第一虚拟按钮,第一虚拟按钮用于新建安全平面;
当接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项;
当接收到针对安全平面选项的预设操作时,确定安全平面选项对应的安全平面为当前选择的安全平面,并在平面属性界面显示当前选择的安全平面的平面属性。
在一种可能的实施方式中,当接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项,包括:
获取预设操作的触点坐标;
根据触点坐标确定第一虚拟按钮的显示区域;
获取安全平面选项的显示模板,根据显示区域确定显示模板的尺寸信息;
根据尺寸信息和第一虚拟按钮的显示区域,确定安全平面选项的第一显示区域和第一虚拟按钮的第二显示区域,其中,第一显示区域位于第二显示区域上方,且第一显示区域与第二显示区域相邻;
在第一显示区域显示安全平面选项,在第二显示区域显示第一虚拟按钮。
在一种可能的实施方式中,根据显示区域确定显示模板的尺寸信息,包括:
获取显示区域的第一宽度;
对显示模板的尺寸进行等比例调整,使调整后的显示模板的第二宽度等于第一宽度;
将第二宽度和第二宽度对应的第二长度,作为显示模板的尺寸信息。
在一种可能的实施方式中,平面属性界面包括第二虚拟按钮、第三虚拟按钮、第一选项卡和第二选项卡;
其中,第二虚拟按钮用于确定当前选择的安全平面为最终安全平面,第三虚拟按钮用于更改当前选择的安全平面的名称,第一选项卡用于选择预设的安全平面参数,第二选项卡用于选择预设的安全平面模式,且第三虚拟按钮、第一选项卡、第二选项卡和第二虚拟按钮从上至下依次排列。
在一种可能的实施方式中,当接收到针对第三虚拟按钮的预设操作时,在第六显示区域显示输入界面,显示输入界面用于输入自定义的平面名称;
其中,第六显示区域覆盖第五显示区域的全部,以及第二显示区域、第三显示区域和第四显示区域的下半部分。
在一种可能的实施方式中,当接收到针对第一选项卡的预设操作时,在第一选项卡的下方显示第一悬浮菜单,其中,第一悬浮菜单用于显示至少一个预设平面;
当接收到针对至少一个预设平面中任意一个预设平面的预设操作时,在第三显示区域显示任意一个预设平面,并将任意一个预设平面的平面参数赋予当前选择的安全平面。
在一种可能的实施方式中,当接收到针对第二选项卡的预设操作时,在第二选项卡的下方显示第二悬浮菜单,其中,第二悬浮菜单用于显示至少一个预设限制模式;
当接收到针对至少一个预设限制模式中任意一个预设限制模式的预设操作时,将当前选择的安全平面的平面模式确定为任意一个预设限制模式。
第二方面,本申请的实施方式提供了一种控制设备,该控制设备应用于机械臂,机械臂包括有示教器,控制设备包括用于执行如第一方面的方法的单元。
第三方面,本申请实施方式提供一种电子装置,包括:存储器,用于存储程序;与存储器相连的处理器,用于执行存储器存储的程序,以使得电子装置执行如第一方面的方法。
第四方面,本申请实施方式提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序使得计算机执行如第一方面的方法。
第五方面,本申请实施方式提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机可操作来使计算机执行如第一方面的方法。
实施本申请实施方式,具有如下有益效果:
在本申请实施方式中,通过将显示区域模块化,使第一显示区域显示主菜单选项卡,第二显示区域显示子菜单选项卡,第三显示区域显示机械臂的3D模型和至少一个第一安全平面,第四显示区域显示第一操控界面和平面属性界面,第五显示区域显示第二操控界面。继而使得对安全平面的参数进行设置时,安全平面和机械臂之间的位置关系可以由第三显示区域进行实时显示。由此,实现安全平面的可视化设置,简化了设置流程,降低了操作门槛,并提高了设置效率。
附图说明
为了更清楚地说明本申请实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施方式提供的一种机械臂安全平面信息显示装置的硬件结构示意图;
图2为本申请实施方式提供的一种机械臂安全平面信息显示方法的流程示意图;
图3为本申请实施方式提供的一种安全平面信息显示界面的示意图;
图4为本申请实施方式提供的一种进入平面预设流程后的界面的示意图;
图5为本申请实施方式提供的一种展示机械臂的3D模型和至少一个第一几何特征的方法的流程示意图;
图6为本申请实施方式提供的一种针对第四虚拟按钮的预设操作后的界面的示意图;
图7为本申请实施方式提供的一种针对第七虚拟按钮的预设操作后的界面的示意图;
图8为本申请实施方式提供的一种针对第八虚拟按钮的预设操作后的界面的示意图;
图9为本申请实施方式提供的一种显示编辑界面的示意图;
图10为本申请实施方式提供的一种针对第十虚拟按钮的预设操作后的界面的示意图;
图11为本申请实施方式提供的一种针对第十虚拟按钮的预设操作后的界面的示意图;
图12为本申请实施方式提供的一种针对第十虚拟按钮的预设操作后的界面的示意图;
图13为本申请实施方式提供的一种针对第一虚拟按钮的预设操作后的界面的示意图;
图14为本申请实施方式提供的一种针对第三虚拟按钮的预设操作后的界面的示意图;
图15为本申请实施方式提供的一种控制设备的功能模块组成框图;
图16为本申请实施方式提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施方式”意味着,结合实施方式描述的特定特征、结果或特性可以包含在本申请的至少一个实施方式中。在说明书中的各个位置出现该短语并不一定均是指相同的实施方式,也不是与其它实施方式互斥的独立的或备选的实施方式。本领域技术人员显式地和隐式地理解的是,本文所描述的实施方式可以与其它实施方式相结合。
参阅图1,图1为本申请实施方式提供的一种机械臂安全平面信息显示装置的硬件结构示意图。该机械臂安全平面信息显示装置100包括至少一个处理器101,通信线路102,存储器103以及至少一个通信接口104。
在本实施方式中,处理器101,可以是一个通用中央处理器(central processingunit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路102,可以包括一通路,在上述组件之间传送信息。
通信接口104,可以是任何收发器一类的装置(如天线等),用于与其他设备或通信网络通信,例如以太网,RAN,无线局域网(wireless local area networks,WLAN)等。
存储器103,可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
在本实施方式中,存储器103可以独立存在,通过通信线路102与处理器101相连接。存储器103也可以和处理器101集成在一起。本申请实施方式提供的存储器103通常可以具有非易失性。其中,存储器103用于存储执行本申请方案的计算机执行指令,并由处理器101来控制执行。处理器101用于执行存储器103中存储的计算机执行指令,从而实现本申请下述实施方式中提供的方法。
在可选的实施方式中,计算机执行指令也可以称之为应用程序代码,本申请对此不作具体限定。
在可选的实施方式中,处理器101可以包括一个或多个CPU,例如图1中的CPU0和CPU1。
在可选的实施方式中,该机械臂安全平面信息显示装置100可以包括多个处理器,例如图1中的处理器101和处理器107。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在可选的实施方式中,若机械臂安全平面信息显示装置100为服务器,例如,可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。则机械臂安全平面信息显示装置100还可以包括输出设备105和输入设备106。输出设备105和处理器101通信,可以以多种方式来显示信息。例如,输出设备105可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备106和处理器101通信,可以以多种方式接收用户的输入。例如,输入设备106可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的机械臂安全平面信息显示装置100可以是一个通用设备或者是一个专用设备。本申请实施方式不限定机械臂安全平面信息显示装置100的类型。
以下,将对本申请所公开的一种机械臂安全平面信息显示方法进行说明:
参阅图2,图2为本申请实施方式提供的一种机械臂安全平面信息显示方法的流程示意图。该机械臂安全平面信息显示方法包括以下步骤:
201:在示教器的第一显示区域显示主菜单选项卡。
在本实施方式中,主菜单选项卡用于显示至少一个主菜单功能。示例性的,如图3所示,该第一显示区域位于示教器的显示区域的顶端。可以包括:运行选项卡,该选项卡下的页面用于调用预编程序操控机械臂;程序选项卡,该选项卡下的页面用于创建和/或修改预编程序;安装设置选项卡,该选项卡下的页面用于配置机械臂和外部设备,例如:安装位置、安全平面等;移动选项卡,该选项卡下的页面用于控制和/或调节机械臂的移动;输入输出选项卡,该选项卡下的页面用于监视和设置进出机械臂控制箱的实时输入输出信号;日志选项卡,该选项卡下的页面用于查看机械臂的运行状况、警告信息、错误信息等。
本实施方式所提供的机械臂安全平面信息显示方法属于安装设置选项卡的功能,基于此,本申请中所提供的页面均为安装设置选项卡下的页面,以下将不再赘述。
202:在示教器的第二显示区域显示子菜单选项卡。
在本实施方式中,子菜单选项卡用于显示至少一个子菜单功能,至少一个子菜单功能由主菜单选项卡中被选择的主菜单选项决定。示例性的,如图3所示,该第二显示区域位于示教器的显示区域的左侧,第一显示区域的下方。在该区域中,各个子菜单选项下还可以存在更下一级的子菜单选项。
在本实施方式中,安装设置选项卡下的子菜单选项卡可以包括安全平面设置选项卡,当点击该选项卡后,即可进入平面预设流程,如图4所示,在示教器的第七显示区域显示几何特征列表,几何特征列表用于显示至少一个预设几何特征。在示教器的第八显示区域显示几何展示界面和第三操控界面,其中,几何展示界面用于展示机械臂的3D模型和至少一个第一几何特征,至少一个第一几何特征由几何特征列表中被选择的预设几何特征决定。具体而言,机械臂的3D模型为姿态与机械臂实时同步的模型,至少一个第一几何特征可以是点、线、面、以及各种立体空间等,这些第一几何特征均为几何特征列表中预设完成的几何特征。
具体而言,第七显示区域和第八显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第七显示区域和第八显示区域从左至右依次横向排列,且第七显示区域的大小小于第八显示区域的大小。
同时,在本实施方式中,提供了一种展示机械臂的3D模型和至少一个第一几何特征的方法,可以根据机械臂的3D模型的姿态,以及至少一个第一几何特征和3D模型之间的位置关系,确定最优的展示视角,对机械臂的3D模型和至少一个第一几何特征进行展示。具体而言,如图5所示,该方法包括:
501:从机械臂获取姿态数据。
在本实施方式中,姿态数据用于标识机械臂当前的动作形态,姿态数据包括机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据。
502:根据机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据,对预设的3D模型中对应的虚拟末端工具和虚拟关节进行姿态调整,得到第一姿态模型。
在本实施方式中,可以通过机械臂中末端的类型数据确定机械臂末端所安装的工具类型,例如:夹具、刀具等;末端的状态数据用于标识末端此时的工作状态;各个关节的位置数据用于标识各个关节的旋角。由此,通过上述数据,可以生成与机械臂姿态实时相同的3D模型,即第一姿态模型。
503:对第一姿态模型进行特征提取,得到第一姿态特征。
在本实施方式中,第一姿态特征可以包括形态特征、末端工具特征和末端状态特征。
504:根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的。
在本实施方式中,可以将形态特征、末端工具特征和末端状态特征进行纵向拼接,并和历史工作库中存储的各个姿态特征进行比对。继而将相似度最高的姿态对应的作业目的确定为该机械臂当前的作业目的。
具体而言,可以确定第一姿态特征的第一特征长度,以及姿态库中每个预设姿态的第二特征长度。然后,确定第一姿态特征和每个预设姿态之间的第一子特征长度,其中,第一子特征长度为第一姿态特征和每个预设姿态之间的所有公共子特征中最长的公共子特征的长度。然后,可以确定第一特征长度和每个预设姿态的第二特征长度的平均值,并将第一子特征长度与平均值的商,作为第一姿态特征与每个预设姿态之间的相似度。
505:将作业目的和历史安全平面设置信息输入决策模型,预测待设置的安全平面的平面类型和平面位置。
在本实施方式中,可以通过以下方式得到决策模型,该方式可以预先进行训练,并通过定时或不定时的方式进行自动更新。也可以在每次分析时实时训练,本申请对此不做限制。具体而言,该方法包括:
首先,获取训练数据集,训练数据集包括至少一个训练姿态特征、至少一个训练展示视角、至少一个训练安全平面,其中,至少一个训练姿态特征与至少一个训练展示视角一一对应,至少一个训练姿态特征与至少一个训练安全平面一一对应。然后,调用初始决策模型中的至少一个决策器,对至少一个训练姿态特征中的每个训练姿态特征、以及每个训练姿态特征对应的训练安全平面进行决策处理,得到每个训练姿态特征的初始展示视角。最后,根据每个训练姿态特征的初始展示视角和每个训练姿态特征对应的训练展示视角,对初始决策模型进行调整,得到决策模型。
506:根据待设置的安全平面的平面类型和平面位置,以及第一姿态特征,确定第一姿态模型的展示视角。
在本实施方式中,根据第一姿态特征,可以确定出展示当前机械臂的最优视角范围,即将投射范围大于第一预设阈值且可以清晰的看到机械臂当前工作情况的视角范围。同时,根据待设置的安全平面的平面类型和平面位置,可以确定出该安全平面的最优视角范围,同样的,即该安全平面投射范围大于第二预设阈值的视角范围。由此,将两者的最优视角范围的交集确定为最优展示视角范围,并在其中随机确认一个展示视角作为该第一姿态模型的展示视角。
507:确定第一展示视角下,第一姿态模型的长宽比。
在本实施方式中,可以确定展示视角下3D模型的最小外接矩形,并将该最小外接矩形的长宽比,作为第一姿态模型的长宽比。
508:根据第八显示区域的尺寸信息和第一姿态模型的长宽比,在第八显示区域中确定模型显示区域和界面显示区域。
在本实施方式中,由于几何展示界面的尺寸是固定的,因此,可以另最小外接矩形的长度等于几何展示界面的长度,继而确定出第一姿态模型展示区域的尺寸,继而在第八显示区域中确定模型显示区域和界面显示区域,其中,模型显示区域用于显示该第一姿态模型。
509:根据展示视角在模型显示区域显示第一姿态模型。
510:在界面显示区域显示第三操控界面。
在本实施方式中,第三操控界面用于调整第二几何特征的参数,第二几何特征为至少一个第一几何特征中的任意一个,几何展示界面位于第三操控界面上方。具体而言,如图6所示,第三操控界面包括第四虚拟按钮,当接收到针对第四虚拟按钮的预设操作时,在示教器的第九显示区域显示机械臂的3D模型和第四操控界面,其中,第四操控界面包括第五虚拟按钮和第六虚拟按钮,用于确定或取消当前编辑的几何特征参数,机械臂的3D模型位于第四操控界面的上方。在示教器的第十显示区域显示第五操控界面,其中,第五操控界面包括基点调整界面和旋转矢量调整界面,第五操控界面用于编辑当前选择的几何特征的参数。其中,第九显示区域和第十显示区域位于第一显示区域和第五显示区域之间,第九显示区域和第十显示区域从左至右依次横向排列,且第九显示区域的大小大于第十显示区域的大小。
在本实施方式中,第五虚拟按钮用于确定当前编辑的几何特征参数,将当前编辑的几何特征参数对应的平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程。第六虚拟按钮用于取消当前编辑的几何特征参数。其中,第五虚拟按钮位于第六虚拟按钮的左侧,第五虚拟按钮和第六虚拟按钮位于旋转矢量调整界面的右下角。
在本实施方式中,基点调整界面用于输入第一新建基点的坐标参数,旋转矢量调整界面用于输入新建旋转矢量的调整参数,其中,基点调整界面位于旋转矢量调整界面的上方。具体而言,基点调整界面包括第一输入框、第二输入框、第三输入框、第一调节按钮、第二调节按钮和第三调节按钮;其中,第一输入框与第一调节按钮对应,第一输入框位于第一调节按钮的左侧,第一输入框用于输入第一新建基点的X轴坐标,第一调节按钮用于调节输入的X轴坐标;第二输入框与第二调节按钮对应,第二输入框位于第二调节按钮的左侧,第二输入框用于输入第一新建基点的Y轴坐标,第二调节按钮用于调节输入的Y轴坐标;第三输入框与第三调节按钮对应,第三输入框位于第三调节按钮的左侧,第三输入框用于输入第一新建基点的Z轴坐标,第三调节按钮用于调节输入的Z轴坐标;第一输入框位于第二输入框的上方,第三输入框位于第二输入框的下方。
具体而言,该空间坐标(X,Y,Z)为基于以机械臂的基座为原点,水平面为xOy面所确定的初始笛卡尔坐标系中的空间坐标。该初始笛卡尔坐标系可由机械臂在初始化设置时自动生成,也可以由工作人员进行自定义生成,本申请对此不做限制。
在本实施方式中,旋转矢量调整界面包括第四输入框、第五输入框、第六输入框、第四调节按钮、第五调节按钮和第六调节按钮;其中,第四输入框与第四调节按钮对应,第四输入框位于第四调节按钮的左侧,第四输入框用于输入新建旋转矢量的RX参数,第四调节按钮用于调节输入的RX参数;第五输入框与第五调节按钮对应,第五输入框位于第五调节按钮的左侧,第五输入框用于输入新建旋转矢量的RY参数,第五调节按钮用于调节输入的RY参数;第六输入框与第六调节按钮对应,第六输入框位于第六调节按钮的左侧,第六输入框用于输入新建旋转矢量的RZ参数,第六调节按钮用于调节输入的RZ参数;第四输入框位于第五输入框的上方,第六输入框位于第五输入框的下方。
具体而言,旋转矢量RX、RY和RZ用于标识以上述第一新建基点为原点建立的新笛卡尔坐标系和初始笛卡尔坐标系之间的转动关系,可以是X-Y-Z固定角、X-Y-Z欧拉角、RPY角、四元数等参数。示例性的,以X-Y-Z欧拉角为例,则RX表示进动角,RY表示自转角,RZ表示章动角。
在本实施方式中,当接收到针对第五虚拟按钮的预设操作时,在第八显示区域显示预设结果对应的平面,其中,预设结果由第五操控界面中输入的几何特征参数确定。
具体而言,可以获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据,继而根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标。该初始笛卡尔坐标系为以机械臂的机座为原点,建立的笛卡尔坐标系,可以是机械臂初始化后自带的初始坐标系。然后,根据基点的空间坐标和预设的旋转矩阵格式,确定基点相对于初始笛卡尔坐标系的第一旋转矩阵。该旋转矩阵用于将初始笛卡尔坐标系中的空间坐标转化为以该基点为原点建立的笛卡尔坐标系中的坐标。
然后,在本实施方式中,将初始笛卡尔坐标系的xOy平面作为第一平面,根据第一平面和欧拉角坐标,建立第二笛卡尔坐标系。其中,第二笛卡尔坐标系的原点与初始笛卡尔坐标系的原点相同,第二笛卡尔坐标系相对于初始笛卡尔坐标系的旋转量满足欧拉角坐标。具体而言,根据欧拉角坐标的定义,其由相交的两个平面,以及平面的笛卡尔坐标系确定,其中两个平面的相交的交线为确定欧拉角坐标的一个关键因素。基于此,以初始笛卡尔坐标系的xOy平面作为第一平面时,根据欧拉角坐标,可以确定出该交线,继而结合推导出的另一个笛卡尔坐标系,即第二笛卡尔坐标系,即可确定出由该初始笛卡尔坐标系和欧拉角坐标共同定义的另一个平面。
基于此,在本实施方式中,可以将第二笛卡尔坐标系的xOy平面作为第二平面,并确定第二平面在初始笛卡尔坐标系中的第二平面坐标。此时,确定出的第二平面是通过初始笛卡尔坐标系的平面,并非通过设定的基点。基于此,可以将第二平面坐标和第一旋转矩阵相乘,继而将其乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标。
最后,基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在可选的实施方式中,还提供了另一种在第八显示区域显示预设结果对应的平面方法,具体如下:
首先,还是获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据,并根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标。
然后,以基点的空间坐标为原点,建立第三笛卡尔坐标系,其中,第三笛卡尔坐标系的x轴与初始笛卡尔坐标系的x轴平行且指向相同,第三笛卡尔坐标系的y轴与初始笛卡尔坐标系的y轴平行且指向相同,第三笛卡尔坐标系的z轴与初始笛卡尔坐标系的z轴平行且指向相同。即第三笛卡尔坐标系和初始笛卡尔坐标系完全相同,仅仅是原点的位置不同。
然后,将第三笛卡尔坐标系的xOy平面作为第三平面,根据第三平面和欧拉角坐标,建立第四笛卡尔坐标系,其中,第四笛卡尔坐标系的原点与第三笛卡尔坐标系的原点相同,第四笛卡尔坐标系相对于第三笛卡尔坐标系的旋转量满足欧拉角坐标。具体原理和上述一致,再次不再赘述。
然后,将第四笛卡尔坐标系的xOy平面作为第四平面,确定第四平面在第三笛卡尔坐标系中的第四平面坐标,并确定第三笛卡尔坐标系和初始笛卡尔坐标系之间的第二旋转矩阵。该旋转矩阵用于将第三笛卡尔坐标系中的空间坐标转化为初始笛卡尔坐标系中的坐标。
最后,将第四平面坐标和第二旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标。并基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在可选的实施方式中,还提供了另一种确定平面的人机交互流程,具体如下:
具体而言,如图7所示,第三操控界面还包括第七虚拟按钮,当接收到针对第七虚拟按钮的预设操作时,在示教器的第十一显示区域显示几何特征编辑流程,其中,几何特征编辑流程用于显示至少一个编辑步骤,并指示当前编辑步骤所在的轮次。在示教器的第十二显示区域显示步骤说明界面和第六操控界面,其中,步骤说明界面用于显示第一编辑步骤的操作方法,第一编辑步骤为至少一个编辑步骤中的第一个编辑步骤,第六操控界面用于切换编辑步骤,步骤说明界面位于第六操控界面的上方。其中,第十一显示区域和第十二显示区域位于第一显示区域和第五显示区域之间,第十一显示区域和第十二显示区域从左至右依次横向排列,且第十一显示区域的大小小于第十二显示区域的大小。
在本实施方式中,第六操控界面包括第八虚拟按钮,当接收到针对第八虚拟按钮的预设操作时,如图8所示,在步骤说明界面切换显示第一几何特征编辑界面,其中,第一几何特征编辑界面用于新建第一位置点。第一几何特征编辑界面包括第九虚拟按钮,当接收到针对第九虚拟按钮的预设操作时,跳转显示编辑界面以对第一位置点进行编辑。
具体而言,如图9所示,在示教器的第十三显示区域显示第一点位调控界面,其中,第一点位调控界面用于对机械臂进行操控以定位当前编辑的位置点。在示教器的第十四显示区域显示机械臂的3D模型和第七操控界面,其中,第七操控界面用于确定或取消当前编辑的位置点。在示教器的第十五显示区域显示第二点位调控界面,其中,第二点位调控界面用于输入或调整位置参数以定位当前编辑的位置点。其中,第十三显示区域、第十四显示区域和第十五显示区域位于第一显示区域和第五显示区域之间,第十三显示区域、第十四显示区域和第十五显示区域从左至右依次横向排列,且第十四显示区域的大小大于第十三显示区域和第十五显示区域的大小。
在本实施方式中,第二点位调控界面包括点位参数输入界面,其中,点位参数输入界面位于第二点位调控界面的顶端,该第二点位调控界面包括第七输入框、第八输入框和第九输入框。其中,第七输入框用于输入当前编辑的位置点的X轴坐标,第八输入框用于输入当前编辑的位置点的Y轴坐标,第九输入框用于输入当前编辑的位置点的Z轴坐标,且第七输入框、第八输入框和第九输入框从上至下依次排列。
在本实施方式中,第七操控界面包括第十虚拟按钮,当接收到针对第十虚拟按钮的预设操作时,如图10所示,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第一几何特征编辑界面和第六操控界面。当接收到针对第八虚拟按钮的预设操作时,在第一几何特征编辑界面切换显示第二几何特征编辑界面,其中,第二几何特征编辑界面用于新建第二位置点。其中,第二几何特征编辑界面包括第十一虚拟按钮,当接收到针对第十一虚拟按钮的预设操作时,跳转显示编辑界面以对第二位置点进行编辑。
在本实施方式中,当在编辑界面中编辑完第二位置点,并接收到针对第十虚拟按钮的预设操作时,如图11所示,在第十一显区域显示几何特征编辑流程,在第十二显示区域显示第二几何特征编辑界面和第六操控界面。当接收到针对第八虚拟按钮的预设操作时,在第二几何特征编辑界面切换显示第三几何特征编辑界面,其中,第三几何特征编辑界面用于新建第三位置点。其中,第三几何特征编辑界面包括第十二虚拟按钮,当接收到针对第十二虚拟按钮的预设操作时,跳转显示编辑界面以对第三位置点进行编辑。
简而言之,在本实施方式中,在显示编辑界面中确定第一位置点后,即会跳转至第二几何特征编辑界面,再在第二几何特征编辑界面中点击确认执行第二位置点编辑时,再次跳回显示编辑界面,进行第二位置点的编辑。然后,确定第二位置点后,再跳转至第三几何特征编辑界面,再在第三几何特征编辑界面中点击确认执行第三位置点编辑时,再次跳回显示编辑界面,进行第三位置点的编辑。
在本实施方式中,当在编辑界面中编辑完第三位置点,并接收到针对第十虚拟按钮的预设操作时,如图12所示,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第三几何特征编辑界面和第六操控界面,其中,第六操控界面中包括预览界面,该预览界面中将显示编辑好的界面,以供预览。当接收到针对第八虚拟按钮的预设操作时,在第三几何特征编辑界面切换显示预览界面,其中,预览界面用于显示机械臂的3D模型,以及由第一位置点、第二位置点和第三位置点确定出的第一平面。其中,第六操控界面还包括第十三虚拟按钮,第十三虚拟按钮位于第六操控界面的右侧,用于将第一平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程。
由此,完成对安全平面设置,用户可以在后续的操作中,通过点击相应的选项卡选取设置好的安全平面进行预览或使用。
203:在示教器的第三显示区域显示机械臂的3D模型和至少一个第一安全平面。
在本实施方式中,如图3所示,该第二显示区域位于示教器的显示区域的中央,第一显示区域的下方,第二显示区域的右侧。在该区域中,3D模型的姿态与机械臂保持实时同步,至少一个安全平面为设置完毕的安全平面。
204:在示教器的第四显示区域显示第一操控界面和平面属性界面。
在本实施方式中,如图3所示,该第四显示区域位于示教器的显示区域的左侧,第一显示区域的下方,第三显示区域的右侧,即第二显示区域、第三显示区域和第四显示区域从左至右依次横向排列,且均位于第一显示区域的下方。在该区域中,第一操控界面用于调控至少一个第一安全平面,平面属性界面用于显示和调整第二安全平面的属性信息,第二安全平面为至少一个第一安全平面中的任意一个,第一操控界面位于平面属性界面上方。
在本实施方式中,第一操控界面包括第一虚拟按钮,第一虚拟按钮用于新建安全平面。示例性的,当接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项。具体而言,如图13所示,由于再点击后第一虚拟按钮会下移,以空出位置插入新建的安全平面选项,所以第一虚拟按钮在第一操控界面中的位置是不定的。在接收到针对第一虚拟按钮的预设操作时,首先可以获取预设操作的触点坐标,继而根据触点坐标确定第一虚拟按钮的显示区域。
然后,获取安全平面选项的显示模板,并根据显示区域确定显示模板的尺寸信息。具体而言,可以获取显示区域的第一宽度,继而对显示模板的尺寸进行等比例调整,使调整后的显示模板的第二宽度等于第一宽度。最后将第二宽度和第二宽度对应的第二长度,作为显示模板的尺寸信息。
确定了显示模板的尺寸信息后,可以根据尺寸信息和第一虚拟按钮的显示区域,确定安全平面选项的第一显示区域和第一虚拟按钮的第二显示区域。具体而言,第一显示区域位于第二显示区域上方,且第一显示区域与第二显示区域相邻。
最后,在本实施方式中,在第一显示区域显示安全平面选项,在第二显示区域显示第一虚拟按钮,以完成安全平面选项在第一虚拟按钮上方的插入显示。
其次,在本实施方式中,当接收到针对安全平面选项的预设操作时,确定安全平面选项对应的安全平面为当前选择的安全平面,并在平面属性界面显示当前选择的安全平面的平面属性。示例性的,如图3所示,平面属性界面包括第二虚拟按钮、第三虚拟按钮、第一选项卡和第二选项卡,其中,第二虚拟按钮用于确定当前选择的安全平面为最终安全平面,第三虚拟按钮用于更改当前选择的安全平面的名称,第一选项卡用于选择预设的安全平面参数,第二选项卡用于选择预设的安全平面模式,且第三虚拟按钮、第一选项卡、第二选项卡和第二虚拟按钮从上至下依次排列。
在本实施方式中,如图14所示,当接收到针对第三虚拟按钮的预设操作时,在第六显示区域显示输入界面,显示输入界面用于输入自定义的平面名称。具体而言,第六显示区域覆盖第五显示区域的全部,以及第二显示区域、第三显示区域和第四显示区域的下半部分。在可选的实施方式中,该输入界面可以以悬浮窗的形式进行展现。
在本实施方式中,当接收到针对第一选项卡的预设操作时,在第一选项卡的下方显示第一悬浮菜单,其中,第一悬浮菜单用于显示至少一个预设平面,该预设平面可以通过步骤202中的方法进行预设,本申请再此不再赘述。当接收到针对至少一个预设平面中任意一个预设平面的预设操作时,在第三显示区域显示任意一个预设平面,并将任意一个预设平面的平面参数赋予当前选择的安全平面。当接收到针对第二选项卡的预设操作时,在第二选项卡的下方显示第二悬浮菜单,其中,第二悬浮菜单用于显示至少一个预设限制模式。当接收到针对至少一个预设限制模式中任意一个预设限制模式的预设操作时,将当前选择的安全平面的平面模式确定为任意一个预设限制模式。
205:在示教器的第五显示区域显示第二操控界面。
在本实施方式中,第二操控界面用于切换操控模式,以及调整机械臂的参数。
具体而言,如图3所示,在图3中第一显示区域位于示教器的显示区域的顶端,第五显示区域位于显示区域的底端,第二显示区域、第三显示区域和第四显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第三显示区域和第四显示区域从左至右依次横向排列,且第三显示区域的大小大于第四显示区域的大小。
综上所述,本发明所提供的机械臂安全平面信息显示方法中,通过对待处理视频进行分帧,继而通过每帧图像的压缩域信息,确定其帧类型和参考帧,继而进一步通过其帧类型确定对应的识别方法。然后,通过匹配出的识别方法,结合对应的参考帧和压缩域信息,对每帧图像进行精准的人脸识别。由此,直接利用视频编码ROI过程中的获取的压缩域信息,结合每帧图像的参考帧,对视频中每帧图像中的人脸区域进行精准且稳定的识别,放置闪烁情况的发生。此外,通过该方法,不需要重新计算两帧的关系,可以减少计算成本,提升识别效率。
参阅图15,图15为本申请实施方式提供的一种控制设备的功能模块组成框图,该控制设备可以应用于包括有示教器的机械臂中。如图15所示,该控制设备1500包括:
显示单元1501:用于在示教器的第一显示区域显示主菜单选项卡,其中,主菜单选项卡用于显示至少一个主菜单功能;在示教器的第二显示区域显示子菜单选项卡,其中,子菜单选项卡用于显示至少一个子菜单功能,至少一个子菜单功能由主菜单选项卡中被选择的主菜单选项决定;在示教器的第三显示区域显示机械臂的3D模型和至少一个第一安全平面,其中,3D模型的姿态与机械臂相同;在示教器的第四显示区域显示第一操控界面和平面属性界面,其中,第一操控界面用于调控至少一个第一安全平面,平面属性界面用于显示和调整第二安全平面的属性信息,第二安全平面为至少一个第一安全平面中的任意一个,第一操控界面位于平面属性界面上方;在示教器的第五显示区域显示第二操控界面,其中,第二操控界面用于切换操控模式,以及调整机械臂的参数;其中,第一显示区域位于示教器的显示区域的顶端,第五显示区域位于显示区域的底端,第二显示区域、第三显示区域和第四显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第三显示区域和第四显示区域从左至右依次横向排列,且第三显示区域的大小大于第四显示区域的大小。
在本发明的实施方式中,当接收到针对子菜单选项卡的第一预设操作时,进入平面预设流程,在示教器的第七显示区域显示几何特征列表,几何特征列表用于显示至少一个预设几何特征;
在示教器的第八显示区域显示几何展示界面和第三操控界面,其中,几何展示界面用于展示机械臂的3D模型和至少一个第一几何特征,至少一个第一几何特征由几何特征列表中被选择的预设几何特征决定,第三操控界面用于调整第二几何特征的参数,第二几何特征为至少一个第一几何特征中的任意一个,几何展示界面位于第三操控界面上方;
其中,第七显示区域和第八显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第七显示区域和第八显示区域从左至右依次横向排列,且第七显示区域的大小小于第八显示区域的大小。
在本发明的实施方式中,在示教器的第八显示区域显示几何展示界面和第三操控界面方面,显示单元1501,具体用于;
从机械臂获取姿态数据,其中,姿态数据用于标识机械臂当前的动作形态,姿态数据包括机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据;
根据机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据,对预设的3D模型中对应的虚拟末端工具和虚拟关节进行姿态调整,得到第一姿态模型;
对第一姿态模型进行特征提取,得到第一姿态特征;
根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的;
将作业目的和历史安全平面设置信息输入决策模型,预测待设置的安全平面的平面类型和平面位置;
根据待设置的安全平面的平面类型和平面位置,以及第一姿态特征,确定第一姿态模型的展示视角;
确定第一展示视角下,第一姿态模型的长宽比;
根据第八显示区域的尺寸信息和第一姿态模型的长宽比,在第八显示区域中确定模型显示区域和界面显示区域;
根据展示视角在模型显示区域显示第一姿态模型;
在界面显示区域显示第三操控界面。
在本发明的实施方式中,在根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的方面,显示单元1501,具体用于;
确定第一姿态特征的第一特征长度;
确定姿态库中每个预设姿态的第二特征长度;
确定第一姿态特征和每个预设姿态之间的第一子特征长度,其中,第一子特征长度为第一姿态特征和每个预设姿态之间的所有公共子特征中最长的公共子特征的长度;
确定第一特征长度和每个预设姿态的第二特征长度的平均值;
将第一子特征长度与平均值的商,作为第一姿态特征与每个预设姿态之间的相似度;
将相似度最大的预设特征对应的作业目的,作为机械臂当前的作业目的。
在本发明的实施方式中,该控制设备1500还包括训练单元1502,具体用于:
获取训练数据集,训练数据集包括至少一个训练姿态特征、至少一个训练展示视角、至少一个训练安全平面,其中,至少一个训练姿态特征与至少一个训练展示视角一一对应,至少一个训练姿态特征与至少一个训练安全平面一一对应;
调用初始决策模型中的至少一个决策器,对至少一个训练姿态特征中的每个训练姿态特征、以及每个训练姿态特征对应的训练安全平面进行决策处理,得到每个训练姿态特征的初始展示视角;
根据每个训练姿态特征的初始展示视角和每个训练姿态特征对应的训练展示视角,对初始决策模型进行调整,得到决策模型。
在本发明的实施方式中,第三操控界面包括第四虚拟按钮,当接收到针对第四虚拟按钮的预设操作时,在示教器的第九显示区域显示机械臂的3D模型和第四操控界面,其中,第四操控界面包括第五虚拟按钮和第六虚拟按钮,用于确定或取消当前编辑的几何特征参数,机械臂的3D模型位于第四操控界面的上方;
在示教器的第十显示区域显示第五操控界面,其中,第五操控界面包括基点调整界面和旋转矢量调整界面,第五操控界面用于编辑当前选择的几何特征的参数;
其中,第九显示区域和第十显示区域位于第一显示区域和第五显示区域之间,第九显示区域和第十显示区域从左至右依次横向排列,且第九显示区域的大小大于第十显示区域的大小。
在本发明的实施方式中,当接收到针对第五虚拟按钮的预设操作时,在第八显示区域显示预设结果对应的平面,其中,预设结果由第五操控界面中输入的几何特征参数确定。
在本发明的实施方式中,在第八显示区域显示预设结果对应的平面方面,显示单元1501,具体用于;
获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标;
根据基点的空间坐标和预设的旋转矩阵格式,确定基点相对于初始笛卡尔坐标系的第一旋转矩阵;
将初始笛卡尔坐标系的xOy平面作为第一平面,根据第一平面和欧拉角坐标,建立第二笛卡尔坐标系,其中,第二笛卡尔坐标系的原点与初始笛卡尔坐标系的原点相同,第二笛卡尔坐标系相对于初始笛卡尔坐标系的旋转量满足欧拉角坐标;
将第二笛卡尔坐标系的xOy平面作为第二平面,确定第二平面在初始笛卡尔坐标系中的第二平面坐标;
将第二平面坐标和第一旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标;
基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在本发明的实施方式中,在第八显示区域显示预设结果对应的平面方面,显示单元1501,具体用于;
获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标;
以基点的空间坐标为原点,建立第三笛卡尔坐标系,其中,第三笛卡尔坐标系的x轴与初始笛卡尔坐标系的x轴平行且指向相同,第三笛卡尔坐标系的y轴与初始笛卡尔坐标系的y轴平行且指向相同,第三笛卡尔坐标系的z轴与初始笛卡尔坐标系的z轴平行且指向相同;
将第三笛卡尔坐标系的xOy平面作为第三平面,根据第三平面和欧拉角坐标,建立第四笛卡尔坐标系,其中,第四笛卡尔坐标系的原点与第三笛卡尔坐标系的原点相同,第四笛卡尔坐标系相对于第三笛卡尔坐标系的旋转量满足欧拉角坐标;
将第四笛卡尔坐标系的xOy平面作为第四平面,确定第四平面在第三笛卡尔坐标系中的第四平面坐标;
确定第三笛卡尔坐标系和初始笛卡尔坐标系之间的第二旋转矩阵;
将第四平面坐标和第二旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标;
基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在本发明的实施方式中,第五虚拟按钮用于确定当前编辑的几何特征参数,将当前编辑的几何特征参数对应的平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程;
第六虚拟按钮用于取消当前编辑的几何特征参数;
第五虚拟按钮位于第六虚拟按钮的左侧,第五虚拟按钮和第六虚拟按钮位于旋转矢量调整界面的右下角。
在本发明的实施方式中,基点调整界面用于输入第一新建基点的坐标参数,旋转矢量调整界面用于输入新建旋转矢量的调整参数;
其中,基点调整界面位于旋转矢量调整界面的上方。
在本发明的实施方式中,基点调整界面包括第一输入框、第二输入框、第三输入框、第一调节按钮、第二调节按钮和第三调节按钮;
其中,第一输入框与第一调节按钮对应,第一输入框位于第一调节按钮的左侧,第一输入框用于输入第一新建基点的X轴坐标,第一调节按钮用于调节输入的X轴坐标;
第二输入框与第二调节按钮对应,第二输入框位于第二调节按钮的左侧,第二输入框用于输入第一新建基点的Y轴坐标,第二调节按钮用于调节输入的Y轴坐标;
第三输入框与第三调节按钮对应,第三输入框位于第三调节按钮的左侧,第三输入框用于输入第一新建基点的Z轴坐标,第三调节按钮用于调节输入的Z轴坐标;
第一输入框位于第二输入框的上方,第三输入框位于第二输入框的下方。
在本发明的实施方式中,旋转矢量调整界面包括第四输入框、第五输入框、第六输入框、第四调节按钮、第五调节按钮和第六调节按钮;
其中,第四输入框与第四调节按钮对应,第四输入框位于第四调节按钮的左侧,第四输入框用于输入新建旋转矢量的RX参数,第四调节按钮用于调节输入的RX参数;
第五输入框与第五调节按钮对应,第五输入框位于第五调节按钮的左侧,第五输入框用于输入新建旋转矢量的RY参数,第五调节按钮用于调节输入的RY参数;
第六输入框与第六调节按钮对应,第六输入框位于第六调节按钮的左侧,第六输入框用于输入新建旋转矢量的RZ参数,第六调节按钮用于调节输入的RZ参数;
第四输入框位于第五输入框的上方,第六输入框位于第五输入框的下方。
在本发明的实施方式中,第三操控界面还包括第七虚拟按钮,当接收到针对第七虚拟按钮的预设操作时,在示教器的第十一显示区域显示几何特征编辑流程,其中,几何特征编辑流程用于显示至少一个编辑步骤,并指示当前编辑步骤所在的轮次;
在示教器的第十二显示区域显示步骤说明界面和第六操控界面,其中,步骤说明界面用于显示第一编辑步骤的操作方法,第一编辑步骤为至少一个编辑步骤中的第一个编辑步骤,第六操控界面用于切换编辑步骤,步骤说明界面位于第六操控界面的上方;
其中,第十一显示区域和第十二显示区域位于第一显示区域和第五显示区域之间,第十一显示区域和第十二显示区域从左至右依次横向排列,且第十一显示区域的大小小于第十二显示区域的大小。
在本发明的实施方式中,第六操控界面包括第八虚拟按钮,当接收到针对第八虚拟按钮的预设操作时,在步骤说明界面切换显示第一几何特征编辑界面,其中,第一几何特征编辑界面用于新建第一位置点;
第一几何特征编辑界面包括第九虚拟按钮,当接收到针对第九虚拟按钮的预设操作时,跳转显示编辑界面以对第一位置点进行编辑。
在本发明的实施方式中,在示教器的第十三显示区域显示第一点位调控界面,其中,第一点位调控界面用于对机械臂进行操控以定位当前编辑的位置点;
在示教器的第十四显示区域显示机械臂的3D模型和第七操控界面,其中,第七操控界面用于确定或取消当前编辑的位置点;
在示教器的第十五显示区域显示第二点位调控界面,其中,第二点位调控界面用于输入或调整位置参数以定位当前编辑的位置点;
其中,第十三显示区域、第十四显示区域和第十五显示区域位于第一显示区域和第五显示区域之间,第十三显示区域、第十四显示区域和第十五显示区域从左至右依次横向排列,且第十四显示区域的大小大于第十三显示区域和第十五显示区域的大小。
在本发明的实施方式中,第二点位调控界面包括点位参数输入界面,其中,点位参数输入界面位于第二点位调控界面的顶端;
第二点位调控界面包括第七输入框、第八输入框和第九输入框;
其中,第七输入框用于输入当前编辑的位置点的X轴坐标,第八输入框用于输入当前编辑的位置点的Y轴坐标,第九输入框用于输入当前编辑的位置点的Z轴坐标,且第七输入框、第八输入框和第九输入框从上至下依次排列。
在本发明的实施方式中,第七操控界面包括第十虚拟按钮,当接收到针对第十虚拟按钮的预设操作时,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第一几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第一几何特征编辑界面切换显示第二几何特征编辑界面,其中,第二几何特征编辑界面用于新建第二位置点;
其中,第二几何特征编辑界面包括第十一虚拟按钮,当接收到针对第十一虚拟按钮的预设操作时,跳转显示编辑界面以对第二位置点进行编辑。
在本发明的实施方式中,当在编辑界面中编辑完第二位置点,并接收到针对第十虚拟按钮的预设操作时,在第十一显区域显示几何特征编辑流程,在第十二显示区域显示第二几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第二几何特征编辑界面切换显示第三几何特征编辑界面,其中,第三几何特征编辑界面用于新建第三位置点;
其中,第三几何特征编辑界面包括第十二虚拟按钮,当接收到针对第十二虚拟按钮的预设操作时,跳转显示编辑界面以对第三位置点进行编辑。
在本发明的实施方式中,当在编辑界面中编辑完第三位置点,并接收到针对第十虚拟按钮的预设操作时,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第三几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第三几何特征编辑界面切换显示预览界面,其中,预览界面用于显示机械臂的3D模型,以及由第一位置点、第二位置点和第三位置点确定出的第一平面。
在本发明的实施方式中,第六操控界面还包括第十三虚拟按钮,第十三虚拟按钮位于第六操控界面的右侧,用于将第一平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程。
在本发明的实施方式中,第一操控界面包括第一虚拟按钮,第一虚拟按钮用于新建安全平面;
当接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项;
当接收到针对安全平面选项的预设操作时,确定安全平面选项对应的安全平面为当前选择的安全平面,并在平面属性界面显示当前选择的安全平面的平面属性。
在本发明的实施方式中,在接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项方面,显示单元1501,具体用于:
获取预设操作的触点坐标;
根据触点坐标确定第一虚拟按钮的显示区域;
获取安全平面选项的显示模板,根据显示区域确定显示模板的尺寸信息;
根据尺寸信息和第一虚拟按钮的显示区域,确定安全平面选项的第一显示区域和第一虚拟按钮的第二显示区域,其中,第一显示区域位于第二显示区域上方,且第一显示区域与第二显示区域相邻;
在第一显示区域显示安全平面选项,在第二显示区域显示第一虚拟按钮。
在本发明的实施方式中,在根据显示区域确定显示模板的尺寸信息方面,显示单元1501,具体用于:
获取显示区域的第一宽度;
对显示模板的尺寸进行等比例调整,使调整后的显示模板的第二宽度等于第一宽度;
将第二宽度和第二宽度对应的第二长度,作为显示模板的尺寸信息。
在本发明的实施方式中,平面属性界面包括第二虚拟按钮、第三虚拟按钮、第一选项卡和第二选项卡;
其中,第二虚拟按钮用于确定当前选择的安全平面为最终安全平面,第三虚拟按钮用于更改当前选择的安全平面的名称,第一选项卡用于选择预设的安全平面参数,第二选项卡用于选择预设的安全平面模式,且第三虚拟按钮、第一选项卡、第二选项卡和第二虚拟按钮从上至下依次排列。
在本发明的实施方式中,当接收到针对第三虚拟按钮的预设操作时,在第六显示区域显示输入界面,显示输入界面用于输入自定义的平面名称;
其中,第六显示区域覆盖第五显示区域的全部,以及第二显示区域、第三显示区域和第四显示区域的下半部分。
在本发明的实施方式中,当接收到针对第一选项卡的预设操作时,在第一选项卡的下方显示第一悬浮菜单,其中,第一悬浮菜单用于显示至少一个预设平面;
当接收到针对至少一个预设平面中任意一个预设平面的预设操作时,在第三显示区域显示任意一个预设平面,并将任意一个预设平面的平面参数赋予当前选择的安全平面。
在本发明的实施方式中,当接收到针对第二选项卡的预设操作时,在第二选项卡的下方显示第二悬浮菜单,其中,第二悬浮菜单用于显示至少一个预设限制模式;
当接收到针对至少一个预设限制模式中任意一个预设限制模式的预设操作时,将当前选择的安全平面的平面模式确定为任意一个预设限制模式。
参阅图16,图16为本申请实施方式提供的一种电子设备的结构示意图。如图16所示,电子设备1600包括收发器1601、处理器1602和存储器1603。它们之间通过总线1604连接。存储器1603用于存储计算机程序和数据,并可以将存储器1603存储的数据传输给处理器1602。
处理器1602用于读取存储器1603中的计算机程序执行以下操作:
在示教器的第一显示区域显示主菜单选项卡,其中,主菜单选项卡用于显示至少一个主菜单功能;
在示教器的第二显示区域显示子菜单选项卡,其中,子菜单选项卡用于显示至少一个子菜单功能,至少一个子菜单功能由主菜单选项卡中被选择的主菜单选项决定;
在示教器的第三显示区域显示机械臂的3D模型和至少一个第一安全平面,其中,3D模型的姿态与机械臂相同;
在示教器的第四显示区域显示第一操控界面和平面属性界面,其中,第一操控界面用于调控至少一个第一安全平面,平面属性界面用于显示和调整第二安全平面的属性信息,第二安全平面为至少一个第一安全平面中的任意一个,第一操控界面位于平面属性界面上方;
在示教器的第五显示区域显示第二操控界面,其中,第二操控界面用于切换操控模式,以及调整机械臂的参数;
其中,第一显示区域位于示教器的显示区域的顶端,第五显示区域位于显示区域的底端,第二显示区域、第三显示区域和第四显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第三显示区域和第四显示区域从左至右依次横向排列,且第三显示区域的大小大于第四显示区域的大小。
在本发明的实施方式中,当接收到针对子菜单选项卡的第一预设操作时,进入平面预设流程,在示教器的第七显示区域显示几何特征列表,几何特征列表用于显示至少一个预设几何特征;
在示教器的第八显示区域显示几何展示界面和第三操控界面,其中,几何展示界面用于展示机械臂的3D模型和至少一个第一几何特征,至少一个第一几何特征由几何特征列表中被选择的预设几何特征决定,第三操控界面用于调整第二几何特征的参数,第二几何特征为至少一个第一几何特征中的任意一个,几何展示界面位于第三操控界面上方;
其中,第七显示区域和第八显示区域位于第一显示区域和第五显示区域之间,第二显示区域、第七显示区域和第八显示区域从左至右依次横向排列,且第七显示区域的大小小于第八显示区域的大小。
在本发明的实施方式中,在示教器的第八显示区域显示几何展示界面和第三操控界面方面,处理器1602,具体用于;
从机械臂获取姿态数据,其中,姿态数据用于标识机械臂当前的动作形态,姿态数据包括机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据;
根据机械臂中末端的类型数据、末端的状态数据、以及各个关节的位置数据,对预设的3D模型中对应的虚拟末端工具和虚拟关节进行姿态调整,得到第一姿态模型;
对第一姿态模型进行特征提取,得到第一姿态特征;
根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的;
将作业目的和历史安全平面设置信息输入决策模型,预测待设置的安全平面的平面类型和平面位置;
根据待设置的安全平面的平面类型和平面位置,以及第一姿态特征,确定第一姿态模型的展示视角;
确定第一展示视角下,第一姿态模型的长宽比;
根据第八显示区域的尺寸信息和第一姿态模型的长宽比,在第八显示区域中确定模型显示区域和界面显示区域;
根据展示视角在模型显示区域显示第一姿态模型;
在界面显示区域显示第三操控界面。
在本发明的实施方式中,在根据第一姿态特征在预设的姿态库中进行匹配,确定机械臂当前的作业目的方面,处理器1602,具体用于;
确定第一姿态特征的第一特征长度;
确定姿态库中每个预设姿态的第二特征长度;
确定第一姿态特征和每个预设姿态之间的第一子特征长度,其中,第一子特征长度为第一姿态特征和每个预设姿态之间的所有公共子特征中最长的公共子特征的长度;
确定第一特征长度和每个预设姿态的第二特征长度的平均值;
将第一子特征长度与平均值的商,作为第一姿态特征与每个预设姿态之间的相似度;
将相似度最大的预设特征对应的作业目的,作为机械臂当前的作业目的。
在本发明的实施方式中,处理器1602,还用于执行以下操作:
获取训练数据集,训练数据集包括至少一个训练姿态特征、至少一个训练展示视角、至少一个训练安全平面,其中,至少一个训练姿态特征与至少一个训练展示视角一一对应,至少一个训练姿态特征与至少一个训练安全平面一一对应;
调用初始决策模型中的至少一个决策器,对至少一个训练姿态特征中的每个训练姿态特征、以及每个训练姿态特征对应的训练安全平面进行决策处理,得到每个训练姿态特征的初始展示视角;
根据每个训练姿态特征的初始展示视角和每个训练姿态特征对应的训练展示视角,对初始决策模型进行调整,得到决策模型。
在本发明的实施方式中,第三操控界面包括第四虚拟按钮,当接收到针对第四虚拟按钮的预设操作时,在示教器的第九显示区域显示机械臂的3D模型和第四操控界面,其中,第四操控界面包括第五虚拟按钮和第六虚拟按钮,用于确定或取消当前编辑的几何特征参数,机械臂的3D模型位于第四操控界面的上方;
在示教器的第十显示区域显示第五操控界面,其中,第五操控界面包括基点调整界面和旋转矢量调整界面,第五操控界面用于编辑当前选择的几何特征的参数;
其中,第九显示区域和第十显示区域位于第一显示区域和第五显示区域之间,第九显示区域和第十显示区域从左至右依次横向排列,且第九显示区域的大小大于第十显示区域的大小。
在本发明的实施方式中,当接收到针对第五虚拟按钮的预设操作时,在第八显示区域显示预设结果对应的平面,其中,预设结果由第五操控界面中输入的几何特征参数确定。
在本发明的实施方式中,在第八显示区域显示预设结果对应的平面方面,处理器1602,具体用于;
获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标;
根据基点的空间坐标和预设的旋转矩阵格式,确定基点相对于初始笛卡尔坐标系的第一旋转矩阵;
将初始笛卡尔坐标系的xOy平面作为第一平面,根据第一平面和欧拉角坐标,建立第二笛卡尔坐标系,其中,第二笛卡尔坐标系的原点与初始笛卡尔坐标系的原点相同,第二笛卡尔坐标系相对于初始笛卡尔坐标系的旋转量满足欧拉角坐标;
将第二笛卡尔坐标系的xOy平面作为第二平面,确定第二平面在初始笛卡尔坐标系中的第二平面坐标;
将第二平面坐标和第一旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标;
基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在本发明的实施方式中,在第八显示区域显示预设结果对应的平面方面,处理器1602,具体用于;
获取基点调整界面中的第一输入数据和旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在机械臂的初始笛卡尔坐标系中的空间坐标,根据第二输入数据确定欧拉角坐标;
以基点的空间坐标为原点,建立第三笛卡尔坐标系,其中,第三笛卡尔坐标系的x轴与初始笛卡尔坐标系的x轴平行且指向相同,第三笛卡尔坐标系的y轴与初始笛卡尔坐标系的y轴平行且指向相同,第三笛卡尔坐标系的z轴与初始笛卡尔坐标系的z轴平行且指向相同;
将第三笛卡尔坐标系的xOy平面作为第三平面,根据第三平面和欧拉角坐标,建立第四笛卡尔坐标系,其中,第四笛卡尔坐标系的原点与第三笛卡尔坐标系的原点相同,第四笛卡尔坐标系相对于第三笛卡尔坐标系的旋转量满足欧拉角坐标;
将第四笛卡尔坐标系的xOy平面作为第四平面,确定第四平面在第三笛卡尔坐标系中的第四平面坐标;
确定第三笛卡尔坐标系和初始笛卡尔坐标系之间的第二旋转矩阵;
将第四平面坐标和第二旋转矩阵的乘积,作为预设结果对应的平面在初始笛卡尔坐标系下的目标平面坐标;
基于目标平面坐标,在第八显示区域显示预设结果对应的平面。
在本发明的实施方式中,第五虚拟按钮用于确定当前编辑的几何特征参数,将当前编辑的几何特征参数对应的平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程;
第六虚拟按钮用于取消当前编辑的几何特征参数;
第五虚拟按钮位于第六虚拟按钮的左侧,第五虚拟按钮和第六虚拟按钮位于旋转矢量调整界面的右下角。
在本发明的实施方式中,基点调整界面用于输入第一新建基点的坐标参数,旋转矢量调整界面用于输入新建旋转矢量的调整参数;
其中,基点调整界面位于旋转矢量调整界面的上方。
在本发明的实施方式中,基点调整界面包括第一输入框、第二输入框、第三输入框、第一调节按钮、第二调节按钮和第三调节按钮;
其中,第一输入框与第一调节按钮对应,第一输入框位于第一调节按钮的左侧,第一输入框用于输入第一新建基点的X轴坐标,第一调节按钮用于调节输入的X轴坐标;
第二输入框与第二调节按钮对应,第二输入框位于第二调节按钮的左侧,第二输入框用于输入第一新建基点的Y轴坐标,第二调节按钮用于调节输入的Y轴坐标;
第三输入框与第三调节按钮对应,第三输入框位于第三调节按钮的左侧,第三输入框用于输入第一新建基点的Z轴坐标,第三调节按钮用于调节输入的Z轴坐标;
第一输入框位于第二输入框的上方,第三输入框位于第二输入框的下方。
在本发明的实施方式中,旋转矢量调整界面包括第四输入框、第五输入框、第六输入框、第四调节按钮、第五调节按钮和第六调节按钮;
其中,第四输入框与第四调节按钮对应,第四输入框位于第四调节按钮的左侧,第四输入框用于输入新建旋转矢量的RX参数,第四调节按钮用于调节输入的RX参数;
第五输入框与第五调节按钮对应,第五输入框位于第五调节按钮的左侧,第五输入框用于输入新建旋转矢量的RY参数,第五调节按钮用于调节输入的RY参数;
第六输入框与第六调节按钮对应,第六输入框位于第六调节按钮的左侧,第六输入框用于输入新建旋转矢量的RZ参数,第六调节按钮用于调节输入的RZ参数;
第四输入框位于第五输入框的上方,第六输入框位于第五输入框的下方。
在本发明的实施方式中,第三操控界面还包括第七虚拟按钮,当接收到针对第七虚拟按钮的预设操作时,在示教器的第十一显示区域显示几何特征编辑流程,其中,几何特征编辑流程用于显示至少一个编辑步骤,并指示当前编辑步骤所在的轮次;
在示教器的第十二显示区域显示步骤说明界面和第六操控界面,其中,步骤说明界面用于显示第一编辑步骤的操作方法,第一编辑步骤为至少一个编辑步骤中的第一个编辑步骤,第六操控界面用于切换编辑步骤,步骤说明界面位于第六操控界面的上方;
其中,第十一显示区域和第十二显示区域位于第一显示区域和第五显示区域之间,第十一显示区域和第十二显示区域从左至右依次横向排列,且第十一显示区域的大小小于第十二显示区域的大小。
在本发明的实施方式中,第六操控界面包括第八虚拟按钮,当接收到针对第八虚拟按钮的预设操作时,在步骤说明界面切换显示第一几何特征编辑界面,其中,第一几何特征编辑界面用于新建第一位置点;
第一几何特征编辑界面包括第九虚拟按钮,当接收到针对第九虚拟按钮的预设操作时,跳转显示编辑界面以对第一位置点进行编辑。
在本发明的实施方式中,在示教器的第十三显示区域显示第一点位调控界面,其中,第一点位调控界面用于对机械臂进行操控以定位当前编辑的位置点;
在示教器的第十四显示区域显示机械臂的3D模型和第七操控界面,其中,第七操控界面用于确定或取消当前编辑的位置点;
在示教器的第十五显示区域显示第二点位调控界面,其中,第二点位调控界面用于输入或调整位置参数以定位当前编辑的位置点;
其中,第十三显示区域、第十四显示区域和第十五显示区域位于第一显示区域和第五显示区域之间,第十三显示区域、第十四显示区域和第十五显示区域从左至右依次横向排列,且第十四显示区域的大小大于第十三显示区域和第十五显示区域的大小。
在本发明的实施方式中,第二点位调控界面包括点位参数输入界面,其中,点位参数输入界面位于第二点位调控界面的顶端;
第二点位调控界面包括第七输入框、第八输入框和第九输入框;
其中,第七输入框用于输入当前编辑的位置点的X轴坐标,第八输入框用于输入当前编辑的位置点的Y轴坐标,第九输入框用于输入当前编辑的位置点的Z轴坐标,且第七输入框、第八输入框和第九输入框从上至下依次排列。
在本发明的实施方式中,第七操控界面包括第十虚拟按钮,当接收到针对第十虚拟按钮的预设操作时,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第一几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第一几何特征编辑界面切换显示第二几何特征编辑界面,其中,第二几何特征编辑界面用于新建第二位置点;
其中,第二几何特征编辑界面包括第十一虚拟按钮,当接收到针对第十一虚拟按钮的预设操作时,跳转显示编辑界面以对第二位置点进行编辑。
在本发明的实施方式中,当在编辑界面中编辑完第二位置点,并接收到针对第十虚拟按钮的预设操作时,在第十一显区域显示几何特征编辑流程,在第十二显示区域显示第二几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第二几何特征编辑界面切换显示第三几何特征编辑界面,其中,第三几何特征编辑界面用于新建第三位置点;
其中,第三几何特征编辑界面包括第十二虚拟按钮,当接收到针对第十二虚拟按钮的预设操作时,跳转显示编辑界面以对第三位置点进行编辑。
在本发明的实施方式中,当在编辑界面中编辑完第三位置点,并接收到针对第十虚拟按钮的预设操作时,在第十一显示区域显示几何特征编辑流程,在第十二显示区域显示第三几何特征编辑界面和第六操控界面;
当接收到针对第八虚拟按钮的预设操作时,在第三几何特征编辑界面切换显示预览界面,其中,预览界面用于显示机械臂的3D模型,以及由第一位置点、第二位置点和第三位置点确定出的第一平面。
在本发明的实施方式中,第六操控界面还包括第十三虚拟按钮,第十三虚拟按钮位于第六操控界面的右侧,用于将第一平面确定为当前平面预设流程的预设结果,并结束当前平面预设流程。
在本发明的实施方式中,第一操控界面包括第一虚拟按钮,第一虚拟按钮用于新建安全平面;
当接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项;
当接收到针对安全平面选项的预设操作时,确定安全平面选项对应的安全平面为当前选择的安全平面,并在平面属性界面显示当前选择的安全平面的平面属性。
在本发明的实施方式中,在接收到针对第一虚拟按钮的预设操作时,在第一虚拟按钮的上方插入显示新建的安全平面选项方面,处理器1602,具体用于执行以下操作:
获取预设操作的触点坐标;
根据触点坐标确定第一虚拟按钮的显示区域;
获取安全平面选项的显示模板,根据显示区域确定显示模板的尺寸信息;
根据尺寸信息和第一虚拟按钮的显示区域,确定安全平面选项的第一显示区域和第一虚拟按钮的第二显示区域,其中,第一显示区域位于第二显示区域上方,且第一显示区域与第二显示区域相邻;
在第一显示区域显示安全平面选项,在第二显示区域显示第一虚拟按钮。
在本发明的实施方式中,在根据显示区域确定显示模板的尺寸信息方面,处理器1602,具体用于执行以下操作:
获取显示区域的第一宽度;
对显示模板的尺寸进行等比例调整,使调整后的显示模板的第二宽度等于第一宽度;
将第二宽度和第二宽度对应的第二长度,作为显示模板的尺寸信息。
在本发明的实施方式中,平面属性界面包括第二虚拟按钮、第三虚拟按钮、第一选项卡和第二选项卡;
其中,第二虚拟按钮用于确定当前选择的安全平面为最终安全平面,第三虚拟按钮用于更改当前选择的安全平面的名称,第一选项卡用于选择预设的安全平面参数,第二选项卡用于选择预设的安全平面模式,且第三虚拟按钮、第一选项卡、第二选项卡和第二虚拟按钮从上至下依次排列。
在本发明的实施方式中,当接收到针对第三虚拟按钮的预设操作时,在第六显示区域显示输入界面,显示输入界面用于输入自定义的平面名称;
其中,第六显示区域覆盖第五显示区域的全部,以及第二显示区域、第三显示区域和第四显示区域的下半部分。
在本发明的实施方式中,当接收到针对第一选项卡的预设操作时,在第一选项卡的下方显示第一悬浮菜单,其中,第一悬浮菜单用于显示至少一个预设平面;
当接收到针对至少一个预设平面中任意一个预设平面的预设操作时,在第三显示区域显示任意一个预设平面,并将任意一个预设平面的平面参数赋予当前选择的安全平面。
在本发明的实施方式中,当接收到针对第二选项卡的预设操作时,在第二选项卡的下方显示第二悬浮菜单,其中,第二悬浮菜单用于显示至少一个预设限制模式;
当接收到针对至少一个预设限制模式中任意一个预设限制模式的预设操作时,将当前选择的安全平面的平面模式确定为任意一个预设限制模式。
应理解,本申请中的机械臂安全平面信息显示装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile Internet Devices,简称:MID)、机器人或穿戴式设备等。上述机械臂安全平面信息显示装置仅是举例,而非穷举,包含但不限于上述机械臂安全平面信息显示装置。在实际应用中,上述机械臂安全平面信息显示装置还可以包括:智能车载终端、计算机设备等等。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
因此,本申请实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如上述方法实施方式中记载的任何一种机械臂安全平面信息显示方法的部分或全部步骤。例如,所述存储介质可以包括硬盘、软盘、光盘、磁带、磁盘、优盘、闪存等。
本申请实施方式还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施方式中记载的任何一种机械臂安全平面信息显示方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施方式,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施方式均属于可选的实施方式,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施方式中,对各个实施方式的描述都各有侧重,某个实施方式中没有详述的部分,可以参见其他实施方式的相关描述。
在本申请所提供的几个实施方式中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施方式的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory ,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施方式进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施方式的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (30)

1.一种机械臂安全平面信息显示方法,其特征在于,应用于示教器,所述示教器与机械臂通讯连接,所述方法包括:
在所述示教器的第一显示区域显示主菜单选项卡,其中,所述主菜单选项卡用于显示至少一个主菜单功能;
在所述示教器的第二显示区域显示子菜单选项卡,其中,所述子菜单选项卡用于显示至少一个子菜单功能,所述至少一个子菜单功能由所述主菜单选项卡中被选择的主菜单选项决定;
在所述示教器的第三显示区域显示所述机械臂的3D模型和至少一个第一安全平面,其中,所述3D模型的姿态与所述机械臂相同;
在所述示教器的第四显示区域显示第一操控界面和平面属性界面,其中,所述第一操控界面用于调控所述至少一个第一安全平面,所述平面属性界面用于显示和调整第二安全平面的属性信息,所述第二安全平面为所述至少一个第一安全平面中的任意一个,所述第一操控界面位于所述平面属性界面上方;
在所述示教器的第五显示区域显示第二操控界面,其中,所述第二操控界面用于切换操控模式,以及调整所述机械臂的参数;
其中,所述第一显示区域位于所述示教器的显示区域的顶端,所述第五显示区域位于所述显示区域的底端,所述第二显示区域、所述第三显示区域和所述第四显示区域位于所述第一显示区域和所述第五显示区域之间,所述第二显示区域、所述第三显示区域和所述第四显示区域从左至右依次横向排列,且所述第三显示区域的大小大于所述第四显示区域的大小;
当接收到针对所述子菜单选项卡的第一预设操作时,进入平面预设流程,在所述示教器的第七显示区域显示几何特征列表,所述几何特征列表用于显示至少一个预设几何特征;
在所述示教器的第八显示区域显示几何展示界面和第三操控界面,其中,所述几何展示界面用于展示所述机械臂的3D模型和至少一个第一几何特征,所述至少一个第一几何特征由所述几何特征列表中被选择的预设几何特征决定,所述第三操控界面用于调整第二几何特征的参数,所述第二几何特征为所述至少一个第一几何特征中的任意一个,所述几何展示界面位于所述第三操控界面上方;
其中,所述第七显示区域和所述第八显示区域位于所述第一显示区域和所述第五显示区域之间,所述第二显示区域、所述第七显示区域和所述第八显示区域从左至右依次横向排列,且所述第七显示区域的大小小于所述第八显示区域的大小。
2.根据权利要求1所述的方法,其特征在于,所述在所述示教器的第八显示区域显示几何展示界面和第三操控界面,包括:
从所述机械臂获取姿态数据,其中,所述姿态数据用于标识所述机械臂当前的动作形态,所述姿态数据包括所述机械臂中末端的类型数据、所述末端的状态数据、以及各个关节的位置数据;
根据所述机械臂中末端的类型数据、所述末端的状态数据、以及各个关节的位置数据,对预设的3D模型中对应的虚拟末端工具和虚拟关节进行姿态调整,得到第一姿态模型;
对所述第一姿态模型进行特征提取,得到第一姿态特征;
根据所述第一姿态特征在预设的姿态库中进行匹配,确定所述机械臂当前的作业目的;
将所述作业目的和历史安全平面设置信息输入决策模型,预测待设置的安全平面的平面类型和平面位置;
根据所述待设置的安全平面的平面类型和平面位置,以及所述第一姿态特征,确定所述第一姿态模型的展示视角;
确定第一展示视角下,所述第一姿态模型的长宽比;
根据所述第八显示区域的尺寸信息和所述第一姿态模型的长宽比,在所述第八显示区域中确定模型显示区域和界面显示区域;
根据所述展示视角在所述模型显示区域显示所述第一姿态模型;
在所述界面显示区域显示所述第三操控界面。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一姿态特征在预设的姿态库中进行匹配,确定所述机械臂当前的作业目的,包括:
确定所述第一姿态特征的第一特征长度;
确定所述姿态库中每个预设姿态的第二特征长度;
确定所述第一姿态特征和所述每个预设姿态之间的第一子特征长度,其中,所述第一子特征长度为所述第一姿态特征和所述每个预设姿态之间的所有公共子特征中最长的公共子特征的长度;
确定所述第一特征长度和所述每个预设姿态的第二特征长度的平均值;
将所述第一子特征长度与所述平均值的商,作为所述第一姿态特征与所述每个预设姿态之间的相似度;
将所述相似度最大的预设特征对应的作业目的,作为所述机械臂当前的作业目的。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
获取训练数据集,所述训练数据集包括至少一个训练姿态特征、至少一个训练展示视角、至少一个训练安全平面,其中,所述至少一个训练姿态特征与所述至少一个训练展示视角一一对应,所述至少一个训练姿态特征与所述至少一个训练安全平面一一对应;
调用初始决策模型中的至少一个决策器,对所述至少一个训练姿态特征中的每个训练姿态特征、以及所述每个训练姿态特征对应的训练安全平面进行决策处理,得到所述每个训练姿态特征的初始展示视角;
根据所述每个训练姿态特征的初始展示视角和所述每个训练姿态特征对应的训练展示视角,对所述初始决策模型进行调整,得到所述决策模型。
5.根据权利要求1所述的方法,其特征在于,
所述第三操控界面包括第四虚拟按钮,当接收到针对所述第四虚拟按钮的预设操作时,在所述示教器的第九显示区域显示所述机械臂的3D模型和第四操控界面,其中,所述第四操控界面包括第五虚拟按钮和第六虚拟按钮,用于确定或取消当前编辑的几何特征参数,所述机械臂的3D模型位于所述第四操控界面的上方;
在所述示教器的第十显示区域显示第五操控界面,其中,所述第五操控界面包括基点调整界面和旋转矢量调整界面,所述第五操控界面用于编辑当前选择的几何特征的参数;
其中,所述第九显示区域和所述第十显示区域位于所述第一显示区域和所述第五显示区域之间,所述第九显示区域和所述第十显示区域从左至右依次横向排列,且所述第九显示区域的大小大于所述第十显示区域的大小。
6.根据权利要求5所述的方法,其特征在于,
当接收到针对所述第五虚拟按钮的预设操作时,在所述第八显示区域显示预设结果对应的平面,其中,所述预设结果由所述第五操控界面中输入的几何特征参数确定。
7.根据权利要求6所述的方法,其特征在于,所述在所述第八显示区域显示所述预设结果对应的平面,包括:
获取所述基点调整界面中的第一输入数据和所述旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在所述机械臂的初始笛卡尔坐标系中的空间坐标,根据所述第二输入数据确定欧拉角坐标;
根据所述基点的空间坐标和预设的旋转矩阵格式,确定所述基点相对于所述初始笛卡尔坐标系的第一旋转矩阵;
将所述初始笛卡尔坐标系的xOy平面作为第一平面,根据所述第一平面和所述欧拉角坐标,建立第二笛卡尔坐标系,其中,所述第二笛卡尔坐标系的原点与所述初始笛卡尔坐标系的原点相同,所述第二笛卡尔坐标系相对于所述初始笛卡尔坐标系的旋转量满足所述欧拉角坐标;
将所述第二笛卡尔坐标系的xOy平面作为第二平面,确定所述第二平面在所述初始笛卡尔坐标系中的第二平面坐标;
将所述第二平面坐标和所述第一旋转矩阵的乘积,作为所述预设结果对应的平面在所述初始笛卡尔坐标系下的目标平面坐标;
基于所述目标平面坐标,在所述第八显示区域显示所述预设结果对应的平面。
8.根据权利要求6所述的方法,其特征在于,所述在所述第八显示区域显示所述预设结果对应的平面,包括:
获取所述基点调整界面中的第一输入数据和所述旋转矢量调整界面中的第二输入数据;
根据第一输入数据确定基点在所述机械臂的初始笛卡尔坐标系中的空间坐标,根据所述第二输入数据确定欧拉角坐标;
以所述基点的空间坐标为原点,建立第三笛卡尔坐标系,其中,所述第三笛卡尔坐标系的x轴与所述初始笛卡尔坐标系的x轴平行且指向相同,所述第三笛卡尔坐标系的y轴与所述初始笛卡尔坐标系的y轴平行且指向相同,所述第三笛卡尔坐标系的z轴与所述初始笛卡尔坐标系的z轴平行且指向相同;
将所述第三笛卡尔坐标系的xOy平面作为第三平面,根据所述第三平面和所述欧拉角坐标,建立第四笛卡尔坐标系,其中,所述第四笛卡尔坐标系的原点与所述第三笛卡尔坐标系的原点相同,所述第四笛卡尔坐标系相对于所述第三笛卡尔坐标系的旋转量满足所述欧拉角坐标;
将所述第四笛卡尔坐标系的xOy平面作为第四平面,确定所述第四平面在所述第三笛卡尔坐标系中的第四平面坐标;
确定所述第三笛卡尔坐标系和所述初始笛卡尔坐标系之间的第二旋转矩阵;
将所述第四平面坐标和所述第二旋转矩阵的乘积,作为所述预设结果对应的平面在所述初始笛卡尔坐标系下的目标平面坐标;
基于所述目标平面坐标,在所述第八显示区域显示所述预设结果对应的平面。
9.根据权利要求5所述的方法,其特征在于,
所述第五虚拟按钮用于确定当前编辑的几何特征参数,将所述当前编辑的几何特征参数对应的平面确定为当前平面预设流程的预设结果,并结束所述当前平面预设流程;
所述第六虚拟按钮用于取消当前编辑的几何特征参数;
所述第五虚拟按钮位于所述第六虚拟按钮的左侧,所述第五虚拟按钮和所述第六虚拟按钮位于所述旋转矢量调整界面的右下角。
10.根据权利要求5所述的方法,其特征在于,
所述基点调整界面用于输入第一新建基点的坐标参数,所述旋转矢量调整界面用于输入新建旋转矢量的调整参数;
其中,所述基点调整界面位于所述旋转矢量调整界面的上方。
11.根据权利要求10所述的方法,其特征在于,
所述基点调整界面包括第一输入框、第二输入框、第三输入框、第一调节按钮、第二调节按钮和第三调节按钮;
其中,所述第一输入框与所述第一调节按钮对应,所述第一输入框位于所述第一调节按钮的左侧,所述第一输入框用于输入所述第一新建基点的X轴坐标,所述第一调节按钮用于调节输入的所述X轴坐标;
所述第二输入框与所述第二调节按钮对应,所述第二输入框位于所述第二调节按钮的左侧,所述第二输入框用于输入所述第一新建基点的Y轴坐标,所述第二调节按钮用于调节输入的所述Y轴坐标;
所述第三输入框与所述第三调节按钮对应,所述第三输入框位于所述第三调节按钮的左侧,所述第三输入框用于输入所述第一新建基点的Z轴坐标,所述第三调节按钮用于调节输入的所述Z轴坐标;
所述第一输入框位于所述第二输入框的上方,所述第三输入框位于所述第二输入框的下方。
12.根据权利要求10所述的方法,其特征在于,
所述旋转矢量调整界面包括第四输入框、第五输入框、第六输入框、第四调节按钮、第五调节按钮和第六调节按钮;
其中,所述第四输入框与所述第四调节按钮对应,所述第四输入框位于所述第四调节按钮的左侧,所述第四输入框用于输入所述新建旋转矢量的RX参数,所述第四调节按钮用于调节输入的所述RX参数;
所述第五输入框与所述第五调节按钮对应,所述第五输入框位于所述第五调节按钮的左侧,所述第五输入框用于输入所述新建旋转矢量的RY参数,所述第五调节按钮用于调节输入的所述RY参数;
所述第六输入框与所述第六调节按钮对应,所述第六输入框位于所述第六调节按钮的左侧,所述第六输入框用于输入所述新建旋转矢量的RZ参数,所述第六调节按钮用于调节输入的所述RZ参数;
所述第四输入框位于所述第五输入框的上方,所述第六输入框位于所述第五输入框的下方。
13.根据权利要求1所述的方法,其特征在于,
所述第三操控界面还包括第七虚拟按钮,当接收到针对所述第七虚拟按钮的预设操作时,在所述示教器的第十一显示区域显示几何特征编辑流程,其中,所述几何特征编辑流程用于显示至少一个编辑步骤,并指示当前编辑步骤所在的轮次;
在所述示教器的第十二显示区域显示步骤说明界面和第六操控界面,其中,所述步骤说明界面用于显示第一编辑步骤的操作方法,所述第一编辑步骤为所述至少一个编辑步骤中的第一个编辑步骤,所述第六操控界面用于切换编辑步骤,所述步骤说明界面位于所述第六操控界面的上方;
其中,所述第十一显示区域和所述第十二显示区域位于所述第一显示区域和所述第五显示区域之间,所述第十一显示区域和所述第十二显示区域从左至右依次横向排列,且所述第十一显示区域的大小小于所述第十二显示区域的大小。
14.根据权利要求13所述的方法,其特征在于,
所述第六操控界面包括第八虚拟按钮,当接收到针对所述第八虚拟按钮的预设操作时,在所述步骤说明界面切换显示第一几何特征编辑界面,其中,所述第一几何特征编辑界面用于新建第一位置点;
所述第一几何特征编辑界面包括第九虚拟按钮,当接收到针对所述第九虚拟按钮的预设操作时,跳转显示编辑界面以对所述第一位置点进行编辑。
15.根据权利要求14所述的方法,其特征在于,所述跳转显示编辑界面包括:
在所述示教器的第十三显示区域显示第一点位调控界面,其中,所述第一点位调控界面用于对所述机械臂进行操控以定位当前编辑的位置点;
在所述示教器的第十四显示区域显示所述机械臂的3D模型和第七操控界面,其中,所述第七操控界面用于确定或取消所述当前编辑的位置点;
在所述示教器的第十五显示区域显示第二点位调控界面,其中,所述第二点位调控界面用于输入或调整位置参数以定位所述当前编辑的位置点;
其中,所述第十三显示区域、所述第十四显示区域和所述第十五显示区域位于所述第一显示区域和所述第五显示区域之间,所述第十三显示区域、所述第十四显示区域和所述第十五显示区域从左至右依次横向排列,且所述第十四显示区域的大小大于所述第十三显示区域和所述第十五显示区域的大小。
16.根据权利要求15所述的方法,其特征在于,
所述第二点位调控界面包括点位参数输入界面,其中,所述点位参数输入界面位于所述第二点位调控界面的顶端;
所述第二点位调控界面包括第七输入框、第八输入框和第九输入框;
其中,所述第七输入框用于输入所述当前编辑的位置点的X轴坐标,所述第八输入框用于输入所述当前编辑的位置点的Y轴坐标,所述第九输入框用于输入所述当前编辑的位置点的Z轴坐标,且所述第七输入框、所述第八输入框和所述第九输入框从上至下依次排列。
17.根据权利要求15或16所述的方法,其特征在于,
所述第七操控界面包括第十虚拟按钮,当接收到针对所述第十虚拟按钮的预设操作时,在所述第十一显示区域显示所述几何特征编辑流程,在所述第十二显示区域显示所述第一几何特征编辑界面和所述第六操控界面;
当接收到针对所述第八虚拟按钮的预设操作时,在所述第一几何特征编辑界面切换显示第二几何特征编辑界面,其中,所述第二几何特征编辑界面用于新建第二位置点;
其中,所述第二几何特征编辑界面包括第十一虚拟按钮,当接收到针对所述第十一虚拟按钮的预设操作时,跳转显示所述编辑界面以对所述第二位置点进行编辑。
18.根据权利要求17所述的方法,其特征在于,
当在所述编辑界面中编辑完所述第二位置点,并接收到针对所述第十虚拟按钮的预设操作时,在所述第十一显示区域显示所述几何特征编辑流程,在所述第十二显示区域显示所述第二几何特征编辑界面和所述第六操控界面;
当接收到针对所述第八虚拟按钮的预设操作时,在所述第二几何特征编辑界面切换显示第三几何特征编辑界面,其中,所述第三几何特征编辑界面用于新建第三位置点;
其中,所述第三几何特征编辑界面包括第十二虚拟按钮,当接收到针对所述第十二虚拟按钮的预设操作时,跳转显示所述编辑界面以对所述第三位置点进行编辑。
19.根据权利要求18所述的方法,其特征在于,
当在所述编辑界面中编辑完所述第三位置点,并接收到针对所述第十虚拟按钮的预设操作时,在所述第十一显示区域显示所述几何特征编辑流程,在所述第十二显示区域显示所述第三几何特征编辑界面和所述第六操控界面;
当接收到针对所述第八虚拟按钮的预设操作时,在所述第三几何特征编辑界面切换显示预览界面,其中,所述预览界面用于显示所述机械臂的3D模型,以及由所述第一位置点、所述第二位置点和所述第三位置点确定出的第一平面。
20.根据权利要求19所述的方法,其特征在于,
所述第六操控界面还包括第十三虚拟按钮,所述第十三虚拟按钮位于所述第六操控界面的右侧,用于将所述第一平面确定为当前平面预设流程的预设结果,并结束所述当前平面预设流程。
21.根据权利要求1所述的方法,其特征在于,
所述第一操控界面包括第一虚拟按钮,所述第一虚拟按钮用于新建安全平面;
当接收到针对所述第一虚拟按钮的预设操作时,在所述第一虚拟按钮的上方插入显示新建的安全平面选项;
当接收到针对所述安全平面选项的预设操作时,确定所述安全平面选项对应的安全平面为当前选择的安全平面,并在所述平面属性界面显示所述当前选择的安全平面的平面属性。
22.根据权利要求21所述的方法,其特征在于,所述当接收到针对所述第一虚拟按钮的预设操作时,在所述第一虚拟按钮的上方插入显示新建的安全平面选项,包括:
获取所述预设操作的触点坐标;
根据所述触点坐标确定所述第一虚拟按钮的显示区域;
获取所述安全平面选项的显示模板,根据所述显示区域确定所述显示模板的尺寸信息;
根据所述尺寸信息和所述第一虚拟按钮的显示区域,确定所述安全平面选项的第一显示区域和所述第一虚拟按钮的第二显示区域,其中,所述第一显示区域位于所述第二显示区域上方,且所述第一显示区域与所述第二显示区域相邻;
在所述第一显示区域显示所述安全平面选项,在所述第二显示区域显示所述第一虚拟按钮。
23.根据权利要求22所述的方法,其特征在于,所述根据所述显示区域确定所述显示模板的尺寸信息,包括:
获取所述显示区域的第一宽度;
对所述显示模板的尺寸进行等比例调整,使调整后的所述显示模板的第二宽度等于所述第一宽度;
将所述第二宽度和所述第二宽度对应的第二长度,作为所述显示模板的尺寸信息。
24.根据权利要求21所述的方法,其特征在于,
所述平面属性界面包括第二虚拟按钮、第三虚拟按钮、第一选项卡和第二选项卡;
其中,所述第二虚拟按钮用于确定所述当前选择的安全平面为最终安全平面,所述第三虚拟按钮用于更改所述当前选择的安全平面的名称,所述第一选项卡用于选择预设的安全平面参数,所述第二选项卡用于选择预设的安全平面模式,且所述第三虚拟按钮、所述第一选项卡、所述第二选项卡和所述第二虚拟按钮从上至下依次排列。
25.根据权利要求24所述的方法,其特征在于,
当接收到针对所述第三虚拟按钮的预设操作时,在第六显示区域显示输入界面,所述显示输入界面用于输入自定义的平面名称;
其中,所述第六显示区域覆盖所述第五显示区域的全部,以及所述第二显示区域、所述第三显示区域和所述第四显示区域的下半部分。
26.根据权利要求24所述的方法,其特征在于,
当接收到针对所述第一选项卡的预设操作时,在所述第一选项卡的下方显示第一悬浮菜单,其中,所述第一悬浮菜单用于显示至少一个预设平面;
当接收到针对所述至少一个预设平面中任意一个预设平面的预设操作时,在所述第三显示区域显示所述任意一个预设平面,并将所述任意一个预设平面的平面参数赋予所述当前选择的安全平面。
27.根据权利要求24所述的方法,其特征在于,
当接收到针对所述第二选项卡的预设操作时,在所述第二选项卡的下方显示第二悬浮菜单,其中,所述第二悬浮菜单用于显示至少一个预设限制模式;
当接收到针对所述至少一个预设限制模式中任意一个预设限制模式的预设操作时,将所述当前选择的安全平面的平面模式确定为所述任意一个预设限制模式。
28.一种控制设备,其特征在于,应用于机械臂,所述机械臂包括有示教器,所述控制设备包括用于执行权利要求1-27中任一项所述的方法的单元。
29.一种电子装置,其特征在于,包括:存储器,用于存储程序;处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行权利要求1-27中任一项所述的方法。
30.一种计算机可读介质,其特征在于,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行权利要求1-27中任一项所述的方法。
CN202310179185.6A 2023-03-01 2023-03-01 机械臂安全平面信息显示方法及相关产品 Active CN115847384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310179185.6A CN115847384B (zh) 2023-03-01 2023-03-01 机械臂安全平面信息显示方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310179185.6A CN115847384B (zh) 2023-03-01 2023-03-01 机械臂安全平面信息显示方法及相关产品

Publications (2)

Publication Number Publication Date
CN115847384A CN115847384A (zh) 2023-03-28
CN115847384B true CN115847384B (zh) 2023-05-05

Family

ID=85659350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310179185.6A Active CN115847384B (zh) 2023-03-01 2023-03-01 机械臂安全平面信息显示方法及相关产品

Country Status (1)

Country Link
CN (1) CN115847384B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116901111B (zh) * 2023-09-12 2023-11-21 广州太威机械有限公司 一种外部调节机器人加工参数的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981228A (ja) * 1995-09-19 1997-03-28 Fanuc Ltd ロボット教示操作盤およびロボットプログラムの更新方法
JPH09171402A (ja) * 1995-12-20 1997-06-30 Tokico Ltd ロボット制御装置
JP6250901B2 (ja) * 2015-10-28 2017-12-20 ファナック株式会社 Cncとロボット制御装置が通信ネットワークを介して接続されたロボットシステム
JP6918847B2 (ja) * 2019-01-11 2021-08-11 ファナック株式会社 機械の教示に用いる機械教示端末、教示システム、プログラム及び安全確認方法
WO2022034686A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 動作範囲設定装置、動作範囲設定方法及び記録媒体
JP2022088884A (ja) * 2020-12-03 2022-06-15 セイコーエプソン株式会社 コンピュータープログラム、及び、ロボットの教示方法

Also Published As

Publication number Publication date
CN115847384A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US11842438B2 (en) Method and terminal device for determining occluded area of virtual object
US10713812B2 (en) Method and apparatus for determining facial pose angle, and computer storage medium
CN110070556B (zh) 使用深度传感器的结构建模
EP4006847A1 (en) Virtual object processing method and apparatus, and storage medium and electronic device
DE102016125811A1 (de) Zweihändige Objektmanipulationen in der virtuellen Realität
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN112907760B (zh) 三维对象的标注方法及装置、工具、电子设备和存储介质
EP4102458A1 (en) Method and apparatus for identifying scene contour, and computer-readable medium and electronic device
CN112991178B (zh) 图像拼接方法、装置、设备和介质
WO2012142257A1 (en) Transform manipulator control
CN111862333A (zh) 基于增强现实的内容处理方法、装置、终端设备及存储介质
CN111722245A (zh) 定位方法、定位装置和电子设备
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
CN114648615B (zh) 目标对象交互式重现的控制方法、装置、设备及存储介质
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
CN110489027A (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
CN113849112B (zh) 适用于电网调控的增强现实交互方法、装置及存储介质
CN113129362B (zh) 一种三维坐标数据的获取方法及装置
US20230206573A1 (en) Method of learning a target object by detecting an edge from a digital model of the target object and setting sample points, and method of augmenting a virtual model on a real object implementing the target object using the learning method
CN105302310B (zh) 一种手势识别装置、系统及方法
CN114266849A (zh) 模型自动生成方法、装置、计算机设备及存储介质
CN113421343A (zh) 基于增强现实观测设备内部结构的方法
US12033293B1 (en) Use of virtual tablets in extended reality environments
CN112328155B (zh) 输入设备的控制方法、装置和电子设备
US20240127456A1 (en) Method for learning a target object by extracting an edge from a digital model of the target object, and a method for augmenting a virtual model on a real object corresponding to the digital model of the target object using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant