CN115946109B - 空间机械臂运动过程监视方法及装置 - Google Patents
空间机械臂运动过程监视方法及装置 Download PDFInfo
- Publication number
- CN115946109B CN115946109B CN202211245244.7A CN202211245244A CN115946109B CN 115946109 B CN115946109 B CN 115946109B CN 202211245244 A CN202211245244 A CN 202211245244A CN 115946109 B CN115946109 B CN 115946109B
- Authority
- CN
- China
- Prior art keywords
- motion
- space manipulator
- manipulator
- mechanical arm
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 245
- 230000008569 process Effects 0.000 title claims abstract description 198
- 238000012544 monitoring process Methods 0.000 title claims abstract description 128
- 238000004458 analytical method Methods 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000004088 simulation Methods 0.000 claims abstract description 44
- 101100369993 Mus musculus Tnfsf10 gene Proteins 0.000 claims abstract description 32
- 238000013439 planning Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明提供了一种空间机械臂运动过程监视方法及装置，该方法包括：确定空间机械臂执行目标任务的多个运动过程中间点；构建空间机械臂的仿真运动轨迹序列；构建空间机械臂的实际运动轨迹序列；对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析；基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；结合拟合分析结果、计算值、实际值，对当前空间机械臂的运动状态进行评估。本发明可以对空间机械臂过程进行自动化监视。
Description
技术领域
本发明涉及航天测控、自动化监视领域，尤其涉及一种空间机械臂过程监视方法及装置。
背景技术
空间机械臂在运动过程中，由于空间机械臂涉及分系统多，工作状况复杂，地面人员需要针对运动过程与工作状态进行时刻跟踪。
对于空间机械臂的运动过程监视，传统方案中，地面操控人员主要根据空间机械臂运动过程相关参数，设计状态监视页面，通过对下传的遥测信息中相关参数的直接比对对当前运动状态进行评估；同时在空间机械臂运动过程中，观察相机传回的图像对运动过程进行监视，获知当前工作状态，确认无误后进行后续决策。然而，这种半自动化的空间机械臂运动状态监视过程仍然存在较大问题。
首先，状态监视页面中对各运动参数进行直接比对只能粗略的获知当前运动到位情况，缺乏对当前空间机械臂运动过程的定量分析，使得后续决策过程存在隐患风险；
其次，由于相机视场不同，地面操控人员在空间机械臂运动过程中需要采用手工切换的方式对主要监控画面进行切换，且监控过程仅能够粗略的定性观察，同样缺乏精确的定量分析，无法通过画面判定机械臂运动是否到位；
最后，半自动化的运动状态监视过程仍需操控人员时刻紧盯状态进行判断，各个分系统工况复杂多变，长时间的任务周期对人员精力提出了极大的挑战。
因此，针对以上问题，目前缺乏一种全自动化的空间机械臂过程监视方案。
发明内容
本发明实施例提出一种空间机械臂运动过程监视方法，用以对空间机械臂过程进行自动化监视，该方法包括：
确定空间机械臂执行目标任务的多个运动过程中间点；
利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；
根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
本发明实施例提出一种空间机械臂运动过程监视装置，用以对空间机械臂过程进行自动化监视，该装置包括：
中间点确定模块，用于确定空间机械臂执行目标任务的多个运动过程中间点；
仿真运动轨迹序列构建模块，用于利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；
实际运动轨迹序列构建模块，用于根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
拟合分析模块，用于对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
主监视相机确定模块，用于基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
机械臂空间位置计算模块，用于利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
运动状态评估模块，用于结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述空间机械臂运动过程监视方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述空间机械臂运动过程监视方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述空间机械臂运动过程监视方法。
本发明实施例中，确定空间机械臂执行目标任务的多个运动过程中间点；利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。在上述过程中，首先分析了空间机械臂执行目标任务的多个运动过程中间点，然后分别构建了空间机械臂的仿真运动轨迹序列和实际运动轨迹序列，并进行了拟合程度分析；然后，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机，并计算了机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，使得最终可以结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。从过程的角度展开了对空间机械臂运动状态的分析监视，最大程度地节省了空间机械臂任务中监视过程的人力成本，实现了监视过程的全自动管理，实现了空间机械臂的运动状态的实时确认，为空间机械臂长期服役提供有力技术保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中空间机械臂运动过程监视方法的流程图；
图2为本发明实施例中确定运动过程中间点的流程图；
图3为本发明实施例中构建空间机械臂的仿真运动轨迹序列的流程图；
图4为本发明实施例中构建空间机械臂的实际运动轨迹序列的流程图；
图5为本发明实施例中采用双样本KS检验法对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析的流程图；
图6为本发明实施例中关节点检测模型的训练流程图；
图7为本发明实施例中深度神经网络的结构示意图；
图8为本发明实施例中深度神经网络多尺度特征信息融合模块结构示意图；
图9为本发明实施例中确定主监视相机的流程图；
图10为本发明实施例中关节之间的结构示意图；
图11为本发明实施例中空间机械臂运动过程监视的详细流程图；
图12为本发明实施例中空间机械臂运动过程监视装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
图1为本发明实施例中空间机械臂运动过程监视方法的流程图，如图1所示，该方法包括：
步骤101，确定空间机械臂执行目标任务的多个运动过程中间点；
步骤102，利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；
步骤103，根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
步骤104，对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
步骤105，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
步骤106，利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
步骤107，结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
在本发明实施例中，首先分析了空间机械臂执行目标任务的多个运动过程中间点，然后分别构建了空间机械臂的仿真运动轨迹序列和实际运动轨迹序列，并进行了拟合程度分析；然后，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机，并计算了机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，使得最终可以结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。从过程的角度展开了对空间机械臂运动状态的分析监视，最大程度地节省了空间机械臂任务中监视过程的人力成本，实现了监视过程的全自动管理，实现了空间机械臂的运动状态的实时确认，为空间机械臂长期服役提供有力技术保障。
在步骤101中，确定空间机械臂执行目标任务的多个运动过程中间点；
图2为本发明实施例中确定运动过程中间点的流程图，在一实施例中，确定空间机械臂执行目标任务的多个运动过程中间点，包括：
步骤201，根据预先制定的目标任务的运动规划文件，获得空间机械臂执行目标任务的多个子运动过程；
空间机械臂在执行运动过程前，地面操控人员通常会事先根据空间机械臂的目标任务规划，制订空间机械臂的运动规划文件。根据该运动规划文件，将完整的运动阶段分为多个子运动过程；
步骤202，对每个子运动过程，将该子运动过程中空间机械臂的目标位置确定为运动过程中间点；
例如空间机械臂在某基座处于常态构型希望向下一基座运动时，整个运动过程需要分解为多个子运动过程，其中间点包括中间构型点、抓取起始点、抓取后释放点和停泊点，中间点的命名主要根据运动子过程意图决定；
步骤203，采用空间机械臂的关节角度与末端位姿表示所述运动过程中间点。
空间机械臂在运动过程中，地面操控人员主要关注空间机械臂的各关节角度与末端位姿。因为相较其他参数而言，关节角度与末端位姿能够体现当前空间机械臂的运动构型和位置等信息。此处以常见的7关节空间机械臂作为对象进行说明。设运动阶段A共有n-1个子过程，即包含运动起点和终点共有n个运动中间点S1,S2,...,Sn。由关节角度和末端位姿描述的中间点Si为，
在步骤102中，利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；空间机械臂的各个关节角度与末端位姿与其他参数不同，简单的通过设定阈值仅能够对子运动结果进行粗略的观察，无法对过程定量地进行精确分析，因此需要事先针对空间机械臂各子运动过程进行仿真得到子运动仿真轨迹序列。
图3为本发明实施例中构建空间机械臂的仿真运动轨迹序列的流程图，在一实施例中，利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列，包括：
步骤301，对于任意两个相邻运动过程中间点Si和Si+1，利用仿真软件模拟出空间机械臂在该两个相邻运动过程中间点之间的仿真运动轨迹；例如，可采用仿真软件根据代价函数等参数，模拟出机械臂从Si运动至Si+1的仿真运动轨迹；
步骤302，对所述仿真运动轨迹进行采样，获得该两个相邻运动过程中间点之间的仿真运动轨迹序列；采样点数量为mi，则定义Si运动至Si+1的仿真轨迹序列为
步骤303，拼接所有的仿真运动轨迹序列，获得空间机械臂的仿真运动轨迹序列。
仿真运动轨迹序列包含空间机械臂的各个关节角度与末端位姿。因此对于目标任务的运动阶段A，其对应的仿真运动轨迹序列为
在步骤103中，根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
图4为本发明实施例中构建空间机械臂的实际运动轨迹序列的流程图，在一实施例中，根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列，包括：
步骤401，对于任意两个相邻运动过程中间点，结合当前空间机械臂的运动状态标志，将遥测信息中空间机械臂在两个相邻运动过程中间点的关节角度与末端位姿，整合成该两个相邻运动过程中间点的实际运动轨迹序列；
步骤402，拼接所有的实际运动轨迹序列，获得空间机械臂的实际运动轨迹序列。
具体地，在遥测信息中，选取机械臂各关节角度、末端位姿以及运动状态标志进行运动过程分析。其中，运动状态标志代表机械臂当前处于运动状态还是停止状态；
当机械臂在相邻中间点间运动，运动状态标志为运动状态时，遥测信息中各关节角度与末端位姿信息开始变化；运动到位后，运动状态标志变为停止状态，遥测信息中各关节角度与末端位姿信息停止变化。结合该运动状态标志与运动过程中间点S1,S2,...,Sn，将遥测信息中的各关节角度与末端位姿整合成为实际运动轨迹序列其中代表机械臂从Si运动至Si+1的运动轨迹，ki为该实际运动轨迹序列中轨迹点(也可称为采样点)数目，轨迹点包含空间机械臂的各关节角度与末端位姿。
在步骤104中，对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
为了评估空间机械臂在整个运动过程中的运动状态是否与期望一致，需进行拟合度分析。在一实施例中，对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果，包括：
如图5所示，采用如下的双样本KS检验法对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析：
步骤501，对仿真运动轨迹序列中的关节角度和末端位姿进行拆解，获得多个第一变量
步骤502，对实际运动轨迹序列中的关节角度和末端位姿进行拆解，获得多个第二变量其中，第一变量和第二变量一一对应；
步骤503，依次比对两个对应的第一变量和第二变量是否满足第一假设，所述第一假设为来自于同一分布；
步骤504，在所有对应的第一变量和第二变量均满足第一假设时，确定拟合分析结果为实际运动轨迹序列满足事先规划。
具体地，第一假设H0：实际运动轨迹与仿真运动轨迹中包含的序列数据信息来自于同一数据分布；第二假设H1：与来自不同数据分布。
在一实施例中，依次比对两个对应的第一变量和第二变量是否来自同一分布，包括：
对于两个对应的第一变量和第二变量采用如下公式，计算第一变量和第二变量的累积分布函数最大间隔距离：
在时，确定第一变量和第二变量来自于不同分布，即拒绝H0，否则不拒绝H0；
其中，
第一变量为运动过程中间点Si运动至运动过程中间点Si+1的仿真轨迹序列；第二变量为运动过程中间点Si运动至运动过程中间点Si+1的实际轨迹序列；
mi为第一变量的采样点数量；ki为第二变量的采样点数量；
n为运动过程中间点的总数；
为第一变量和第二变量的累积分布函数最大间隔距离；
α为显著性水平。
在步骤105中，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
其中，空间机械臂的关节点检测模型可以通过深度神经网络训练获得，通常为监视空间机械臂的实际运动过程，会在空间机械臂附近安装不同角度以及不同视角的监视相机。本步骤对历史运动过程中监视相机拍摄的影像数据进行分析处理。
图6为本发明实施例中关节点检测模型的训练流程图，在一实施例中，所述方法还包括：
采用如下步骤构建空间机械臂的关节点检测模型：
步骤601，对空间机械臂历史运动过程中监视相机拍摄的影像数据中的机械臂部分进行标注，生成空间机械臂关节点标注数据，作为关节点检测数据集；
具体地，对大量影像数据进行标注过程中，考虑到空间机械臂关节在影像数据中不应当做一个像素点，标注过程首先选取标注点O，认定该标定点处为机械臂关节的概率为1，随后以标注点为中心取半径为r的圆形区域，圆形区域内像素点对应机械臂关节的概率以点O为中心呈现高斯分布。具体地，
其中μ为正态分布的均值，σ为方差。
步骤602，将所述关节点检测数据集划分为训练集和测试集；例如，选取70％的数据作为训练集，30％的数据作为测试集；
步骤603，使用深度神经网络，构建空间机械臂的关节点检测模型；本发明实施例使用的空间机械臂的关节点检测模型的深度神经网络以HRNet为基础进行了结构调整，记最后训练得到的网络为Net。Net中包括卷积模块、瓶颈模块以及多尺度特征信息融合模块，图7为本发明实施例中网络Net的具体结构。网络Net的具体结构调整是根据本发明中提出的空间机械臂关节点检测任务进行了简化。网络Net中，卷积模块具体包括卷积、批标准化以及修正线性单元处理。瓶颈模块通过一系列卷积操作对特征通道数进行处理。多尺度特征信息融合模块中采用多尺度特征并行处理相互信息融合的方法，避免了传统深度神经网络中采用单一上采样和下采样对特征细节的丢失，图8为本发明实施例中网络Net中多尺度特征信息融合模块具体结构示意。最终再通过卷积模块得到关节点检测结果。对于尺寸为H×W×3的输入图片，最终通过网络Net得到H×W×N的检测结果，其中N为空间机械臂关节个数。深度神经网络所使用的损失函数为：
其中yi为网络输出的第i个关节点检测结果，ai为第i个关节点对应标注真值，N为空间机械臂关节个数，L为最终损失。
步骤604，重复执行以下步骤，直至关节点检测模型的正确性达到预设阈值，输出此时的关节点检测模型：
步骤605，使用训练集训练所述关节点检测模型，获得训练后的关节点检测模型；
步骤606，使用测试集测试训练后的关节点检测模型，计算关节点检测模型的正确性。
具体地，利用关键点相似度指标OKS来衡量关节点检测模型的正确性，如果计算的OKS平均值低于给定阈值，则返回继续训练深度神经网络，重新训练得出新的关节点检测模型，并进行验证直至OKS高于给定阈值。
OKS指标可用式(3)来表示：
其中，i代表关键点序号，di代表模型预测关键点结果与真值的欧氏距离，s代表当前图像中机械臂的尺度因子，ki代表该关键点的归一化因子，vi代表当前关键点是否可见。
图9为本发明实施例中确定主监视相机的流程图，在一实施例中，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机，包括：
步骤901，将每个监视相机拍摄的影像数据，输入至空间机械臂的关节点检测模型，得到每个监视相机拍摄的影像数据对应的关节点检测结果；
步骤902，利用关节点检测结果对当前影像数据中可见机械臂长进行估计。具体地，利用当前影像数据中得到的关节点检测结果，按照关节顺序进行连接得到一组线段l，并以线段l长度作为当前影像数据中的可见机械臂长；
步骤903，根据当前影像数据中的可见机械臂长与可见关节点数量，确定影像数据的优先级；具体地，当前影像数据中的可见机械臂越长，可见关节点数量越多，优先级越高。
步骤904，确定优先级最高的影像数据对应的监视相机为主监视相机。
在步骤106中，利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
在一实施例中，利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值，包括：
利用多个运动过程中间点，结合机械臂的DH模型，推算机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的各关节与末端的空间位置的计算值。
DH模型主要应用于多连杆串联的机械臂系统中，通过一系列齐次变换能够实现机械臂末端和基座之间的坐标系变换。在机械臂关节i和i+1之间，DH模型对以下4个变量进行分析：臂杆i的长度ai，臂杆i的扭角αi，臂杆i+1相对臂杆i的偏置di+1以及臂杆i+1相对臂杆i的旋转关节角θi+1，图10为本发明实施例中关节之间的结构示意图，机械臂关节i和i+1之间的转换矩阵为：
其中Ri为旋转矩阵，为旋转关节角θi+1与臂杆i的扭角αi的旋转矩阵的乘积。偏移矩阵Ti＝[ai 0 di+1]T。假设机械臂共有N个关节，末端到关节1的转换矩阵为P0，关节1后至下一关节的转换矩阵为P1～PN-1，则可在已知DH模型参数的情况下通过基座位姿推算得到末端位姿。
记其中∏意义为矩阵按序号相乘，即(xend,yend,zend)代表机械臂末端在世界坐标系中的坐标，(xbase,ybase,zbase)代表机械臂基座在世界坐标系中的坐标。
在得到末端位置后，需要将机械臂末端在世界坐标系中的坐标(x',y',z')投影至主监视相机所拍摄的影像平面的图像坐标系得到像素点(u,v)，如公式(6)所示。对于主监视相机，公式中fx和fy为焦距参数，u0和v0为图像坐标系中心到像素坐标系中心的偏移量。R'和T'为世界坐标系到相机坐标系的旋转矩阵和偏移矩阵，s为系数。至此可得机械臂末端对应在影像平面中的位置。
在步骤107中，结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
在一实施例中，结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估，包括：
比对影像平面中机械臂的各关节与末端的空间位置的计算值与实际值，在机械臂的各关节与末端的空间位置的计算值与实际值重合时，确定影像数据满足事先规划；
在拟合分析结果为实际运动轨迹序列满足事先规划，且影像数据满足事先规划，确定当前空间机械臂运动过程和到位结果无偏差；
在拟合分析结果为实际运动轨迹序列不满足事先规划，且影像数据满足事先规划，确定当前空间机械臂运动过程存在偏差，但到位结果无偏差，可提出运动过程存在偏差的预警，告知地面工作人员需要进一步密切关注机械臂运动过程中各系统的工作情况；
在拟合分析结果为实际运动轨迹序列不满足事先规划，且影像数据不满足事先规划，确定当前空间机械臂运动过程且到位结果均存在偏差，此时需要进行修正，需要告知地面工作人员采取手动微调的方式对机械臂进行位置微调。
综合上述实施例，下面给出一个空间机械臂运动过程监视的详细流程，如图11所示，当然，还可以给出其他流程，相关变化例均应落入本发明的保护范围。
综上所述，在本发明实施例提出的方法中，首先分析了空间机械臂执行目标任务的多个运动过程中间点，然后分别构建了空间机械臂的仿真运动轨迹序列和实际运动轨迹序列，并进行了拟合程度分析；然后，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机，并计算了机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，使得最终可以结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。从过程的角度展开了对空间机械臂运动状态的分析监视，最大程度地节省了空间机械臂任务中监视过程的人力成本，实现了监视过程的全自动管理，实现了空间机械臂的运动状态的实时确认，为空间机械臂长期服役提供有力技术保障。
本发明实施例还提出一种空间机械臂运动过程监视装置，其原理与空间机械臂运动过程监视方法类似，这里不再赘述。
图12为本发明实施例中空间机械臂运动过程监视装置的示意图，包括：
中间点确定模块1201，用于确定空间机械臂执行目标任务的多个运动过程中间点；
仿真运动轨迹序列构建模块1202，用于利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；
实际运动轨迹序列构建模块1203，用于根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
拟合分析模块1204，用于对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
主监视相机确定模块1205，用于基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
机械臂空间位置计算模块1206，用于利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
运动状态评估模块1207，用于结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
在一实施例中，中间点确定模块具体用于：
根据预先制定的目标任务的运动规划文件，获得空间机械臂执行目标任务的多个子运动过程；
对每个子运动过程，将该子运动过程中空间机械臂的目标位置确定为运动过程中间点；
采用空间机械臂的关节角度与末端位姿表示所述运动过程中间点。
在一实施例中，仿真运动轨迹序列构建模块具体用于：
对于任意两个相邻运动过程中间点，借助仿真软件模拟出空间机械臂在该两个相邻运动过程中间点之间的仿真运动轨迹；
对所述仿真运动轨迹进行采样，获得该两个相邻运动过程中间点之间的仿真运动轨迹序列；
拼接所有的仿真运动轨迹序列，获得空间机械臂的仿真运动轨迹序列。
在一实施例中，实际运动轨迹序列构建模块具体用于：
对于任意两个相邻运动过程中间点，结合当前空间机械臂的运动状态标志，将遥测信息中空间机械臂在两个相邻运动过程中间点的关节角度与末端位姿，整合成该两个相邻运动过程中间点的实际运动轨迹序列；
拼接所有的实际运动轨迹序列，获得空间机械臂的实际运动轨迹序列。
在一实施例中，拟合分析模块具体用于：
采用如下的双样本KS检验法对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析：
对仿真运动轨迹序列中的关节角度和末端位姿进行拆解，获得多个第一变量；
对实际运动轨迹序列中的关节角度和末端位姿进行拆解，获得多个第二变量，其中，第一变量和第二变量一一对应；
依次比对两个对应的第一变量和第二变量是否满足第一假设，所述第一假设为来自于同一分布；
在所有对应的第一变量和第二变量均满足第一假设时，确定拟合分析结果为实际运动轨迹序列满足事先规划。
在一实施例中，拟合分析模块具体用于：
对于两个对应的第一变量和第二变量采用如下公式，计算第一变量和第二变量的累积分布函数最大间隔距离：
在时，确定第一变量和第二变量来自于同一分布；
其中，
第一变量为运动过程中间点Si运动至运动过程中间点Si+1的仿真轨迹序列；第二变量为运动过程中间点Si运动至运动过程中间点Si+1的实际轨迹序列；
mi为第一变量的采样点数量；ki为第二变量的采样点数量；
n为运动过程中间点的总数；
为第一变量和第二变量的累积分布函数最大间隔距离；
α为显著性水平。
在一实施例中，所述装置还包括关节点检测模型训练模块，用于：
采用如下步骤构建空间机械臂的关节点检测模型：
对空间机械臂历史运动过程中监视相机拍摄的影像数据中的机械臂部分进行标注，生成空间机械臂关节点标注数据，作为关节点检测数据集；
将所述关节点检测数据集划分为训练集和测试集；
使用深度神经网络，构建空间机械臂的关节点检测模型；
重复执行以下步骤，直至关节点检测模型的正确性达到预设阈值，输出此时的关节点检测模型：
使用训练集训练所述关节点检测模型，获得训练后的关节点检测模型；
使用测试集测试训练后的关节点检测模型，计算关节点检测模型的正确性。
在一实施例中，主监视相机确定模块具体用于：
将每个监视相机拍摄的影像数据，输入至空间机械臂的关节点检测模型，得到每个监视相机拍摄的影像数据对应的关节点检测结果；
利用关节点检测结果对当前影像数据中可见机械臂长进行估计；
根据当前影像数据中的可见机械臂长与可见关节点数量，确定影像数据的优先级；
确定优先级最高的影像数据对应的监视相机为主监视相机。
在一实施例中，机械臂空间位置计算模块具体用于：
利用多个运动过程中间点，结合机械臂的DH模型，推算机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的各关节与末端的空间位置的计算值。
在一实施例中，运动状态评估模块具体用于：
比对影像平面中机械臂的各关节与末端的空间位置的计算值与实际值，在机械臂的各关节与末端的空间位置的计算值与实际值重合时，确定影像数据满足事先规划；
在拟合分析结果为实际运动轨迹序列满足事先规划，且影像数据满足事先规划，确定当前空间机械臂运动过程和到位结果无偏差；
在拟合分析结果为实际运动轨迹序列不满足事先规划，且影像数据满足事先规划，确定当前空间机械臂运动过程存在偏差，但到位结果无偏差；
在拟合分析结果为实际运动轨迹序列不满足事先规划，且影像数据不满足事先规划，确定当前空间机械臂运动过程且到位结果均存在偏差。
综上所述，在本发明实施例提出的装置中，首先分析了空间机械臂执行目标任务的多个运动过程中间点，然后分别构建了空间机械臂的仿真运动轨迹序列和实际运动轨迹序列，并进行了拟合程度分析；然后，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机，并计算了机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，使得最终可以结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。从过程的角度展开了对空间机械臂运动状态的分析监视，最大程度地节省了空间机械臂任务中监视过程的人力成本，实现了监视过程的全自动管理，实现了空间机械臂的运动状态的实时确认，为空间机械臂长期服役提供有力技术保障。
本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述空间机械臂运动过程监视方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述空间机械臂运动过程监视方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述空间机械臂运动过程监视方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种空间机械臂运动过程监视方法，其特征在于，包括：
确定空间机械臂执行目标任务的多个运动过程中间点；
利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；
根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
2.如权利要求1所述的方法，其特征在于，确定空间机械臂执行目标任务的多个运动过程中间点，包括：
根据预先制定的目标任务的运动规划文件，获得空间机械臂执行目标任务的多个子运动过程；
对每个子运动过程，将该子运动过程中空间机械臂的目标位置确定为运动过程中间点；
采用空间机械臂的关节角度与末端位姿表示所述运动过程中间点。
3.如权利要求2所述的方法，其特征在于，利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列，包括：
对于任意两个相邻运动过程中间点，借助仿真软件模拟出空间机械臂在该两个相邻运动过程中间点之间的仿真运动轨迹；
对所述仿真运动轨迹进行采样，获得该两个相邻运动过程中间点之间的仿真运动轨迹序列；
拼接所有的仿真运动轨迹序列，获得空间机械臂的仿真运动轨迹序列。
4.如权利要求2所述的方法，其特征在于，根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列，包括：
对于任意两个相邻运动过程中间点，结合当前空间机械臂的运动状态标志，将遥测信息中空间机械臂在两个相邻运动过程中间点的关节角度与末端位姿，整合成该两个相邻运动过程中间点的实际运动轨迹序列；
拼接所有的实际运动轨迹序列，获得空间机械臂的实际运动轨迹序列。
5.如权利要求2所述的方法，其特征在于，对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果，包括：
采用如下的双样本KS检验法对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析：
对仿真运动轨迹序列中的关节角度和末端位姿进行拆解，获得多个第一变量；
对实际运动轨迹序列中的关节角度和末端位姿进行拆解，获得多个第二变量，其中，第一变量和第二变量一一对应；
依次比对两个对应的第一变量和第二变量是否满足第一假设，所述第一假设为来自于同一分布；
在所有对应的第一变量和第二变量均满足第一假设时，确定拟合分析结果为实际运动轨迹序列满足事先规划。
6.如权利要求5所述的方法，其特征在于，依次比对两个对应的第一变量和第二变量是否来自同一分布，包括：
对于两个对应的第一变量和第二变量采用如下公式，计算第一变量和第二变量的累积分布函数最大间隔距离：
在时，确定第一变量和第二变量来自于同一分布；
其中，
第一变量为运动过程中间点Si运动至运动过程中间点Si+1的仿真轨迹序列；
第二变量Qi,ki为运动过程中间点Si运动至运动过程中间点Si+1的实际轨迹序列；
mi为第一变量的采样点数量；ki为第二变量的采样点数量；
n为运动过程中间点的总数；
为第一变量和第二变量的累积分布函数最大间隔距离；
α为显著性水平。
7.如权利要求5所述的方法，其特征在于，还包括：
采用如下步骤构建空间机械臂的关节点检测模型：
对空间机械臂历史运动过程中监视相机拍摄的影像数据中的机械臂部分进行标注，生成空间机械臂关节点标注数据，作为关节点检测数据集；
将所述关节点检测数据集划分为训练集和测试集；
使用深度神经网络，构建空间机械臂的关节点检测模型；
重复执行以下步骤，直至关节点检测模型的正确性达到预设阈值，输出此时的关节点检测模型：
使用训练集训练所述关节点检测模型，获得训练后的关节点检测模型；
使用测试集测试训练后的关节点检测模型，计算关节点检测模型的正确性。
8.如权利要求1所述的方法，其特征在于，基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机，包括：
将每个监视相机拍摄的影像数据，输入至空间机械臂的关节点检测模型，得到每个监视相机拍摄的影像数据对应的关节点检测结果；
利用关节点检测结果对当前影像数据中可见机械臂长进行估计；
根据当前影像数据中的可见机械臂长与可见关节点数量，确定影像数据的优先级；
确定优先级最高的影像数据对应的监视相机为主监视相机。
9.如权利要求1所述的方法，其特征在于，利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值，包括：
利用多个运动过程中间点，结合机械臂的DH模型，推算机械臂的各关节与末端的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的各关节与末端的空间位置的计算值。
10.如权利要求9所述的方法，其特征在于，结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估，包括：
比对影像平面中机械臂的各关节与末端的空间位置的计算值与实际值，在机械臂的各关节与末端的空间位置的计算值与实际值重合时，确定影像数据满足事先规划；
在拟合分析结果为实际运动轨迹序列满足事先规划，且影像数据满足事先规划，确定当前空间机械臂运动过程和到位结果无偏差；
在拟合分析结果为实际运动轨迹序列不满足事先规划，且影像数据满足事先规划，确定当前空间机械臂运动过程存在偏差，但到位结果无偏差；
在拟合分析结果为实际运动轨迹序列不满足事先规划，且影像数据不满足事先规划，确定当前空间机械臂运动过程且到位结果均存在偏差。
11.一种空间机械臂运动过程监视装置，其特征在于，包括：
中间点确定模块，用于确定空间机械臂执行目标任务的多个运动过程中间点；
仿真运动轨迹序列构建模块，用于利用多个运动过程中间点，结合空间机械臂的运动过程的仿真运动轨迹，构建空间机械臂的仿真运动轨迹序列；
实际运动轨迹序列构建模块，用于根据空间机械臂在运动过程中的遥测信息，利用多个运动过程中间点，构建空间机械臂的实际运动轨迹序列；
拟合分析模块，用于对仿真运动轨迹序列和实际运动轨迹序列进行拟合程度分析，获得拟合分析结果；
主监视相机确定模块，用于基于空间机械臂的关节点检测模型，分析当前空间机械臂运动任务过程中多个监视相机拍摄的影像数据的优先级，根据所述优先级，确定主监视相机；
机械臂空间位置计算模块，用于利用多个运动过程中间点，推算机械臂的空间位置，并投影至主监视相机拍摄的影像平面，获得影像平面中机械臂的空间位置的计算值；
运动状态评估模块，用于结合拟合分析结果、主监视相机拍摄的影像平面中机械臂的空间位置的计算值和实际值，对当前空间机械臂的运动状态进行评估。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一所述方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211245244.7A CN115946109B (zh) | 2022-10-12 | 2022-10-12 | 空间机械臂运动过程监视方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211245244.7A CN115946109B (zh) | 2022-10-12 | 2022-10-12 | 空间机械臂运动过程监视方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115946109A CN115946109A (zh) | 2023-04-11 |
| CN115946109B true CN115946109B (zh) | 2024-09-03 |
Family
ID=87290322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211245244.7A Active CN115946109B (zh) | 2022-10-12 | 2022-10-12 | 空间机械臂运动过程监视方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115946109B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117381261B (zh) * | 2023-12-13 | 2024-03-08 | 德阳市华建机械设备有限公司 | 一种自动化焊接机的故障识别装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111347426A (zh) * | 2020-03-26 | 2020-06-30 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
| CN114952868A (zh) * | 2022-07-26 | 2022-08-30 | 之江实验室 | 7自由度srs型机械臂控制方法及装置、弹琴机器人 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107921639B (zh) * | 2015-08-25 | 2021-09-21 | 川崎重工业株式会社 | 多个机器人系统间的信息共享系统及信息共享方法 |
| KR101987823B1 (ko) * | 2017-06-22 | 2019-06-13 | 아엠아이테크 주식회사 | 양팔 로봇 시스템 |
| CN110238831B (zh) * | 2019-07-23 | 2020-09-18 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
-
2022
- 2022-10-12 CN CN202211245244.7A patent/CN115946109B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111347426A (zh) * | 2020-03-26 | 2020-06-30 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
| CN114952868A (zh) * | 2022-07-26 | 2022-08-30 | 之江实验室 | 7自由度srs型机械臂控制方法及装置、弹琴机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115946109A (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110266938B (zh) | 基于深度学习的变电站设备智能拍摄方法及装置 | |
| CN115946109B (zh) | 空间机械臂运动过程监视方法及装置 | |
| CN111191714A (zh) | 桥梁外观损伤病害智能识别方法 | |
| CN111222438A (zh) | 一种基于深度学习的行人轨迹预测方法和系统 | |
| CN114792319A (zh) | 一种基于变电图像的变电站巡检方法及系统 | |
| CN108791302B (zh) | 驾驶员行为建模系统 | |
| CN115471625A (zh) | 一种云机器人平台大数据智能决策方法和系统 | |
| CN110132242A (zh) | 多摄像机即时定位与地图构建的三角化方法及其运动体 | |
| CN108399609B (zh) | 一种三维点云数据的修补方法、装置和机器人 | |
| CN116957165A (zh) | 电厂施工工期进度优化方法 | |
| CN116501005A (zh) | 一种数字孪生联动的工厂运行管理方法及系统 | |
| CN112627538B (zh) | 基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法 | |
| CN114367988A (zh) | 一种煤矿自主巡检平台上的机械臂运动规划方法和装置 | |
| CN117010673A (zh) | 一种木结构历史建筑结构构件表征损伤的鉴定方法及系统 | |
| CN110320802B (zh) | 基于数据可视化的复杂系统信号时序识别方法 | |
| CN108789426A (zh) | 表面处理机械人 | |
| CN113799128B (zh) | 机械臂运动轨迹的展示方法及其展示装置、电子设备 | |
| CN115781082B (zh) | 一种标准节自动焊接方法、系统、装置和存储介质 | |
| CN116912198A (zh) | 基于机器视觉的混凝土振捣施工质量监测方法和系统 | |
| CN114358038B (zh) | 一种基于车辆高精度定位的二维码坐标标定方法及装置 | |
| CN114104005A (zh) | 自动驾驶设备的决策方法、装置、设备及可读存储介质 | |
| CN113204246A (zh) | 一种无人机运行状态检测方法 | |
| CN117541998B (zh) | 一种基于贝叶斯神经网络的行人轨迹融合预测方法 | |
| CN116846892B (zh) | 一种应用边缘计算的能耗智能化监管系统及方法 | |
| CN118238182B (zh) | 一种针对amr机器人集群轨迹的质量评估方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |