CN116977434A - 基于追踪相机的目标行为追踪方法及系统 - Google Patents

基于追踪相机的目标行为追踪方法及系统 Download PDF

Info

Publication number
CN116977434A
CN116977434A CN202311039818.XA CN202311039818A CN116977434A CN 116977434 A CN116977434 A CN 116977434A CN 202311039818 A CN202311039818 A CN 202311039818A CN 116977434 A CN116977434 A CN 116977434A
Authority
CN
China
Prior art keywords
mechanical arm
target
initial
state vector
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311039818.XA
Other languages
English (en)
Other versions
CN116977434B (zh
Inventor
张雪兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Euclideon Technology Co ltd
Original Assignee
Shenzhen Euclideon Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Euclideon Technology Co ltd filed Critical Shenzhen Euclideon Technology Co ltd
Priority to CN202311039818.XA priority Critical patent/CN116977434B/zh
Publication of CN116977434A publication Critical patent/CN116977434A/zh
Application granted granted Critical
Publication of CN116977434B publication Critical patent/CN116977434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及行为追踪技术领域，公开了一种基于追踪相机的目标行为追踪方法及系统，用于通过追踪相机提高对机械臂的行为追踪准确率。方法包括：对目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；对多个第一机械臂移动特征和多个初始机械臂特征进行向量映射，得到初始行为状态向量；将初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；对目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据观测位姿图像数据和观测机械臂位置坐标创建目标行为状态向量；根据预测行为状态向量和目标行为状态向量进行移动位姿参数补偿分析，得到目标参数补偿集合。

Description

基于追踪相机的目标行为追踪方法及系统
技术领域
本发明涉及行为追踪技术领域，尤其涉及一种基于追踪相机的目标行为追踪方法及系统。
背景技术
在工业自动化和机器人领域，目标行为追踪是一项重要的任务。通过追踪相机对目标机械臂进行实时观测和分析，可以实现对机械臂行为的监控、控制和预测，进而提高机械臂的自主性、精度和效率。基于追踪相机的目标行为追踪方法能够结合图像处理、模式识别和机器学习等技术，实现对机械臂行为的实时跟踪和分析，具有广泛的应用前景。
现有方案在处理机械臂行为时存在局限性，无法充分捕捉到机械臂的关键特征，在追踪相机和目标机械臂的位置标定过程中，存在相机参数和机械臂位置的不确定性。这可能导致位置标定的误差，进而影响到目标机械臂的移动检测和行为分析的准确性，即现有方案的准确率低。
发明内容
本发明提供了一种基于追踪相机的目标行为追踪方法及系统，用于通过追踪相机提高对机械臂的行为追踪准确率。
本发明第一方面提供了一种基于追踪相机的目标行为追踪方法，所述基于追踪相机的目标行为追踪方法包括：
通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；
对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；
将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；
根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
结合第一方面，在本发明第一方面的第一种实现方式中，所述通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征，包括：
通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；
将所述初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；
对所述多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；
通过所述特征提取函数和所述特征提取网络，对所述多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；
对所述高维特征信息集合进行特征标识映射，得到多个目标特征标识；
通过所述多个目标特征标识进行特征转换，得到所述目标机械臂的多个初始机械臂特征。
结合第一方面，在本发明第一方面的第二种实现方式中，所述对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征，包括：
获取所述目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取所述追踪相机的相机内部参数和相机外部参数；
根据所述相机内部参数和所述相机外部参数对所述追踪相机和所述目标机械臂进行位置标定，并对所述位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；
根据所述初始机械臂位置坐标，设定所述目标机械臂的多个第一局部特征点，并对所述目标机械臂进行移动检测，得到多个连续移动图像数据；
分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算所述多个第二局部特征点以及所述多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。
结合第一方面，在本发明第一方面的第三种实现方式中，所述对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量，包括：
基于预置的第一特征值映射表，对所述多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；
对所述多个第一特征值进行向量映射，得到第一特征状态向量，并计算所述多个第一特征值对应的第一平均值，以及根据所述第一平均值设置第一向量权重数据；
基于预置的第二特征值映射表，对所述多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；
对所述多个第二特征值进行向量映射，得到第二特征状态向量，并计算所述多个第二特征值对应的第二平均值，以及根据所述第二平均值设置第二向量权重数据；
根据所述第一向量权重数据计算所述第一特征状态向量对应的第一加权状态向量，并根据所述第二向量权重数据计算所述第二特征状态向量对应的第二加权状态向量；
对所述第一加权状态向量和所述第二加权状态向量进行向量融合，得到初始行为状态向量。
结合第一方面，在本发明第一方面的第四种实现方式中，所述将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量，包括：
将所述初始行为状态向量输入预置的行为状态预测模型，并通过所述行为状态预测模型构建对应的初始评价矩阵，其中，所述行为状态预测模型包括：循环神经网络、状态更新网络以及输出层；
通过所述循环神经网络对所述初始行为状态向量和所述初始评价矩阵进行行为分析，得到第一行为状态向量和第一评价矩阵；
对所述第一行为状态向量和所述第一评价矩阵进行补偿和增益计算，得到目标计算结果；
通过所述状态更新网络，根据所述目标计算结果对所述第一行为状态向量和所述第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵；
通过所述输出层对所述第二行为状态向量和所述第二评价矩阵进行特征整合，得到预测行为状态向量。
结合第一方面，在本发明第一方面的第五种实现方式中，所述对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量，包括：
对所述目标机械臂进行追踪检测，并对所述目标机械臂进行位姿图像采集，得到观测位姿图像数据；
根据所述观测位姿图像数据生成所述目标机械臂的观测机械臂位置坐标；
对所述观测位姿图像数据进行特征提取，得到多个观测机械臂特征，并对所述观测机械臂位置坐标进行特征运算，生成多个第二机械臂移动特征；
对所述多个观测机械臂特征和所述多个第二机械臂移动特征进行向量转换和特征融合，得到对应的目标行为状态向量。
结合第一方面，在本发明第一方面的第六种实现方式中，所述根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合，包括：
对所述预测行为状态向量和所述目标行为状态向量进行向量对齐，并通过预置的机械臂动力学模型生成所述目标机械臂的预测轨迹和实际轨迹；
对所述预测轨迹和所述实际轨迹进行欧式距离计算，并生成所述目标机械臂对应的移动轨迹偏移数据；
根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
本发明第二方面提供了一种基于追踪相机的目标行为追踪系统，所述基于追踪相机的目标行为追踪系统包括：
采集模块，用于通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
提取模块，用于对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；
映射模块，用于对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；
预测模块，用于将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
检测模块，用于对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；
分析模块，用于根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
结合第二方面，在本发明第二方面的第一种实现方式中，所述采集模块具体用于：
通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；
将所述初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；
对所述多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；
通过所述特征提取函数和所述特征提取网络，对所述多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；
对所述高维特征信息集合进行特征标识映射，得到多个目标特征标识；
通过所述多个目标特征标识进行特征转换，得到所述目标机械臂的多个初始机械臂特征。
结合第二方面，在本发明第二方面的第二种实现方式中，所述提取模块具体用于：
获取所述目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取所述追踪相机的相机内部参数和相机外部参数；
根据所述相机内部参数和所述相机外部参数对所述追踪相机和所述目标机械臂进行位置标定，并对所述位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；
根据所述初始机械臂位置坐标，设定所述目标机械臂的多个第一局部特征点，并对所述目标机械臂进行移动检测，得到多个连续移动图像数据；
分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算所述多个第二局部特征点以及所述多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。
结合第二方面，在本发明第二方面的第三种实现方式中，所述映射模块具体用于：
基于预置的第一特征值映射表，对所述多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；
对所述多个第一特征值进行向量映射，得到第一特征状态向量，并计算所述多个第一特征值对应的第一平均值，以及根据所述第一平均值设置第一向量权重数据；
基于预置的第二特征值映射表，对所述多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；
对所述多个第二特征值进行向量映射，得到第二特征状态向量，并计算所述多个第二特征值对应的第二平均值，以及根据所述第二平均值设置第二向量权重数据；
根据所述第一向量权重数据计算所述第一特征状态向量对应的第一加权状态向量，并根据所述第二向量权重数据计算所述第二特征状态向量对应的第二加权状态向量；
对所述第一加权状态向量和所述第二加权状态向量进行向量融合，得到初始行为状态向量。
结合第二方面，在本发明第二方面的第四种实现方式中，所述预测模块具体用于：
将所述初始行为状态向量输入预置的行为状态预测模型，并通过所述行为状态预测模型构建对应的初始评价矩阵，其中，所述行为状态预测模型包括：循环神经网络、状态更新网络以及输出层；
通过所述循环神经网络对所述初始行为状态向量和所述初始评价矩阵进行行为分析，得到第一行为状态向量和第一评价矩阵；
对所述第一行为状态向量和所述第一评价矩阵进行补偿和增益计算，得到目标计算结果；
通过所述状态更新网络，根据所述目标计算结果对所述第一行为状态向量和所述第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵；
通过所述输出层对所述第二行为状态向量和所述第二评价矩阵进行特征整合，得到预测行为状态向量。
结合第二方面，在本发明第二方面的第五种实现方式中，所述检测模块具体用于：
对所述目标机械臂进行追踪检测，并对所述目标机械臂进行位姿图像采集，得到观测位姿图像数据；
根据所述观测位姿图像数据生成所述目标机械臂的观测机械臂位置坐标；
对所述观测位姿图像数据进行特征提取，得到多个观测机械臂特征，并对所述观测机械臂位置坐标进行特征运算，生成多个第二机械臂移动特征；
对所述多个观测机械臂特征和所述多个第二机械臂移动特征进行向量转换和特征融合，得到对应的目标行为状态向量。
结合第二方面，在本发明第二方面的第六种实现方式中，所述分析模块具体用于：
对所述预测行为状态向量和所述目标行为状态向量进行向量对齐，并通过预置的机械臂动力学模型生成所述目标机械臂的预测轨迹和实际轨迹；
对所述预测轨迹和所述实际轨迹进行欧式距离计算，并生成所述目标机械臂对应的移动轨迹偏移数据；
根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
本发明第三方面提供了一种基于追踪相机的目标行为追踪设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于追踪相机的目标行为追踪设备执行上述的基于追踪相机的目标行为追踪方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于追踪相机的目标行为追踪方法。
本发明提供的技术方案中，对目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；对多个第一机械臂移动特征和多个初始机械臂特征进行向量映射，得到初始行为状态向量；将初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；对目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据观测位姿图像数据和观测机械臂位置坐标创建目标行为状态向量；根据预测行为状态向量和目标行为状态向量进行移动位姿参数补偿分析，得到目标参数补偿集合，本发明通过追踪相机对目标机械臂进行实时图像采集和分析，能够实时监控机械臂的行为和状态变化，可以提供高精度的目标位置和运动轨迹信息。通过精确跟踪和分析机械臂的行为，可以实现更准确的位姿控制和路径规划，提高机械臂的定位和操作精度，通过行为预测和状态监测，机械臂能够根据环境变化和任务需求自主地做出适应性的行动，提高机械臂的智能化水平，进而提高了对机械臂的行为追踪准确率。
附图说明
图1为本发明实施例中基于追踪相机的目标行为追踪方法的一个实施例示意图；
图2为本发明实施例中移动检测和特征提取的流程图；
图3为本发明实施例中向量映射的流程图；
图4为本发明实施例中行为预测的流程图；
图5为本发明实施例中基于追踪相机的目标行为追踪系统的一个实施例示意图；
图6为本发明实施例中基于追踪相机的目标行为追踪设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于追踪相机的目标行为追踪方法及系统，用于通过追踪相机提高对机械臂的行为追踪准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于追踪相机的目标行为追踪方法的一个实施例包括：
S101、通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
可以理解的是，本发明的执行主体可以为基于追踪相机的目标行为追踪系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，使用预置的追踪相机对目标机械臂进行多角度图像采集。通过在不同的位置和角度拍摄机器臂的图像，获取初始位姿图像数据集。将这些初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割。特征提取网络可以是卷积神经网络（CNN）或其他图像处理算法。它能够识别图像中的不同区域，并将其分割为位姿特征区域图像。对这些位姿特征区域图像进行特征提取函数匹配，以获取每个位姿特征框对应的特征提取函数。这些函数可以是根据目标机械臂的结构和特征设计和训练的算法，如边缘检测、角点检测、纹理特征提取等。利用得到的特征提取函数和特征提取网络，对位姿特征区域图像进行高维特征提取。通过将每个位姿特征区域图像输入到相应的特征提取函数中，并利用特征提取网络提取高维特征信息，得到高维特征信息集合。对高维特征信息集合进行特征标识映射。将高维特征映射到一个较低维度的目标特征标识空间，以便对特征进行更有效的处理和比较，以得到多个目标特征标识。通过对多个目标特征标识进行特征转换，得到目标机械臂的多个初始机械臂特征。这个转换过程可以涉及特征组合、特征降维或其他特征处理方法，以得到更具代表性和可区分性的初始机械臂特征。例如，假设服务器使用一台追踪相机对一个工业机器人进行图像采集。通过从不同角度和位置捕捉机器人的图像，服务器得到了一组初始位姿图像数据。服务器使用预训练的卷积神经网络作为特征提取网络，对位姿特征区域进行分割，得到了多个位姿特征区域图像。服务器使用一些已经训练好的特征提取函数，如边缘检测和角点检测算法，对这些位姿特征区域图像进行特征提取函数匹配。通过将这些特征区域图像输入到相应的特征提取函数中，服务器得到了每个位姿特征框对应的特征提取函数。服务器将这些位姿特征区域图像输入到卷积神经网络中，提取出高维特征信息集合。服务器将这些高维特征信息进行特征标识映射，以获得多个目标特征标识。
S102、对追踪相机和目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据初始机械臂位置坐标对目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；
具体的，获取目标机械臂的初始位姿图像数据所对应的位姿图像坐标，并获取追踪相机的相机内部参数和相机外部参数。这些参数可以用于定位追踪相机和目标机械臂之间的空间关系。利用相机内部参数和相机外部参数对追踪相机和目标机械臂进行位置标定。这个过程可以使用相机标定算法，如张正友标定方法，来计算相机的投影矩阵和位姿信息。通过位姿图像坐标的坐标转换，得到初始机械臂位置坐标。根据初始机械臂位置坐标，设定目标机械臂的多个第一局部特征点。这些特征点可以是目标机械臂上的关键点或标志物。通过设定这些特征点，可以跟踪机械臂在移动过程中的位置变化。在移动检测阶段，利用追踪相机采集多个连续移动图像数据。这些图像数据可以是连续的帧图像，记录了目标机械臂在移动过程中的变化。针对每个连续移动图像数据，提取多个第二局部特征点。这些特征点可以是机械臂上的其他关键点或标志物。计算第一局部特征点与第二局部特征点之间的移动特征。移动特征可以包括位移向量、旋转角度或其他描述机械臂移动的特征量。例如，假设服务器有一个追踪相机和一个工业机械臂。服务器首先获取了目标机械臂的初始位姿图像数据，并记录了每个图像中机械臂的位姿图像坐标。服务器获取了追踪相机的相机内部参数和外部参数，以便进行位置标定。通过相机内部参数和外部参数的标定，服务器计算出追踪相机和目标机械臂之间的位置关系，并将位姿图像坐标转换为机械臂的初始位置坐标。服务器设定了目标机械臂的多个第一局部特征点，如机械臂上的关节位置或末端执行器的位置。这些特征点可以用来追踪机械臂在移动过程中的位置变化。在移动检测阶段，服务器让追踪相机连续采集图像数据，记录了机械臂在移动过程中的变化。对于每个连续移动图像数据，服务器提取了机械臂上的多个第二局部特征点，并计算了第一局部特征点与第二局部特征点之间的移动特征，如位移向量和旋转角度。
S103、对多个第一机械臂移动特征和多个初始机械臂特征进行向量映射，得到初始行为状态向量；
需要说明的是，根据预置的第一特征值映射表，对多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值。这个映射表可以是事先定义好的映射函数或查找表，将第一机械臂移动特征转换为对应的第一特征值。对多个第一特征值进行向量映射，得到第一特征状态向量。这个向量可以由多个第一特征值组成，用于表示第一机械臂移动特征的状态。计算多个第一特征值对应的第一平均值，并根据第一平均值设置第一向量权重数据。这些权重数据用于后续的特征状态向量加权计算。基于预置的第二特征值映射表，对多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值。类似于第一特征值映射过程，这个映射表可以将初始机械臂特征转换为对应的第二特征值。对多个第二特征值进行向量映射，得到第二特征状态向量。这个向量由多个第二特征值组成，用于表示初始机械臂特征的状态。计算多个第二特征值对应的第二平均值，并根据第二平均值设置第二向量权重数据。这些权重数据用于特征状态向量的加权计算。根据第一向量权重数据计算第一特征状态向量对应的第一加权状态向量。这个加权向量考虑了第一特征状态向量中各个特征的重要性。根据第二向量权重数据计算第二特征状态向量对应的第二加权状态向量。这个加权向量考虑了第二特征状态向量中各个特征的重要性。将第一加权状态向量和第二加权状态向量进行向量融合，得到初始行为状态向量。这个向量综合了第一机械臂移动特征和初始机械臂特征的信息，用于表示目标机械臂的初始行为状态。例如，假设服务器有一个目标机械臂，通过预置的追踪相机采集到了一系列图像数据。服务器将这些图像数据用于分析机械臂的行为状态。服务器使用预置的第一特征值映射表对多个第一机械臂移动特征进行特征值映射。例如，服务器将移动特征分为三个类别：旋转、伸缩和平移。通过映射表，服务器将每个移动特征映射到对应的第一特征值（例如，旋转特征映射为1，伸缩特征映射为2，平移特征映射为3）。对这些第一特征值进行向量映射，得到第一特征状态向量。例如，服务器的第一特征状态向量是一个3维向量，每个维度对应一个特征值。如果服务器的第一机械臂移动特征序列是[旋转，伸缩，平移]，则第一特征状态向量可以表示为[1,2,3]。在计算第一特征状态向量时，服务器还可以计算第一平均值。假设服务器有多个第一特征状态向量，服务器将它们的每个维度进行平均计算，得到对应的第一平均值。服务器使用预置的第二特征值映射表对多个初始机械臂特征进行特征值映射。例如，服务器将初始机械臂特征分为两个类别：形状和颜色。通过映射表，服务器将每个初始特征映射到对应的第二特征值（例如，形状特征映射为1，颜色特征映射为2）。对这些第二特征值进行向量映射，得到第二特征状态向量。例如，服务器的第二特征状态向量是一个2维向量，每个维度对应一个特征值。如果服务器的初始机械臂特征序列是[形状，颜色]，则第二特征状态向量可以表示为[1,2]。在计算第二特征状态向量时，服务器同样可以计算第二平均值。将多个第二特征状态向量的每个维度进行平均计算，得到对应的第二平均值。根据第一向量权重数据计算第一特征状态向量对应的第一加权状态向量。例如，服务器根据第一平均值设置第一向量权重数据为[0.5,0.3,0.2]，表示旋转特征的重要性为0.5，伸缩特征的重要性为0.3，平移特征的重要性为0.2。将第一特征状态向量与第一向量权重数据进行加权计算，得到第一加权状态向量。根据第二向量权重数据计算第二特征状态向量对应的第二加权状态向量。例如，服务器根据第二平均值设置第二向量权重数据为[0.6,0.4]，表示形状特征的重要性为0.6，颜色特征的重要性为0.4。将第二特征状态向量与第二向量权重数据进行加权计算，得到第二加权状态向量。将第一加权状态向量和第二加权状态向量进行向量融合，得到初始行为状态向量。
S104、将初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
具体的，将初始行为状态向量输入预置的行为状态预测模型。这个预测模型可以由多个组件组成，如循环神经网络（RNN）、状态更新网络和输出层。通过将初始行为状态向量输入到行为状态预测模型中，可以进行行为分析和预测。通过循环神经网络对初始行为状态向量和初始评价矩阵进行行为分析。循环神经网络具有记忆能力，可以处理序列数据。它可以利用初始行为状态向量和初始评价矩阵来学习行为的模式和规律，并输出第一行为状态向量和第一评价矩阵。对第一行为状态向量和第一评价矩阵进行补偿和增益计算，得到目标计算结果。这些计算可以根据具体的应用需求来设计，例如根据目标行为的特点进行补偿或根据评价矩阵的值进行增益调整。目标计算结果反映了对初始行为状态向量进行进一步分析和调整后得到的结果。通过状态更新网络，根据目标计算结果对第一行为状态向量和第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵。状态更新网络可以根据目标计算结果和当前状态来更新行为状态向量和评价矩阵，以便更准确地反映目标行为的变化。通过输出层对第二行为状态向量和第二评价矩阵进行特征整合，得到预测行为状态向量。输出层可以将第二行为状态向量和第二评价矩阵进行组合和整合，以得到具有综合特征的预测行为状态向量。例如，服务器使用行为状态预测模型对一个机器人手臂进行行为预测。输入的初始行为状态向量包括当前的关节角度和末端执行器的位置。通过循环神经网络的分析，得到了预测的下一个状态的关节角度和末端执行器的位置，以及相应的评价矩阵。通过补偿和增益计算调整了预测结果，并得到了目标计算结果。使用状态更新网络，根据目标计算结果对预测的下一个状态和评价矩阵进行更新。
S105、对目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据观测位姿图像数据和观测机械臂位置坐标创建对应的目标行为状态向量；
具体的，对目标机械臂进行追踪检测。使用视觉跟踪技术或目标检测算法来实现。通过追踪算法，服务器在图像中定位目标机械臂的位置，并将其作为追踪目标。根据追踪检测结果，对目标机械臂进行位姿图像采集，得到观测位姿图像数据。这些图像数据将用于进一步的分析和特征提取。使用观测位姿图像数据，服务器生成目标机械臂的观测机械臂位置坐标。通过计算图像中目标机械臂的位置和相机的内部参数以及外部参数来实现。对观测位姿图像数据进行特征提取，得到多个观测机械臂特征。这些特征可以包括形状、纹理、边缘等图像特征，用于描述目标机械臂的外观和结构信息。对观测机械臂位置坐标进行特征运算，生成多个第二机械臂移动特征。这些移动特征可以表示目标机械臂在时间序列中的运动变化。将多个观测机械臂特征和多个第二机械臂移动特征进行向量转换和特征融合。向量转换可以通过映射函数将观测机械臂特征和移动特征转换到对应的目标特征空间。特征融合可以将转换后的特征进行组合和整合，得到对应的目标行为状态向量。例如，假设服务器使用目标检测算法成功检测到一个移动的机械臂，并获得了一系列的图像数据作为观测位姿图像数据。服务器计算了这些图像中机械臂的位置，并生成了观测机械臂位置坐标。服务器使用特征提取算法提取了图像中机械臂的特征，如形状、纹理等。服务器根据观测位姿图像数据计算了机械臂的移动特征，比如位移、角度变化等。服务器将这些观测机械臂特征和第二机械臂移动特征进行向量转换和特征融合。例如，服务器使用线性变换将观测机械臂特征映射到目标特征空间，并将移动特征与观测特征进行融合，得到目标行为状态向量。这个目标行为状态向量将包含了机械臂的观测特征和移动特征的综合信息，可以用于表示目标机械臂的行为状态。
S106、根据预测行为状态向量和目标行为状态向量，生成目标机械臂对应的移动轨迹偏移数据，并根据移动轨迹偏移数据对目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
具体的，对预测行为状态向量和目标行为状态向量进行向量对齐。可以通过相似性度量或匹配算法来实现，以确保两个向量之间的对应关系。通过对齐，服务器将预测行为状态和目标行为状态进行比较和分析。利用预置的机械臂动力学模型，基于对齐后的行为状态向量生成目标机械臂的预测轨迹和实际轨迹。机械臂动力学模型可以根据机械臂的结构和物理特性，预测机械臂在特定行为状态下的运动轨迹。对预测轨迹和实际轨迹进行欧式距离计算，以评估它们之间的差异，并生成目标机械臂对应的移动轨迹偏移数据。欧式距离是一种常用的度量方法，可以用于衡量两个轨迹之间的相似度。通过计算偏移数据，服务器获得目标机械臂在不同时间点上的轨迹偏移情况。根据移动轨迹偏移数据，对目标机械臂进行移动位姿参数补偿分析。这可以包括对位姿参数进行调整和优化，以减小轨迹偏移并使目标机械臂的运动更准确。补偿分析可以基于优化算法或迭代方法，通过调整机械臂的位姿参数来减小轨迹偏移。通过补偿分析得到目标参数补偿集合。这个集合包含了经过补偿和优化后的机械臂位姿参数，以使机械臂的运动轨迹更加准确和稳定。例如，服务器使用行为状态预测模型对一个机械臂进行预测，并得到了预测行为状态向量和目标行为状态向量。通过向量对齐确保它们之间的对应关系。使用机械臂动力学模型基于对齐后的状态向量生成了预测轨迹和实际轨迹。通过计算两者之间的欧式距离，服务器得到了目标机械臂的移动轨迹偏移数据。服务器对机械臂的位姿参数进行补偿分析，通过调整关节角度和执行器位置，使机械臂运动更准确。服务器得到了目标参数补偿集合，其中包含了优化后的位姿参数。
本发明实施例中，对目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；对多个第一机械臂移动特征和多个初始机械臂特征进行向量映射，得到初始行为状态向量；将初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；对目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据观测位姿图像数据和观测机械臂位置坐标创建目标行为状态向量；根据预测行为状态向量和目标行为状态向量进行移动位姿参数补偿分析，得到目标参数补偿集合，本发明通过追踪相机对目标机械臂进行实时图像采集和分析，能够实时监控机械臂的行为和状态变化，可以提供高精度的目标位置和运动轨迹信息。通过精确跟踪和分析机械臂的行为，可以实现更准确的位姿控制和路径规划，提高机械臂的定位和操作精度，通过行为预测和状态监测，机械臂能够根据环境变化和任务需求自主地做出适应性的行动，提高机械臂的智能化水平，进而提高了对机械臂的行为追踪准确率。
在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：
（1）通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；
（2）将初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；
（3）对多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；
（4）通过特征提取函数和特征提取网络，对多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；
（5）对高维特征信息集合进行特征标识映射，得到多个目标特征标识；
（6）通过多个目标特征标识进行特征转换，得到目标机械臂的多个初始机械臂特征。
具体的，通过预置的追踪相机对目标机械臂进行多角度图像采集，以获取目标机械臂的不同角度和姿态的图像。这些图像将作为初始位姿图像数据进行后续的处理和分析。将初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割。特征提取网络可以是基于卷积神经网络（CNN）的模型，用于从图像中提取关键的位姿特征区域。通过对图像进行分割，服务器将机械臂的不同部分和特征区域提取出来，以便后续的特征提取和分析。对多个位姿特征区域图像进行特征提取函数匹配。可以通过比较特征区域图像与预先定义的特征提取函数进行匹配，以确定每个位姿特征框所对应的特征提取函数。特征提取函数可以是一些已经训练好的模型或算法，用于从图像中提取具有语义信息的特征。通过特征提取函数和特征提取网络，对多个位姿特征区域图像进行高维特征提取。利用特征提取函数和特征提取网络，对位姿特征区域图像进行进一步的特征提取。这些特征可以是基于颜色、纹理、形状等方面的高维特征信息，用于描述机械臂的视觉特征。对高维特征信息集合进行特征标识映射，得到多个目标特征标识。可以使用映射表或标识算法，将高维特征信息映射为对应的目标特征标识。目标特征标识可以用于唯一地标识和表示每个特征，以便后续的特征转换和分析。通过多个目标特征标识进行特征转换，得到目标机械臂的多个初始机械臂特征。这一步骤可以根据预先定义的映射规则或转换函数，将目标特征标识转换为相应的机械臂特征。这些特征可以包括机械臂的关节角度、执行器位置、连杆长度等，用于描述机械臂的状态和结构信息。例如，假设服务器有一个预置的追踪相机，用于对一个机械臂进行多角度图像采集。服务器采集了机械臂在不同姿态下的图像，作为初始位姿图像数据。服务器将这些图像输入到预置的特征提取网络中，进行位姿特征区域分割。这个网络会将图像中的机械臂区域进行分割，得到多个位姿特征区域图像。服务器使用特征提取函数对这些位姿特征区域图像进行特征提取。这些函数可以根据图像的纹理、颜色等信息提取出机械臂的特征。通过特征提取函数和特征提取网络，服务器对位姿特征区域图像进行高维特征提取。这些特征可以是卷积神经网络提取的特征向量，用于表示图像中的机械臂特征。服务器对高维特征信息集合进行特征标识映射，得到多个目标特征标识。例如，服务器将每个特征映射为一个唯一的标识符，以便后续的处理和分析。通过目标特征标识进行特征转换，服务器得到目标机械臂的多个初始机械臂特征。例如，根据目标特征标识，服务器获取机械臂的关节角度、执行器位置等特征，用于描述机械臂的状态和结构信息。这些特征可以为后续的行为分析和控制提供重要的数据基础。
在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：
S201、获取目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取追踪相机的相机内部参数和相机外部参数；
S202、根据相机内部参数和相机外部参数对追踪相机和目标机械臂进行位置标定，并对位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；
S203、根据初始机械臂位置坐标，设定目标机械臂的多个第一局部特征点，并对目标机械臂进行移动检测，得到多个连续移动图像数据；
S204、分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算多个第二局部特征点以及多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。
具体的，为了获取目标机械臂的初始位姿图像数据所对应的位姿图像坐标，需要使用追踪相机进行图像采集。通过追踪相机采集到的图像，可以使用相机内部参数和相机外部参数，以及相关的摄像机标定技术，对图像中的目标机械臂进行位置标定，得到目标机械臂在图像中的位姿图像坐标。根据相机内部参数和相机外部参数，对追踪相机和目标机械臂进行位置标定。可以使用相机标定技术，将相机坐标系与机械臂坐标系进行对齐。通过这个位置标定过程，得到初始机械臂位置坐标。在得到初始机械臂位置坐标后，可以设定目标机械臂的多个第一局部特征点。这些特征点可以是机械臂的关节位置、执行器位置、关键部件位置等。设定特征点的目的是为了后续的移动检测提供参考。对目标机械臂进行移动检测，以获取多个连续移动图像数据。通过追踪相机对机械臂的移动进行观测和采集，得到一系列连续的图像数据。这些图像数据包含了机械臂在不同时间点的状态和位置信息。针对每个连续移动图像数据，可以分别提取多个第二局部特征点。这些特征点可以是与第一局部特征点对应的机械臂部件的位置、形状等信息。可以计算这些第二局部特征点与对应的第一局部特征点之间的移动特征，例如位置偏移、角度变化等。例如，假设服务器有一个追踪相机和一个目标机械臂，服务器需要获取机械臂的初始位姿图像数据以及进行移动检测和特征提取。通过追踪相机对目标机械臂进行多角度图像采集。通过这些图像，服务器获取目标机械臂的初始位姿图像数据。服务器使用预置的特征提取网络对这些初始位姿图像数据进行处理。特征提取网络可以对图像进行位姿特征区域分割，提取出机械臂的关键部位。针对每个位姿特征区域图像，服务器使用特征提取函数进行特征提取。这些函数可以匹配每个位姿特征框，并提取出对应的特征。通过特征提取函数和特征提取网络，服务器对位姿特征区域图像进行高维特征提取，得到包含丰富信息的高维特征信息集合。服务器对高维特征信息集合进行特征标识映射，将其转换为多个目标特征标识。这些标识可以用于唯一地标识和表示每个特征。通过目标特征标识进行特征转换，服务器得到目标机械臂的多个初始机械臂特征。例如，根据目标特征标识，服务器获取机械臂的关节角度、执行器位置等特征，用于描述机械臂的状态和结构信息。
在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：
S301、基于预置的第一特征值映射表，对多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；
S302、对多个第一特征值进行向量映射，得到第一特征状态向量，并计算多个第一特征值对应的第一平均值，以及根据第一平均值设置第一向量权重数据；
S303、基于预置的第二特征值映射表，对多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；
S304、对多个第二特征值进行向量映射，得到第二特征状态向量，并计算多个第二特征值对应的第二平均值，以及根据第二平均值设置第二向量权重数据；
S305、根据第一向量权重数据计算第一特征状态向量对应的第一加权状态向量，并根据第二向量权重数据计算第二特征状态向量对应的第二加权状态向量；
S306、对第一加权状态向量和第二加权状态向量进行向量融合，得到初始行为状态向量。
具体的，服务器预置一个第一特征值映射表。该映射表将第一机械臂移动特征映射到对应的第一特征值。通过将多个第一机械臂移动特征输入映射表，服务器得到它们对应的多个第一特征值。对这些第一特征值进行向量映射，得到第一特征状态向量。可以通过将每个特征值作为向量的一个分量来实现。例如，假设每个特征值具有n个分量，那么服务器将第一特征值映射为一个n维向量。计算多个第一特征值对应的平均值，作为第一平均值。可以通过将所有第一特征值相加并除以特征值数量来实现。根据第一平均值，设置第一向量权重数据。权重可以根据特征值与平均值之间的差异来确定，以突出重要特征或降低噪声影响。服务器一个预置的第二特征值映射表。该映射表将初始机械臂特征映射到对应的第二特征值。通过将多个初始机械臂特征输入映射表，服务器得到它们对应的多个第二特征值。对这些第二特征值进行向量映射，得到第二特征状态向量。同样地，服务器将每个特征值作为向量的一个分量，从而得到第二特征状态向量。计算多个第二特征值对应的平均值，作为第二平均值。服务器将所有第二特征值相加并除以特征值数量，得到第二平均值。根据第二平均值，设置第二向量权重数据，以突出重要特征或降低噪声影响。根据第一向量权重数据，计算第一特征状态向量对应的第一加权状态向量。通过将第一特征状态向量中的每个分量与对应的权重相乘来实现。根据第二向量权重数据，计算第二特征状态向量对应的第二加权状态向量。对第一加权状态向量和第二加权状态向量进行向量融合，得到初始行为状态向量。向量融合可以使用向量加法、平均值计算或其他适当的融合方法。这样，服务器就得到了描述目标机械臂初始行为状态的向量表示。例如，假设服务器有一个预置的第一特征值映射表和第二特征值映射表，以及一组第一机械臂移动特征和初始机械臂特征。服务器将第一机械臂移动特征输入第一特征值映射表，得到它们对应的第一特征值。假设特征1映射为0.2，特征2映射为0.5，特征3映射为0.8。将这些特征值映射为向量，得到第一特征状态向量为[0.2,0.5,0.8]。计算第一特征值的平均值，假设为0.5，并根据平均值设置第一向量权重数据，例如[0.8,0.6,0.9]。服务器将初始机械臂特征输入第二特征值映射表，得到它们对应的第二特征值。假设特征A映射为1.5，特征B映射为2.0，特征C映射为1.2。将这些特征值映射为向量，得到第二特征状态向量为[1.5,2.0,1.2]。计算第二特征值的平均值，假设为1.6，并根据平均值设置第二向量权重数据，例如[0.7,0.9,0.5]。根据第一向量权重数据，计算第一特征状态向量对应的第一加权状态向量为[0.16,0.3,0.72]。根据第二向量权重数据，计算第二特征状态向量对应的第二加权状态向量为[1.05,1.8,0.6]。将第一加权状态向量和第二加权状态向量进行向量融合，例如通过求平均值得到初始行为状态向量为[0.605,1.05,0.66]。
在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：
S401、将初始行为状态向量输入预置的行为状态预测模型，并通过行为状态预测模型构建对应的初始评价矩阵，其中，行为状态预测模型包括：循环神经网络、状态更新网络以及输出层；
S402、通过循环神经网络对初始行为状态向量和初始评价矩阵进行行为分析，得到第一行为状态向量和第一评价矩阵；
S403、对第一行为状态向量和第一评价矩阵进行补偿和增益计算，得到目标计算结果；
S404、通过状态更新网络，根据目标计算结果对第一行为状态向量和第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵；
S405、通过输出层对第二行为状态向量和第二评价矩阵进行特征整合，得到预测行为状态向量。
具体的，服务器预置一个行为状态预测模型，它由循环神经网络(RNN)、状态更新网络和输出层组成。这些网络模型可以使用预训练的模型或通过自定义网络结构构建。将初始行为状态向量输入循环神经网络进行行为分析。RNN是一种递归神经网络，可以处理序列数据。通过将初始行为状态向量输入RNN，网络将学习状态之间的依赖关系，并生成第一行为状态向量和第一评价矩阵作为输出。对第一行为状态向量和第一评价矩阵进行补偿和增益计算，以获得目标计算结果，可以根据具体的应用场景进行设计。例如，可以应用补偿算法来纠正预测误差或调整评价矩阵中的权重，以提高目标计算结果的准确性和可靠性。通过状态更新网络，根据目标计算结果对第一行为状态向量和第一评价矩阵进行更新。状态更新网络可以使用反向传播算法来调整网络参数，以最小化目标计算结果与实际观测结果之间的差距。通过网络的迭代更新，服务器得到第二行为状态向量和第二评价矩阵。通过输出层对第二行为状态向量和第二评价矩阵进行特征整合，得到预测行为状态向量。输出层可以是一个全连接层，用于将第二行为状态向量和第二评价矩阵的特征进行组合和融合。这样，服务器就得到了描述预测行为状态的向量表示。例如，假设服务器有一个预置的行为状态预测模型，它包括一个经过训练的循环神经网络和一个输出层。服务器将初始行为状态向量输入循环神经网络进行行为分析。假设初始行为状态向量是[0.2,0.5,0.8]，经过循环神经网络的处理，得到第一行为状态向量为[0.4,0.6,0.7]，以及第一评价矩阵为[[0.9,0.2,0.5],[0.3,0.7,0.4],[0.6,0.8,0.1]]。服务器对第一行为状态向量和第一评价矩阵进行补偿和增益计算，得到目标计算结果。例如，服务器使用补偿算法来调整第一行为状态向量，使其更接近目标状态。经过补偿和增益计算，服务器得到目标计算结果为[0.45,0.65,0.68]。服务器使用状态更新网络，根据目标计算结果对第一行为状态向量和第一评价矩阵进行更新。状态更新网络通过反向传播算法调整网络参数，以最小化目标计算结果与实际观测结果之间的差距。经过网络的迭代更新，服务器得到第二行为状态向量为[0.42,0.68,0.72]，以及第二评价矩阵为[[0.8,0.3,0.6],[0.5,0.6,0.8],[0.2,0.7,0.4]]。通过输出层对第二行为状态向量和第二评价矩阵进行特征整合，得到预测行为状态向量。假设输出层使用平均值计算，服务器将第二行为状态向量和第二评价矩阵的特征进行平均，得到预测行为状态向量为[0.38,0.53,0.6]。
在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：
（1）对目标机械臂进行追踪检测，并对目标机械臂进行位姿图像采集，得到观测位姿图像数据；
（2）根据观测位姿图像数据生成目标机械臂的观测机械臂位置坐标；
（3）对观测位姿图像数据进行特征提取，得到多个观测机械臂特征，并对观测机械臂位置坐标进行特征运算，生成多个第二机械臂移动特征；
（4）对多个观测机械臂特征和多个第二机械臂移动特征进行向量转换和特征融合，得到对应的目标行为状态向量。
具体的，进行目标机械臂的追踪检测，并对目标机械臂进行位姿图像采集，从而获取观测位姿图像数据。通过使用预置的追踪相机来实现。追踪相机可以实时跟踪目标机械臂的运动，并采集相应的位姿图像数据。根据观测位姿图像数据，可以进行图像处理和计算，生成目标机械臂的观测机械臂位置坐标。通过使用计算机视觉技术，如特征点匹配、角点检测等方法，从观测位姿图像数据中提取目标机械臂的位置信息。对观测位姿图像数据进行特征提取，以获取目标机械臂的观测机械臂特征。可以使用特征提取算法，如局部特征描述子算法（如SIFT、SURF）或深度学习网络（如卷积神经网络）来提取图像中的特征。这些特征可以捕捉目标机械臂的形状、纹理或结构信息。对观测机械臂位置坐标进行特征运算，可以利用数学和几何计算方法，如坐标转换、距离计算、角度计算等，从位置坐标中提取更多的特征信息。这些特征可以描述目标机械臂的位置关系、运动方向或姿态等。对多个观测机械臂特征和多个第二机械臂移动特征进行向量转换和特征融合，以得到对应的目标行为状态向量。通过将不同特征进行向量化，并进行向量运算、加权融合或拼接等操作来实现。向量转换和特征融合的目的是将多个特征维度整合为一个综合的行为状态向量，以便后续的行为分析和决策。例如，假设服务器使用追踪相机对一个机械臂进行追踪检测，并从连续的位姿图像序列中获取观测位姿图像数据。通过图像处理和计算，服务器得到了目标机械臂在观测图像中的位置坐标。服务器对观测位姿图像数据进行特征提取，提取了目标机械臂的局部特征，如关键点和描述子。另外，服务器还计算了观测机械臂位置坐标之间的运动特征，如位移向量、角度变化等。服务器将观测机械臂特征和第二机械臂移动特征进行向量转换和特征融合。例如，服务器将局部特征和运动特征分别表示为向量形式，然后通过向量运算、加权融合或拼接等方式，将它们合并为一个目标行为状态向量。服务器得到了描述目标机械臂行为状态的向量表示。
在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：
（1）对预测行为状态向量和目标行为状态向量进行向量对齐，并通过预置的机械臂动力学模型生成目标机械臂的预测轨迹和实际轨迹；
（2）对预测轨迹和实际轨迹进行欧式距离计算，并生成目标机械臂对应的移动轨迹偏移数据；
（3）根据移动轨迹偏移数据对目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
具体的，服务器对预测行为状态向量和目标行为状态向量进行向量对齐。通过比较它们的维度和特征含义，服务器确保两个向量具有相同的特征顺序和对应关系。这确保了它们可以进行后续的轨迹计算和分析。服务器使用预置的机械臂动力学模型来生成目标机械臂的预测轨迹和实际轨迹。机械臂动力学模型描述了机械臂的运动规律和力学特性。通过将预测行为状态向量和目标行为状态向量作为输入，结合机械臂的初始状态，服务器使用动力学模型来模拟机械臂的轨迹。生成了预测轨迹和实际轨迹后，服务器进行欧式距离计算。欧式距离是用于衡量两个轨迹之间的差异的一种常见方法。通过比较预测轨迹和实际轨迹上对应点之间的欧式距离，服务器量化它们之间的差异程度。根据欧式距离计算的结果，服务器生成目标机械臂对应的移动轨迹偏移数据。偏移数据反映了预测轨迹与实际轨迹之间的差异。它可以包含每个时间步的位姿偏移量、方向偏移量等信息，用于进一步的分析和补偿。服务器利用移动轨迹偏移数据对目标机械臂进行移动位姿参数补偿分析。通过分析偏移数据的模式和趋势，服务器确定需要进行补偿的位姿参数，例如位置、姿态、速度等。这样可以帮助服务器校正目标机械臂的移动轨迹，使其更接近预期的运动轨迹，并提高系统的运动精度和稳定性。例如，假设服务器的目标是通过追踪相机和机械臂进行物体抓取。服务器根据预测行为状态向量和目标行为状态向量对其进行向量对齐。使用机械臂动力学模型生成预测轨迹和实际轨迹。通过计算预测轨迹和实际轨迹之间的欧式距离，服务器发现在某些时间步上存在一定的偏移。服务器将这些偏移量作为移动轨迹偏移数据。进一步分析偏移数据，服务器发现在抓取阶段，机械臂的姿态偏离了预期的目标。因此，服务器根据偏移数据进行移动位姿参数补偿分析，并调整机械臂的姿态参数，以实现更准确的物体抓取。
上面对本发明实施例中基于追踪相机的目标行为追踪方法进行了描述，下面对本发明实施例中基于追踪相机的目标行为追踪系统进行描述，请参阅图5，本发明实施例中基于追踪相机的目标行为追踪系统一个实施例包括：
采集模块501，用于通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
提取模块502，用于对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；
映射模块503，用于对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；
预测模块504，用于将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
检测模块505，用于对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；
分析模块506，用于根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
可选的，所述采集模块501具体用于：
通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；
将所述初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；
对所述多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；
通过所述特征提取函数和所述特征提取网络，对所述多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；
对所述高维特征信息集合进行特征标识映射，得到多个目标特征标识；
通过所述多个目标特征标识进行特征转换，得到所述目标机械臂的多个初始机械臂特征。
可选的，所述提取模块502具体用于：
获取所述目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取所述追踪相机的相机内部参数和相机外部参数；
根据所述相机内部参数和所述相机外部参数对所述追踪相机和所述目标机械臂进行位置标定，并对所述位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；
根据所述初始机械臂位置坐标，设定所述目标机械臂的多个第一局部特征点，并对所述目标机械臂进行移动检测，得到多个连续移动图像数据；
分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算所述多个第二局部特征点以及所述多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。
可选的，所述映射模块503具体用于：
基于预置的第一特征值映射表，对所述多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；
对所述多个第一特征值进行向量映射，得到第一特征状态向量，并计算所述多个第一特征值对应的第一平均值，以及根据所述第一平均值设置第一向量权重数据；
基于预置的第二特征值映射表，对所述多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；
对所述多个第二特征值进行向量映射，得到第二特征状态向量，并计算所述多个第二特征值对应的第二平均值，以及根据所述第二平均值设置第二向量权重数据；
根据所述第一向量权重数据计算所述第一特征状态向量对应的第一加权状态向量，并根据所述第二向量权重数据计算所述第二特征状态向量对应的第二加权状态向量；
对所述第一加权状态向量和所述第二加权状态向量进行向量融合，得到初始行为状态向量。
可选的，所述预测模块504具体用于：
将所述初始行为状态向量输入预置的行为状态预测模型，并通过所述行为状态预测模型构建对应的初始评价矩阵，其中，所述行为状态预测模型包括：循环神经网络、状态更新网络以及输出层；
通过所述循环神经网络对所述初始行为状态向量和所述初始评价矩阵进行行为分析，得到第一行为状态向量和第一评价矩阵；
对所述第一行为状态向量和所述第一评价矩阵进行补偿和增益计算，得到目标计算结果；
通过所述状态更新网络，根据所述目标计算结果对所述第一行为状态向量和所述第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵；
通过所述输出层对所述第二行为状态向量和所述第二评价矩阵进行特征整合，得到预测行为状态向量。
可选的，所述检测模块505具体用于：
对所述目标机械臂进行追踪检测，并对所述目标机械臂进行位姿图像采集，得到观测位姿图像数据；
根据所述观测位姿图像数据生成所述目标机械臂的观测机械臂位置坐标；
对所述观测位姿图像数据进行特征提取，得到多个观测机械臂特征，并对所述观测机械臂位置坐标进行特征运算，生成多个第二机械臂移动特征；
对所述多个观测机械臂特征和所述多个第二机械臂移动特征进行向量转换和特征融合，得到对应的目标行为状态向量。
可选的，所述分析模块506具体用于：
对所述预测行为状态向量和所述目标行为状态向量进行向量对齐，并通过预置的机械臂动力学模型生成所述目标机械臂的预测轨迹和实际轨迹；
对所述预测轨迹和所述实际轨迹进行欧式距离计算，并生成所述目标机械臂对应的移动轨迹偏移数据；
根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
通过上述各个组成部分的协同合作，对目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；对多个第一机械臂移动特征和多个初始机械臂特征进行向量映射，得到初始行为状态向量；将初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；对目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据观测位姿图像数据和观测机械臂位置坐标创建目标行为状态向量；根据预测行为状态向量和目标行为状态向量进行移动位姿参数补偿分析，得到目标参数补偿集合，本发明通过追踪相机对目标机械臂进行实时图像采集和分析，能够实时监控机械臂的行为和状态变化，可以提供高精度的目标位置和运动轨迹信息。通过精确跟踪和分析机械臂的行为，可以实现更准确的位姿控制和路径规划，提高机械臂的定位和操作精度，通过行为预测和状态监测，机械臂能够根据环境变化和任务需求自主地做出适应性的行动，提高机械臂的智能化水平，进而提高了对机械臂的行为追踪准确率。
上面图5从模块化功能实体的角度对本发明实施例中的基于追踪相机的目标行为追踪系统进行详细描述，下面从硬件处理的角度对本发明实施例中基于追踪相机的目标行为追踪设备进行详细描述。
图6是本发明实施例提供的一种基于追踪相机的目标行为追踪设备的结构示意图，该基于追踪相机的目标行为追踪设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于追踪相机的目标行为追踪设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于追踪相机的目标行为追踪设备600上执行存储介质630中的一系列指令操作。
基于追踪相机的目标行为追踪设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于追踪相机的目标行为追踪设备结构并不构成对基于追踪相机的目标行为追踪设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于追踪相机的目标行为追踪设备，所述基于追踪相机的目标行为追踪设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于追踪相机的目标行为追踪方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于追踪相机的目标行为追踪方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于追踪相机的目标行为追踪方法，其特征在于，所述基于追踪相机的目标行为追踪方法包括：
通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；
对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；
将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；
根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
2.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征，包括：
通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；
将所述初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；
对所述多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；
通过所述特征提取函数和所述特征提取网络，对所述多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；
对所述高维特征信息集合进行特征标识映射，得到多个目标特征标识；
通过所述多个目标特征标识进行特征转换，得到所述目标机械臂的多个初始机械臂特征。
3.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征，包括：
获取所述目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取所述追踪相机的相机内部参数和相机外部参数；
根据所述相机内部参数和所述相机外部参数对所述追踪相机和所述目标机械臂进行位置标定，并对所述位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；
根据所述初始机械臂位置坐标，设定所述目标机械臂的多个第一局部特征点，并对所述目标机械臂进行移动检测，得到多个连续移动图像数据；
分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算所述多个第二局部特征点以及所述多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。
4.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量，包括：
基于预置的第一特征值映射表，对所述多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；
对所述多个第一特征值进行向量映射，得到第一特征状态向量，并计算所述多个第一特征值对应的第一平均值，以及根据所述第一平均值设置第一向量权重数据；
基于预置的第二特征值映射表，对所述多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；
对所述多个第二特征值进行向量映射，得到第二特征状态向量，并计算所述多个第二特征值对应的第二平均值，以及根据所述第二平均值设置第二向量权重数据；
根据所述第一向量权重数据计算所述第一特征状态向量对应的第一加权状态向量，并根据所述第二向量权重数据计算所述第二特征状态向量对应的第二加权状态向量；
对所述第一加权状态向量和所述第二加权状态向量进行向量融合，得到初始行为状态向量。
5.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量，包括：
将所述初始行为状态向量输入预置的行为状态预测模型，并通过所述行为状态预测模型构建对应的初始评价矩阵，其中，所述行为状态预测模型包括：循环神经网络、状态更新网络以及输出层；
通过所述循环神经网络对所述初始行为状态向量和所述初始评价矩阵进行行为分析，得到第一行为状态向量和第一评价矩阵；
对所述第一行为状态向量和所述第一评价矩阵进行补偿和增益计算，得到目标计算结果；
通过所述状态更新网络，根据所述目标计算结果对所述第一行为状态向量和所述第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵；
通过所述输出层对所述第二行为状态向量和所述第二评价矩阵进行特征整合，得到预测行为状态向量。
6.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量，包括：
对所述目标机械臂进行追踪检测，并对所述目标机械臂进行位姿图像采集，得到观测位姿图像数据；
根据所述观测位姿图像数据生成所述目标机械臂的观测机械臂位置坐标；
对所述观测位姿图像数据进行特征提取，得到多个观测机械臂特征，并对所述观测机械臂位置坐标进行特征运算，生成多个第二机械臂移动特征；
对所述多个观测机械臂特征和所述多个第二机械臂移动特征进行向量转换和特征融合，得到对应的目标行为状态向量。
7.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合，包括：
对所述预测行为状态向量和所述目标行为状态向量进行向量对齐，并通过预置的机械臂动力学模型生成所述目标机械臂的预测轨迹和实际轨迹；
对所述预测轨迹和所述实际轨迹进行欧式距离计算，并生成所述目标机械臂对应的移动轨迹偏移数据；
根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
8.一种基于追踪相机的目标行为追踪系统，其特征在于，所述基于追踪相机的目标行为追踪系统包括：
采集模块，用于通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
提取模块，用于对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；
映射模块，用于对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；
预测模块，用于将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
检测模块，用于对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；
分析模块，用于根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
9.一种基于追踪相机的目标行为追踪设备，其特征在于，所述基于追踪相机的目标行为追踪设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于追踪相机的目标行为追踪设备执行如权利要求1-7中任一项所述的基于追踪相机的目标行为追踪方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于追踪相机的目标行为追踪方法。
CN202311039818.XA 2023-08-17 2023-08-17 基于追踪相机的目标行为追踪方法及系统 Active CN116977434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311039818.XA CN116977434B (zh) 2023-08-17 2023-08-17 基于追踪相机的目标行为追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311039818.XA CN116977434B (zh) 2023-08-17 2023-08-17 基于追踪相机的目标行为追踪方法及系统

Publications (2)

Publication Number Publication Date
CN116977434A true CN116977434A (zh) 2023-10-31
CN116977434B CN116977434B (zh) 2024-09-24

Family

ID=88475000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311039818.XA Active CN116977434B (zh) 2023-08-17 2023-08-17 基于追踪相机的目标行为追踪方法及系统

Country Status (1)

Country Link
CN (1) CN116977434B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117733874A (zh) * 2024-02-20 2024-03-22 中国科学院自动化研究所 机器人状态预测方法、装置、电子设备及存储介质
CN118429388A (zh) * 2024-06-28 2024-08-02 深圳市浩瀚卓越科技有限公司 基于图像处理的视觉追踪方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006006589A (ja) * 2004-06-25 2006-01-12 Univ Waseda 超音波診断システム並びにそのロボット制御装置及びロボット制御プログラム
CN111796525A (zh) * 2020-08-28 2020-10-20 南京工业大学 基于外骨骼机器人机械臂的模型预测控制方法
CN114474056A (zh) * 2022-01-26 2022-05-13 北京航空航天大学 一种面向抓取操作的单目视觉高精度目标定位方法
JP2022156954A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 制御装置、ロボットシステム、制御方法、および、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006006589A (ja) * 2004-06-25 2006-01-12 Univ Waseda 超音波診断システム並びにそのロボット制御装置及びロボット制御プログラム
CN111796525A (zh) * 2020-08-28 2020-10-20 南京工业大学 基于外骨骼机器人机械臂的模型预测控制方法
JP2022156954A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 制御装置、ロボットシステム、制御方法、および、プログラム
CN114474056A (zh) * 2022-01-26 2022-05-13 北京航空航天大学 一种面向抓取操作的单目视觉高精度目标定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. XU: "Hysteresis Compensation of an Elbow Joint Rehabilitation Robot Featuring Flexible Pneumatic Artificial Muscle Actuation", 《IEEE》, 31 December 2021 (2021-12-31), pages 227 - 232 *
史扬杰: "农业机械导航路径跟踪控制方法研究进展", 《农业工程学报》, 12 July 2023 (2023-07-12), pages 1 - 14 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117733874A (zh) * 2024-02-20 2024-03-22 中国科学院自动化研究所 机器人状态预测方法、装置、电子设备及存储介质
CN117733874B (zh) * 2024-02-20 2024-05-14 中国科学院自动化研究所 机器人状态预测方法、装置、电子设备及存储介质
CN118429388A (zh) * 2024-06-28 2024-08-02 深圳市浩瀚卓越科技有限公司 基于图像处理的视觉追踪方法及装置

Also Published As

Publication number Publication date
CN116977434B (zh) 2024-09-24

Similar Documents

Publication Publication Date Title
CN116977434B (zh) 基于追踪相机的目标行为追踪方法及系统
KR20040029493A (ko) 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
CN113910218B (zh) 一种基于运动学与深度神经网络融合的机器人标定方法和装置
CN111975771A (zh) 一种基于偏差重定义神经网络的机械臂运动规划方法
CN111813113A (zh) 仿生视觉自运动感知地图绘制方法、存储介质及设备
Luo et al. Automated tool coordinate calibration system of an industrial robot
Liu et al. A novel camera fusion method based on switching scheme and occlusion-aware object detection for real-time robotic grasping
Chen et al. Learning trajectories for visual-inertial system calibration via model-based heuristic deep reinforcement learning
CN117067261A (zh) 机器人监控方法、装置、设备及存储介质
Luo et al. Robotic conveyor tracking with dynamic object fetching for industrial automation
Lin Robotic manipulation based on 3d vision: A survey
CN115950414A (zh) 一种不同传感器数据的自适应多重融合slam方法
Danping et al. Simultaneous localization and mapping based on Lidar
Wang et al. Jacobian estimation with adaptive Kalman filter for uncalibrated visual servoing
Zhuang et al. Lyrn (lyapunov reaching network): A real-time closed loop approach from monocular vision
Kar et al. Visual motor control of a 7 DOF robot manipulator using a fuzzy SOM network
Martínez et al. Visual predictive control of robot manipulators using a 3d tof camera
Behzadi-Khormouji et al. Adaptive Visual Servoing Control of robot Manipulator for Trajectory Tracking tasks in 3D Space
CN118392168B (zh) 一种应用于边防的视巡一体化机器人的巡检方法及系统
CN118334087B (zh) 视觉对位校准方法、装置、设备及存储介质
Wang et al. An overview of control strategy and trajectory planning of visual servoing
CN117214908B (zh) 一种基于智能裁缆机械的定位控制方法及系统
Nascimento et al. 2D Visual Servoing meets Rapidly-exploring Random Trees for collision avoidance
Jiang et al. An indoor co-positioning algorithm using WLAN and monocular vision
CN116494248B (zh) 工业机器人的视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant