CN114663513B - 一种操作仪工作端移动轨迹的实时位姿估计与评估方法 - Google Patents

一种操作仪工作端移动轨迹的实时位姿估计与评估方法 Download PDF

Info

Publication number
CN114663513B
CN114663513B CN202210531770.3A CN202210531770A CN114663513B CN 114663513 B CN114663513 B CN 114663513B CN 202210531770 A CN202210531770 A CN 202210531770A CN 114663513 B CN114663513 B CN 114663513B
Authority
CN
China
Prior art keywords
working end
characteristic
operation instrument
instrument
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210531770.3A
Other languages
English (en)
Other versions
CN114663513A (zh
Inventor
陈彦彪
翟敬梅
罗荣森
陈家骊
唐骢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Nali Biotechnology Co ltd
Original Assignee
Guangzhou Nali Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Nali Biotechnology Co ltd filed Critical Guangzhou Nali Biotechnology Co ltd
Priority to CN202210531770.3A priority Critical patent/CN114663513B/zh
Publication of CN114663513A publication Critical patent/CN114663513A/zh
Application granted granted Critical
Publication of CN114663513B publication Critical patent/CN114663513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种操作仪工作端移动轨迹的实时位姿估计与评估方法，包括以下步骤：（1）为操作仪选取与设计多个特征区域，选取特征区域的中心点为操作仪的特征点；（2）在合适位置搭建平台，连接设备；（3）构建特征点检测的卷积神经网络，获取操作仪上的特征点；（4）处理特征点附近的点云数据，得到操作仪工作端的三维坐标值以及法向向量；（5）根据工作端的三维坐标值与指导操作轨迹对操作仪工作端移动轨迹进行量化评估。本发明在操作仪工作端被遮挡的情况下，可以对操作仪工作过程中的位置与姿态进行实时估计；可以对操作仪的移动轨迹与指导操作轨迹进行量化评估，将其用于操作员的岗前培训和业务考核。

Description

一种操作仪工作端移动轨迹的实时位姿估计与评估方法
技术领域
本发明属于物体空间实时位姿跟踪领域，主要涉及基于特征点检测的位姿自动跟踪，具体涉及一种操作仪工作端移动轨迹的实时位姿估计与评估方法。
背景技术
在操作员操作仪实施作业的过程中，操作仪工作端的轨迹位姿要求通常会影响作业的质量，对作业过程中工作端位姿的实时监控和量化评估就为重要。
在实际应用中，操作仪的工作端经常会被遮挡，如操作仪工作端和作业目标接触时工作端被遮挡，因此无法通过视觉直接跟踪工作端的目标点。
另外，作业过程中工作端位姿的实时估计对关键点检测算法的效率要求很高，在主流的特征点检测算法中，输出是关于特征点的高斯热图，大量的输出参数降低了其算法的效率，如赵子昂提出的《基于卷积神经网络的精确和实时人体关键点检测算法研究及部署》论文，输出的参数为高斯热图，降低了特征点识别的效率。再如申请公布号为CN202111661938的中国发明专利，将深度信息输入网络进行卷积处理，减慢了位姿估计的运算速度，降低了特征点识别的效率。
因此，为了满足对操作仪工作端的实时位姿评估的需求，需要克服工作端被遮挡的问题与特征点识别算法的计算效率问题。
本发明因此提出了一种操作仪工作端移动轨迹的实时位姿估计与评估方法，该成果可用于评估操作员是否符合预期操作轨迹的位姿要求，以及对操作员的岗前培训和业务考核。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供操作仪工作端移动轨迹的实时位姿估计与评估方法，解决了工作端被遮挡无法定位的问题，特征点算法计算速度较慢的问题以及操作员操作质量量化问题。
本发明至少通过如下技术方案之一实现。
一种操作仪工作端移动轨迹的实时位姿估计与评估方法，该方法基于的操作仪工作端移动轨迹位姿估计与评估系统包括立体视觉相机、相机外连接件、工作台、指导操作轨迹、计算机、操作仪及其特征区域与工作端、操作员，其特征在于：该方法包括步骤：
S1、为操作仪选取特征区域，选取特征区域的中心点为操作仪的特征点；
在操作仪无明显特征的情况下，为操作仪设计特征图案，将该图案贴至操作仪上作为特征区域，选取图案中心点为操作仪的特征点；
将选择的特征区域记为
Figure 100002_DEST_PATH_IMAGE001
，对应的特征点记为
Figure 270261DEST_PATH_IMAGE002
，
Figure 100002_DEST_PATH_IMAGE003
指的是选择的特征区域的类别个数；
用立体视觉相机拍摄操作仪在不同姿态下的图片，使用中心标记法标记特征区域，并且确保在不同姿态下看见至少三个特征区域；
所述中心标记法指的是用两个点
Figure 873281DEST_PATH_IMAGE004
作为特征区域的标记，
Figure 100002_DEST_PATH_IMAGE005
是操作仪特征点在图像中的像素二维坐标
Figure 782331DEST_PATH_IMAGE006
，
Figure 100002_DEST_PATH_IMAGE007
是操作仪特征区域的最小外接四边形的一个角在图像中的像素二维坐标
Figure 200322DEST_PATH_IMAGE008
，通过拍照不同姿态下的操作仪与标记特征点作为训练集。
S2、在合适位置搭建平台，将立体视觉相机通过相机外接件固定在工作台上，调整相机外接件的位置，使得立体视觉相机处于最佳工作位置，即在移动操作仪的过程中既能捕捉到清晰的操作仪的RGB彩色图像，又使得立体视觉相机获取清晰的操作仪的点云数据，并将RGB彩色图像与深度图像输入到计算机中；
S3、构建特征点检测的卷积神经网络，将预处理后的RGB彩色图像输入特征点检测卷积神经网络，通过解码网络输出获得图像中的操作仪特征点所在的像素二维坐标值；通过正样本匹配获得可供训练使用的正样本，构造损失函数用于回归调整卷积核系数；
S4、处理特征点附近的点云数据，降低点云噪声干扰，获取在空间中操作仪各特征点的三维坐标值，计算得出操作仪工作端的三维坐标值以及法向量；
S5、根据工作端的三维坐标值与指导操作轨迹对操作仪工作端移动轨迹进行量化评估。
进一步地，所述步骤S3具体包括：
S31、采集的RGB彩色图像宽高为
Figure 100002_DEST_PATH_IMAGE009
，根据图像裁剪方法将
Figure 725981DEST_PATH_IMAGE009
的图像裁剪为
Figure 867112DEST_PATH_IMAGE010
；
所述图像裁剪方法，是根据上一帧识别的到的操作仪的范围对该帧的图像进行裁剪，图像裁剪的方法提高了网络计算的速度；
S32、特征点检测卷积神经网络的输入大小为
Figure 100002_DEST_PATH_IMAGE011
，选取
Figure 161828DEST_PATH_IMAGE012
中的最大值
Figure 100002_DEST_PATH_IMAGE013
作为放缩的最大边界，将裁剪后的图像不失真的放缩为
Figure 995791DEST_PATH_IMAGE014
的宽高大小，对比网络输入大小
Figure 212009DEST_PATH_IMAGE011
，用RGB值为
Figure 100002_DEST_PATH_IMAGE015
的黑色填充图像空余的部分，再将图像的RGB值以256为1进行归一化处理；
S33、将放缩图像输入主干特征提取网络获取图像深层信息；
通过Focus网络拓宽通道数，建立由四个残差网络串联组成的网络模型，依次将第二个到第四个残差网络的输出记为
Figure 891252DEST_PATH_IMAGE016
、
Figure 100002_DEST_PATH_IMAGE017
和
Figure 40474DEST_PATH_IMAGE018
，以
Figure 100002_DEST_PATH_IMAGE019
作为加强特征提取网络的输入
Figure 45339DEST_PATH_IMAGE020
，即
Figure 100002_DEST_PATH_IMAGE021
；
S34、在加强特征提取网络中，将
Figure 79678DEST_PATH_IMAGE022
进行相互上下采样与卷积，得到加强特征提取网络的输出
Figure 100002_DEST_PATH_IMAGE023
，所述
Figure 359350DEST_PATH_IMAGE023
融合了
Figure 97499DEST_PATH_IMAGE022
的信息；
S35、在分类器与回归器中，使用卷积的方式将步骤S34所述的输出
Figure 742107DEST_PATH_IMAGE023
分别卷积成大小为
Figure 932917DEST_PATH_IMAGE024
的
Figure 100002_DEST_PATH_IMAGE025
，
Figure 953962DEST_PATH_IMAGE026
与输入的
Figure 812197DEST_PATH_IMAGE023
的宽高大小相同；
S36、对步骤S35的
Figure 100002_DEST_PATH_IMAGE027
进行解码，上述
Figure 893285DEST_PATH_IMAGE028
定义为原图分为
Figure 100002_DEST_PATH_IMAGE029
个网络输出区域，网络输出区域的中心点记为
Figure 633708DEST_PATH_IMAGE030
；
所述
Figure 100002_DEST_PATH_IMAGE031
代表卷积神经网络识别到图像中特征区域的大小与位置信息，其中有四个参数
Figure 724024DEST_PATH_IMAGE032
：
Figure 100002_DEST_PATH_IMAGE033
代表步骤S1中所述特征点
Figure 964994DEST_PATH_IMAGE034
与
Figure 685825DEST_PATH_IMAGE030
的偏移系数
Figure 100002_DEST_PATH_IMAGE035
；
Figure 116807DEST_PATH_IMAGE036
代表步骤S1中所述特征区域
Figure 100002_DEST_PATH_IMAGE037
的宽高系数
Figure 214076DEST_PATH_IMAGE038
；
所述
Figure 100002_DEST_PATH_IMAGE039
代表
Figure 312482DEST_PATH_IMAGE040
是否含有
Figure 469793DEST_PATH_IMAGE037
的概率；
所述
Figure 100002_DEST_PATH_IMAGE041
代表识别到的特征区域属于各个类别的概率；
通过解码获得特征区域，选取特征区域的中心点，获得操作仪的特征点在RGB彩色图像中的二维坐标；
S37、在网络训练过程中，通过正样本匹配方法从网络输出的大量负样本中选出可用来训练的正样本数据，再构造损失函数用于回归调整卷积核系数；
所述的损失函数包括四个部分
Figure 122492DEST_PATH_IMAGE042
、
Figure 100002_DEST_PATH_IMAGE043
、
Figure 289031DEST_PATH_IMAGE044
、
Figure 100002_DEST_PATH_IMAGE045
：
特征区域损失函数
Figure 241943DEST_PATH_IMAGE042
：正样本输出区域与步骤S13中标记的区域的IOU损失；
特征点存在损失函数
Figure 304577DEST_PATH_IMAGE043
：正负样本与步骤S13中标记区域是否含有特征区域计算交叉熵损失；
特征点类别损失函数
Figure 444572DEST_PATH_IMAGE044
：正负样本与步骤S13中标记的区域的类别计算交叉熵损失；
特征点偏移损失函数
Figure 618064DEST_PATH_IMAGE045
：正负样本与步骤S13中标记区域中心点的欧氏距离；
总损失函数
Figure 894324DEST_PATH_IMAGE046
计算公式如下：
Figure 393439DEST_PATH_IMAGE048
其中
Figure 100002_DEST_PATH_IMAGE049
为重点损失函数系数；
训练时，根据步骤S1提供的训练集，对构建好的特征点检测卷积神经网络设置训练的超参数和训练条件进行网络参数训练。
进一步地，所述步骤S4具体包括：
S41、基于步骤S36所述获取的操作仪的特征点在RGB彩色图像中的二维坐标，通过对同一时刻获取的点云数据进行直通滤波、条件滤波、半径滤波操作处理无效点云数据，清除噪声的干扰；
S42、通过深度优先搜索算法与三维映射获取操作仪上目标特征点的深度信息；
S43、通过特征点的三维坐标建立坐标系
Figure 20729DEST_PATH_IMAGE050
；
以三个特征点
Figure 100002_DEST_PATH_IMAGE051
为一组，将靠近工作端的特征点
Figure 532001DEST_PATH_IMAGE052
作为空间坐标系
Figure 100002_DEST_PATH_IMAGE053
的原点，以
Figure 193926DEST_PATH_IMAGE054
向量作为
Figure 863942DEST_PATH_IMAGE053
的
Figure 100002_DEST_PATH_IMAGE055
轴的单位向量
Figure 978529DEST_PATH_IMAGE056
，通过叉乘向量
Figure 100002_DEST_PATH_IMAGE057
与向量
Figure 290561DEST_PATH_IMAGE058
获得垂直于
Figure 100002_DEST_PATH_IMAGE059
所在平面的向量
Figure 806993DEST_PATH_IMAGE060
，再除以模长，作为
Figure 382331DEST_PATH_IMAGE053
的
Figure 100002_DEST_PATH_IMAGE061
轴的单位向量
Figure 249793DEST_PATH_IMAGE062
，通过叉乘向量
Figure 454597DEST_PATH_IMAGE056
与向量
Figure 91115DEST_PATH_IMAGE062
再除以模长获得
Figure 637021DEST_PATH_IMAGE053
的
Figure 100002_DEST_PATH_IMAGE063
轴的单位向量
Figure 522938DEST_PATH_IMAGE064
；计算公式如下：
Figure 380035DEST_PATH_IMAGE066
Figure 605480DEST_PATH_IMAGE068
Figure 788200DEST_PATH_IMAGE070
Figure 100002_DEST_PATH_IMAGE071
Figure 364675DEST_PATH_IMAGE072
Figure 556622DEST_PATH_IMAGE074
Figure 100002_DEST_PATH_IMAGE075
Figure 698890DEST_PATH_IMAGE076
Figure 100002_DEST_PATH_IMAGE077
Figure 583670DEST_PATH_IMAGE078
S44、基于操作仪的模型，根据建立的坐标系
Figure 116282DEST_PATH_IMAGE053
与工作端的位置关系系数（
Figure 100002_DEST_PATH_IMAGE079
，
Figure 111920DEST_PATH_IMAGE080
，
Figure 100002_DEST_PATH_IMAGE081
）与工作端
Figure 558295DEST_PATH_IMAGE082
法向量在
Figure 879555DEST_PATH_IMAGE053
坐标系下的坐标
Figure 100002_DEST_PATH_IMAGE083
；通过
Figure 430622DEST_PATH_IMAGE053
的原点
Figure 229951DEST_PATH_IMAGE052
计算获得工作端
Figure 284494DEST_PATH_IMAGE082
在相机坐标系下的坐标
Figure 979918DEST_PATH_IMAGE084
与法向量
Figure 100002_DEST_PATH_IMAGE085
，计算公式如下：
Figure 552369DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE087
Figure DEST_PATH_IMAGE089
Figure DEST_PATH_IMAGE091
Figure 483285DEST_PATH_IMAGE092
在
Figure 251390DEST_PATH_IMAGE059
特征点的
Figure 100002_DEST_PATH_IMAGE093
坐标值中加入误差
Figure 383294DEST_PATH_IMAGE094
，根据计算可得工作端
Figure 643374DEST_PATH_IMAGE082
的误差
Figure 100002_DEST_PATH_IMAGE095
关系如下：
Figure DEST_PATH_IMAGE097
Figure 100002_DEST_PATH_IMAGE099
该公式表明，
Figure 336171DEST_PATH_IMAGE095
与
Figure 99728DEST_PATH_IMAGE059
的相互距离呈负相关，与
Figure 136954DEST_PATH_IMAGE100
呈正相关，其中
Figure 618751DEST_PATH_IMAGE100
指的是工作端
Figure 766836DEST_PATH_IMAGE082
与由
Figure 650478DEST_PATH_IMAGE059
组成的平面
Figure 100002_DEST_PATH_IMAGE101
的距离。
进一步地，所述步骤S5具体包括：
S51、根据S44中实时获取的操作仪的工作端
Figure 124185DEST_PATH_IMAGE082
的空间坐标
Figure 93278DEST_PATH_IMAGE084
，将其与指导操作轨迹点的坐标的差值
Figure 45053DEST_PATH_IMAGE102
与重合轨迹阈值
Figure 100002_DEST_PATH_IMAGE103
与偏离轨迹阈值
Figure 314361DEST_PATH_IMAGE104
做得分估计；
所述的指导操作轨迹是根据任务要求规划的操作仪工作运动轨迹，是由空间中具有位姿信息的连续的点连接而成；该轨迹对操作员操作仪器起指导作用，同时作为评估操作仪实际移动轨迹偏差的标准；
S52、根据步骤S4中实时获取的操作仪的工作端的法向量
Figure 693389DEST_PATH_IMAGE085
与指导操作轨迹点的法向量
Figure 100002_DEST_PATH_IMAGE105
的夹角
Figure 415358DEST_PATH_IMAGE106
的余弦值
Figure 100002_DEST_PATH_IMAGE107
与角度偏离阈值
Figure 436403DEST_PATH_IMAGE108
做得分估计；
S53、对操作员使用操作仪在规划轨迹上移动的点进行量化评分。
与现有的关键点检测网络相比，该方法的输出参数较少，网络计算量减少，能够满足实时检测的需求；在工作端被遮挡的情况下，也能通过操作仪上特征点的坐标计算获得工作端的位姿信息；实现操作仪工作端移动轨迹的实时位姿估计与评估。
附图说明
图1是本发明方法的操作仪工作端移动轨迹的实时位姿估计与评估系统总体结构示意图；
图2是本发明方法的特征点检测卷积神经网络结构示意图；
图3是本发明方法的对操作仪移动轨迹跟踪的实时位姿估计与评估方法流程示意图；
图4是本发明具体实施例的操作仪工作端移动轨迹的实时位姿估计与评估系统总体结构示意图；
图5是本发明具体实施例的操作仪（按摩仪）上的特征区域图；
图6是本发明具体实施例的特征区域的特征点标记图；
图7是本发明具体实施例的计算工作端轨迹与指导操作轨迹图；
图4中：1-操作仪（按摩仪）、2-立体视觉相机（kinect深度相机）、3-相机外连接件、4-指导操作轨迹（指导按摩轨迹）、5-硅胶人体面部模型、6-计算机（硬件GPU设备为3050Ti）、7-工作台；
图5中：8-操作仪上的特征点①，9-操作仪上的特征点②，10-操作仪上的特征点③；
图7中：11-指导操作轨迹法向量、12-面部特征点、13-工作端实际位置与法向量、14-工作端实际移动的轨迹、15-工作端实际移动轨迹的法向量。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。
请参阅图3、图4，本发明提供的操作仪工作端移动轨迹的实时位姿估计与评估方法，该方法基于的操作仪工作端移动轨迹的实时位姿估计与评估系统包括：1-操作仪（按摩仪）、2-立体视觉相机（kinect深度相机）、3-相机外连接件、4-指导操作轨迹（指导按摩轨迹）、5-硅胶人体面部模型、6-计算机（硬件GPU设备为3050Ti）、7-工作台。
在本实施例中，按摩仪1将在硅胶人体面部模型5上沿着指导操作轨迹4的方向以及法向进行按摩操作，要求对按摩仪工作端的移动轨迹进行实时的位姿估计与评估。
立体视觉相机2通过相机外接件3固定在工作台7上，防止相机移动导致规划轨迹的偏移；指导操作轨迹4与面部特征点12是在硅胶人体面部模型5上生成的，其生成方法不在本专利描述中。
如图3所示，本发明所提供的一种操作仪工作端移动轨迹的实时位姿估计与评估方法，包括以下步骤：
步骤S1：选择与设计特征区域：
1）请参阅图5，在按摩的过程中，在按摩仪的侧面选取与设计共3个特征区域；
2）选取特征点①，②，③作为计算工作端位姿的一组；
3）请参阅图6，使用中心标记法标记特征区域作为S3的网络训练集。
步骤S2：搭建平台，采集图像并发送到计算机：
1）采集数据开始前、将相机通过相机的外接件固定在工作台上，调整相机外接件的位置，使得相机处于最佳工作位置，即在移动操作仪的过程中既能捕捉到清晰的操作仪的图像，又使得相机能获取清晰的操作仪的点云数据；
2）将RGBRGB彩色图像与深度图像输入到计算机中。
步骤S3：获取按摩仪上特征点的坐标：
1）根据上一帧按摩仪上的特征点区域对RGB图像进行裁剪，然后放缩成特征点识别网络输入大小
Figure 100002_DEST_PATH_IMAGE109
；
2）经过主干特征提取网络、加强特征提取网络、分类器与回归器，得到大小分别为
Figure 29059DEST_PATH_IMAGE110
、
Figure DEST_PATH_IMAGE111
、
Figure 110147DEST_PATH_IMAGE112
的输出
Figure DEST_PATH_IMAGE113
、
Figure 322341DEST_PATH_IMAGE114
、
Figure DEST_PATH_IMAGE115
，输出参数共16800个；
3）对该网络输出进行解码获取特征点在图像中的二维坐标；
4）相比于特征点检测网络输出高斯热图的参数数量
Figure 147078DEST_PATH_IMAGE116
，有着更少的计算，在RTX3050Ti的GPU上可达到40FPS的运算速度，满足实时位姿估计的要求。
步骤S4：计算按摩仪工作端的位姿：
1）根据是否获得特征点，对以特征点为中心的一定半径内的点云数据实施直通滤波、条件滤波、半径滤波获得较少噪声点的点云数据；
2）通过对该点云数据进行深度优先搜索算法，将特征点的像素二维坐标转化为操作仪特征点的三维坐标；
3）根据特征点组合建立坐标系
Figure 859819DEST_PATH_IMAGE053
；
4）基于操作仪的模型，根据建立的坐标系
Figure 315071DEST_PATH_IMAGE053
与工作端的位置关系系数
Figure DEST_PATH_IMAGE117
与工作端
Figure 277211DEST_PATH_IMAGE082
法向量在
Figure 108901DEST_PATH_IMAGE053
坐标系下的坐标
Figure 941727DEST_PATH_IMAGE083
；计算得工作端
Figure 833460DEST_PATH_IMAGE082
实际的位置与法向量13，由此组成工作端实际移动的轨迹14和法向量15。
步骤S5：请参阅图7，根据指导操作轨迹4和法向量11，对工作端实际移动的轨迹14和法向量15进行评估：
1）根据S4中实时获取的按摩仪的工作端的空间坐标的
Figure 486158DEST_PATH_IMAGE118
坐标值与指导操作轨迹点的坐标的差值
Figure 387118DEST_PATH_IMAGE102
与重合轨迹阈值
Figure 543293DEST_PATH_IMAGE103
与偏离轨迹阈值
Figure 871506DEST_PATH_IMAGE104
做得分估计：
若
Figure 11500DEST_PATH_IMAGE102
小于
Figure 450572DEST_PATH_IMAGE103
，判断工作端已到达该轨迹点；
若
Figure 726833DEST_PATH_IMAGE102
大于
Figure 225947DEST_PATH_IMAGE103
但小于
Figure 587658DEST_PATH_IMAGE104
，判断工作端仍在轨迹附近；
若
Figure 564842DEST_PATH_IMAGE102
大于
Figure 961188DEST_PATH_IMAGE104
，判断工作端已经偏离轨迹；
2）根据S4中实时获取的操作仪的工作端的法向量
Figure DEST_PATH_IMAGE119
与指导操作轨迹点的法向量
Figure 893853DEST_PATH_IMAGE105
的夹角
Figure 742860DEST_PATH_IMAGE106
的余弦值
Figure 258155DEST_PATH_IMAGE107
与角度偏离阈值
Figure 774587DEST_PATH_IMAGE108
做得分估计；
Figure 349925DEST_PATH_IMAGE120
若
Figure 951808DEST_PATH_IMAGE107
大于
Figure 270794DEST_PATH_IMAGE108
，判断工作端在该轨迹点上与规划轨迹法向量保持一致；
若
Figure 641732DEST_PATH_IMAGE107
小于
Figure 387971DEST_PATH_IMAGE108
，判断工作端在该轨迹点上无法满足规划轨迹法向量；
3）对操作员使用按摩仪在指导操作轨迹上移动的点进行量化评分；在本发明的实施例中，量化评分
Figure DEST_PATH_IMAGE121
计算公式如下：
Figure 211571DEST_PATH_IMAGE122
Figure DEST_PATH_IMAGE123
其中
Figure 865406DEST_PATH_IMAGE124
为该指导轨迹上点的数目，
Figure DEST_PATH_IMAGE125
为指导轨迹中一个点的量化评分。
在评估系统开始后，将重复S2-S5直至操作员完成指导操作轨迹，在此过程中，本发明克服特征点识别算法的计算效率问题，能够对按摩仪的工作端实现精确的位置与姿态估计，也克服了工作端被遮挡无法识别位姿的问题，满足了对操作员的岗前培训和业务考核要求。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种操作仪工作端移动轨迹的实时位姿估计与评估方法，该方法基于的操作仪工作端移动轨迹位姿估计与评估系统包括立体视觉相机、相机外连接件、工作台、指导操作轨迹、计算机、操作仪及其特征区域与工作端、操作员，其特征在于：该方法包括步骤：
S1、为操作仪选取特征区域，选取特征区域的中心点为操作仪的特征点；
在操作仪无明显特征的情况下，为操作仪设计特征图案，将该图案贴至操作仪上作为特征区域，选取图案中心点为操作仪的特征点；
将选择的特征区域记为
Figure DEST_PATH_IMAGE001
，对应的特征点记为
Figure 90817DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
指的是选择的特征区域的类别个数；
用立体视觉相机拍摄操作仪在不同姿态下的图片，使用中心标记法标记特征区域，并且确保在不同姿态下看见至少三个特征区域；
所述中心标记法指的是用两个点
Figure 151176DEST_PATH_IMAGE004
作为特征区域的标记，
Figure DEST_PATH_IMAGE005
是操作仪特征点在图像中的像素二维坐标
Figure 48725DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
是操作仪特征区域的最小外接四边形的一个角在图像中的像素二维坐标
Figure 903549DEST_PATH_IMAGE008
，通过拍照不同姿态下的操作仪与标记特征点作为训练集；
S2、在合适位置搭建平台，将立体视觉相机通过相机外接件固定在工作台上，调整相机外接件的位置，使得立体视觉相机处于最佳工作位置，即在移动操作仪的过程中既能捕捉到清晰的操作仪的RGB彩色图像，又使得立体视觉相机获取清晰的操作仪的点云数据，并将RGB彩色图像与深度图像输入到计算机中；
S3、构建特征点检测的卷积神经网络，将预处理后的RGB彩色图像输入特征点检测卷积神经网络，通过解码网络输出获得图像中的操作仪特征点所在的像素二维坐标值；通过正样本匹配获得可供训练使用的正样本，构造损失函数用于回归调整卷积核系数；
S4、处理特征点附近的点云数据，降低点云噪声干扰，获取在空间中操作仪各特征点的三维坐标值，计算得出操作仪工作端的三维坐标值以及法向量；
S5、根据工作端的三维坐标值与指导操作轨迹对操作仪工作端移动轨迹进行量化评估。
2.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法，其特征在于：所述步骤S3具体包括：
S31、采集的RGB彩色图像宽高为
Figure DEST_PATH_IMAGE009
，根据图像裁剪方法将
Figure 152128DEST_PATH_IMAGE009
的图像裁剪为
Figure 281758DEST_PATH_IMAGE010
；
所述图像裁剪方法，是根据上一帧识别的到的操作仪的范围对该帧的图像进行裁剪，图像裁剪的方法提高了网络计算的速度；
S32、特征点检测卷积神经网络的输入大小为
Figure DEST_PATH_IMAGE011
，选取
Figure 33813DEST_PATH_IMAGE012
中的最大值
Figure DEST_PATH_IMAGE013
作为放缩的最大边界，将裁剪后的图像不失真的放缩为
Figure 322187DEST_PATH_IMAGE014
的宽高大小，对比网络输入大小
Figure 58062DEST_PATH_IMAGE011
，用RGB值为
Figure DEST_PATH_IMAGE015
的黑色填充图像空余的部分，再将图像的RGB值以256为1进行归一化处理；
S33、将放缩图像输入主干特征提取网络获取图像深层信息；
通过Focus网络拓宽通道数，建立由四个残差网络串联组成的网络模型，依次将第二个到第四个残差网络的输出记为
Figure 460225DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE017
和
Figure 332366DEST_PATH_IMAGE018
，以
Figure DEST_PATH_IMAGE019
作为加强特征提取网络的输入
Figure 794571DEST_PATH_IMAGE020
，即
Figure DEST_PATH_IMAGE021
；
S34、在加强特征提取网络中，将
Figure 486584DEST_PATH_IMAGE022
进行相互上下采样与卷积，得到加强特征提取网络的输出
Figure DEST_PATH_IMAGE023
，所述
Figure 958016DEST_PATH_IMAGE023
融合了
Figure 950243DEST_PATH_IMAGE022
的信息；
S35、在分类器与回归器中，使用卷积的方式将步骤S34所述的输出
Figure 848929DEST_PATH_IMAGE023
分别卷积成大小为
Figure 559396DEST_PATH_IMAGE024
的
Figure DEST_PATH_IMAGE025
，
Figure 303361DEST_PATH_IMAGE026
与输入的
Figure 415673DEST_PATH_IMAGE023
的宽高大小相同；
所述
Figure DEST_PATH_IMAGE027
代表卷积神经网络识别到图像中特征区域的大小与位置信息，其中有四个参数
Figure 219681DEST_PATH_IMAGE028
：
Figure DEST_PATH_IMAGE029
代表步骤S1中所述特征点
Figure 886286DEST_PATH_IMAGE030
与
Figure DEST_PATH_IMAGE031
的偏移系数
Figure 431012DEST_PATH_IMAGE032
；
Figure DEST_PATH_IMAGE033
代表步骤S1中所述特征区域
Figure 132252DEST_PATH_IMAGE034
的宽高系数
Figure DEST_PATH_IMAGE035
；
所述
Figure 841582DEST_PATH_IMAGE036
代表
Figure DEST_PATH_IMAGE037
是否含有
Figure 526641DEST_PATH_IMAGE038
的概率；
所述
Figure DEST_PATH_IMAGE039
代表识别到的特征区域属于各个类别的概率；
S36、对步骤S35的
Figure 612409DEST_PATH_IMAGE040
进行解码，上述
Figure DEST_PATH_IMAGE041
定义为原图分为
Figure 168155DEST_PATH_IMAGE042
个网络输出区域，网络输出区域的中心点记为
Figure 313966DEST_PATH_IMAGE031
；
通过解码获得特征区域，选取特征区域的中心点，获得操作仪的特征点在RGB彩色图像中的二维坐标；
S37、在网络训练过程中，通过正样本匹配方法从网络输出的大量负样本中选出可用来训练的正样本数据，再构造损失函数用于回归调整卷积核系数；
所述的损失函数包括四个部分
Figure DEST_PATH_IMAGE043
、
Figure 220742DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE045
、
Figure 110201DEST_PATH_IMAGE046
：
特征区域损失函数
Figure 786033DEST_PATH_IMAGE043
：正样本输出区域与步骤S13中标记的区域的IOU损失；
特征点存在损失函数
Figure 633903DEST_PATH_IMAGE044
：正负样本与步骤S13中标记区域是否含有特征区域计算交叉熵损失；
特征点类别损失函数
Figure 27975DEST_PATH_IMAGE045
：正负样本与步骤S13中标记的区域的类别计算交叉熵损失；
特征点偏移损失函数
Figure 986704DEST_PATH_IMAGE046
：正负样本与步骤S13中标记区域中心点的欧氏距离；
总损失函数
Figure DEST_PATH_IMAGE047
计算公式如下：
Figure DEST_PATH_IMAGE049
其中
Figure 248533DEST_PATH_IMAGE050
为重点损失函数系数；
训练时，根据步骤S1提供的训练集，对构建好的特征点检测卷积神经网络设置训练的超参数和训练条件进行网络参数训练。
3.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法，其特征在于：所述步骤S4具体包括：
S41、基于步骤S36所述获得 的操作仪的特征点在RGB彩色图像中的二维坐标，通过对同一时刻获取的点云数据进行直通滤波、条件滤波、半径滤波操作处理无效点云数据，清除噪声的干扰；
S42、通过深度优先搜索算法与三维映射获取操作仪上目标特征点的深度信息；
S43、通过特征点的三维坐标建立坐标系
Figure DEST_PATH_IMAGE051
；
以三个特征点
Figure 736147DEST_PATH_IMAGE052
为一组，将靠近工作端的特征点
Figure DEST_PATH_IMAGE053
作为空间坐标系
Figure 86356DEST_PATH_IMAGE054
的原点，以
Figure DEST_PATH_IMAGE055
向量作为
Figure 583197DEST_PATH_IMAGE054
的
Figure 233621DEST_PATH_IMAGE056
轴的单位向量
Figure DEST_PATH_IMAGE057
，通过叉乘向量
Figure 892136DEST_PATH_IMAGE058
与向量
Figure DEST_PATH_IMAGE059
获得垂直于
Figure 260800DEST_PATH_IMAGE060
所在平面的向量
Figure DEST_PATH_IMAGE061
，再除以模长，作为
Figure 30173DEST_PATH_IMAGE054
的
Figure 800683DEST_PATH_IMAGE062
轴的单位向量
Figure DEST_PATH_IMAGE063
，通过叉乘向量
Figure 630098DEST_PATH_IMAGE057
与向量
Figure 220480DEST_PATH_IMAGE063
再除以模长获得
Figure 324702DEST_PATH_IMAGE054
的
Figure 215298DEST_PATH_IMAGE064
轴的单位向量
Figure DEST_PATH_IMAGE065
；计算公式如下：
Figure DEST_PATH_IMAGE067
Figure DEST_PATH_IMAGE069
Figure DEST_PATH_IMAGE071
Figure 150368DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
Figure DEST_PATH_IMAGE075
Figure 696887DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
Figure 808063DEST_PATH_IMAGE078
Figure DEST_PATH_IMAGE079
S44、基于操作仪的模型，根据建立的坐标系
Figure 22006DEST_PATH_IMAGE054
与工作端的位置关系系数（
Figure 458804DEST_PATH_IMAGE080
，
Figure DEST_PATH_IMAGE081
，
Figure 23777DEST_PATH_IMAGE082
）与工作端
Figure DEST_PATH_IMAGE083
法向量在
Figure 938644DEST_PATH_IMAGE054
坐标系下的坐标
Figure 538252DEST_PATH_IMAGE084
；通过
Figure 411530DEST_PATH_IMAGE054
的原点
Figure 198221DEST_PATH_IMAGE053
计算获得工作端
Figure 447937DEST_PATH_IMAGE083
在相机坐标系下的坐标
Figure DEST_PATH_IMAGE085
与法向量
Figure 636472DEST_PATH_IMAGE086
，计算公式如下：
Figure 680652DEST_PATH_IMAGE067
Figure 220218DEST_PATH_IMAGE088
Figure 742466DEST_PATH_IMAGE090
Figure 313737DEST_PATH_IMAGE092
Figure DEST_PATH_IMAGE093
在
Figure 997659DEST_PATH_IMAGE060
特征点的
Figure 290100DEST_PATH_IMAGE094
坐标值中加入误差
Figure DEST_PATH_IMAGE095
，根据计算可得工作端
Figure 84881DEST_PATH_IMAGE083
的误差
Figure 779167DEST_PATH_IMAGE096
关系如下：
Figure 165149DEST_PATH_IMAGE098
Figure DEST_PATH_IMAGE099
该公式表明，
Figure 148149DEST_PATH_IMAGE096
与
Figure 12200DEST_PATH_IMAGE060
的相互距离呈负相关，与
Figure 560993DEST_PATH_IMAGE100
呈正相关，其中
Figure 117876DEST_PATH_IMAGE100
指的是工作端
Figure 853751DEST_PATH_IMAGE083
与由
Figure 787072DEST_PATH_IMAGE060
组成的平面
Figure DEST_PATH_IMAGE101
的距离。
4.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法，其特征在于：所述步骤S5具体包括：
S51、根据步骤S44中实时获取的操作仪的工作端
Figure 659213DEST_PATH_IMAGE083
的空间坐标
Figure 121418DEST_PATH_IMAGE085
，将其与指导操作轨迹点的坐标的差值
Figure 344589DEST_PATH_IMAGE102
与重合轨迹阈值
Figure DEST_PATH_IMAGE103
与偏离轨迹阈值
Figure 816022DEST_PATH_IMAGE104
做得分估计；
所述的指导操作轨迹是根据任务要求规划的操作仪工作运动轨迹，是由空间中具有位姿信息的连续的点连接而成；该轨迹对操作员操作仪器起指导作用，同时作为评估操作仪实际移动轨迹偏差的标准；
S52、根据步骤S4中实时获取的操作仪的工作端的法向量
Figure DEST_PATH_IMAGE105
与指导操作轨迹点的法向量
Figure 542669DEST_PATH_IMAGE106
的夹角
Figure DEST_PATH_IMAGE107
的余弦值
Figure 907267DEST_PATH_IMAGE108
与角度偏离阈值
Figure DEST_PATH_IMAGE109
做得分估计；
S53、对操作员使用操作仪在规划轨迹上移动的点进行量化评分。
CN202210531770.3A 2022-05-17 2022-05-17 一种操作仪工作端移动轨迹的实时位姿估计与评估方法 Active CN114663513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210531770.3A CN114663513B (zh) 2022-05-17 2022-05-17 一种操作仪工作端移动轨迹的实时位姿估计与评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210531770.3A CN114663513B (zh) 2022-05-17 2022-05-17 一种操作仪工作端移动轨迹的实时位姿估计与评估方法

Publications (2)

Publication Number Publication Date
CN114663513A CN114663513A (zh) 2022-06-24
CN114663513B true CN114663513B (zh) 2022-09-20

Family

ID=82037184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210531770.3A Active CN114663513B (zh) 2022-05-17 2022-05-17 一种操作仪工作端移动轨迹的实时位姿估计与评估方法

Country Status (1)

Country Link
CN (1) CN114663513B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统
CN110355757A (zh) * 2019-07-05 2019-10-22 佛山智能装备技术研究院 基于3d视觉的体感交互系统
CN112476434A (zh) * 2020-11-24 2021-03-12 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014223036A1 (de) * 2014-11-12 2016-05-12 Robert Bosch Gmbh Werkzeug und verfahren zur behandlung eines werkstücks mit einem werkzeugelement eines werkzeugs
US20220088787A1 (en) * 2018-02-06 2022-03-24 Clara Vu Workplace monitoring and semantic entity identification for safe machine operation
JP7028092B2 (ja) * 2018-07-13 2022-03-02 オムロン株式会社 把持姿勢評価装置及び把持姿勢評価プログラム
CN110039538B (zh) * 2019-04-03 2020-12-08 华中科技大学 一种基于大型复杂构件点云信息的机器人轨迹规划方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246127A (zh) * 2019-06-17 2019-09-17 南京工程学院 基于深度相机的工件识别与定位方法和系统、分拣系统
CN110355757A (zh) * 2019-07-05 2019-10-22 佛山智能装备技术研究院 基于3d视觉的体感交互系统
CN112476434A (zh) * 2020-11-24 2021-03-12 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统

Also Published As

Publication number Publication date
CN114663513A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN109145803B (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
JP2015522200A (ja) 人顔特徴点の位置決め方法、装置及び記憶媒体
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN107016319B (zh) 一种特征点定位方法和装置
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
JP2005339288A (ja) 画像処理装置及びその方法
CN115205286B (zh) 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
CN111402330A (zh) 一种基于平面靶标的激光线关键点提取方法
CN112734652A (zh) 一种基于双目视觉的近红外血管图像投影校正方法
CN109671084B (zh) 一种工件形状的测量方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN108416735B (zh) 基于几何特征的数字化x线图像的拼接方法及装置
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN110580697B (zh) 一种从超声视频图像中测量胎儿颈背透明物厚度的视频图像处理方法及系统
CN114663513B (zh) 一种操作仪工作端移动轨迹的实时位姿估计与评估方法
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN116363181A (zh) 一种基于特征的ct图像和超声图像肝脏配准方法
US20220130048A1 (en) System and method for estimating motion of target inside tissue based on surface deformation of soft tissue
CN112132884B (zh) 基于平行激光和语义分割的海参长度测量方法及系统
CN112950787B (zh) 一种基于图像序列的目标物体三维点云生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant