CN115922725A - 一种咽拭子采样机器人定位系统 - Google Patents
一种咽拭子采样机器人定位系统 Download PDFInfo
- Publication number
- CN115922725A CN115922725A CN202211699463.2A CN202211699463A CN115922725A CN 115922725 A CN115922725 A CN 115922725A CN 202211699463 A CN202211699463 A CN 202211699463A CN 115922725 A CN115922725 A CN 115922725A
- Authority
- CN
- China
- Prior art keywords
- depth
- positioning
- mechanical arm
- information
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 210000003800 pharynx Anatomy 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 33
- 210000000214 mouth Anatomy 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 210000000115 thoracic cavity Anatomy 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 102000039446 nucleic acids Human genes 0.000 description 5
- 108020004707 nucleic acids Proteins 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 206010011409 Cross infection Diseases 0.000 description 4
- 206010029803 Nosocomial infection Diseases 0.000 description 4
- 208000015181 infectious disease Diseases 0.000 description 4
- 210000002534 adenoid Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 229920000742 Cotton Polymers 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000002396 uvula Anatomy 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change
Landscapes
- Manipulator (AREA)
Abstract
本发明公开一种咽拭子采样机器人定位系统，第一深度相机、第二深度相机、粗定位模块、目标区域检测模块及控制模块；粗定位模块利用第一深度相机获取到RGB图像和第一深度图像，通过机器学习算法在RGB图像上识别出口腔特征点，并结合第一深度图像得到粗定位信息；通过目标区域检测模块根据粗定位后的机械臂获取第二深度图像，利用第二深度图像进行目标区域识别，并生成目标定位信息；通过控制模块对粗定位信息进行运动学逆向解算，得到第一控制数据，并对目标定位信息进行运动学逆向解算，得到第二控制数据，其中第一控制数据用于控制机械臂移动到粗定位信息对应位置，第二控制数据用于控制机械臂进行咽拭子采集区域定位及采样。
Description
技术领域
本发明涉及机器识别定位技术领域，特别涉及一种咽拭子采样机器人定位系统。
背景技术
新冠病毒的快速准确检测对于控制感染源和帮助患者预防疾病至关重要。基于核酸检测的方法已成为一种快速可靠的病毒检测技术，其中口咽拭子是最常见的采集样本。在医护人员和待检测人群接触过程中，空气中传播的飞沫、气溶胶增加了医护人员的感染风险。采用机器人替代核酸检测咽拭子采样医护人员，对于医护人员的保护、降低交叉感染的风险有着重要意义。此外不同医务人员在技术能力上导致核酸检测采样质量参差不齐，因长时间劳动也会导致疲劳而降低采样质量。而采集样本的质量、采集时间(感染的早期阶段或感染期间太晚)、病毒载量低于化验检测限、样本处理不正确或运输问题等因素都是影响核酸检测效果的重要因素。
目前已经存在的咽拭子采样机器人所做的定位工作，多是通过下巴托或者咬合器等工具对口腔进行固定。机器人和口腔位置都固定后，从而可以机械地完成咽拭子采样工作。这些工作简单易行，但是存在明显的缺陷，咬合器和下巴托都需要与人体接触，增加了交叉感染的风险。如果采用一次性工具则会提高采样成本，并且切换过程复杂，降低了采样效率。并且不同群体身高不同，将咬合器放置在固定位置多有不妥。在处理咽拭子PCR目标区域识别上，很难获取到足够多的样本来训练深度神经网络。传统的分割算法则需要进行迭代且多用于前景与背景的分割，对于PCR目标区域识别问题，在时效性和分割效果上，不能给出很好的解决方案。不同人的身高等特征会导致口腔位置不一，因此我们不能固定机械臂的运动路径及其变化姿态，需要在根据目标区域动态求解机械臂的姿态。现有技术存在上述问题。所以亟需一种能够智能化减少接触且能够有效准确进行咽拭子采样机器人定位系统。
发明内容
为解决上述现有技术中所存在的问题，本发明提供一种咽拭子采样机器人定位系统，能够智能化减少接触且能够有效准确进行咽拭子采样机器人定位系统。
为了实现上述目的，本发明提供如下技术方案：
一种咽拭子采样机器人定位系统，包括：
第一深度相机、第二深度相机、粗定位模块、目标区域检测模块及控制模块；
通过粗定位模块获取第一深度相机采集的RGB图像和第一深度图像，通过机器学习算法在RGB图像上识别出口腔特征点，并结合第一深度图像得到粗定位信息；
通过所述目标区域检测模块根据粗定位后的机械臂获取第二深度图像，对第二深度图像进行PCR目标区域识别，生成目标定位信息；
通过控制模块采用D-H参数法对粗定位信息进行运动学逆向解算，得到第一控制数据，并采用D-H参数法对目标定位信息进行运动学逆向解算，得到第二控制数据，其中第一控制数据用于控制机械臂移动到粗定位信息对应位置，所述第二控制数据用于控制机械臂进行咽拭子采集区域定位及采样。
可选的，还包括第一深度相机，其中所述第一深度相机设置于咽拭子采样机器人的胸腔，所述第一深度相机用于采集第一深度图像和RGB图像，并将所述第一深度图像和RGB图像传输给所述粗定位模块。
可选的，还包括第二深度相机，其中所述第二深度相机设置于咽拭子采样机器人的机械臂末端，所述第二深度相机用于采集第二深度图像，并将所述第二深度图像传输给所述目标区域检测模块。
可选的，在所述粗定位模块中，粗定位信息获取的过程包括：
通过机器学习算法对所述RGB图像进行人脸关键点检测，得到关键位置特征点，并对关键位置特征点进行筛选，得到口腔特征点，基于第一深度图形中口腔特征点的深度信息，通过SVD分解对嘴唇特征点进行向量解算，得到粗定位特征向量，并根据嘴唇特征点进行计算得到粗定位位置，所述粗定位特征向量及粗定位位置构成所述粗定位信息。
可选的，所述机器学习算法采用face landmark算法。
可选的，在所述目标区域检测模块中，对第二深度图像进行PCR目标区域识别的过程包括：
通过机器学习算法对所述第二深度图像进行特征识别及筛选，得到所述嘴唇特征点，基于所述嘴唇特征点构建嘴唇形状信息，计算嘴唇形状信息中的深度点信息，对深度点信息进行统计计算，得到所述最深深度点信息，基于最深深度点信息，得到PCR目标区域的目标定位信息。
可选的，在所述控制模块中，进行运动学逆向解算的过程包括：
获取机械臂、第一深度相机及第二深度相机的坐标系，其中所述机械臂的坐标系包括地杆坐标系及中间坐标系；
基于第二深度相机的坐标系及中间坐标系，构造第一变换矩阵；基于第一深度相机的坐标系及地杆坐标系，构造第二变换矩阵；基于所述中间坐标系，构造第三变换矩阵；基于第一变换矩阵、第二变换矩阵及第三变换矩阵构造总变换矩阵，通过总变换矩阵对所述粗定位信息及目标定位信息进行运动学逆向解算，得到机械臂的调整参数即第一控制数据和第二控制数据。
可选的，所述第三变换矩阵为：
其中，c为cos函数，s为sin函数，其θi,αi,ai-1为引用D-H参数法描述六度机械臂几何关系时所引入的参数，具体的θi为旋转到第i个X轴的角度,αi-1为旋转到第i-1个Z轴的角度,ai-1为第i-1个坐标系对应的抽象连杆长度，i为坐标系个数，其中左上3×3矩阵描述旋转参数，第四列前三维描述平移向量。
本发明具有如下技术效果：
本发明将咽拭子采样机器人定位系统分成三个模块，是一个轻量易实现的系统。其中口腔粗定位模块，通过特定算法识别出口腔，将机械臂抬升到口腔附近，避免了使用下巴托、咬合器等辅助定位工具带来的交叉感染风险，并且可以自适应不同群体，提高了用户体验。PCR目标区域检测模块使用深度相机获取到的深度信息，进行图像分割，求解速度快。同时避免了使用RGB图像进行分割时，为了获得清晰的图像需要对口腔进行补光的操作。机械臂控制模块，通过D-H参数法描述机械臂几何关系，将深度相机获取到的目标点坐标，转化为机械臂上的几何参数，是完成上述两个模块所必须的基础。同时在其中通过增加额外的几何约束，确保机械臂末端的深度相机可以正对口腔，从而获取良好的成像效果。实验表明，口腔粗定位模块所用的算法，速度快并且具有良好的识别效果。同时在口腔暗的情况下，PCR目标区域识别算法依然很稳健。D-H参数法描述的机械臂控制模块，具有很高的精度，并且表现良好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的系统功能示意图；
图2为本发明实施例提供的咽拭子采样机器人三维模型示意图；
图3为本发明实施例提供的机械臂杆间坐标系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决在现有技术中存在的问题，本发明提供了如下方案：
针对咽拭子采样机器人可机械化相关流程，本发明为其定位系统提供一种可行的解决方案。本发明利用口腔粗定位过程，将机械臂抬升到目标高度并通过机械臂控制理论保证机械臂末端姿态，从而替代了咬合器和下巴托等工具起到的工作。本发明应用深度相机获取深度信息进行分割，避免了因口腔环境暗而导致在获取RGB图像时需要进行适当补光的问题。实验表明本文提出的识别方式稳定可靠，并且在弱光环境下依然表现良好。当定位到目标位置后，需要进行路径规划，并用逆运动学相关理论确定机械臂的姿态，以此控制机械臂的运动。机器人的运动学是机器人控制的基础，当前国内外运动学研究主要采用D-H参数法和旋量法。本发明应用D-H参数法描述机械臂，构建机械臂姿态参数方程组，通过对方程组的求解，完成机械臂姿态的确定。
如图1所示，本发明的技术方案设计了一种简单而有效的视觉定位系统。使用两个深度相机，第一个摄像头在机器人胸腔中，主要完成识别人脸，标记出嘴唇的特征点，并获得相对坐标，即口腔粗定位过程。通过获取到的深度信息，控制机械臂到嘴唇处，并保证机械臂末端正对咽后壁，以便获取到更好的拍照效果。第二个深度相机位于机械臂末端，用于PCR区域识别与定位。接着控制机械臂引导棉签到目标区域采样。
1.1口腔粗定位
本发明在口腔初定位过程中使用Dlib库标注口腔上的关键点，Dlib是一个基于Boost Software License许可开源的，包含着许多现实世界问题的机器学习解决方案。其中的人脸关键点检测face landmark算法实现了Ensemble of Regression Trees(ERT)用于脸部特征点标注，同样问题的经典算法还有Supervised Descent Method(SDM)和LocalBinary Features(LBF)。Face landmark算法采用68个点标注人脸的关键位置，其中49-68共20个点来标注嘴唇的位置。实验表明这个算法在嘴唇闭合或微张时有良好的效果，当嘴唇完全张开时，下嘴唇的位置偏上，上嘴唇的位置较为正确。但对于此应用下，标注嘴唇的特征点不需要十分精确，因为一方面是为了机械臂的粗略定位并尽可能让机械臂末端正对咽后壁，另一方面是需要包含PCR区域。为此需要进行一定的修正，即只保留上半部分嘴唇的上侧点以及下半嘴唇的下侧点，共12个点，可以发现结果是符合预期的。
含有嘴唇特征的12个特征点相对深度相机参考系会得到12个嘴唇特征的向量ni,1≤i≤12，根据这12个向量，计算出口腔法向量n。一个合适的法向量需要满足，ni为第i个嘴唇特征的向量，(ni+1-ni)Tn＝0,1≤i≤11，令A＝[n2-n1,n3-n2,…,n12-n11]T，则可得An＝0，其中n为代求法向量，其解为ATA的最小特征值所对应的特征向量。法向量确定机械臂末端的方向，仍需要一点确定机械臂的位置，我们使用粗位置这一点来确定机械臂的粗位置。将机械臂移动到粗位置后机械臂末端相机重新获取深度图进行目标区域识别。
1.2PCR目标区域识别
这里的图像分割主要是在深度图上进行的，为此需要分析一下我们获取到深度信息的方式。本发明采用的是RealSense D450深度相机，该相机使用双目结构光技术，具有速度快、精度高的优势。这款相机支持不同的分辨率，不同的分辨率决定着不同的最小识别距离。当摄像头与物体所处的距离小于最小识别距离时，将无法计算出深度信息。在实际中摄像头和咽后壁距离大约为20cm，经过实验测试选择424*240分辨率在保证RGB图像清晰度的情况下，能获得理想的深度信息，并且实验表明在弱光情况下也能取得良好效果。
PCR目标区域是咽后壁和咽扁桃体，咽扁桃体相对咽后壁而言没有明显的边界和简单易行的判断准则。本发明中技术方案基于深度信息，给出一种咽后壁的简单识别方法。当被采集人员以标准姿势进行核酸检测时，即头部微仰，嘴张大，并发“啊”音时，腭垂会上抬，暴露咽扁桃体和咽后壁。咽后壁即为口腔结构中最深处，得益于RealSense精度高(4米内误差2％)，可以很方便获取到口腔最深处，并认为口腔最深处为咽后壁。于是可以得到如下的算法：
1)利用通过机械臂末端相机重新对口腔定位，通过上述方法重新获得标注的嘴唇特征点，确定一个多边形G
2)计算出多边形G中所有的深度点P＝{pi|pi in G}，其中P为深度点集合，pi为第i个深度点
3)求出P中最深的一个点
4)PCR目标区域是Area＝{p|‖p-q‖2<r}，其中r是目标区域半径大小。
1.3机械臂控制理论
正向和逆向运动学是机械臂控制的基础问题，正向运动学研究如何通过机械臂各个部分的姿态，计算出机械臂末端的位置，逆向运动学研究如何通过机械臂的末端反推机械臂各个部分的姿态。正向运动学解是存在解唯一的，逆向运动学则是可能无解或多解的，对于多解中选择一种可行解的方案是选择与上一个姿态距离较小的姿态。本发明针对此应用场景，给出一种六度机械臂的运动学逆解的一种基于D-H参数法解决方案，机械臂的结构如图2-3所示。机械臂末端和胸腔内部有两个深度相机，胸腔内相机是以camera1参考系获取深度信息，用于解决口腔的粗定位，夹爪末端的相机是以camera2参考系获取深度信息。Base参考系是全局坐标系。机械臂具有6个自由度，从上部到下部从1开始编号，0号坐标系是机械臂的地杆，相邻两个转轴都是垂直且相交的，大大简化了的问题。
在实际运行过程中，根据深度相机camera1获取到口腔粗略的位置后，移动机械臂使得机械臂末端正对口腔；根据深度相机camera2获取到咽后壁的位置后，控制机械臂移动进行采样。应用D-H参数法，对机械臂进行描述，得到表1中的参数表。对机械臂的控制，本质上就是解析出θi,1≤i≤6的值。
表1
| i | <![CDATA[α<sub>i-1</sub>]]> | <![CDATA[a<sub>i-1</sub>]]> | <![CDATA[d<sub>i</sub>]]> | <![CDATA[θ<sub>i</sub>]]> |
| 1 | 0° | 0 | 0 | <![CDATA[θ<sub>1</sub>]]> |
| 2 | 90° | 0 | <![CDATA[l<sub>2</sub>]]> | <![CDATA[θ<sub>2</sub>]]> |
| 3 | -90° | 0 | <![CDATA[l<sub>3</sub>]]> | <![CDATA[θ<sub>3</sub>]]> |
| 4 | 90° | 0 | <![CDATA[l<sub>4</sub>]]> | <![CDATA[θ<sub>4</sub>]]> |
| 5 | -90° | 0 | <![CDATA[l<sub>5</sub>]]> | <![CDATA[θ<sub>5</sub>]]> |
| 6 | 90° | 0 | <![CDATA[l<sub>6</sub>]]> | <![CDATA[θ<sub>6</sub>]]> |
为此考虑三个变换矩阵，camera2到机械臂的第6个坐标系，机械臂上相邻两个坐标系，机械臂的地杆到camera1坐标系。
考虑camera2坐标系到机械臂的第6个坐标系，转动部分通过对Xcamera2,Ycamera2,Zcamera2方向上的单位向量在机械臂的第六个坐标系上的投影构造，平动部分由向量(0,d,0)决定，于是第一变换矩阵可得：
同理考虑，机械臂的地杆到camera1坐标系，设平动部分由向量(x,y,z)决定，于是第二变换矩阵可得：
s代表sin，c代表cos。
使用D-H参数法，构造机械臂上6个坐标系之间的转换关系即第三变换矩阵：1.以Xi-1为旋转轴逆时针旋转αi，使得Zi-1与Zi平行；2.沿Xi-1方向平移ai-1；3.以Zi-1为旋转轴，旋转θi使得Xi-1与Xi重合(di＝0,1≤i≤6)。由于αi-1取值为0或±90°，且di＝0变换矩阵十分简洁。
其θi,αi,αi-1为引用D-H参数法描述六度机械臂几何关系时所引入的参数，具体的θi为旋转到第i个X轴的角度,αi为旋转到第i个Z轴的角度,ai-1为第i-1个坐标系对应的抽象连杆长度，其中左上3×3矩阵描述旋转参数，第四列前三维描述平移向量。
在此情景下，需要根据，相对camera1与camera2坐标系的坐标，解析出θi,1≤i≤6的值。为了简化这个过程通过变换矩阵 将相对于camera2的坐标转换为相对于camera1的坐标，即camera1P＝Gcamera2P，这是一个正向运动学问题。于是只需要解决对于给定相对camera1坐标系的坐标的解运动学逆解即可。
变换矩阵的作用为：通过变换矩阵可以建立，在不同坐标系下对同一个位置的描述转换关系，在本例中，机械臂上的变换矩阵需要通过D-H参数法描述的参数确定。通过一系列的变换矩阵乘积建立在两个参考坐标系下的总变换矩阵，这个矩阵中包括了机械臂上的D-H描述参数，从而进行运动学逆解问题解算。
棉签末端在第6坐标系下的齐次坐标为m＝(0,l,0,1)，定义第6坐标系下的变换矩阵于是有，Tm＝R，其中R是相对camera2坐标系的坐标。在第6坐标系上，A(0,0,0,1),B(0,l,0,1)在全局坐标系下，机械臂末端方向向量end＝TAT-TBT，为保证方向相同，即两向量应该平行，即存在λ，满足end＝λn。
综上，得到两个描述此问题的方程，end＝λn与Tm＝R，其中存在7个未知数，有6个方程。所以对于该机械臂若解存在，解就是无限的，通过上述方程根据相关位置信息求解出对机械臂的姿态参数移动的相关数据，进而移动机械臂，这也符合我们对这个机械臂的直观认知。
1.4有益效果
本发明将咽拭子采样机器人定位系统分成三个模块，是一个轻量易实现的系统。其中口腔粗定位模块，通过特定算法识别出口腔，将机械臂抬升到口腔附近，避免了使用下巴托、咬合器等辅助定位工具带来的交叉感染风险，并且可以自适应不同群体，提高了用户体验。PCR目标区域检测模块使用深度相机获取到的深度信息，进行图像分割，求解速度快。同时避免了使用RGB图像进行分割时，为了获得清晰的图像需要对口腔进行补光的操作。机械臂控制模块，通过D-H参数法描述机械臂几何关系，将深度相机获取到的目标点坐标，转化为机械臂上的几何参数，是完成上述两个模块所必须的基础。同时在其中通过增加额外的几何约束，确保机械臂末端的深度相机可以正对口腔，从而获取良好的成像效果。实验表明，口腔粗定位模块所用的算法，速度快并且具有良好的识别效果。同时在口腔暗的情况下，PCR目标区域识别算法依然很稳健。D-H参数法描述的机械臂控制模块，具有很高的精度，并且表现良好。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种咽拭子采样机器人定位系统，其特征在于，包括：
第一深度相机、第二深度相机、粗定位模块、目标区域检测模块及控制模块；
通过粗定位模块获取第一深度相机采集的RGB图像和第一深度图像，通过机器学习算法在RGB图像上识别出口腔特征点，并结合第一深度图像得到粗定位信息；
通过所述目标区域检测模块根据粗定位后的机械臂获取第二深度图像，对第二深度图像进行PCR目标区域识别，生成目标定位信息；
通过控制模块采用D-H参数法对粗定位信息进行运动学逆向解算，得到第一控制数据，并采用D-H参数法对目标定位信息进行运动学逆向解算，得到第二控制数据，其中第一控制数据用于控制机械臂移动到粗定位信息对应位置，所述第二控制数据用于控制机械臂进行咽拭子采集区域定位及采样。
2.根据权利要求1所述的定位系统，其特征在于：
还包括第一深度相机，其中所述第一深度相机设置于咽拭子采样机器人的胸腔，所述第一深度相机用于采集第一深度图像和RGB图像，并将所述第一深度图像和RGB图像传输给所述粗定位模块。
3.根据权利要求1所述的定位系统，其特征在于：
还包括第二深度相机，其中所述第二深度相机设置于咽拭子采样机器人的机械臂末端，所述第二深度相机用于采集第二深度图像，并将所述第二深度图像传输给所述目标区域检测模块。
4.根据权利要求1所述的定位系统，其特征在于：
在所述粗定位模块中，粗定位信息获取的过程包括：
通过机器学习算法对所述RGB图像进行人脸关键点检测，得到关键位置特征点，并对关键位置特征点进行筛选，得到口腔特征点，基于第一深度图形中口腔特征点的深度信息，通过SVD分解对嘴唇特征点进行向量解算，得到粗定位特征向量，并根据嘴唇特征点进行计算得到粗定位位置，所述粗定位特征向量及粗定位位置构成所述粗定位信息。
5.根据权利要求4所述的定位系统，其特征在于：
所述机器学习算法采用facelandmark算法。
6.根据权利要求1所述的定位系统，其特征在于：
在所述目标区域检测块中，对第二深度图像进行PCR目标区域识别的过程包括：
通过机器学习算法对所述第二深度图像进行特征识别及筛选，得到所述嘴唇特征点，基于所述嘴唇特征点构建嘴唇形状信息，计算嘴唇形状信息中的深度点信息，对深度点信息进行统计计算，得到所述最深深度点信息，基于最深深度点信息，得到PCR目标区域的目标定位信息。
7.根据权利要求1所述的定位系统，其特征在于：
在所述控制模块中，进行运动学逆向解算的过程包括：
获取机械臂、第一深度相机及第二深度相机的坐标系，其中所述机械臂的坐标系包括地杆坐标系及中间坐标系；
基于第二深度相机的坐标系及中间坐标系，构造第一变换矩阵；基于第一深度相机的坐标系及地杆坐标系，构造第二变换矩阵；基于所述中间坐标系，构造第三变换矩阵；基于第一变换矩阵、第二变换矩阵及第三变换矩阵构造总变换矩阵，通过总变换矩阵对所述粗定位信息及目标定位信息进行运动学逆向解算，得到第一控制数据和第二控制数据。
8.根据权利要求1-7所述的定位系统，其特征在于：
所述第三变换矩阵
为：
其中，c为cos函数，s为sin函数，θi为旋转到第i个X轴的角度,αi-1为旋转到第i-1个Z轴的角度,ai-1为第i-1个坐标系对应的抽象连杆长度，i为坐标系个数，其中左上3×3矩阵描述旋转参数，第四列前三维描述平移向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211699463.2A CN115922725B (zh) | 2022-12-28 | 2022-12-28 | 一种咽拭子采样机器人定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211699463.2A CN115922725B (zh) | 2022-12-28 | 2022-12-28 | 一种咽拭子采样机器人定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115922725A true CN115922725A (zh) | 2023-04-07 |
| CN115922725B CN115922725B (zh) | 2024-03-22 |
Family
ID=86550611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211699463.2A Active CN115922725B (zh) | 2022-12-28 | 2022-12-28 | 一种咽拭子采样机器人定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115922725B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117243642A (zh) * | 2023-11-16 | 2023-12-19 | 山东皇圣堂药业有限公司 | 一种基于机器视觉的智能咽拭子采样设备控制系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111906784A (zh) * | 2020-07-23 | 2020-11-10 | 湖南爱米家智能科技有限公司 | 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法 |
| US20210023694A1 (en) * | 2019-07-23 | 2021-01-28 | Qingdao university of technology | System and method for robot teaching based on rgb-d images and teach pendant |
| CN113771063A (zh) * | 2021-10-27 | 2021-12-10 | 南京工业大学浦江学院 | 一种核酸检测的咽拭子采样机器人及其采样方法 |
| CN113842172A (zh) * | 2021-09-29 | 2021-12-28 | 北京清智图灵科技有限公司 | 基于模板匹配与算数平均的咽后壁视触识别装置 |
| CN115115711A (zh) * | 2022-06-15 | 2022-09-27 | 深圳市罗湖医院集团 | 鼻咽拭子采样中的视觉标定方法及相关设备 |
| CN115414072A (zh) * | 2022-08-31 | 2022-12-02 | 美的集团(上海)有限公司 | 咽拭子采样方法及装置、采样设备和计算机程序产品 |
-
2022
- 2022-12-28 CN CN202211699463.2A patent/CN115922725B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210023694A1 (en) * | 2019-07-23 | 2021-01-28 | Qingdao university of technology | System and method for robot teaching based on rgb-d images and teach pendant |
| CN111906784A (zh) * | 2020-07-23 | 2020-11-10 | 湖南爱米家智能科技有限公司 | 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法 |
| CN113842172A (zh) * | 2021-09-29 | 2021-12-28 | 北京清智图灵科技有限公司 | 基于模板匹配与算数平均的咽后壁视触识别装置 |
| CN113771063A (zh) * | 2021-10-27 | 2021-12-10 | 南京工业大学浦江学院 | 一种核酸检测的咽拭子采样机器人及其采样方法 |
| CN115115711A (zh) * | 2022-06-15 | 2022-09-27 | 深圳市罗湖医院集团 | 鼻咽拭子采样中的视觉标定方法及相关设备 |
| CN115414072A (zh) * | 2022-08-31 | 2022-12-02 | 美的集团(上海)有限公司 | 咽拭子采样方法及装置、采样设备和计算机程序产品 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117243642A (zh) * | 2023-11-16 | 2023-12-19 | 山东皇圣堂药业有限公司 | 一种基于机器视觉的智能咽拭子采样设备控制系统 |
| CN117243642B (zh) * | 2023-11-16 | 2024-01-26 | 山东皇圣堂药业有限公司 | 一种基于机器视觉的智能咽拭子采样设备控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115922725B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107186708B (zh) | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 | |
| WO2021023315A1 (zh) | 一种基于人眼凝视点的手眼协调抓取方法 | |
| JP5211069B2 (ja) | ラベル付けを用いた人体姿勢の推定および追跡 | |
| JP5855751B2 (ja) | 三次元オブジェクトのモデリング、フィッティング、およびトラッキング | |
| WO2020172783A1 (zh) | 一种用于经颅磁刺激诊疗的人头姿态跟踪系统 | |
| Cheng et al. | Improving visual localization accuracy in dynamic environments based on dynamic region removal | |
| CN109910016A (zh) | 基于多自由度机械臂的视觉采集标定方法、装置及系统 | |
| CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
| CN110555408B (zh) | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 | |
| CN113362452B (zh) | 一种手部姿态三维重建方法、装置及存储介质 | |
| WO2007102537A1 (ja) | 姿勢推定装置および方法 | |
| CN115922725A (zh) | 一种咽拭子采样机器人定位系统 | |
| Lee et al. | 3D hand reconstruction from a monocular view | |
| CN114310957A (zh) | 用于医疗检测的机器人系统及检测方法 | |
| JP4533193B2 (ja) | 情報処理装置および情報処理方法 | |
| CN114434123A (zh) | 一种空中线夹的机械臂定位拆卸方法、装置及存储介质 | |
| CN107320118B (zh) | 一种计算碳纳米c形臂三维图像空间信息的方法及系统 | |
| WO2024035917A1 (en) | Autonomous solar installation using artificial intelligence | |
| CN114359393B (zh) | 跨平台的视觉引导点胶引导方法 | |
| WO2023133125A1 (en) | System and method for mapping the skin | |
| CN112381952B (zh) | 一种基于多相机的面部轮廓点云模型重构方法及装置 | |
| Cui et al. | Trajectory simulation of badminton robot based on fractal brown motion | |
| Chen et al. | A real-time photogrammetric system for acquisition and monitoring of three-dimensional human body kinematics | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
| CN113450395B (zh) | 基于光学跟踪探针划取点的手术导航空间配准方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cai Xun Inventor after: Chen Lin Inventor after: Wu Xinggui Inventor after: Zhu Anping Inventor after: Tian Aoran Inventor after: Guo Yaqin Inventor after: Gao Yanbo Inventor after: Li Shuai Inventor after: Zhu Bo Inventor before: Cai Xun Inventor before: Chen Lin Inventor before: Wu Xinggui Inventor before: Tian Aoran Inventor before: Guo Yaqin Inventor before: Gao Yanbo Inventor before: Li Shuai Inventor before: Zhu Bo |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |