CN115661271B - 一种基于视觉的机器人核酸采样引导方法 - Google Patents
一种基于视觉的机器人核酸采样引导方法 Download PDFInfo
- Publication number
- CN115661271B CN115661271B CN202211679871.1A CN202211679871A CN115661271B CN 115661271 B CN115661271 B CN 115661271B CN 202211679871 A CN202211679871 A CN 202211679871A CN 115661271 B CN115661271 B CN 115661271B
- Authority
- CN
- China
- Prior art keywords
- face
- robot
- image
- calculating
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 41
- 150000007523 nucleic acids Chemical class 0.000 title claims abstract description 23
- 102000039446 nucleic acids Human genes 0.000 title claims abstract description 23
- 108020004707 nucleic acids Proteins 0.000 title claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims abstract description 11
- 210000003800 pharynx Anatomy 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013136 deep learning model Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000009616 inductively coupled plasma Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000002360 preparation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000002741 palatine tonsil Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 208000012287 Prolapse Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种基于视觉的机器人核酸采样引导方法,包括:利用深度学习模型进行人脸识别,通过模型训练获取识别咽部,对相机内参与相机与机器人之间的关系进行标定;待采样人员站立于预先设定位置,机械臂持有采样器,位于等待位置;对RGB图像进行预处理、深度图执行补偿与对齐,处理后的图像应用面部识别模型,得到面部全部关键点;当判断面部在指定区域内且无遮挡时,确认可以开始采集,发出语音提示待测人员长大嘴部;当系统识别到待采样人员口部张大到规定尺度后,记录此时咽部位置与脸部位姿,计算得到机械臂目标位姿,引导机器人开始向待采样人移动;通过相机实时检测待采样人员的面部位姿,调整机械臂轨迹,直至采样完成。
Description
技术领域
本发明涉及工业机器人技术领域,特别涉及一种基于视觉的机器人核酸采样引导方法。
背景技术
人工采集核酸,原有医疗资源需要重新分配,会对医疗资源系统带来极大的压力。尤其是当疫情突发时,需要调配人力在短时间内完成全覆盖式采集,不但对医护人员不友好,更是对当地医疗卫生系统极大的考验。因此,由机器代替人工完成核酸采集是解决该难题的高效方案。
现有技术中实现机器人自动采集有以下难点:1、面部识别与定位;2、咽喉部采集深度的判断;3、在采集过程中,脸部持续跟踪。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此,本发明的目的在于提出一种基于视觉的机器人核酸采样引导方法。
为了实现上述目的,本发明的实施例提供一种基于视觉的机器人核酸采样引导方法,包括如下步骤:
步骤S1,前期准备:利用深度学习模型进行人脸识别,通过模型训练获取识别咽部,对相机内参与相机与机器人之间的关系进行标定;
步骤S2:待采样人员站立于预先设定位置,机械臂持有采样器,位于等待位置;
步骤S3,利用相机不间断采集图像,包括RGB图像与深度图像,对RGB图像进行预处理、深度图执行补偿与对齐,处理后的图像应用面部识别模型,得到面部全部关键点;
步骤S4,当判断面部在指定区域内且无遮挡时,确认可以开始采集,发出语音提示待测人员长大嘴部;
步骤S5,初步定位:当系统识别到待采样人员口部张大到规定尺度后,记录此时咽部位置与脸部位姿,计算得到机械臂目标位姿,引导机器人开始向待采样人移动;
步骤S6,面部跟随:在采样过程中,通过相机实时检测待采样人员的面部位姿,调整机械臂轨迹,直至采样完成。
进一步,在所述步骤S1中,所述利用深度学习模型进行人脸识别,包括:
人脸识别模型将面部轮廓与五官划分为不同区域,每个区域各用若干关键点标记特征,口部关键点包括上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角;
定义口部开度为嘴部点位的上嘴唇和下嘴唇的距离,定义口部张度为开度/嘴部左角点与右角点距离。
进一步,在所述步骤S1中,所述通过模型训练获取识别咽部,包括:定义目标点为咽部识别结果的中心点,所述咽部识别结果为悬壅垂与扁桃体所在区域。
进一步,在所述步骤S3中,所述对RGB图像进行预处理,包括:
(1)图像畸变校正,去除径向和切向畸变;
(2)图像滤波,采用基于最小均方误差的自适应滤波,步长采用变步长自适应滤波算法,步长因子u(n)随迭代次数的增加而逐渐减小,获取滤波后的图像;
(3)采用的光照补偿算法:
计算图像平均灰度值;
将图像拆分为若干小区域,计算每个子区域的灰度值;
计算子区域灰度值与整体灰度值的差值,得到子区域灰度差值矩阵;
通过插值运算,将子区域灰度值扩展到与原图像大小相同,得到全区域灰度值插值矩阵;
遍历原图像素,使每个像素的灰度值减去全区域灰度插值矩阵中对应的数值,以此抑制原图中高亮区域,提高暗区域亮度;
(4)图像增强算法:
计算原始灰度图像的像素概率分布;
根据像素概率分布获取图像累积分布函数;
根据映射函数获取变换后的图像。
进一步,在所述步骤S3中,所述深度图执行补偿与对齐,包括:
采用不反光的平板大小覆盖相机视野范围,将该平板与相机采图平面平行,此时平板各个位置深度值基本一样,中间布局会出现内凹或外凸,记录这些局部误差,作为深度补偿来源;本步骤在准备工作执行一次即可,后续将使用本次结果持续补偿。
进一步,在所述步骤S5中,
(1)采用面部识别结果的关键点计算口部开度和口部张度,当两者均达到设定值时为初始帧,提示待检测人员保持姿势;
(2)对初始帧进行处理,对RGB图像应用面部识别模型,确定面部相对相机位置,换算为相对机器人位置;
(3)提取咽部识别结果,记录目标点的三维坐标;
(4)根据面部相对机器人的位姿与咽部目标点坐标,计算机械臂目标位姿。
进一步,所述对RGB图像应用面部识别模型,确定面部相对相机位置,换算为相对机器人位置,包括如下步骤:
(1)在RGB图像中定位面部各个关键点的像素坐标;
(2)在深度图中得到上述关键点的深度信息;
(3)通过相机标定结果,利用深度信息计算关键点的世界坐标位置并记录;
(4)使用所有关键点的世界坐标建立坐标系:以脸部关键点的质心为原点,建立脸部坐标系,并计算目标点在脸部坐标系下的表达,确定面部相对相机的位姿;
(5)通过相机与机器人的标定结果,将上一步得到的结果转换为面部相对机器人的位姿信息。
进一步,在所述步骤S6中,
(1)相机实时采集RGB图像和深度图,使用ICP算法计算面部相对初始位置的偏移和旋转;
(2)根据位姿变换矩阵,获取新的咽部目标位在机器人坐标系下的位姿,发送给机器人,机器人实时调整姿态;
(3)机器人到达咽部目标位置,由目标点分别向左右进行逆时针、正时针运动,执行预设采样轨迹,由六分力传感器接收采样信号,当受力达到预设值时,停止向该方向运动;
(4)在此过程中,当面部移动距离或旋转超过阈值,或口部张度小于阈值时,停止采样,机械手恢复至初始位置。
进一步,所述使用ICP算法计算面部相对初始位置的偏移和旋转,包括如下步骤:
对深度变化大于5mm的点进行剔除,将其深度值赋0,使偏移过大的离群点不影响整体面部识别;
使用ICP算法,比较当前头部位姿与其初始位置三维坐标,得到位姿变换矩阵,包括在两组点集中剔除在任一点集中深度为0的点、计算两组三位点的质心、以质心为原点计算两组点的相对坐标、计算ω并对其进行SVD分解、计算两组点之间的平移矩阵和旋转矩阵。
根据本发明实施例的基于视觉的机器人核酸采样引导方法,通过面部关键点识别,建立面部坐标系,在初始时确立了咽部和面部坐标系之间的关系,从而指导机械臂在采样过程中根据采样人员头部位姿实时调整采样姿态;在面部有部分遮挡情况下仍可进行位置调整和采样使用ICP算法获取当前头部位姿与初始位姿之间的变换关系。本发明专可实现咽部自动定位,并在采集过程中自动跟踪面部,部分点位缺失时仍可进行追踪定位,以实时调整机器人采集姿态,实现准确的采集动作。整个过程无需人工干预,可在1分钟之内实现采样。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的基于视觉的机器人核酸采样引导方法的流程图;
图2为根据本发明实施例的咽部识别结果(框内)的示意图;
图3为根据本发明实施例的机器人与相机位置示意图。
附图标记:
1、上嘴唇下端中间点;2、下嘴唇上端中间点;3、左嘴角;4、右嘴角;
5、深度相机;6、夹爪;7、法兰;8、六维力传感器。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明的基于视觉的机器人核酸采样引导方法,涉及以下硬件结构:机器人为6轴机器人;3D相机独立于机器人,固定在适当位置,使相机视野范围覆盖头部周围区域;机械臂末端安装夹爪,用于夹持采样器;机械臂末端与夹爪之间配有六维力传感器;整个系统附有语音提示装置用于对被采样人员进行行为提示。
本发明提供了一种基于视觉的机器人核酸采样引导方法,可指导核酸采集机器人机械臂的运动。
如图1所示,本发明实施例的基于视觉的机器人核酸采样引导方法,包括如下步骤:
步骤S1,前期准备:利用深度学习模型进行人脸识别,通过模型训练获取识别咽部,对相机内参与相机与机器人之间的关系进行标定。
(1)人脸识别模型将面部轮廓与五官划分为不同区域,每个区域各用若干关键点标记特征,口部关键点包括上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角。
(2)定义口部开度为嘴部点位的上嘴唇和下嘴唇的距离,定义口部张度为开度/嘴部左角点与右角点距离。
(3)定义目标点为咽部识别结果(悬壅垂与扁桃体所在区域)的中心点。
如图2所示,嘴部关键点1~4分别为上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角。
步骤S2:待采样人员站立于预先设定位置,机械臂持有采样器,位于等待位置,如图3所示。3D相机5独立于机器人,固定在适当位置,使相机视野范围覆盖头部周围区域;机械臂末端安装夹爪6,用于夹持采样器;机械臂末端与夹爪6之间配有六维力传感器8,通过法兰7连接。
步骤S3,利用相机不间断采集图像,包括RGB图像与深度图像,对RGB图像进行预处理、深度图执行补偿与对齐,处理后的图像应用面部识别模型,得到面部全部关键点。
具体的,RGB图像预处理包括以下步骤:
(1)图像畸变校正(畸变系数已预先经过标定),去除径向和切向畸变;
(2)图像滤波,采用基于最小均方误差(LMS)的自适应滤波,步长采用变步长自适应滤波算法,步长因子u(n)随迭代次数的增加而逐渐减小,在短时间内获取滤波后的图像;
(3)采用的光照补偿算法如下:a、计算图像平均灰度值;b、将图像拆分为若干小区域,如32×32,计算每个子区域的灰度值;c、计算子区域灰度值与整体灰度值的差值,得到子区域灰度差值矩阵;d、通过插值运算,将子区域灰度值扩展到与原图像大小相同,得到全区域灰度值插值矩阵;e、遍历原图像素,使每个像素的灰度值减去全区域灰度插值矩阵中对应的数值,以此抑制原图中高亮区域,提高暗区域亮度;
(4)图像增强算法如下:a、计算原始灰度图像的像素概率分布;b、根据像素概率分布获取图像累积分布函数c、根据映射函数获取变换后的图像;
具体的,深度图补偿与对齐,包括如下步骤:
使用不反光的平板大小覆盖相机视野范围,将该平板与相机采图平面平行,此时平板各个位置深度值基本一样,中间布局会出现内凹或外凸,记录这些局部误差,作为深度补偿来源。本步骤在准备工作执行一次即可,后续将使用本次结果持续补偿;
然后进行RGB图与深度图执行对齐;对RGB图像应用面部识别模型,得到面部关键点的图像素坐标信息。
步骤S4,系统当判断面部在指定区域内且无遮挡时,确认可以开始采集,系统发出语音提示待测人员长大嘴部。
步骤S5,初步定位:当系统识别到待采样人员口部张大到规定尺度后,记录此时咽部位置与脸部位姿,计算得到机械臂目标位姿,引导机器人开始向待采样人移动。
(1)使用步骤S3中面部识别结果的关键点计算口部开度和口部张度,当两者均达到设定值时为初始帧,提示待检测人员保持姿势;
(2)对初始帧进行处理,对RGB图像应用面部识别模型,确定面部相对相机位置,换算为相对机器人位置,具体步骤如下:
①在RGB图像中定位面部各个关键点的像素坐标;
②在深度图中得到上述关键点的深度信息;
③通过相机标定结果,利用深度信息计算关键点的世界坐标位置并记录;
④使用所有关键点的世界坐标建立坐标系:以脸部关键点的质心为原点,建立脸部坐标系,并计算目标点在脸部坐标系下的表达,由此确定了面部相对相机的位姿;
⑤通过相机与机器人的标定结果,将上一步得到的结果转换为面部相对机器人的位姿信息;
(3)提取咽部识别结果,记录目标点的三维坐标;
(4)根据面部相对机器人的位姿与咽部目标点坐标,计算机械臂目标位姿。
步骤S6,面部跟随:在采样过程中,通过相机实时检测待采样人员的面部位姿,调整机械臂轨迹,直至采样完成。
(1)相机实时采集RGB图像和深度图,使用ICP算法计算面部相对初始位置的偏移和旋转,具体步骤如下:
①对图像重复步骤S5中(2)步骤,在采样过程中机械臂可能对面部进行部分遮挡,遮挡的点深度变化过大,对深度变化大于5mm的点进行剔除(将其深度值赋0),使偏移过大的离群点不影响整体面部识别;
②使用ICP算法,比较当前头部位姿与其初始位置三维坐标,得到位姿变换矩阵,其步骤包括在两组点集中剔除在任一点集中深度为0的点、计算两组三位点的质心、以质心为原点计算两组点的相对坐标、计算ω并对其进行SVD分解、计算两组点之间的平移矩阵和旋转矩阵;
(2)根据(1)中的位姿变换矩阵,获取新的咽部目标位在机器人坐标系下的位姿,发送给机器人,机器人实时调整姿态;
(3)机器人到达咽部目标位置,由目标点分别向左右进行逆时针、正时针运动,执行预设采样轨迹,由六分力传感器接收采样信号,当受力达到预设值时,停止向该方向运动;
(4)在此过程中,当面部移动距离或旋转超过阈值,或口部张度小于阈值时,停止采样,机械手恢复至初始位置,重新进行采样3~4步骤。
根据本发明实施例的基于视觉的机器人核酸采样引导方法,通过面部关键点识别,建立面部坐标系,在初始时确立了咽部和面部坐标系之间的关系,从而指导机械臂在采样过程中根据采样人员头部位姿实时调整采样姿态;在面部有部分遮挡情况下仍可进行位置调整和采样使用ICP算法获取当前头部位姿与初始位姿之间的变换关系。本发明专可实现咽部自动定位,并在采集过程中自动跟踪面部,部分点位缺失时仍可进行追踪定位,以实时调整机器人采集姿态,实现准确的采集动作。整个过程无需人工干预,可在1分钟之内实现采样。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
Claims (8)
1.一种基于视觉的机器人核酸采样引导方法,其特征在于,包括如下步骤:
步骤S1,前期准备:利用深度学习模型进行人脸识别,通过模型训练获取识别咽部,对相机内参与相机与机器人之间的关系进行标定;
步骤S2:待采样人员站立于预先设定位置,机械臂持有采样器,位于等待位置;
步骤S3,利用相机不间断采集图像,包括RGB图像与深度图像,对RGB图像进行预处理、深度图执行补偿与对齐,处理后的图像应用面部识别模型,得到面部全部关键点;在所述步骤S3中,所述对RGB图像进行预处理,包括:
(1)图像畸变校正,去除径向和切向畸变;
(2)图像滤波,采用基于最小均方误差的自适应滤波,步长采用变步长自适应滤波算法,步长因子u(n)随迭代次数的增加而逐渐减小,获取滤波后的图像;
(3)采用的光照补偿算法:
计算图像平均灰度值;
将图像拆分为若干小区域,计算每个子区域的灰度值;
计算子区域灰度值与整体灰度值的差值,得到子区域灰度差值矩阵;
通过插值运算,将子区域灰度值扩展到与原图像大小相同,得到全区域灰度值插值矩阵;
遍历原图像素,使每个像素的灰度值减去全区域灰度插值矩阵中对应的数值,以此抑制原图中高亮区域,提高暗区域亮度;
图像增强算法:
计算原始灰度图像的像素概率分布;
根据像素概率分布获取图像累积分布函数;
根据映射函数获取变换后的图像;
步骤S4,当判断面部在指定区域内且无遮挡时,确认可以开始采集,发出语音提示待测人员长大嘴部;
步骤S5,初步定位:当系统识别到待采样人员口部张大到规定尺度后,记录此时咽部位置与脸部位姿,计算得到机械臂目标位姿,引导机器人开始向待采样人移动;
步骤S6,面部跟随:在采样过程中,通过相机实时检测待采样人员的面部位姿,调整机械臂轨迹,直至采样完成。
2.如权利要求1所述的基于视觉的机器人核酸采样引导方法,其特征在于,在所述步骤S1中,所述利用深度学习模型进行人脸识别,包括:
人脸识别模型将面部轮廓与五官划分为不同区域,每个区域各用若干关键点标记特征,口部关键点包括上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角;
定义口部开度为嘴部点位的上嘴唇和下嘴唇的距离,定义口部张度为开度/嘴部左角点与右角点距离。
3.如权利要求1所述的基于视觉的机器人核酸采样引导方法,其特征在于,在所述步骤S1中,所述通过模型训练获取识别咽部,包括:定义目标点为咽部识别结果的中心点,所述咽部识别结果为悬壅垂与扁桃体所在区域。
4.如权利要求1所述的基于视觉的机器人核酸采样引导方法,其特征在于,在所述步骤S3中,所述深度图执行补偿与对齐,包括:
采用不反光的平板大小覆盖相机视野范围,将该平板与相机采图平面平行,此时平板各个位置深度值基本一样,中间布局会出现内凹或外凸,记录这些局部误差,作为深度补偿来源;本步骤在准备工作执行一次即可,后续将使用本次结果持续补偿。
5.如权利要求1所述的基于视觉的机器人核酸采样引导方法,其特征在于,在所述步骤S5中,
(1)采用面部识别结果的关键点计算口部开度和口部张度,当两者均达到设定值时为初始帧,提示待检测人员保持姿势;
(2)对初始帧进行处理,对RGB图像应用面部识别模型,确定面部相对相机位置,换算为相对机器人位置;
(3)提取咽部识别结果,记录目标点的三维坐标;
(4)根据面部相对机器人的位姿与咽部目标点坐标,计算机械臂目标位姿。
6.如权利要求5所述的基于视觉的机器人核酸采样引导方法,其特征在于,所述对RGB图像应用面部识别模型,确定面部相对相机位置,换算为相对机器人位置,包括如下步骤:
(1)在RGB图像中定位面部各个关键点的像素坐标;
(2)在深度图中得到上述关键点的深度信息;
(3)通过相机标定结果,利用深度信息计算关键点的世界坐标位置并记录;
(4)使用所有关键点的世界坐标建立坐标系:以脸部关键点的质心为原点,建立脸部坐标系,并计算目标点在脸部坐标系下的表达,确定面部相对相机的位姿;
(5)通过相机与机器人的标定结果,将上一步得到的结果转换为面部相对机器人的位姿信息。
7.如权利要求1所述的基于视觉的机器人核酸采样引导方法,其特征在于,在所述步骤S6中,
(1)相机实时采集RGB图像和深度图,使用ICP算法计算面部相对初始位置的偏移和旋转;
(2)根据位姿变换矩阵,获取新的咽部目标位在机器人坐标系下的位姿,发送给机器人,机器人实时调整姿态;
(3)机器人到达咽部目标位置,由目标点分别向左右进行逆时针、正时针运动,执行预设采样轨迹,由六分力传感器接收采样信号,当受力达到预设值时,停止向逆时针、正时针方向运动;
(4)在此过程中,当面部移动距离或旋转超过阈值,或口部张度小于阈值时,停止采样,机械手恢复至初始位置。
8.如权利要求7所述的基于视觉的机器人核酸采样引导方法,其特征在于,所述使用ICP算法计算面部相对初始位置的偏移和旋转,包括如下步骤:
对深度变化大于5mm的点进行剔除,将其深度值赋0,使偏移过大的离群点不影响整体面部识别;
使用ICP算法,比较当前头部位姿与其初始位置三维坐标,得到位姿变换矩阵,包括在两组点集中剔除在任一点集中深度为0的点、计算两组三位点的质心、以质心为原点计算两组点的相对坐标、计算ω并对其进行SVD分解、计算两组点之间的平移矩阵和旋转矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211679871.1A CN115661271B (zh) | 2022-12-27 | 2022-12-27 | 一种基于视觉的机器人核酸采样引导方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211679871.1A CN115661271B (zh) | 2022-12-27 | 2022-12-27 | 一种基于视觉的机器人核酸采样引导方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115661271A CN115661271A (zh) | 2023-01-31 |
CN115661271B true CN115661271B (zh) | 2023-04-14 |
Family
ID=85022872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211679871.1A Active CN115661271B (zh) | 2022-12-27 | 2022-12-27 | 一种基于视觉的机器人核酸采样引导方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661271B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117911421B (zh) * | 2024-03-20 | 2024-05-31 | 杭州臻稀生物科技有限公司 | 基于样本采集真实度核验的全流程自助特定物检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132894A (zh) * | 2020-09-08 | 2020-12-25 | 大连理工大学 | 一种基于双目视觉引导的机械臂实时跟踪方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111643123B (zh) * | 2020-05-26 | 2021-07-09 | 清华大学 | 一种咽拭子自动采样装置 |
CN112932546A (zh) * | 2021-01-26 | 2021-06-11 | 溥熵微创医疗科技(辽宁)有限公司 | 一种基于视觉分析的咽拭子采样方法 |
US20220280238A1 (en) * | 2021-03-05 | 2022-09-08 | Verb Surgical Inc. | Robot-assisted setup for a surgical robotic system |
CN113171137B (zh) * | 2021-04-19 | 2023-01-03 | 北京工业大学 | 一种咽部菌群采集机器人 |
CN115337044B (zh) * | 2022-07-18 | 2023-06-09 | 深圳市安保数字感控科技有限公司 | 核酸采样监测方法、装置、系统与计算机可读存储介质 |
-
2022
- 2022-12-27 CN CN202211679871.1A patent/CN115661271B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132894A (zh) * | 2020-09-08 | 2020-12-25 | 大连理工大学 | 一种基于双目视觉引导的机械臂实时跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115661271A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8315455B2 (en) | Robot system, robot control device and method for controlling robot | |
CN107186708B (zh) | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 | |
CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
US7756293B2 (en) | Movement capture and analysis apparatus and method | |
CN113696186A (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
CN115661271B (zh) | 一种基于视觉的机器人核酸采样引导方法 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
US20220414291A1 (en) | Device for Defining a Sequence of Movements in a Generic Model | |
CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
CN113689401A (zh) | 一种直拉硅单晶炉晶棒直径检测方法及其装置 | |
CN110640741A (zh) | 一种规则形状工件匹配的抓取工业机器人 | |
CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
CN116529760A (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
CN115629066A (zh) | 一种基于视觉引导的面向自动配线的方法及装置 | |
KR102044852B1 (ko) | 젖소 유두 자동인식장치 및 방법 | |
CN117841041B (zh) | 基于多臂协同的机械臂组合装置 | |
JP3952460B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
CN117576094A (zh) | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 | |
CN116158851B (zh) | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 | |
WO2020133407A1 (zh) | 基于结构光的工业机器人定位方法和装置、控制器、介质 | |
CN215128942U (zh) | 一种超声探头的姿态监控装置 | |
CN115471547A (zh) | 一种用于六轴机械手视觉检测的一键标定算法 | |
Kheng et al. | Stereo vision with 3D coordinates for robot arm application guide |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 272000, No. 888 Huarun Road, Zhongxin Electromechanical Industrial Park, Zhongdian Town, Zoucheng City, Jining City, Shandong Province Patentee after: Luoshi (Shandong) Robot Group Co.,Ltd. Country or region after: China Address before: 100097 1-01, floor 7, building a, Beijing Haiqing Shuguang real estate development center (Office) and postal branch project, East wangfuyuan District, Haidian District, Beijing Patentee before: ROKAE, Inc. Country or region before: China |
|
CP03 | Change of name, title or address |