CN115661271A - 一种基于视觉的机器人核酸采样引导方法 - Google Patents

Abstract

本发明提出了一种基于视觉的机器人核酸采样引导方法，包括：利用深度学习模型进行人脸识别，通过模型训练获取识别咽部，对相机内参与相机与机器人之间的关系进行标定；待采样人员站立于预先设定位置，机械臂持有采样器，位于等待位置；对RGB图像进行预处理、深度图执行补偿与对齐，处理后的图像应用面部识别模型，得到面部全部关键点；当判断面部在指定区域内且无遮挡时，确认可以开始采集，发出语音提示待测人员长大嘴部；当系统识别到待采样人员口部张大到规定尺度后，记录此时咽部位置与脸部位姿，计算得到机械臂目标位姿，引导机器人开始向待采样人移动；通过相机实时检测待采样人员的面部位姿，调整机械臂轨迹，直至采样完成。

Description

一种基于视觉的机器人核酸采样引导方法

技术领域

本发明涉及工业机器人技术领域，特别涉及一种基于视觉的机器人核酸采样引导方法。

背景技术

在如今核酸采集越来越常态化、日常化的背景下，更多的人力物力被投入核酸采集场景。人工采集核酸，原有医疗资源需要重新分配，会对医疗资源系统带来极大的压力。尤其是当疫情突发时，需要调配人力在短时间内完成全覆盖式采集，不但对医护人员不友好，更是对当地医疗卫生系统极大的考验。因此，由机器代替人工完成核酸采集是解决该难题的高效方案。

现有技术中实现机器人自动采集有以下难点：1、面部识别与定位；2、咽喉部采集深度的判断；3、在采集过程中，脸部持续跟踪。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于视觉的机器人核酸采样引导方法。

为了实现上述目的，本发明的实施例提供一种基于视觉的机器人核酸采样引导方法，包括如下步骤：

步骤S1，前期准备：利用深度学习模型进行人脸识别，通过模型训练获取识别咽部，对相机内参与相机与机器人之间的关系进行标定；

步骤S2：待采样人员站立于预先设定位置，机械臂持有采样器，位于等待位置；

步骤S3，利用相机不间断采集图像，包括RGB图像与深度图像，对RGB图像进行预处理、深度图执行补偿与对齐，处理后的图像应用面部识别模型，得到面部全部关键点；

步骤S4，当判断面部在指定区域内且无遮挡时，确认可以开始采集，发出语音提示待测人员长大嘴部；

步骤S5，初步定位：当系统识别到待采样人员口部张大到规定尺度后，记录此时咽部位置与脸部位姿，计算得到机械臂目标位姿，引导机器人开始向待采样人移动；

步骤S6，面部跟随：在采样过程中，通过相机实时检测待采样人员的面部位姿，调整机械臂轨迹，直至采样完成。

进一步，在所述步骤S1中，所述利用深度学习模型进行人脸识别，包括：

人脸识别模型将面部轮廓与五官划分为不同区域，每个区域各用若干关键点标记特征，口部关键点包括上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角；

定义口部开度为嘴部点位的上嘴唇和下嘴唇的距离，定义口部张度为开度/嘴部左角点与右角点距离。

进一步，在所述步骤S1中，所述通过模型训练获取识别咽部，包括：定义目标点为咽部识别结果的中心点，所述咽部识别结果为悬壅垂与扁桃体所在区域。

进一步，在所述步骤S3中，所述对RGB图像进行预处理，包括：

（1）图像畸变校正，去除径向和切向畸变；

（2）图像滤波，采用基于最小均方误差的自适应滤波，步长采用变步长自适应滤波算法，步长因子u(n)随迭代次数的增加而逐渐减小，获取滤波后的图像；

（3）采用的光照补偿算法：

计算图像平均灰度值；

将图像拆分为若干小区域，计算每个子区域的灰度值；

计算子区域灰度值与整体灰度值的差值，得到子区域灰度差值矩阵；

通过插值运算，将子区域灰度值扩展到与原图像大小相同，得到全区域灰度值插值矩阵；

遍历原图像素，使每个像素的灰度值减去全区域灰度插值矩阵中对应的数值，以此抑制原图中高亮区域，提高暗区域亮度；

（4）图像增强算法：

计算原始灰度图像的像素概率分布；

根据像素概率分布获取图像累积分布函数；

根据映射函数获取变换后的图像。

进一步，在所述步骤S3中，所述深度图执行补偿与对齐，包括：

采用不反光的平板大小覆盖相机视野范围，将该平板与相机采图平面平行，此时平板各个位置深度值基本一样，中间布局会出现内凹或外凸，记录这些局部误差，作为深度补偿来源；本步骤在准备工作执行一次即可，后续将使用本次结果持续补偿。

进一步，在所述步骤S5中，

（1）采用面部识别结果的关键点计算口部开度和口部张度，当两者均达到设定值时为初始帧，提示待检测人员保持姿势；

（2）对初始帧进行处理，对RGB图像应用面部识别模型，确定面部相对相机位置，换算为相对机器人位置；

（3）提取咽部识别结果，记录目标点的三维坐标；

（4）根据面部相对机器人的位姿与咽部目标点坐标，计算机械臂目标位姿。

进一步，所述对RGB图像应用面部识别模型，确定面部相对相机位置，换算为相对机器人位置，包括如下步骤：

（1）在RGB图像中定位面部各个关键点的像素坐标；

（2）在深度图中得到上述关键点的深度信息；

（3）通过相机标定结果，利用深度信息计算关键点的世界坐标位置并记录；

（4）使用所有关键点的世界坐标建立坐标系：以脸部关键点的质心为原点，建立脸部坐标系，并计算目标点在脸部坐标系下的表达，确定面部相对相机的位姿；

（5）通过相机与机器人的标定结果，将上一步得到的结果转换为面部相对机器人的位姿信息。

进一步，在所述步骤S6中，

（1）相机实时采集RGB图像和深度图，使用ICP算法计算面部相对初始位置的偏移和旋转；

（2）根据位姿变换矩阵，获取新的咽部目标位在机器人坐标系下的位姿，发送给机器人，机器人实时调整姿态；

（3）机器人到达咽部目标位置，由目标点分别向左右进行逆时针、正时针运动，执行预设采样轨迹，由六分力传感器接收采样信号，当受力达到预设值时，停止向该方向运动；

（4）在此过程中，当面部移动距离或旋转超过阈值，或口部张度小于阈值时，停止采样，机械手恢复至初始位置。

进一步，所述使用ICP算法计算面部相对初始位置的偏移和旋转，包括如下步骤：

对深度变化大于5mm的点进行剔除，将其深度值赋0，使偏移过大的离群点不影响整体面部识别；

使用ICP算法，比较当前头部位姿与其初始位置三维坐标，得到位姿变换矩阵，包括在两组点集中剔除在任一点集中深度为0的点、计算两组三位点的质心、以质心为原点计算两组点的相对坐标、计算ω并对其进行SVD分解、计算两组点之间的平移矩阵和旋转矩阵。

根据本发明实施例的基于视觉的机器人核酸采样引导方法，通过面部关键点识别，建立面部坐标系，在初始时确立了咽部和面部坐标系之间的关系，从而指导机械臂在采样过程中根据采样人员头部位姿实时调整采样姿态；在面部有部分遮挡情况下仍可进行位置调整和采样使用ICP算法获取当前头部位姿与初始位姿之间的变换关系。本发明专可实现咽部自动定位，并在采集过程中自动跟踪面部，部分点位缺失时仍可进行追踪定位，以实时调整机器人采集姿态，实现准确的采集动作。整个过程无需人工干预，可在1分钟之内实现采样。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于视觉的机器人核酸采样引导方法的流程图；

图2为根据本发明实施例的咽部识别结果（框内）的示意图；

图3为根据本发明实施例的机器人与相机位置示意图。

附图标记：

1、上嘴唇下端中间点；2、下嘴唇上端中间点；3、左嘴角；4、右嘴角；

5、深度相机；6、夹爪；7、法兰；8、六维力传感器。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明的基于视觉的机器人核酸采样引导方法，涉及以下硬件结构：机器人为6轴机器人；3D相机独立于机器人，固定在适当位置，使相机视野范围覆盖头部周围区域；机械臂末端安装夹爪，用于夹持采样器；机械臂末端与夹爪之间配有六维力传感器；整个系统附有语音提示装置用于对被采样人员进行行为提示。

本发明提供了一种基于视觉的机器人核酸采样引导方法，可指导核酸采集机器人机械臂的运动。

如图1所示，本发明实施例的基于视觉的机器人核酸采样引导方法，包括如下步骤：

步骤S1，前期准备：利用深度学习模型进行人脸识别，通过模型训练获取识别咽部，对相机内参与相机与机器人之间的关系进行标定。

（1）人脸识别模型将面部轮廓与五官划分为不同区域，每个区域各用若干关键点标记特征，口部关键点包括上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角。

（2）定义口部开度为嘴部点位的上嘴唇和下嘴唇的距离，定义口部张度为开度/嘴部左角点与右角点距离。

（3）定义目标点为咽部识别结果（悬壅垂与扁桃体所在区域）的中心点。

如图2所示，嘴部关键点1~4分别为上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角。

步骤S2：待采样人员站立于预先设定位置，机械臂持有采样器，位于等待位置，如图3所示。3D相机5独立于机器人，固定在适当位置，使相机视野范围覆盖头部周围区域；机械臂末端安装夹爪6，用于夹持采样器；机械臂末端与夹爪6之间配有六维力传感器8，通过法兰7连接。

步骤S3，利用相机不间断采集图像，包括RGB图像与深度图像，对RGB图像进行预处理、深度图执行补偿与对齐，处理后的图像应用面部识别模型，得到面部全部关键点。

具体的，RGB图像预处理包括以下步骤：

（1）图像畸变校正（畸变系数已预先经过标定），去除径向和切向畸变；

（2）图像滤波，采用基于最小均方误差(LMS)的自适应滤波，步长采用变步长自适应滤波算法，步长因子u(n)随迭代次数的增加而逐渐减小，在短时间内获取滤波后的图像；

（3）采用的光照补偿算法如下：a、计算图像平均灰度值；b、将图像拆分为若干小区域，如32×32，计算每个子区域的灰度值；c、计算子区域灰度值与整体灰度值的差值，得到子区域灰度差值矩阵；d、通过插值运算，将子区域灰度值扩展到与原图像大小相同，得到全区域灰度值插值矩阵；e、遍历原图像素，使每个像素的灰度值减去全区域灰度插值矩阵中对应的数值，以此抑制原图中高亮区域，提高暗区域亮度；

（4）图像增强算法如下：a、计算原始灰度图像的像素概率分布；b、根据像素概率分布获取图像累积分布函数c、根据映射函数获取变换后的图像；

具体的，深度图补偿与对齐，包括如下步骤：

使用不反光的平板大小覆盖相机视野范围，将该平板与相机采图平面平行，此时平板各个位置深度值基本一样，中间布局会出现内凹或外凸，记录这些局部误差，作为深度补偿来源。本步骤在准备工作执行一次即可，后续将使用本次结果持续补偿；

然后进行RGB图与深度图执行对齐；对RGB图像应用面部识别模型，得到面部关键点的图像素坐标信息。

步骤S4，系统当判断面部在指定区域内且无遮挡时，确认可以开始采集，系统发出语音提示待测人员长大嘴部。

步骤S5，初步定位：当系统识别到待采样人员口部张大到规定尺度后，记录此时咽部位置与脸部位姿，计算得到机械臂目标位姿，引导机器人开始向待采样人移动。

（1）使用步骤S3中面部识别结果的关键点计算口部开度和口部张度，当两者均达到设定值时为初始帧，提示待检测人员保持姿势；

（2）对初始帧进行处理，对RGB图像应用面部识别模型，确定面部相对相机位置，换算为相对机器人位置，具体步骤如下：

①在RGB图像中定位面部各个关键点的像素坐标；

②在深度图中得到上述关键点的深度信息；

③通过相机标定结果，利用深度信息计算关键点的世界坐标位置并记录；

④使用所有关键点的世界坐标建立坐标系：以脸部关键点的质心为原点，建立脸部坐标系，并计算目标点在脸部坐标系下的表达，由此确定了面部相对相机的位姿；

⑤通过相机与机器人的标定结果，将上一步得到的结果转换为面部相对机器人的位姿信息；

（3）提取咽部识别结果，记录目标点的三维坐标；

（4）根据面部相对机器人的位姿与咽部目标点坐标，计算机械臂目标位姿。

步骤S6，面部跟随：在采样过程中，通过相机实时检测待采样人员的面部位姿，调整机械臂轨迹，直至采样完成。

（1）相机实时采集RGB图像和深度图，使用ICP算法计算面部相对初始位置的偏移和旋转,具体步骤如下：

①对图像重复步骤S5中（2）步骤，在采样过程中机械臂可能对面部进行部分遮挡，遮挡的点深度变化过大，对深度变化大于5mm的点进行剔除（将其深度值赋0），使偏移过大的离群点不影响整体面部识别；

②使用ICP算法，比较当前头部位姿与其初始位置三维坐标，得到位姿变换矩阵，其步骤包括在两组点集中剔除在任一点集中深度为0的点、计算两组三位点的质心、以质心为原点计算两组点的相对坐标、计算ω并对其进行SVD分解、计算两组点之间的平移矩阵和旋转矩阵；

（2）根据（1）中的位姿变换矩阵，获取新的咽部目标位在机器人坐标系下的位姿，发送给机器人，机器人实时调整姿态；

（3）机器人到达咽部目标位置，由目标点分别向左右进行逆时针、正时针运动，执行预设采样轨迹，由六分力传感器接收采样信号，当受力达到预设值时，停止向该方向运动；

（4）在此过程中，当面部移动距离或旋转超过阈值，或口部张度小于阈值时，停止采样，机械手恢复至初始位置，重新进行采样3~4步骤。

根据本发明实施例的基于视觉的机器人核酸采样引导方法，通过面部关键点识别，建立面部坐标系，在初始时确立了咽部和面部坐标系之间的关系，从而指导机械臂在采样过程中根据采样人员头部位姿实时调整采样姿态；在面部有部分遮挡情况下仍可进行位置调整和采样使用ICP算法获取当前头部位姿与初始位姿之间的变换关系。本发明专可实现咽部自动定位，并在采集过程中自动跟踪面部，部分点位缺失时仍可进行追踪定位，以实时调整机器人采集姿态，实现准确的采集动作。整个过程无需人工干预，可在1分钟之内实现采样。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种基于视觉的机器人核酸采样引导方法，其特征在于，包括如下步骤：

步骤S1，前期准备：利用深度学习模型进行人脸识别，通过模型训练获取识别咽部，对相机内参与相机与机器人之间的关系进行标定；

步骤S2：待采样人员站立于预先设定位置，机械臂持有采样器，位于等待位置；

步骤S3，利用相机不间断采集图像，包括RGB图像与深度图像，对RGB图像进行预处理、深度图执行补偿与对齐，处理后的图像应用面部识别模型，得到面部全部关键点；

步骤S4，当判断面部在指定区域内且无遮挡时，确认可以开始采集，发出语音提示待测人员长大嘴部；

步骤S5，初步定位：当系统识别到待采样人员口部张大到规定尺度后，记录此时咽部位置与脸部位姿，计算得到机械臂目标位姿，引导机器人开始向待采样人移动；

步骤S6，面部跟随：在采样过程中，通过相机实时检测待采样人员的面部位姿，调整机械臂轨迹，直至采样完成。

2.如权利要求1所述的基于视觉的机器人核酸采样引导方法，其特征在于，在所述步骤S1中，所述利用深度学习模型进行人脸识别，包括：

人脸识别模型将面部轮廓与五官划分为不同区域，每个区域各用若干关键点标记特征，口部关键点包括上嘴唇下端中间点、下嘴唇上端中间点、左嘴角、右嘴角；

定义口部开度为嘴部点位的上嘴唇和下嘴唇的距离，定义口部张度为开度/嘴部左角点与右角点距离。

3.如权利要求1所述的基于视觉的机器人核酸采样引导方法，其特征在于，在所述步骤S1中，所述通过模型训练获取识别咽部，包括：定义目标点为咽部识别结果的中心点，所述咽部识别结果为悬壅垂与扁桃体所在区域。

4.如权利要求1所述的基于视觉的机器人核酸采样引导方法，其特征在于，在所述步骤S3中，所述对RGB图像进行预处理，包括：

（1）图像畸变校正，去除径向和切向畸变；

（2）图像滤波，采用基于最小均方误差的自适应滤波，步长采用变步长自适应滤波算法，步长因子u(n)随迭代次数的增加而逐渐减小，获取滤波后的图像；

（3）采用的光照补偿算法：

计算图像平均灰度值；

将图像拆分为若干小区域，计算每个子区域的灰度值；

计算子区域灰度值与整体灰度值的差值，得到子区域灰度差值矩阵；

通过插值运算，将子区域灰度值扩展到与原图像大小相同，得到全区域灰度值插值矩阵；

遍历原图像素，使每个像素的灰度值减去全区域灰度插值矩阵中对应的数值，以此抑制原图中高亮区域，提高暗区域亮度；

图像增强算法：

计算原始灰度图像的像素概率分布；

根据像素概率分布获取图像累积分布函数；

根据映射函数获取变换后的图像。

5.如权利要求1所述的基于视觉的机器人核酸采样引导方法，其特征在于，在所述步骤S3中，所述深度图执行补偿与对齐，包括：

采用不反光的平板大小覆盖相机视野范围，将该平板与相机采图平面平行，此时平板各个位置深度值基本一样，中间布局会出现内凹或外凸，记录这些局部误差，作为深度补偿来源；本步骤在准备工作执行一次即可，后续将使用本次结果持续补偿。

6.如权利要求1所述的基于视觉的机器人核酸采样引导方法，其特征在于，在所述步骤S5中，

（1）采用面部识别结果的关键点计算口部开度和口部张度，当两者均达到设定值时为初始帧，提示待检测人员保持姿势；

（2）对初始帧进行处理，对RGB图像应用面部识别模型，确定面部相对相机位置，换算为相对机器人位置；

（3）提取咽部识别结果，记录目标点的三维坐标；

（4）根据面部相对机器人的位姿与咽部目标点坐标，计算机械臂目标位姿。

7.如权利要求6所述的基于视觉的机器人核酸采样引导方法，其特征在于，所述对RGB图像应用面部识别模型，确定面部相对相机位置，换算为相对机器人位置，包括如下步骤：

（1）在RGB图像中定位面部各个关键点的像素坐标；

（2）在深度图中得到上述关键点的深度信息；

（3）通过相机标定结果，利用深度信息计算关键点的世界坐标位置并记录；

（4）使用所有关键点的世界坐标建立坐标系：以脸部关键点的质心为原点，建立脸部坐标系，并计算目标点在脸部坐标系下的表达，确定面部相对相机的位姿；

（5）通过相机与机器人的标定结果，将上一步得到的结果转换为面部相对机器人的位姿信息。

8.如权利要求1所述的基于视觉的机器人核酸采样引导方法，其特征在于，在所述步骤S6中，

（1）相机实时采集RGB图像和深度图，使用ICP算法计算面部相对初始位置的偏移和旋转；

（2）根据位姿变换矩阵，获取新的咽部目标位在机器人坐标系下的位姿，发送给机器人，机器人实时调整姿态；

（3）机器人到达咽部目标位置，由目标点分别向左右进行逆时针、正时针运动，执行预设采样轨迹，由六分力传感器接收采样信号，当受力达到预设值时，停止向该方向运动；

（4）在此过程中，当面部移动距离或旋转超过阈值，或口部张度小于阈值时，停止采样，机械手恢复至初始位置。

9.如权利要求8所述的基于视觉的机器人核酸采样引导方法，其特征在于，所述使用ICP算法计算面部相对初始位置的偏移和旋转，包括如下步骤：

对深度变化大于5mm的点进行剔除，将其深度值赋0，使偏移过大的离群点不影响整体面部识别；

使用ICP算法，比较当前头部位姿与其初始位置三维坐标，得到位姿变换矩阵，包括在两组点集中剔除在任一点集中深度为0的点、计算两组三位点的质心、以质心为原点计算两组点的相对坐标、计算ω并对其进行SVD分解、计算两组点之间的平移矩阵和旋转矩阵。

Images