CN114081536A - 鼻咽拭子采样方法、装置、电子设备及存储介质 - Google Patents
鼻咽拭子采样方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114081536A CN114081536A CN202111230140.4A CN202111230140A CN114081536A CN 114081536 A CN114081536 A CN 114081536A CN 202111230140 A CN202111230140 A CN 202111230140A CN 114081536 A CN114081536 A CN 114081536A
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- sampling
- points
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种鼻咽拭子采样方法、装置、电子设备及存储介质，其中，该方法包括：控制机械臂向采集对象移动，由RGBD相机得到采集对象的第一人脸图像，以及由激光雷达得到采集对象的第二人脸图像；基于第一人脸图像确定出二维特征点，以及基于第二人脸图像确定出解剖标志点；基于二维特征点得到目标三维点，从解剖标志点中选取出目标解剖标志点；基于目标三维点计算得到第一重心，基于目标解剖标志点计算得到第二重心；根据第一重心和第二重心确定出采样点；实时对采样点进行更新，并计算采样点与拭子的头部之间的距离，基于该距离对机械臂的移动速度进行调整。本申请实施例利于提高鼻咽拭子采样的效率。
Description
技术领域
本申请涉及机器视觉技术在医疗健康领域的应用，尤其涉及一种鼻咽拭 子采样方法、装置、电子设备及存储介质。
背景技术
现阶段，无论是鼻咽拭子采样还是咽拭子采样，对医护人员的手工操作 都有较大程度的依赖，而手工操作无疑会增加医护人员的感染风险。鉴于此， 一些机构展开了采样机器人的研究，并且部分研究成果已经投入使用，利用 采样机器人辅助咽拭子或鼻咽拭子采样，是保护医护人员的重大举措，然而 采样机器人在采样过程中面对的情况是复杂多样的，为了保证采样定位的精 度，现有研究在采样机器人的速度方面并不会有过多要求，在大规模的社区、 街道采样中，采样机器人的采样效率相对较低。
发明内容
针对上述问题，本申请提供了一种鼻咽拭子采样方法、装置、电子设备 及存储介质，有利于提高鼻咽拭子采样的效率。
为实现上述目的，本申请实施例第一方面提供了一种鼻咽拭子采样方法， 应用于采样机器人，该采样机器人包括机械臂，机械臂上设置有激光雷达和 RGBD相机，该方法包括：
控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和激光雷 达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以 及从激光雷达数据中定位出采集对象的第二人脸图像；
对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个二维 特征点构建出至少一个二维组网；
对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从至少 一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组网的 二维特征点和中心点映射到三维空间，得到对应的目标三维点；
从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标记点 中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的目标 三维点之间的距离小于或等于第一距离阈值；
根据二维特征点和中心点对应的目标三维点确定第一重心，以及根据目 标解剖标记点确定第二重心，将第一重心和第二重心的中点确定为采样点；
计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部与采 样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度；
根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光雷达数 据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间的距离， 在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈值的情况 下，降低机械臂的移动速度至速度阈值，以速度阈值完成采样。
结合第一方面，在一种可能的实施方式中，根据二维特征点和中心点对 应的目标三维点确定第一重心，包括：
将二维特征点和中心点对应的目标三维点确定为质点系重心坐标中的第 一质点；
为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一 质量；
采用每个第一质点的三维坐标和第一质量求得二维特征点和中心点对应 的目标三维点的重心的三维坐标；
根据二维特征点和中心点对应的目标三维点的重心的三维坐标确定第一 重心。
结合第一方面，在一种可能的实施方式中，根据目标解剖标记点确定第 二重心，包括：
将目标解剖标记点确定为质点系重心坐标中的第二质点；
为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二 质量；
采用每个第二质点的三维坐标和第二质量求得目标解剖标记点的重心的 三维坐标；
根据目标解剖标记点的重心的三维坐标确定第二重心。
结合第一方面，在一种可能的实施方式中，对第一人脸图像进行特征点 采样，得到多个二维特征点，包括：
采用医学中器官轮廓线勾画方法确定出第一人脸图像中鼻子的轮廓线， 并获取鼻子的轮廓线的最小外接矩形；
对拭子的头部进行投影，得到拭子的头部在第一人脸图像中的投影点；
在投影点在最小外接矩形内的情况下，根据拭子的头部与投影点之间的 距离和拭子的头部与两眼中心之间的距离，计算得到投影点与两眼中心之间 的距离；
基于投影点与两眼中心之间的距离进行特征点采样，得到多个二维特征 点。
结合第一方面，在一种可能的实施方式中，基于投影点与两眼中心之间 的距离进行特征点采样，得到多个二维特征点，包括：
以投影点与两眼中心之间的距离的和为宽度、高度保持不变对最小外接 矩形进行放大，得到采样区域；
在采样区域进行均匀采样，得到多个二维特征点。
结合第一方面，在一种可能的实施方式中，计算机械臂夹持的拭子的头 部与采样点之间的距离，包括：
获取采样点在第一人脸图像中的映射点；
根据投影点与映射点之间的距离和拭子的头部与投影点之间的距离，计 算得到拭子的头部与采样点之间的距离。
结合第一方面，在一种可能的实施方式中，基于多个二维特征点构建出 至少一个二维组网，包括：
对多个二维特征点进行三角剖分，得到至少一个二维组网。
本申请实施例第二方面提供了一种鼻咽拭子采样装置，该装置包括获取 单元和处理单元，其中：
获取单元，用于控制机械臂向采集对象移动，获取RGBD相机采集的RGB 图像和激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一 人脸图像，以及从激光雷达数据中定位出采集对象的第二人脸图像；
处理单元，用于对第一人脸图像进行特征点采样，得到多个二维特征点， 基于多个二维特征点构建出至少一个二维组网；
处理单元，还用于对第一人脸图像进行鼻子定位，得到采集对象的鼻子 的中心点，从至少一个二维组网中选取出内含中心点的目标二维组网，将构 成目标二维组网的二维特征点和中心点映射到三维空间，得到对应的目标三 维点；
处理单元，还用于从第二人脸图像中的激光雷达数据中确定出解剖标记 点，从解剖标记点中确定出预设数量个目标解剖标记点，目标解剖标记点与 中心点对应的目标三维点之间的距离小于或等于第一距离阈值；
处理单元，还用于根据二维特征点和中心点对应的目标三维点确定第一 重心，以及根据目标解剖标记点确定第二重心，将第一重心和第二重心的中 点确定为采样点；
处理单元，还用于计算机械臂夹持的拭子的头部与采样点之间的距离， 在拭子的头部与采样点之间的距离大于第二距离阈值的情况下，增加机械臂 的移动速度；
处理单元，还用于根据RGBD相机实时采集的RGB图像和激光雷达实时采 集的激光雷达数据对采样点进行实时更新，并计算更新后的采样点与拭子的 头部之间的距离，在更新后的采样点与拭子的头部之间的距离小于或等于第 二距离阈值的情况下，降低机械臂的移动速度至速度阈值，以速度阈值完成 采样。
本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备 和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储 介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适 于由所述处理器加载并执行如下步骤：
控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和激光雷 达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以 及从激光雷达数据中定位出采集对象的第二人脸图像；
对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个二维 特征点构建出至少一个二维组网；
对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从至少 一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组网的 二维特征点和中心点映射到三维空间，得到对应的目标三维点；
从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标记点 中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的目标 三维点之间的距离小于或等于第一距离阈值；
根据二维特征点和中心点对应的目标三维点确定第一重心，以及根据目 标解剖标记点确定第二重心，将第一重心和第二重心的中点确定为采样点；
计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部与采 样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度；
根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光雷达数 据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间的距离， 在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈值的情况 下，降低机械臂的移动速度至速度阈值，以速度阈值完成采样。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介 质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如 下步骤：
控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和激光雷 达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以 及从激光雷达数据中定位出采集对象的第二人脸图像；
对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个二维 特征点构建出至少一个二维组网；
对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从至少 一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组网的 二维特征点和中心点映射到三维空间，得到对应的目标三维点；
从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标记点 中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的目标 三维点之间的距离小于或等于第一距离阈值；
根据二维特征点和中心点对应的目标三维点确定第一重心，以及根据目 标解剖标记点确定第二重心，将第一重心和第二重心的中点确定为采样点；
计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部与采 样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度；
根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光雷达数 据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间的距离， 在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈值的情况 下，降低机械臂的移动速度至速度阈值，以速度阈值完成采样。
本申请的上述方案至少包括以下有益效果：与现有技术相比，本申请实 施例在鼻咽拭子采样过程中，可基于机械臂上激光雷达返回的激光雷达数据 和RGBD相机采集的RGB图像确定采集对象鼻子内的采样点，然后根据采样 点与机械臂夹持的拭子的头部之间的距离调整机械臂的移动速度，当采样点 与机械臂夹持的拭子的头部之间的距离大于第二距离阈值时，可增加机械臂 向采集对象移动的速度，以使机械臂快速靠近人脸和鼻子，有利于提高鼻咽 拭子采样的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用环境的示意图；
图2为本申请实施例提供的一种鼻咽拭子采样方法的流程示意图；
图3为本申请实施例提供的一种水平方向最大距离和垂直方向最大距离 的示意图；
图4为本申请实施例提供的一种拭子的头部与两眼中心的距离的示意图；
图5为本申请实施例提供的一种目标二维组网与鼻子的中心点的示意图；
图6为本申请实施例提供的另一种鼻咽拭子采样方法的流程示意图；
图7为本申请实施例提供的一种鼻咽拭子采样装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实 施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以 及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单 元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是 可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、 产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第 三”等是用于区别不同的对象，而并非用于描述特定的顺序。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特 性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短 语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选 的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施 例可以与其它实施例相结合。
本申请实施例提供一种鼻咽拭子采样方案，该方案可基于图1所示的应用 环境实施，如图1所示，该应用环境包括采样机器人和进行鼻咽拭子采样的采 集对象，其中，采样机器人包括机械臂，机械臂一端的夹持装置夹持有拭子， 采样机器人可通过控制机械臂对采集对象进行生物样本的采集。机械臂上设 置有激光雷达和RGBD相机，激光雷达用于采集环境数据，以使得采样机器人 通过环境数据确定采集对象的位置，具体可以是确定采集对象鼻子的位置， 然后控制机械臂向采集对象的鼻子方向移动。
具体而言，采样机器人根据激光雷达返回的数据确定出采集对象的三维 人脸图像，以及根据RGBD相机采集的RGB图像定位分割出采集对象的二维人 脸图像，然后在二维人脸图像中选取二维特征点，在三维人脸图像中选取解 剖标记点，采用选取出的二维特征点和解剖标记点确定出采样点，基于机械 臂夹持的拭子的头部与采样点之间的距离调整机械臂向采集对象移动的速度， 当拭子的头部与采样点之间的距离较大时，采样机器人可以增大机械臂的移 动速度，从而有利于提高采样机器人的鼻咽拭子采样效率，适用于街道、社 区、机场等众多大规模核酸采样场景。
请参见图2，图2为本申请实施例提供的一种鼻咽拭子采样方法的流程示 意图，该鼻咽拭子采样方法应用于采样机器人，如图2所示，包括步骤210-270：
210：控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和 激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图 像，以及从激光雷达数据中定位出采集对象的第二人脸图像。
本申请实施例中，采样机器人处于工作模式的状态下，通过接收激光雷 达数据判断特定区域是否有采集对象，若有则以初始预设速度控制机械臂向 采集对象移动，并在移动过程中，基于激光雷达数据获取采集对象的位姿， 基于该位姿调整移动的方向或角度。
示例性的，采样机器人通过人脸检测算法从RGBD相机采集的RGB图像 中分割出第一人脸图像，通过对激光雷达数据进行定位分割，得到采集对象 的第二人脸图像。其中，该第二人脸图像为采用点云数据(激光雷达数据) 构建的三维人脸图像。
220：对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个 二维特征点构建出至少一个二维组网。
本申请实施例中，对第一人脸图像进行特征点采样，得到多个二维特征 点，包括：
采用医学中器官轮廓线勾画方法确定出第一人脸图像中鼻子的轮廓线， 并获取鼻子的轮廓线的最小外接矩形；
对拭子的头部进行投影，得到拭子的头部在第一人脸图像中的投影点；
在投影点在最小外接矩形内的情况下，根据拭子的头部与投影点之间的 距离和拭子的头部与两眼中心之间的距离，计算得到投影点与两眼中心之间 的距离；
基于投影点与两眼中心之间的距离进行特征点采样，得到多个二维特征 点。
其中，采用医学中器官轮廓线勾画方法确定出第一人脸图像中鼻子的轮 廓线，包括：采用医学中器官轮廓线勾画方法，勾画出第一人脸图像中所有 人脸器官的轮廓线，针对每一人脸器官的轮廓线，计算该轮廓线的水平方向 最大距离和垂直方向最大距离的比值，若该比值趋近于预设比值则将该轮廓 线确定为鼻子的轮廓线。应理解，从医学和几何学的角度来讲，人脸器官在 水平方向的最大距离与垂直方向的最大距离之间的比值会存在一定特性，比 如鼻子在水平方向的最大距离与垂直方向的最大距离之间的比值肯定是小于 1的，而眼睛和嘴巴肯定是大于1的，嘴巴在水平方向的最大距离与垂直方向 的最大距离之间的比值通常是大于眼睛的该比值的，等等。利用这些特性， 如图3所示，通过计算轮廓线的的水平方向最大距离和垂直方向最大距离的 比值，比如该比值为0.6，趋近于预设比值0.7，则认为该轮廓线为鼻子的轮 廓线。
沿着机械臂移动的方向进行投影，得到机械臂夹持的拭子的头部在第一 人脸图像中的投影点，如图4所示，以左眼中心为例，基于激光雷达数据， 采样机器人可知拭子的头部与左眼中心之间的距离，以及拭子的头部与投影 点之间的垂直距离，则拭子的头部、投影点与左眼中心构成了直角三角形， 在已知斜边的长度和一条直角边的长度的情况下，可求得另一直角边的长度， 即投影点与左眼中心之间的距离，同理可得，投影点与右眼中心之间的距离。
在已知投影点与两眼中心之间的距离的情况下，以投影点与两眼中心之 间的距离之和为新的宽度、高度保持不变对最小外接矩形进行放大，得到一 个矩形，将该矩形作为采样区域，以预设的间隔在该采用区域进行均匀采样， 得到多个二维特征点。可选的，基于投影点与两眼中心之间的距离进行特征 点采样，得到多个二维特征点，还可以包括：计算投影点与两眼中心之间的 距离的和与最小外接矩形的宽度之间的比值，按照该比值对最小外接矩形的 宽度和高度进行缩放，得到采样区域，在采样区域进行均匀采样，得到多个 二维特征点。该实施方式中，当拭子的头部的投影点在鼻子轮廓线的最小外 接矩形内时，计算出投影点与两眼中心之间的距离，然后以该距离之和为新 的宽度，对最小外接矩形的宽度进行放大(或者采用该距离之和与最小外接 矩形的宽度求得一比值，以该比值对最小外接矩形的宽度和高度进行放大)， 由于放大后的采样区域覆盖了眼睛与嘴巴之间的关键区域，该区域的特征点 更有利于鼻子的定位，同时也直接排除了第一人脸图像中对鼻子定位基本无 影响的特征点。
示例性的，基于多个二维特征点构建出至少一个二维组网，包括：
对多个二维特征点进行三角剖分，得到至少一个二维组网。
本申请实施例中，至少一个二维组网可如图5所示，由于多个二维特征 点是RGBD相机实时观测到的特征点，利用这些点在三维空间确定采样点， 有利于提升采样点的确定效率，而通过三角剖分选取出构成二维组网的二维 特征点，有利于保证后续映射到三维空间的点的稳定性。
230：对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从 至少一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组 网的二维特征点和中心点映射到三维空间，得到对应的目标三维点。
本申请实施例中，采用目标检测算法对第一人脸图像进行鼻子定位，将 目标检测框的中心确定为采集对象的鼻子的中心点，请继续参见图5，将内含 鼻子的中心点的二维组网确定为目标二维组网，将构成目标二维组网的3个 二维特征点和鼻子的中心点映射到三维空间，则得到4个目标三维点，将这4 个目标三维点在三维空间构成一个三棱锥，三棱锥的每个面都是三角平面， 具有一定稳定性。
240：从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标 记点中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的 目标三维点之间的距离小于或等于第一距离阈值。
本申请实施例中，解剖标记点是医学中用于人体解剖的一些点，不同于 人脸检测中的关键点，解剖标记点通常在医疗影像或三维图像中呈现，以三 维方式表示解剖标记点能更清楚地呈现出其在人体(此处主要为人脸或头部) 中的位置，因此，对于每个解剖标记点，都能从构成第二人脸图像的激光雷 达数据中确定出对应的点，人脸上通常有上百个解剖标记点，对于鼻子定位 来说，并不需要这么多，本申请从上百个解剖标记点中选取出与鼻子的中心 点对应的目标三维点之间的距离小于或等于第一距离阈值的预设数量个目标解剖标记点。比如：选取与鼻子的中心点对应的目标三维点较近的4个解剖 标记点，其中，第一距离阈值可根据测试值确定。
250：根据二维特征点和中心点对应的目标三维点确定第一重心，以及根 据目标解剖标记点确定第二重心，将第一重心和第二重心的中点确定为采样 点。
本申请实施例中，根据二维特征点和中心点对应的目标三维点确定第一 重心，包括：
将二维特征点和中心点对应的目标三维点确定为质点系重心坐标中的第 一质点；
为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一 质量；
采用每个第一质点的三维坐标和第一质量求得二维特征点和中心点对应 的目标三维点的重心的三维坐标；
根据二维特征点和中心点对应的目标三维点的重心的三维坐标确定第一 重心。
具体的，在质点系重心坐标系中，将4个目标三维点作为质点，即上述 第一质点，针对4个第一质点中的任意第一质点，按照其与中心点对应的目 标三维点的距离为其赋予权重，比如：中心点对应的目标三维点的权重可以 为a1，另外三个第一质点的权重可以为a2,a3,a4，其中a1可以为1，a2,a3,a4 的取值范围可以为(0,1)。将每个第一质点的权重作为其质量(即第一质量)， 定义4个第一质点的坐标分别为(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)和 (x4,y4,z4)，则由4个第一质点的坐标和对应的第一质量可求得质点系中第一重心的坐标：
其中，xg1表示第一重心g1在x方向的坐标，yg1表示第一重心g1在y方 向的坐标，zg1表示第一重心g1在z方向的坐标，i表示4个第一质点中的第i个。
示例性的，根据目标解剖标记点确定第二重心，包括：
将目标解剖标记点确定为质点系重心坐标中的第二质点；
为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二 质量；
采用每个第二质点的三维坐标和第二质量求得目标解剖标记点的重心的 三维坐标；
根据目标解剖标记点的重心的三维坐标确定第二重心。
具体的，在质点系重心坐标系中，将4个目标解剖标记点作为质点，即 上述第二质点，针对4个第二质点中的任意第二质点，按照其与中心点对应 的目标三维点的距离为其赋予权重，将其权重作为对应的质量(即第二质量)， 比如：4个第二质点的权重可表示为b5,b6,b7和b8，其取值范围可以为(0,1)。 定义4个第一质点的坐标分别为(x5,y5,z5)，(x6,y6,z6)，(x7,y7,z7)和 (x8,y8,z8)，则由4个第二质点的坐标和对应的第二质量可求得质点系中第二 重心的坐标：
其中，xg2表示第二重心g2在x方向的坐标，yg2表示第二重心g2在y方 向的坐标，zg2表示第二重心g2在z方向的坐标，j表示4个第二质点中的第j个。
该实施方式中，由于质点系中重心的坐标通常与各质点的质量有关，即 与本申请中各目标三维点和各目标解剖标记点的权重有关，也就是说确定出 的第一重心和第二重心无限接近于鼻子的中心点，为了消除选取第一重心或 第二重心作为采样点带来的误差，将第一重心和第二重心的中点作为采样点。
260：计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部 与采样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度。
本申请实施例中，计算机械臂夹持的拭子的头部与采样点之间的距离， 包括：
获取采样点在第一人脸图像中的映射点；
根据投影点与映射点之间的距离和拭子的头部与投影点之间的距离，计 算得到拭子的头部与采样点之间的距离。
具体的，由于采样点是三维空间中的点，为了精简计算维度，将采样点 映射为第一人脸图像中的二维点，即上述映射点，在第一人脸图像中，可求 得拭子的头部的投影点与该映射点之间的距离，拭子的头部与投影点之间的 距离已知，则拭子的头部与采样点构成了直角三角形的斜边，由直角三角形 的两条直角边可求出拭子的头部与采样点之间的距离。
其中，第二阈值等于过鼻尖的直线与过采样点的直线之间的距离，过鼻 尖的直线与过采样点的直线互相平行且垂直于地面。当拭子的头部与采样点 之间的距离大于该第二距离阈值时，可适当增加机械臂的移动速度，以使机 械臂尽快接近采样点。
270：根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光 雷达数据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间 的距离，在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈 值的情况下，降低机械臂的移动速度至速度阈值，以速度阈值完成采样。
本申请实施例中，当机械臂越来越靠近采集对象人脸时，可能会造成部 分人脸遮挡的情况，此时可采用光流跟踪法或人脸补全的方法对被遮挡的人 脸中需要采集的二维特征点或解剖标记点进行追踪或补全，如此便能实时得 到完整人脸中的二维特征点和解剖标记点，在此基础上，就能执行步骤 220-260中的选取二维特征点、选取目标解剖标记点、求解质点系的重心、基 于重心获取更新后的采样点、计算拭子的头部与更新后的采样点之间的距离、 调整移动速度的操作，当拭子的头部与更新后的采样点之间的距离小于或等 于第二阈值时，降低机械臂的移动速度至速度阈值，该速度阈值相对较低且 为采样的安全速度，采样机器人可以该速度完成鼻咽拭子的采样。
可以看出，本申请实施例在鼻咽拭子采样过程中，可基于机械臂上激光 雷达返回的激光雷达数据和RGBD相机采集的RGB图像确定采集对象鼻子内 的采样点，然后根据采样点与机械臂夹持的拭子的头部之间的距离调整机械 臂的移动速度，当采样点与机械臂夹持的拭子的头部之间的距离大于第二距 离阈值时，可增加机械臂向采集对象移动的速度，以使机械臂快速靠近人脸 和鼻子，有利于提高鼻咽拭子采样的效率。
请参见图6，图6为本申请实施例提供的另一种鼻咽拭子采样方法的流程 示意图，同样可基于图1所示的应用环境实施，如图6所示，包括步骤610-680：
610：控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和 激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图 像，以及从激光雷达数据中定位出采集对象的第二人脸图像；
620：对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个 二维特征点构建出至少一个二维组网；
630：对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从 至少一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组 网的二维特征点和中心点映射到三维空间，得到对应的目标三维点；
640：从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标 记点中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的 目标三维点之间的距离小于或等于第一距离阈值；
650：将二维特征点和中心点对应的目标三维点确定为质点系重心坐标中 的第一质点，为每个第一质点赋予权重，并将赋予的权重作为对应的第一质 点的第一质量；采用每个第一质点的三维坐标和第一质量求得二维特征点和 中心点对应的目标三维点的重心的三维坐标，根据二维特征点和中心点对应 的目标三维点的重心的三维坐标确定第一重心；
660：根据目标解剖标记点确定第二重心，将第一重心和第二重心的中点 确定为采样点；
670：计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部 与采样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度；
680：根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光 雷达数据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间 的距离，在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈 值的情况下，降低机械臂的移动速度至速度阈值，以速度阈值完成采样。
其中，上述步骤610-680的具体实施方式在图2所示的实施例中已有详细 描述，且能达到相同或相似的有益效果，此处不再赘述。
基于上述鼻咽拭子采样方法实施例的描述，本申请还提供一种鼻咽拭子 采样装置，所述鼻咽拭子采样装置可以是运行于终端中的一个计算机程序(包 括程序代码)。该鼻咽拭子采样装置可以执行图2或图6所示的方法。请参 见图7，该装置包括获取单元710和处理单元720，其中：
获取单元710，用于控制机械臂向采集对象移动，获取RGBD相机采集 的RGB图像和激光雷达采集的激光雷达数据，从RGB图像中分割出采集对 象的第一人脸图像，以及从激光雷达数据中定位出采集对象的第二人脸图像；
处理单元720，用于对第一人脸图像进行特征点采样，得到多个二维特征 点，基于多个二维特征点构建出至少一个二维组网；
处理单元720，还用于对第一人脸图像进行鼻子定位，得到采集对象的鼻 子的中心点，从至少一个二维组网中选取出内含中心点的目标二维组网，将 构成目标二维组网的二维特征点和中心点映射到三维空间，得到对应的目标 三维点；
处理单元720，还用于从第二人脸图像中的激光雷达数据中确定出解剖标 记点，从解剖标记点中确定出预设数量个目标解剖标记点，目标解剖标记点 与中心点对应的目标三维点之间的距离小于或等于第一距离阈值；
处理单元720，还用于根据二维特征点和中心点对应的目标三维点确定第 一重心，以及根据目标解剖标记点确定第二重心，将第一重心和第二重心的 中点确定为采样点；
处理单元720，还用于计算机械臂夹持的拭子的头部与采样点之间的距离， 在拭子的头部与采样点之间的距离大于第二距离阈值的情况下，增加机械臂 的移动速度；
处理单元720，还用于根据RGBD相机实时采集的RGB图像和激光雷达 实时采集的激光雷达数据对采样点进行实时更新，并计算更新后的采样点与 拭子的头部之间的距离，在更新后的采样点与拭子的头部之间的距离小于或 等于第二距离阈值的情况下，降低机械臂的移动速度至速度阈值，以速度阈 值完成采样。
在一种可能的实施方式中，在根据二维特征点和中心点对应的目标三维 点确定第一重心方面，处理单元720具体用于：
将二维特征点和中心点对应的目标三维点确定为质点系重心坐标中的第 一质点；
为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一 质量；
采用每个第一质点的三维坐标和第一质量求得二维特征点和中心点对应 的目标三维点的重心的三维坐标；
根据二维特征点和中心点对应的目标三维点的重心的三维坐标确定第一 重心。
在一种可能的实施方式中，在根据目标解剖标记点确定第二重心方面， 处理单元720具体用于：
将目标解剖标记点确定为质点系重心坐标中的第二质点；
为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二 质量；
采用每个第二质点的三维坐标和第二质量求得目标解剖标记点的重心的 三维坐标；
根据目标解剖标记点的重心的三维坐标确定第二重心。
在一种可能的实施方式中，在对第一人脸图像进行特征点采样，得到多 个二维特征点方面，处理单元720具体用于：
采用医学中器官轮廓线勾画方法确定出第一人脸图像中鼻子的轮廓线， 并获取鼻子的轮廓线的最小外接矩形；
对拭子的头部进行投影，得到拭子的头部在第一人脸图像中的投影点；
在投影点在最小外接矩形内的情况下，根据拭子的头部与投影点之间的 距离和拭子的头部与两眼中心之间的距离，计算得到投影点与两眼中心之间 的距离；
基于投影点与两眼中心之间的距离进行特征点采样，得到多个二维特征 点。
在一种可能的实施方式中，在基于投影点与两眼中心之间的距离进行特 征点采样，得到多个二维特征点方面，处理单元720具体用于：
以投影点与两眼中心之间的距离的和为宽度、高度保持不变对最小外接 矩形进行放大，得到采样区域；
在采样区域进行均匀采样，得到多个二维特征点。
在一种可能的实施方式中，在计算机械臂夹持的拭子的头部与采样点之 间的距离方面，处理单元720具体用于：
获取采样点在第一人脸图像中的映射点；
根据投影点与映射点之间的距离和拭子的头部与投影点之间的距离，计 算得到拭子的头部与采样点之间的距离。
在一种可能的实施方式中，在基于多个二维特征点构建出至少一个二维 组网方面，处理单元720具体用于：
对多个二维特征点进行三角剖分，得到至少一个二维组网。
根据本申请的一个实施例，图7所示的鼻咽拭子采样装置的各个模块可 以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些) 模块还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作， 而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分 的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单 元的功能由一个单元实现。在本发明的其它实施例中，鼻咽拭子采样装置也 可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现， 并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、 随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件 的例如计算机的通用计算设备上运行能够执行如图2或图6中所示的相应方 法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的 鼻咽拭子采样装置设备，以及来实现本申请实施例的鼻咽拭子采样方法。所 述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记 录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，请参见图8，图8为本申请实 施例提供的一种电子设备的结构示意图，如图8所示，该电子设备至少包括 处理器810、输入设备820、输出设备830以及计算机存储介质840。其中， 电子设备内的处理器810、输入设备820、输出设备830以及计算机存储介质 840可通过总线或其他方式连接。
计算机存储介质840可以存储在电子设备的存储器中，所述计算机存储 介质840用于存储计算机程序，所述计算机程序包括程序指令，所述处理器 810用于执行所述计算机存储介质840存储的程序指令。处理器810(或称 CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控 制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令 从而实现相应方法流程或相应功能。
在一个实施例中，本申请实施例提供的电子设备的处理器810可以用于 进行一系列鼻咽拭子采样处理：
控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和激光雷 达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以 及从激光雷达数据中定位出采集对象的第二人脸图像；
对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个二维 特征点构建出至少一个二维组网；
对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从至少 一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组网的 二维特征点和中心点映射到三维空间，得到对应的目标三维点；
从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标记点 中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的目标 三维点之间的距离小于或等于第一距离阈值；
根据二维特征点和中心点对应的目标三维点确定第一重心，以及根据目 标解剖标记点确定第二重心，将第一重心和第二重心的中点确定为采样点；
计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部与采 样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度；
根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光雷达数 据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间的距离， 在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈值的情况 下，降低机械臂的移动速度至速度阈值，以速度阈值完成采样。
再一个实施例中，处理器810执行根据二维特征点和中心点对应的目标 三维点确定第一重心，包括：
将二维特征点和中心点对应的目标三维点确定为质点系重心坐标中的第 一质点；
为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一 质量；
采用每个第一质点的三维坐标和第一质量求得二维特征点和中心点对应 的目标三维点的重心的三维坐标；
根据二维特征点和中心点对应的目标三维点的重心的三维坐标确定第一 重心。
再一个实施例中，处理器810执行根据目标解剖标记点确定第二重心， 包括：
将目标解剖标记点确定为质点系重心坐标中的第二质点；
为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二 质量；
采用每个第二质点的三维坐标和第二质量求得目标解剖标记点的重心的 三维坐标；
根据目标解剖标记点的重心的三维坐标确定第二重心。
再一个实施例中，处理器810执行对第一人脸图像进行特征点采样，得 到多个二维特征点，包括：
采用医学中器官轮廓线勾画方法确定出第一人脸图像中鼻子的轮廓线， 并获取鼻子的轮廓线的最小外接矩形；
对拭子的头部进行投影，得到拭子的头部在第一人脸图像中的投影点；
在投影点在最小外接矩形内的情况下，根据拭子的头部与投影点之间的 距离和拭子的头部与两眼中心之间的距离，计算得到投影点与两眼中心之间 的距离；
基于投影点与两眼中心之间的距离进行特征点采样，得到多个二维特征 点。
再一个实施例中，处理器810执行基于投影点与两眼中心之间的距离进 行特征点采样，得到多个二维特征点，包括：
以投影点与两眼中心之间的距离的和为宽度、高度保持不变对最小外接 矩形进行放大，得到采样区域；
在采样区域进行均匀采样，得到多个二维特征点。
再一个实施例中，处理器810执行计算机械臂夹持的拭子的头部与采样 点之间的距离，包括：
获取采样点在第一人脸图像中的映射点；
根据投影点与映射点之间的距离和拭子的头部与投影点之间的距离，计 算得到拭子的头部与采样点之间的距离。
再一个实施例中，处理器810执行基于多个二维特征点构建出至少一个 二维组网，包括：
对多个二维特征点进行三角剖分，得到至少一个二维组网。
示例性的，上述电子设备可以是采样机器人或者与采样机器人通信连接 的电脑、服务器等，该服务器可以是独立的物理服务器，也可以是服务器集 群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云 存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据 和人工智能平台等基础云计算服务的云服务器。电子设备可包括但不仅限于 处理器810、输入设备820、输出设备830以及计算机存储介质840。还可以 包括内存、电源、应用客户端模块等。输入设备820可以是键盘、触摸屏、 射频接收器等，输出设备830可以是扬声器、显示器、射频发送器等。本领 域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子 设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者 不同的部件。
需要说明的是，由于电子设备的处理器810执行计算机程序时实现上述 的鼻咽拭子采样方法中的步骤，因此上述鼻咽拭子采样方法的实施例均适用 于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存 储介质是信息处理设备或信息发送设备或信息接收设备中的记忆设备，用于 存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中 的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储 介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空 间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以 是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的 计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器 (non-volatilememory)，例如至少一个磁盘存储器；可选的，还可以是至少 一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器 加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关鼻咽 拭子采样方法中的相应步骤。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请 的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请 的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思 想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内 容不应理解为对本申请的限制。
Claims (10)
1.一种鼻咽拭子采样方法，其特征在于，应用于采样机器人，所述采样机器人包括机械臂，所述机械臂上设置有激光雷达和RGBD相机，所述方法包括：
控制所述机械臂向采集对象移动，获取所述RGBD相机采集的RGB图像和所述激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以及从激光雷达数据中定位出采集对象的第二人脸图像；
对所述第一人脸图像进行特征点采样，得到多个二维特征点，基于所述多个二维特征点构建出至少一个二维组网；
对所述第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从所述至少一个二维组网中选取出内含所述中心点的目标二维组网，将构成所述目标二维组网的二维特征点和所述中心点映射到三维空间，得到对应的目标三维点；
从所述第二人脸图像中的激光雷达数据中确定出解剖标记点，从所述解剖标记点中确定出预设数量个目标解剖标记点，所述目标解剖标记点与所述中心点对应的目标三维点之间的距离小于或等于第一距离阈值；
根据所述二维特征点和所述中心点对应的目标三维点确定第一重心，以及根据所述目标解剖标记点确定第二重心，将所述第一重心和所述第二重心的中点确定为采样点；
计算所述机械臂夹持的拭子的头部与所述采样点之间的距离，在所述拭子的头部与所述采样点之间的距离大于第二距离阈值的情况下，增加所述机械臂的移动速度；
根据所述RGBD相机实时采集的RGB图像和所述激光雷达实时采集的激光雷达数据对所述采样点进行实时更新，并计算更新后的采样点与所述拭子的头部之间的距离，在更新后的采样点与所述拭子的头部之间的距离小于或等于第二距离阈值的情况下，降低所述机械臂的移动速度至速度阈值，以所述速度阈值完成采样。
2.根据权利要求1所述的方法，其特征在于，所述根据所述二维特征点和所述中心点对应的目标三维点确定第一重心，包括：
将所述二维特征点和所述中心点对应的目标三维点确定为质点系重心坐标中的第一质点；
为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一质量；
采用每个第一质点的三维坐标和第一质量求得所述二维特征点和所述中心点对应的目标三维点的重心的三维坐标；
根据所述二维特征点和所述中心点对应的目标三维点的重心的三维坐标确定所述第一重心。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标解剖标记点确定第二重心，包括：
将所述目标解剖标记点确定为质点系重心坐标中的第二质点；
为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二质量；
采用每个第二质点的三维坐标和第二质量求得所述目标解剖标记点的重心的三维坐标；
根据所述目标解剖标记点的重心的三维坐标确定所述第二重心。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述第一人脸图像进行特征点采样，得到多个二维特征点，包括：
采用医学中器官轮廓线勾画方法确定出所述第一人脸图像中鼻子的轮廓线，并获取鼻子的轮廓线的最小外接矩形；
对所述拭子的头部进行投影，得到所述拭子的头部在所述第一人脸图像中的投影点；
在所述投影点在所述最小外接矩形内的情况下，根据所述拭子的头部与所述投影点之间的距离和所述拭子的头部与两眼中心之间的距离，计算得到所述投影点与两眼中心之间的距离；
基于所述投影点与两眼中心之间的距离进行特征点采样，得到所述多个二维特征点。
5.根据权利要求4所述的方法，其特征在于，所述基于所述投影点与两眼中心之间的距离进行特征点采样，得到所述多个二维特征点，包括：
以所述投影点与两眼中心之间的距离的和为宽度、高度保持不变对所述最小外接矩形进行放大，得到采样区域；
在所述采样区域进行均匀采样，得到所述多个二维特征点。
6.根据权利要求4所述的方法，其特征在于，所述计算所述机械臂夹持的拭子的头部与所述采样点之间的距离，包括：
获取所述采样点在所述第一人脸图像中的映射点；
根据所述投影点与所述映射点之间的距离和所述拭子的头部与所述投影点之间的距离，计算得到所述拭子的头部与所述采样点之间的距离。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述多个二维特征点构建出至少一个二维组网，包括：
对所述多个二维特征点进行三角剖分，得到所述至少一个二维组网。
8.一种鼻咽拭子采样装置，其特征在于，所述装置包括获取单元和处理单元，其中：
所述获取单元，用于控制所述机械臂向采集对象移动，获取所述RGBD相机采集的RGB图像和所述激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以及从激光雷达数据中定位出采集对象的第二人脸图像；
所述处理单元，用于对所述第一人脸图像进行特征点采样，得到多个二维特征点，基于所述多个二维特征点构建出至少一个二维组网；
所述处理单元，还用于对所述第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从所述至少一个二维组网中选取出内含所述中心点的目标二维组网，将构成所述目标二维组网的二维特征点和所述中心点映射到三维空间，得到对应的目标三维点；
所述处理单元，还用于从所述第二人脸图像中的激光雷达数据中确定出解剖标记点，从所述解剖标记点中确定出预设数量个目标解剖标记点，所述目标解剖标记点与所述中心点对应的目标三维点之间的距离小于或等于第一距离阈值；
所述处理单元，还用于根据所述二维特征点和所述中心点对应的目标三维点确定第一重心，以及根据所述目标解剖标记点确定第二重心，将所述第一重心和所述第二重心的中点确定为采样点；
所述处理单元，还用于计算所述机械臂夹持的拭子的头部与所述采样点之间的距离，在所述拭子的头部与所述采样点之间的距离大于第二距离阈值的情况下，增加所述机械臂的移动速度；
所述处理单元，还用于根据所述RGBD相机实时采集的RGB图像和所述激光雷达实时采集的激光雷达数据对所述采样点进行实时更新，并计算更新后的采样点与所述拭子的头部之间的距离，在更新后的采样点与所述拭子的头部之间的距离小于或等于第二距离阈值的情况下，降低所述机械臂的移动速度至速度阈值，以所述速度阈值完成采样。
9.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111230140.4A CN114081536B (zh) | 2021-10-21 | 2021-10-21 | 鼻咽拭子采样方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111230140.4A CN114081536B (zh) | 2021-10-21 | 2021-10-21 | 鼻咽拭子采样方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114081536A true CN114081536A (zh) | 2022-02-25 |
| CN114081536B CN114081536B (zh) | 2023-09-26 |
Family
ID=80297677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111230140.4A Active CN114081536B (zh) | 2021-10-21 | 2021-10-21 | 鼻咽拭子采样方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114081536B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998841A (zh) * | 2022-08-01 | 2022-09-02 | 易凯医疗建筑设计(深圳)有限公司 | 核酸采样的样本识别方法、装置、设备及存储介质 |
| CN115115711A (zh) * | 2022-06-15 | 2022-09-27 | 深圳市罗湖医院集团 | 鼻咽拭子采样中的视觉标定方法及相关设备 |
| CN116168385A (zh) * | 2023-02-22 | 2023-05-26 | 哈尔滨星云智造科技有限公司 | 一种基于视觉三维场景重建的样本采集结果评估方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101990631A (zh) * | 2008-02-15 | 2011-03-23 | 3M创新有限公司 | 样品采集装置 |
| US20150030229A1 (en) * | 2013-07-24 | 2015-01-29 | Anja Borsdorf | Methods for Updating 2D/3D Registration on Movement and Computing Device |
| US20200364862A1 (en) * | 2018-02-02 | 2020-11-19 | Moleculight Inc. | Wound imaging and analysis |
| CN112990101A (zh) * | 2021-04-14 | 2021-06-18 | 深圳市罗湖医院集团 | 基于机器视觉的面部器官定位方法及相关设备 |
| CN113100834A (zh) * | 2021-04-14 | 2021-07-13 | 深圳市罗湖医院集团 | 人体生理样本采集方法、装置、电子设备和存储介质 |
| CN113208657A (zh) * | 2020-12-14 | 2021-08-06 | 汪汉柏 | 一种咽后壁体液自动采样装置及其采样方法 |
| US20210304404A1 (en) * | 2020-03-30 | 2021-09-30 | Industrial Technology Research Institute | Automatic bio-specimen inspection system and inspection method thereof |
-
2021
- 2021-10-21 CN CN202111230140.4A patent/CN114081536B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101990631A (zh) * | 2008-02-15 | 2011-03-23 | 3M创新有限公司 | 样品采集装置 |
| US20150030229A1 (en) * | 2013-07-24 | 2015-01-29 | Anja Borsdorf | Methods for Updating 2D/3D Registration on Movement and Computing Device |
| US20200364862A1 (en) * | 2018-02-02 | 2020-11-19 | Moleculight Inc. | Wound imaging and analysis |
| US20210304404A1 (en) * | 2020-03-30 | 2021-09-30 | Industrial Technology Research Institute | Automatic bio-specimen inspection system and inspection method thereof |
| CN113208657A (zh) * | 2020-12-14 | 2021-08-06 | 汪汉柏 | 一种咽后壁体液自动采样装置及其采样方法 |
| CN112990101A (zh) * | 2021-04-14 | 2021-06-18 | 深圳市罗湖医院集团 | 基于机器视觉的面部器官定位方法及相关设备 |
| CN113100834A (zh) * | 2021-04-14 | 2021-07-13 | 深圳市罗湖医院集团 | 人体生理样本采集方法、装置、电子设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115711A (zh) * | 2022-06-15 | 2022-09-27 | 深圳市罗湖医院集团 | 鼻咽拭子采样中的视觉标定方法及相关设备 |
| CN115115711B (zh) * | 2022-06-15 | 2023-06-23 | 深圳市罗湖医院集团 | 鼻咽拭子采样中的视觉标定方法及相关设备 |
| CN114998841A (zh) * | 2022-08-01 | 2022-09-02 | 易凯医疗建筑设计(深圳)有限公司 | 核酸采样的样本识别方法、装置、设备及存储介质 |
| CN116168385A (zh) * | 2023-02-22 | 2023-05-26 | 哈尔滨星云智造科技有限公司 | 一种基于视觉三维场景重建的样本采集结果评估方法 |
| CN116168385B (zh) * | 2023-02-22 | 2023-10-27 | 哈尔滨星云智造科技有限公司 | 一种基于视觉三维场景重建的样本采集结果评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114081536B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114081536A (zh) | 鼻咽拭子采样方法、装置、电子设备及存储介质 | |
| CN108732582B (zh) | 车辆定位方法和装置 | |
| WO2020119684A1 (zh) | 一种3d导航语义地图更新方法、装置及设备 | |
| US20240169566A1 (en) | Systems and methods for real-time multiple modality image alignment | |
| WO2020168770A1 (zh) | 物体位姿估计方法及装置 | |
| CN111612841B (zh) | 目标定位方法及装置、移动机器人及可读存储介质 | |
| CN105929963B (zh) | 一种用于追踪眼球位置的方法及检测装置 | |
| CN112382359B (zh) | 患者注册方法、装置、电子设备及计算机可读介质 | |
| CN112990101B (zh) | 基于机器视觉的面部器官定位方法及相关设备 | |
| CN113397704B (zh) | 机器人定位方法、装置、系统及计算机设备 | |
| WO2023078169A1 (zh) | 医学图像标记点识别方法、装置、电子设备及存储介质 | |
| CN113782159B (zh) | 医学图像标记点匹配方法、装置、电子设备及存储介质 | |
| JP2020052979A (ja) | 情報処理装置およびプログラム | |
| CN112657176A (zh) | 一种结合人像行为信息的双目投影人机交互方法 | |
| CN113570645A (zh) | 图像配准方法、装置、计算机设备及介质 | |
| CN112767415B (zh) | 胸部扫查区域自动确定方法、装置、设备及存储介质 | |
| CN114608521A (zh) | 单目测距方法及装置、电子设备和存储介质 | |
| CN115063607B (zh) | 切割轮廓的确定方法、装置、设备及存储介质 | |
| JP2018132319A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
| CN113012281B (zh) | 人体模型的确定方法、装置、电子设备及存储介质 | |
| CN110232690A (zh) | 一种图像分割的方法、系统、设备及计算机可读存储介质 | |
| WO2020166837A1 (ko) | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| WO2022071315A1 (ja) | 自律移動体制御装置、自律移動体制御方法及びプログラム | |
| CN113706448B (zh) | 确定图像的方法、装置、设备及存储介质 | |
| CN112652042B (zh) | 一种人体模型穿模检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |