CN115984738A - 一种基于深度学习视频监控的核酸自主采样装置及方法 - Google Patents

Abstract

本发明涉及智能化核酸采样的技术领域，公开了一种基于深度学习视频监控的核酸自主采样装置及方法，所述装置包括：视频监控模块，所述视频监控模块包括摄像头、LED光源；机械运作模块，所述机械运作模块包括消毒液收纳瓶、消毒液喷头、试管、试管固定架、试管拧盖器、试管架驱动杆、平移导轨、条形码扫描器、试管夹持杆、试管固定夹、试管拧盖器驱动电机、试管夹持杆电机和平移导轨驱动电机；计算机设备，所述计算机设备用于控制所述视频监控模块和所述机械运作模块。本发明公开的装置降低了硬件成本，采样过程更加快速、灵活，实现采样全程实时引导和监督，避免目标对象采样失败或采样作弊行为，提高采样的可靠性。

Description

一种基于深度学习视频监控的核酸自主采样装置及方法

技术领域

本发明涉及智能化核酸采样的技术领域，具体而言，涉及一种基于深度学习视频监控的核酸自主采样装置及方法。

背景技术

新冠肺炎疫情严重影响了人们正常的生活。目前核酸检测是新冠病毒筛查最可靠且最简单的方法。随着新冠病毒的全球扩散和持续变异，疫情防控已进入常态化核酸采样与检测。这意味着核酸采样与检测需要大量工作人员的参与和受检人群的配合。

然而，当前核酸采样带来的主要问题有：1)需要大量人力：需调度大量医护人员集中为群众进行逐个核酸采样，影响医院正常工作进行；2)面临交叉感染风险：医护人员长时间与不同群众近距离接触，即使做了防护措施，但仍然存在病毒感染的风险；3)长时间工作问题：医护人员穿防护服在炎热天气下长时间工作，影响工作状态和工作效率，导致降低采样的准确性。

最近研究人员提出采用机械臂代替人工采样的工作方案，力求改善核酸采样工作量巨大的现状。然而，现有机械臂采样方案存在以下局限性：1)成本高：一台机械臂系统价格昂贵，在巨大需求量面前并不现实；2)灵活性受限：机械臂系统尺寸大体积大，笨重不轻便，不利于现场灵活布置；3)采样速度慢：现有的机械臂采样时间通常需要40秒甚至更长，严重降低了核酸采样的工作效率；4)采样可靠性：现有机械臂系统虽然通过计算机精准控制进行采样，但无法保证目标对象的姿势或动作的规范性，缺少采样成功判别机制，容易出现采样无效的情况。

发明内容

本发明的目的在于克服上述问题的至少之一，提供了一种基于深度学习视频监控的核酸自主采样装置及方法，实现高性能、低成本、便携灵活且快速精准的自助式核酸采样。

第一方面，本发明提供一种基于深度学习视频监控的核酸自主采样装置，包括：

视频监控模块，所述视频监控模块包括摄像头、LED光源，所述摄像头用于采集目标对象的二维码信息和采集目标对象在核酸自主采样过程的图像信息，所述LED光源用于照明目标对象的口腔内部，所述摄像头采集目标对象在核酸自主采样过程的图像信息时，所述LED光源同步启动；

机械运作模块，所述机械运作模块包括消毒液收纳瓶、消毒液喷头、试管、试管固定架、试管拧盖器、试管架驱动杆、平移导轨、条形码扫描器、试管夹持杆、试管固定夹、试管拧盖器驱动电机、试管夹持杆电机和平移导轨驱动电机，所述平移导轨位于机械运作模块的底端，所述试管架驱动杆固定在所述平移导轨上，所述试管架驱动杆和所述试管固定夹的外端连接，所述试管夹持杆和所述试管固定夹的内端连接，所述试管固定架用于装载固定所述试管，所述平移导轨、所述试管架驱动杆、所述试管夹持杆和所述试管固定夹共同用于固定并移动所述试管固定架，所述条形码扫描器设置在所述试管夹持杆上，所述条形码扫描器用于扫描所述试管上的条形码，所述消毒液收纳瓶用于存储消毒液，所述消毒液喷头用于消毒所述试管，所述试管拧盖器用于拧开所述试管的试管盖，所述试管拧盖器驱动电机用于驱动所述试管拧盖器，所述试管夹持杆电机用于驱动所述试管夹持杆，所述平移导轨电机用于驱动所述平移导轨；

计算机设备，所述计算机设备用于控制所述视频监控模块和所述机械运作模块。

进一步的，所述摄像头采集目标对象的二维码信息后，所述平移导轨驱动电机驱动所述平移导轨移动，同时所述试管夹持杆电机驱动所述试管夹持杆，以使得所述试管夹持杆带动所述试管固定夹的内端向所述试管固定架的一侧移动，此时所述试管固定夹加紧固定所述试管固定架，所述试管固定架随所述平移导轨滑动至所述试管拧盖器的下端。

进一步的，所述计算机设备包括视频显示单元和语音提示单元，所述摄像头采集目标对象在核酸自主采样过程的图像信息时，所述视频显示单元显示目标对象进行核酸自主采样的画面，所述语音提示单元提示目标对象进行核酸自主采样的动作姿势。

进一步的，所述计算机设备还包括第一识别单元，所述第一识别单元根据所述摄像头采集的目标对象在核酸自主采样过程的图像信息，对目标对象的动作姿态是否符合规范化采样标准进行判断。

更进一步的，所述第一识别单元判定目标对象核酸自主采样完成时，所述试管拧盖器驱动电机驱动所述试管拧盖器拧开所述试管拧盖器正下方的试管的试管盖；

所述第一识别单元判定目标对象已将核酸样本放置于所述试管拧盖器正下方的试管里时，所述试管拧盖器驱动电机驱动所述试管拧盖器重新装配所述试管拧盖器正下方的试管，所述消毒液喷头对所述试管固定架上的试管进行消毒。

进一步的，所述计算机设备还包括第二识别单元，所述第二识别单元用于判定所述试管拧盖器正下方的试管内存储的棉签头已达至预设个数，基于所述第二识别单元的判定结果所述平移导轨驱动电机驱动所述平移导轨移动。

第二方面，本发明提供一种基于深度学习视频监控的核酸自主采样方法，所述方法具体包括：

获取摄像头采集的目标对象的二维码信息，控制计算机设备语音提示目标对象准备进入核酸自主采样模式；

基于深度学习目标检测算法控制摄像头实时定位跟踪棉签头，利用计算机设备通过显示画面和语音提示引导目标对象进行核酸自主采样；

基于深度学习决策机制控制计算机设备判断目标对象在核酸自主采样过程中的动作姿势是否符合规范化采样标准；

根据所述深度学习决策机制的判断结果获得核酸自主采样完成信息；

根据所述核酸自主采样完成信息，控制机械运作模块收纳核酸样本并进行消毒，所述机械运作模块为第一方面所述的机械运作模块。

进一步的，所述深度学习目标检测算法具体包括：

采集预设数量内符合规范化采样标准的目标对象核酸自主采样图像，形成目标对象核酸自主采样图像数据集，所述目标对象核酸自主采样图像数据集包括棉签头、咽喉部、棉签接触咽喉部整体、棉签进入试管整体、无头棉签棍五个类别的图像数据集；

将目标对象核酸自主采样图像数据集输入Yolo-V5网络进行特征分类任务训练，同时采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数，并对所述目标对象核酸自主采样图像数据集进一步约束关键区域，获得深度学习网络模型。

更进一步的，所述将目标对象核酸自主采样训练数据集输入Yolo-V5网络进行特征分类任务训练，同时采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数，具体包括：

基于Yolo-V5网络的Focus模块，对棉签头和咽喉部的原始输入图片进行切片重组操作，获得多维张量；

基于Yolo-V5网络的CSP模块，将多维低分辨率张量进行卷积操作，对试管和棉签杆进行特征分割与跨阶段分层合并；

根据广义交并比对所述目标对象核酸自主采样图像的关键区域进行回归计算，根据交叉熵损失函数对所述目标对象核酸自主采样图像数据集进行五分类概率计算，所述关键区域的权重大于所述关键区域之外的区域的权重，所述五分类概率计算的权重大于所述回归计算的权重。

更进一步的，所述并对所述目标对象核酸自主采样图像数据集进一步约束关键区域，具体包括：

所述目标对象核酸自主采样图像为棉签头时，基于二值化算法获得棉签头二值图像，利用棉签头二值图像的第一边缘轮廓为对角线生成第一最小外接矩形；

或者，所述目标对象核酸自主采样图像为咽喉部时，基于边缘检测算法提取咽喉部位从左侧扁桃体经过悬雍垂到右侧扁桃体的第二边缘轮廓，以所述第二边缘轮廓为长宽生成第二最小外接矩形，在所述第二最小外接矩形内利用最大内接椭圆进一步约束所述第二边缘轮廓；

或者，所述目标对象核酸自主采样图像为棉签接触咽喉部整体时，基于边缘检测算法获取棉签头与咽喉部的接触边缘像素分布，以所述接触边缘像素分布为对角线生成第三最小外接矩形；

或者，所述目标对象核酸自主采样图像为棉签进入试管整体时，基于二值化算法对棉签图像进行处理，当棉签头位于试管内部，基于霍夫变换算法判定棉签头与棉签杆之间不为直线且弯曲度大于某个阈值时，以棉签头、棉签杆和试管的第三边缘轮廓为对角线生成第四最小外接矩形；

或者，所述目标对象核酸自主采样图像为无头棉签棍时，基于二值化算法获得棉签杆二值图像，以棉签杆二值图像的第四边缘轮廓为对角线生成第五最小外接矩形。

与现有技术相比，本发明具有以下技术效果的至少之一：

1、现有医护人员人工采样会耗费大量人力，且长时间工作会导致医护人员的操作效率下降，耗费医护人员大量精力，本发明方案可大幅减少医疗资源挤压，无需穿防护服的医务人员，解除医务人员重复烦闷的咽拭操作，降低劳动强度，同时节省大量医用防护服开支。

2、本发明方案全自主采样机制，可大幅降低对被感染人员、红码人员等高危人群核酸检测过程中医务人员面临被感染的风险。

3、现有机械臂自动采样方案所需时间通常约40秒甚至更长，本发明方案采用目标对象自主采样方式，一方面降低了硬件成本，另一方面采样过程更加快速、灵活。

4、本发明方案的深度学习视频监控机制可大幅提高采样规范性和可靠性，严格监控咽喉咽拭受压形变，实现采样全程实时引导和监督，保证操作规范到位，避免目标对象采样失败或采样作弊行为，提高采样的可靠性。

5、本发明方案的系统尺寸小，易于现场布置，与现有机械臂方案相比更有利于在公共场合大面积投放，方便目标对象随时随地进行核酸采样以及健康监测。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的结构示意图；

图2是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的视频监控模块的结构示意图；

图3是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的机械运作模块的结构示意图；

图4是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的机械运作模块的另一结构示意图；

图5是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的机械运作模块的内部局部放大图；

图6是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的计算机设备的结构示意图；

图7是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的实施场景示意图；

图8是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的流程示意图；

图9是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的棉签头的图像示意图；

图10是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的咽喉部的图像示意图；

图11是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的棉签接触咽喉部整体的图像示意图；

图12是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的棉签进入试管整体的图像示意图；

图13是本发明实施例提供的一种基于深度学习视频监控的核酸自主采样方法的无头棉签杆的图像示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

参照图1至图5，本发明实施例公开了一种基于深度学习视频监控的核酸自主采样装置，包括：

视频监控模块1，所述视频监控模块1包括摄像头101、LED光源102，所述摄像头101用于采集目标对象的二维码信息和采集目标对象在核酸自主采样过程的图像信息，所述LED光源102用于照明目标对象的口腔内部，所述摄像头101采集目标对象在核酸自主采样过程的图像信息时，所述LED光源102同步启动；

机械运作模块2，所述机械运作模块2包括消毒液收纳瓶201、消毒液喷头202、试管203、试管固定架204、试管拧盖器205、试管架驱动杆206、平移导轨207、条形码扫描器208、试管夹持杆209、试管固定夹210、试管拧盖器驱动电机211、试管夹持杆电机212和平移导轨驱动电机213，所述平移导轨207位于机械运作模块2的底端，所述试管架驱动杆206固定在所述平移导轨207上，所述试管架驱动杆206和所述试管固定夹210的外端连接，所述试管夹持杆209和所述试管固定夹210的内端连接，所述试管固定架204用于装载固定所述试管203，所述平移导轨207、所述试管架驱动杆206、所述试管夹持杆209和所述试管固定夹210共同用于固定并移动所述试管固定架204，所述条形码扫描器208设置在所述试管夹持杆209上，所述条形码扫描器208用于扫描所述试管上203的条形码，所述消毒液收纳瓶201用于存储消毒液，所述消毒液喷头202用于消毒所述试管203，所述试管拧盖器205用于拧开所述试管203的试管盖，所述试管拧盖器驱动电机211用于驱动所述试管拧盖器205，所述试管夹持杆电机212用于驱动所述试管夹持杆209，所述平移导轨电机213用于驱动所述平移导轨207；

计算机设备3，所述计算机设备3用于控制所述视频监控模块1和所述机械运作模块2。

具体的，所述摄像头101采集目标对象的二维码信息后，所述平移导轨驱动电机驱动213所述平移导轨207移动，同时所述试管夹持杆电机212驱动所述试管夹持杆209，以使得所述试管夹持杆209带动所述试管固定夹210的内端向所述试管固定架204的一侧移动，此时所述试管固定夹210加紧固定所述试管固定架204，所述试管固定架204随所述平移导轨207滑动至所述试管拧盖器205的下端。

该实施例中，所述摄像头101可选工业相机或者普通视频摄像头，当摄像头101采集目标对象在核酸自主采样过程的图像信息时，LED光源102同步开启，实现口腔咽喉部的清晰成像，便于获得清晰准确的图像信息。所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，该计算机设备3可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。所述平移导轨207具有水平面上的两个移动方向，由于试管架驱动杆206固定在平移导轨207上，试管架驱动杆206和试管固定夹210的外端连接，试管夹持杆209和试管固定夹210的内端连接，试管固定夹210用于固定试管固定架204，所以当平移导轨207移动时，试管固定架204也会随着平移导轨207移动；摄像头101采集目标对象的二维码信息后，进入目标对象核酸自主采样的模式，平移导轨207将位于储存区的试管固定架204滑动至试管拧盖器205的下端，计算机设备3控制平移导轨207的移动量，使试管固定架204上的试管203正好停止于试管拧盖器205的正下方，方便试管拧盖器205拧开试管盖。

参照图6，图6为本发明实施例提供的一种基于深度学习视频监控的核酸自主采样装置的计算机设备3的结构示意图，具体如下：

所述计算机设备3包括视频显示单元301和语音提示单元302，所述摄像头101采集目标对象在核酸自主采样过程的图像信息时，所述视频显示单元301显示目标对象进行核酸自主采样的画面，所述语音提示单元302提示目标对象进行核酸自主采样的动作姿势。

所述计算机设备3还包括第一识别单元303，所述第一识别单元303根据所述摄像头101采集的目标对象在核酸自主采样过程的图像信息，对目标对象的动作姿态是否符合规范化采样标准进行判断。

所述第一识别单元303判定目标对象核酸自主采样完成时，所述试管拧盖器驱动电机211驱动所述试管拧盖器205拧开所述试管拧盖器205正下方的所述试管203的试管盖；

所述第一识别单元303判定目标对象已将核酸样本放置于所述试管拧盖器205正下方的试管203里时，所述试管拧盖器驱动电机211驱动所述试管拧盖器205重新装配所述试管拧盖器205正下方的试管203，所述消毒液喷头202对所述试管拧盖器205正下方的试管203进行消毒。

所述计算机设备3还包括第二识别单元304，所述第二识别单元305用于判定所述试管拧盖器205正下方的试管203内存储的棉签头已达至预设个数，基于所述第二识别单元304的判定结果所述平移导轨驱动电机213驱动所述平移导轨207移动。

该实施例中，所述视频显示单元301为显示屏，视频显示单元301正对着目标对象，便于通过画面引导目标对象进行核酸自主采样，同时以语音提示单元302提示目标对象进行核酸自主采样的动作姿势，若第一识别单元303判定目标对象的动作姿态不符合规范化采样标准，则通过语音提示单元302提示目标对象的动作姿势出现错误，并以视频显示单元301通过画面引导矫正目标对象的动作姿势。第二识别单元305用于判定所述试管拧盖器205正下方的试管203内存储的棉签头已达至预设个数，所述试管拧盖器205正下方的试管203内存储的棉签头数量由条形码扫描器208将数据实时传送至第二识别单元305，每一个棉签头对应每一个目标用户，每一个目标用户对应条形码扫描器208的每一次条形码扫描，预设个数提前在第二识别单元305中设置，比如设置10个棉签头为预设个数，当试管里的棉签头达到10个时，计算机设备3控制平移导轨驱动电机213驱动所述平移导轨207移动，将下一个试管移动至试管拧盖器205的正下方。

本发明实施例还提供一种基于深度学习视频监控的核酸自主采样方法，所述方法具体包括：

获取摄像头采集的目标对象的二维码信息，控制计算机设备语音提示目标对象准备进入核酸自主采样模式；

基于深度学习目标检测算法控制摄像头实时定位跟踪棉签头，利用计算机设备通过显示画面和语音提示引导目标对象进行核酸自主采样；

基于深度学习决策机制控制计算机设备判断目标对象在核酸自主采样过程中的动作姿势是否符合规范化采样标准；

根据所述深度学习决策机制的判断结果获得核酸自主采样完成信息；

根据所述核酸自主采样完成信息，控制机械运作模块收纳核酸样本并进行消毒，所述机械运作模块为上述装置中所述的机械运作模块。

该实施例中，参照图7和图8，本发明实施例的一种基于深度学习视频监控的核酸自主采样方法在应用过程中包括以下步骤：

S101、目标对象身份确认，生成个人信息二维码供摄像头扫描，系统生成目标对象的个人信息后，目标对象得以获取棉签(只需使用常规棉签)。目标对象使用现有的核酸检测app或小程序生成个人信息二维码供系统扫描后，目标对象可从旁边放置的棉签盒中取出密封完好的采样棉签(拭子)，该棉签为市面上现有的常规核酸采样棉签。

S102、试管固定架随平移导轨滑动到试管拧盖器下方，并且使第一根试管进入操作口，此时试管表面的条形码会对准条形码扫描器，条形码扫描器对条码扫描进行试管信息读取。以10人一管为例，系统将从当前目标对象开始算起的10位目标对象信息写入同一根试管条形码信息中。

S103、摄像头开启，实时采集目标对象核酸采样前的准备动作画面，计算机设备同时对动作规范进行判别。目标对象取出包装完好的棉签，然后将棉签包装拆开，最后抽出棉签，该过程全程在摄像头监控范围内。深度学习目标检测算法对该过程进行全程行为监测并进行质量判别，包括判别棉签是否从包装中取出，棉签头和棉签杆是否完好。若出现棉签头损坏或受污染等不合格情况，摄像头则无法对棉签头进行跟踪，并且计算机设备通过语音提示目标对象更换新的棉签头。目标对象准备操作完成后，计算机设备语音提示目标对象将棉签放入口腔。

S104、深度学习目标检测算法实时定位跟踪目标对象棉签头部，屏幕实时显示目标对象口腔内部棉签采样画面，计算机设备通过示范画面和语音引导目标对象将棉签接触咽喉采样区域。屏幕界面分为两块区域，区域1显示标准核酸采样的示范动画供目标对象学习与参考，区域2显示摄像头实时采集的目标对象口腔内操作画面。目标对象结合两部分显示界面可方便快捷地完成正确的采样过程。

S105、深度学习决策机制判断目标对象棉签与咽喉有效区域是否接触。如果算法判定棉签与咽喉接触有效，系统则提示目标对象停止采样并取出棉签；否则系统提示目标对象继续采样，直到采样有效为止。

S106、目标对象将采样后的棉签放入试管。

S107、试管拧盖器将试管盖重新装配并拧紧，然后消毒装置对试管喷洒消毒液进行消毒。

S108、平移导轨将已装有棉签头的试管移出操作口，转移至储存区中，系统提示操作完成，代表整个自助采样过程成功并结束。以10人一管为例，系统计算好10为目标对象成功操作后，平移导轨将当前试管移出操作口，第二根试管紧接进入操作口，开始下一轮采样。

在一些实施例中，所述深度学习目标检测算法具体包括：

采集预设数量内符合规范化采样标准的目标对象核酸自主采样图像，形成目标对象核酸自主采样图像数据集，所述目标对象核酸自主采样图像数据集包括棉签头、咽喉部、棉签接触咽喉部整体、棉签进入试管整体、无头棉签棍五个类别的图像数据集；

将目标对象核酸自主采样图像数据集输入Yolo-V5网络进行特征分类任务训练，同时采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数，并对所述目标对象核酸自主采样图像数据集进一步约束关键区域，获得深度学习网络模型。

该实施例中，深度学习目标检测算法使用Yolo-V5网络训练，网络训练前期采集大量符合规范化采样标准的目标对象自助采样视频，然后对视频逐帧分析并提取有效帧进行标签标注操作，从而得到自主核酸采样网络图像数据集，其中，图像数据集分为五个类别：签头(标签1)、咽喉部(标签2)、棉签接触咽喉部整体(标签3)、棉签进入试管整体(标签4)、无头棉签棍(标签5)，该五个类别图像数据集在上述步骤S105中应用的具体步骤如下：

S1051、棉签进入摄像画面内，深度学习目标检测算法按照标签1实时跟踪识别棉签头，显示画面中的棉签头被标记。

S1052、目标对象张开口腔后，深度学习目标检测算法按照标签2识别咽喉区域，在显示画面中实时标记咽喉区域。

S1053、深度学习决策机制根据标签3进行识别与判断，在显示画面中同时显示棉签头标记与咽喉标记。当目标对象将棉签头与咽喉接触时，显示画面中的棉签头标记和咽喉标记会转变为高亮显示，让目标对象得知采样有效。深度学习决策机制设置棉签头与咽喉接触时间达到摄像机采样的15帧即为成功，此外，深度学习决策机制持续对标签3进行识别，每识别一次，系统进行1次计数，直到达到一定次数的系统计数后，深度学习决策机制开始识别下一个标签。

S1053、待采样完成后，棉签从口腔取出，深度学习目标检测算法继续识别棉签头，直到棉签进入试管内。

此外，在上述步骤S106中，目标对象将棉签从口腔取出后，深度学习目标检测算法实时跟踪棉签位置。目标对象将棉签头放入试管中时，深度学习目标检测算法根据标签4进行识别。待目标对象折断棉签头，取出棉签棒时，深度学习目标检测算法根据标签5进行识别。该过程按照标签3、4、5的时间顺序进行识别，只有同时满足这个标签识别顺序，系统才判别为操作流程成功。

在一些实施例中，所述将目标对象核酸自主采样训练数据集输入Yolo-V5网络进行特征分类任务训练，同时采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数，具体包括：

基于Yolo-V5网络的Focus模块，对棉签头和咽喉部的原始输入图片进行切片重组操作，获得多维张量；

基于Yolo-V5网络的CSP模块，将多维低分辨率张量进行卷积操作，对试管和棉签杆进行特征分割与跨阶段分层合并；

根据广义交并比对所述目标对象核酸自主采样图像的关键区域进行回归计算，根据交叉熵损失函数对所述目标对象核酸自主采样图像数据集进行五分类概率计算，所述关键区域的权重大于所述关键区域之外的区域的权重，所述五分类概率计算的权重大于所述回归计算的权重。

该实施例中，在单独检测咽喉部和棉签头时，Focus模块对这两种颜色分布较为统一的图片进行间隔近邻重组操作，将原始高分辨率咽喉部和棉签头，在无信息丢失条件下，重组得到多维低分辨率张量，使得在低分辨图像中能够更容易识别特征边缘像素。该操作将咽喉部和棉签图像长宽信息集中在通道上，在减少后续计算量的同时更加有利于后续各模块的特征提取，更加适用于咽喉部位检测任务。在检测棉签头与咽喉接触时，本发明将CSP模块组合为多重特征金字塔结构，提取具有小目标结构信息的多级特征，有利于棉签头与咽喉部的多重特征检测。在检测试管和棉签杆时，本发明将多张不同时刻的图像组成张量同时输入，可保证在做卷积操作时保留用户操作过程中的时序关联特征，有助于用户后续对试管和棉签杆操作流程合格性的判定。同时，CSP模块通过对试管和棉签杆进行特征分割与跨阶段分层合并，减少特征图内存消耗的同时，平衡各卷积分支的计算量，从而充分利用并行计算的特性，加快运行速度。

同时，采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数。首先，对图像的前景和背景进行二分类概率计算时，使用交叉熵损失函数计算损失值。考虑到检测对象前景所占比例远小于背景，导致两者的损失值差异过大，模型难以优化，因此本发明将损失函数中前景的权重设置较大，背景权重设置较小。当网络识别出图像的前景后，需要对前景目标进行上述5个标签类别的判定，此时同时使用广义交并比和交叉熵损失函数。其中，广义交并比损失函数用于对前景目标的最小外接矩形框坐标值进行回归计算，交叉熵损失函数对前景目标进行五分类概率计算。具体的，考虑到检测对象在图像中的大小相似但类别不同，分类计算相比回归计算更加敏感，因此本发明将广义交并比损失函数权重设置较小，交叉熵损失函数权重设置较大。

在一些实施例中，所述并对所述目标对象核酸自主采样图像数据集进一步约束关键区域，具体包括：

所述目标对象核酸自主采样图像为棉签头时，基于二值化算法获得棉签头二值图像，利用棉签头二值图像的第一边缘轮廓为对角线生成第一最小外接矩形；

或者，所述目标对象核酸自主采样图像为咽喉部时，基于边缘检测算法提取咽喉部位从左侧扁桃体经过悬雍垂到右侧扁桃体的第二边缘轮廓，以所述第二边缘轮廓为长宽生成第二最小外接矩形，在所述第二最小外接矩形内利用最大内接椭圆进一步约束所述第二边缘轮廓；

或者，所述目标对象核酸自主采样图像为棉签接触咽喉部整体时，基于边缘检测算法获取棉签头与咽喉部的接触边缘像素分布，以所述接触边缘像素分布为对角线生成第三最小外接矩形；

或者，所述目标对象核酸自主采样图像为棉签进入试管整体时，基于二值化算法对棉签图像进行处理，当棉签头位于试管内部，基于霍夫变换算法判定棉签头与棉签杆之间不为直线且弯曲度大于某个阈值时，以棉签头、棉签杆和试管的第三边缘轮廓为对角线生成第四最小外接矩形；

或者，所述目标对象核酸自主采样图像为无头棉签棍时，基于二值化算法获得棉签杆二值图像，以棉签杆二值图像的第四边缘轮廓为对角线生成第五最小外接矩形。

该实施例中，二值化算法可对五个类别图像数据集的图像进行二值化处理，如将256个亮度等级的灰度图像的点的灰度设置为0或255，从而使整个图像呈现明显的黑白效果，因此可使边缘轮廓明显突出，进而约束图像上的关键区域，迅速排除作用不大的冗余区域。边缘检测算法有利于提取重要特征且剔除不相关的特征，可以大幅度减少数据量，迅速确定咽喉部的特征和棉签接触咽喉部整体的接触边缘特征。图像经过二值化处理后，霍夫变换算法可从二值化图像中检测直线线段，该检测直线方法在现有技术中已有赘述，此处不再详细描述。

需要说明的是，上述方法之间的信息交互、执行过程等内容，由于与本申请装置实施例基于同一构思，其具体功能及带来的技术效果，具体可参见装置实施例部分，此处不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本发明所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习视频监控的核酸自主采样装置，其特征在于，包括：

视频监控模块，所述视频监控模块包括摄像头、LED光源，所述摄像头用于采集目标对象的二维码信息和采集目标对象在核酸自主采样过程的图像信息，所述LED光源用于照明目标对象的口腔内部，所述摄像头采集目标对象在核酸自主采样过程的图像信息时，所述LED光源同步启动；

机械运作模块，所述机械运作模块包括消毒液收纳瓶、消毒液喷头、试管、试管固定架、试管拧盖器、试管架驱动杆、平移导轨、条形码扫描器、试管夹持杆、试管固定夹、试管拧盖器驱动电机、试管夹持杆电机和平移导轨驱动电机，所述平移导轨位于机械运作模块的底端，所述试管架驱动杆固定在所述平移导轨上，所述试管架驱动杆和所述试管固定夹的外端连接，所述试管夹持杆和所述试管固定夹的内端连接，所述试管固定架用于装载并固定所述试管，所述平移导轨、所述试管架驱动杆、所述试管夹持杆和所述试管固定夹共同用于固定并移动所述试管固定架，所述条形码扫描器设置在所述试管夹持杆上，所述条形码扫描器用于扫描所述试管上的条形码，所述消毒液收纳瓶用于存储消毒液，所述消毒液喷头用于消毒所述试管，所述试管拧盖器用于拧开所述试管的试管盖，所述试管拧盖器驱动电机用于驱动所述试管拧盖器，所述试管夹持杆电机用于驱动所述试管夹持杆，所述平移导轨电机用于驱动所述平移导轨；

计算机设备，所述计算机设备用于控制所述视频监控模块和所述机械运作模块。

2.根据权利要求1所述的核酸自主采样装置，其特征在于，所述摄像头采集目标对象的二维码信息后，所述平移导轨驱动电机驱动所述平移导轨移动，同时所述试管夹持杆电机驱动所述试管夹持杆，以使得所述试管夹持杆带动所述试管固定夹的内端向所述试管固定架的一侧移动，此时所述试管固定夹加紧固定所述试管固定架，所述试管固定架随所述平移导轨滑动至所述试管拧盖器的下端。

3.根据权利要求1所述的核酸自主采样装置，其特征在于，所述计算机设备包括视频显示单元和语音提示单元，所述摄像头采集目标对象在核酸自主采样过程的图像信息时，所述视频显示单元显示目标对象进行核酸自主采样的画面，所述语音提示单元提示目标对象进行核酸自主采样的动作姿势。

4.根据权利要求1所述的核酸自主采样装置，其特征在于，所述计算机设备还包括第一识别单元，所述第一识别单元根据所述摄像头采集的目标对象在核酸自主采样过程的图像信息，对目标对象的动作姿态是否符合规范化采样标准进行判断。

5.根据权利要求4所述的核酸自主采样装置，其特征在于，所述第一识别单元判定目标对象核酸自主采样完成时，所述试管拧盖器驱动电机驱动所述试管拧盖器拧开所述试管拧盖器正下方的试管的试管盖；

所述第一识别单元判定目标对象已将核酸样本放置于所述试管拧盖器正下方的试管里时，所述试管拧盖器驱动电机驱动所述试管拧盖器重新装配所述试管拧盖器正下方的试管，所述消毒液喷头对所述试管固定架上的试管进行消毒。

6.根据权利要求1所述的核酸自主采样装置，其特征在于，所述计算机设备还包括第二识别单元，所述第二识别单元用于判定所述试管拧盖器正下方的试管内存储的棉签头已达至预设个数，基于所述第二识别单元的判定结果所述平移导轨驱动电机驱动所述平移导轨移动。

7.一种基于深度学习视频监控的核酸自主采样方法，其特征在于，所述方法具体包括：

获取摄像头采集的目标对象的二维码信息，控制计算机设备语音提示目标对象准备进入核酸自主采样模式；

基于深度学习目标检测算法控制摄像头实时定位跟踪棉签头，利用计算机设备通过显示画面和语音提示引导目标对象进行核酸自主采样；

基于深度学习决策机制控制计算机设备判断目标对象在核酸自主采样过程中的动作姿势是否符合规范化采样标准；

根据所述深度学习决策机制的判断结果获得核酸自主采样完成信息；

根据所述核酸自主采样完成信息，控制机械运作模块收纳核酸样本并进行消毒，所述机械运作模块为权利要求1所述的机械运作模块。

8.根据权利要求7所述的核酸自主采样方法，其特征在于，所述深度学习目标检测算法具体包括：

采集预设数量内符合规范化采样标准的目标对象核酸自主采样图像，形成目标对象核酸自主采样图像数据集，所述目标对象核酸自主采样图像数据集包括棉签头、咽喉部、棉签接触咽喉部整体、棉签进入试管整体、无头棉签棍五个类别的图像数据集；

将目标对象核酸自主采样图像数据集输入Yolo-V5网络进行特征分类任务训练，同时采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数，并对所述目标对象核酸自主采样图像数据集进一步约束关键区域，获得深度学习网络模型。

9.根据权利要求8所述的核酸自主采样方法，其特征在于，所述将目标对象核酸自主采样训练数据集输入Yolo-V5网络进行特征分类任务训练，同时采用结合广义交并比与交叉熵的复合加权损失函数优化和约束网络参数，具体包括：

基于Yolo-V5网络的Focus模块，对棉签头和咽喉部的原始输入图片进行切片重组操作，获得多维张量；

基于Yolo-V5网络的CSP模块，将多维低分辨率张量进行卷积操作，对试管和棉签杆进行特征分割与跨阶段分层合并；

根据广义交并比对所述目标对象核酸自主采样图像的关键区域进行回归计算，根据交叉熵损失函数对所述目标对象核酸自主采样图像数据集进行五分类概率计算，所述关键区域的权重大于所述关键区域之外的区域的权重，所述五分类概率计算的权重大于所述回归计算的权重。

10.根据权利要求8所述的核酸自主采样方法，其特征在于，所述并对所述目标对象核酸自主采样图像数据集进一步约束关键区域，具体包括：

所述目标对象核酸自主采样图像为棉签头时，基于二值化算法获得棉签头二值图像，利用棉签头二值图像的第一边缘轮廓为对角线生成第一最小外接矩形；

或者，所述目标对象核酸自主采样图像为咽喉部时，基于边缘检测算法提取咽喉部位从左侧扁桃体经过悬雍垂到右侧扁桃体的第二边缘轮廓，以所述第二边缘轮廓为长宽生成第二最小外接矩形，在所述第二最小外接矩形内利用最大内接椭圆进一步约束所述第二边缘轮廓；

或者，所述目标对象核酸自主采样图像为棉签接触咽喉部整体时，基于边缘检测算法获取棉签头与咽喉部的接触边缘像素分布，以所述接触边缘像素分布为对角线生成第三最小外接矩形；

或者，所述目标对象核酸自主采样图像为棉签进入试管整体时，基于二值化算法对棉签图像进行处理，当棉签头位于试管内部，基于霍夫变换算法判定棉签头与棉签杆之间不为直线且弯曲度大于某个阈值时，以棉签头、棉签杆和试管的第三边缘轮廓为对角线生成第四最小外接矩形；

或者，所述目标对象核酸自主采样图像为无头棉签棍时，基于二值化算法获得棉签杆二值图像，以棉签杆二值图像的第四边缘轮廓为对角线生成第五最小外接矩形。

Images