CN115424296A - 基于目标检测的人体扁桃体区域检测系统及边侧部署方法 - Google Patents

Abstract

本发明公开了基于目标检测的人体扁桃体区域检测系统及边侧部署方法，属于目标检测技术领域，本发明要解决的技术问题为如何通过分析摄像头拍摄到的图像和视频，判别出被采样者采样行为是否合规，提高被采样者自主完成咽拭子标本采集精准度，采用的技术方案为：该系统包括，数据集制作单元，用于制作人体扁桃体区域数据集；优化单元，用于基于YOLOV5s目标检测模型进行优化；训练单元，用于训练模型并产出最优模型。

Description

基于目标检测的人体扁桃体区域检测系统及边侧部署方法

技术领域

本发明涉及目标检测技术领域，具体地说是一种基于目标检测的人体扁桃体区域检测系统及边侧部署方法。

背景技术

扁桃体位于消化道和呼吸道的交会处，此处的粘膜内含有大量淋巴组织，是经常接触抗原引起局部免疫应答的部位。口咽部上皮下的淋巴组织团块。在舌根、咽部周围的上皮下有好几群淋巴组织，按其位置分别称为腭扁桃体、咽扁桃体和舌扁桃体。

近些年，深度视觉在生活场景中的应用越来越多，尤其是目标检测技术下的人脸识别、行人检测、缺陷检测等应用比比皆是。针对近两年的呼吸道传染病的检测一般是采用咽拭子标本采集，咽拭子标本采集的目的是从咽部和扁桃体取分泌物作细菌培养或病毒分离。

所谓的“咽拭子”具体为：正常人咽峡部培养应有口腔正常菌群，而无致病菌生长。咽部的细菌均来自外界，正常情况下不致病，但在机体全身或局部抵抗力下降和其他外部因素下可以出现感染等而导致疾病。因此，咽部拭子细菌培养能分离出致病菌，有助于白喉、化脓性扁桃体炎、急性咽喉炎等的诊断。

咽拭子标本采集是需要专门的医护人员进行操作，医护人员工作压力非常大，造成医疗资源紧缺。能否让被采样者通过操作机器自主完成咽拭子标本采集是值得研究的一个方向，但是自主采样古过程是否符合采样要求又是一个值得研究的问题。

在咽拭子标本采集新模式下，深度视觉的行为监控尤其重要，如何通过分析摄像头拍摄到的图像和视频，判别出被采样者采样行为是否合规，提高被采样者自主完成咽拭子标本采集精准度是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于目标检测的人体扁桃体区域检测系统及边侧部署方法，来解决如何通过分析摄像头拍摄到的图像和视频，判别出被采样者采样行为是否合规，提高被采样者自主完成咽拭子标本采集精准度的问题。

本发明的技术任务是按以下方式实现的，一种基于目标检测的人体扁桃体区域检测系统，该系统包括，

数据集制作单元，用于制作人体扁桃体区域数据集；

优化单元，用于基于YOLOV5s目标检测模型进行优化；

训练单元，用于训练模型并产出最优模型。

作为优选，所述数据集制作单元包括，

图片爬取模块，用于通过网络搜索爬取人体扁桃体区域图片

图片核定模块，用于核定并剔除表达能力不足的人体扁桃体区域图片；

规范制定模块，用于依据PASCAL VOC数据标注规范，制定人体扁桃体区域标注规范；

区域标注模块，用于使用LabelImg标注工具，对图片进行扁桃体区域标注，生成VOC数据集；

文件夹构建模块，用于构建包含Annotations、JPEGImages及ImageSets三个文件夹的扁桃体区域图片数据集文档结构；

格式转换模块一，用于编写VOC2TXT数据格式转换python代码；

格式转换模块二，用于通过运行VOC2TXT代码，将数据集由VOC数据格式转换为YOLO数据格式；其中，VOC格式中的Annotations和ImageSets文件夹分别对应YOLO格式中的labels和dataset_path文件夹。

更优地，所述文件夹构建模块中的JPEGImages文件夹存放原始扁桃体区域图片；并使用LabelImg标注工具，选择VOC格式，对JPEGImages文件夹内的原始扁桃体区域图片进行标注，生成每个图像的.xml标注文件，并将标注文件存放至Annotations文件夹中；同时编写PASCAL VOC数据格式构建脚本TonsilDatasets.py，引入xml.etree.ElementTree、os及random包，读取Annotations文件夹内的.xml文件，按照8：1：1构建train、val、test数据集，每个数据集生成.txt文件，存放于ImageSets文件夹内。

更优地，所述格式转换模块一具体如下：

构建YOLOLabels文件夹与Annotations、JPEGImages及ImageSetss三个文件夹同目录，编写VOC2TXT.py脚本构建YOLO数据集格式的.txt标注文件，并将文件存放入YOLOLabels文件夹内；VOC2TXT.py引入os、random、xml.etree.ElementTree、listdir及getcwd包，读取Annotations文件夹中的.xml标注文件和ImageSets中的数据集.txt文件，按照标注信息和数据集划分信息，为每张图像生成包含[分类标签扁桃体区域框中心点横坐标扁桃体区域框中心点纵坐标扁桃体区域框宽扁桃体区域框高]信息的.txt标注文件。

作为优选，所述优化单元在保持原始YOLOV5s的backbone、neck及head部分不变的前提下，在backbone和neck部分引入注意力机制，并借鉴CSP结构，实现跨阶段的注意力concatenate，即在YOLOV5s的backbone中设置注意力模块(Convolutional TripletAttention模块，卷积三重注意力模块)，注意力模块根据堆叠在neck上的特征放置，具体如下：

YOLOV5s的backbone的Focus+CBL+CSP结构后接注意力模块，再跳跃连接至neck部分；

YOLOV5s的backbone的Focus+CBL+CSP结构后的CBL+CSP结构后接注意力模块，再跳跃连接至neck部分；

YOLOV5s的backbone的Focus+CBL+CSP结构后的CBL+CSP结构后的CBL+SPP+CSP+CBL后接注意力模块，再跳跃连接至neck部分。

更优地，所述注意力模块包括按从右到左的顺序排列三个分支，当将尺寸为C×W×H的张量输入到注意模块中时，具体如下：

右列显示第一个分支：在W上进行GAP及GMP，以建模C和H之间的关系，输入张量逐层计算，其中包含C通道与W通道、Z-pool、卷积层、批量归一化层、Sigmoid层、W通道与C通道之间的交换，第一个分支的尺寸变化为C×H×W→W×H×C→2×H×C→1×H×C→C×H×W；

中间列显示第二个分支：在H上进行GAP及GMP，以建模C和W之间的关系，输入张量逐层计算，其中包含涉及C、W及H三通道的通道与通道之间的交换、Z-pool、卷积层、批量归一化层、Sigmoid层、通道与通道之间的交换，第二个分支的尺寸变化为C×H×W→H×C×W→2×C×W→1×C×W→C×H×W；

左列显示第三个分支：在C上进行GAP及GMP，以建模H和W之间的关系，输入张量逐层计算，包含Z-pool、卷积层、批量归一化层、S函数激活层，第三个分支的尺寸变化为：C×H×W→2×H×W→1×H×W→C×H×W。

作为优选，所述训练单元包括，

结构构建模块，用于构建模型结构；

参数构建模块，用于构建输入、输出和权重参数；

损失函数构建模块，用于构建损失函数；

优化器构建模块，用于构建优化器；

预训练模块课，用于开源大数据集上预训练模型权重的引入；

训练模块，用于模型(网络)实例化并启动优化器进行训练；

权重选取模块，用于通过early stop策略选取最优epoch数的模型权重，并序列化；

可视化模块，用于使用netron工具进行模型结构的可视化；

评估模块，用于使用tensorboard引入日志文件进行训练过程模型性能评估的可视化。

更优地，所述训练单元中设置数据增强机制，具体如下：

数据集分为训练集和测试集，比例为1:1；

使用没有mosaic的训练集训练Yolo-v5。然后将测试集输入到经过训练的yolo-v5中，并将具有良好检测结果的图像拉入擦candidateset；

使用没有mosaic的测试集训练YOLOV5s，再将训练集输入到重新训练的YOLOV5s中，并将具有良好检测结果的图像拉入candidateset；

从candidateset随机选择四个样本；

每个样本的随机部分被切除，文本应设置为单行距；

将四个剪切的图像拼接成新图像。

一种基于目标检测的人体扁桃体区域检测系统的边侧部署方法，该方法是将人体扁桃体区域检测系统部署到边缘计算设备上，选取nvidia jetson nana开发板进行部署，对原始生成的.pt最优模型进行压缩优化部署，具体如下：

S1、使用ONNX工具对人体扁桃体区域检测系统进行初步优化，生成.onnx模型文件；

S2、使用tensorrt对.onnx模型进行框架层间映射、张量融合及数据类型变换，生成.engine引擎模型文件；

S3、使用c++编写调用.engine模型文件对视频进行人体扁桃体区域检测的.cpp文件；

S4、编写CMakelists.txt编译文件；

S5、使用cmake工具对源码进行编译，生成人体扁桃体区域检测的可执行文件.exe；

S6、使用python编写调用人体扁桃体区域检测可执行文件和模型文件的.py文件；

S7、配置jetpack框架下ubuntu系统的python环境；

S8、编写shell调用相关资源实现基于usb或csi摄像头的人体扁桃体区域检测。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的一种基于目标检测的人体扁桃体区域检测系统的边侧部署方法。

其中，PASCAL：Pattern Analysis,Statical Modeling and ComputationalLearning；

PASCAL VOC：The PASCAL Visual Object Classes是一个世界级的计算机视觉挑战赛；

YOLOV5s：you only look once一种目标检测模型，V5为该模型改进的第5个版本，分为s、m、l、x四类模型，s为规模最小的模型；

CSP：cross stage partical跨阶段局部连接模块；

Backbone：主干(骨干)网络；

Neck：网络的脖颈部分；

Head：网络的头部，即prediction；

Mosaic：马赛克数据增强。

本发明的基于目标检测的人体扁桃体区域检测系统及边侧部署方法具有以下优点：

(一)本发明提出让被采样者自主完成咽试纸咽拭子标本采集，并通过深度视觉技术对采样的规范性进行有效监测的“咽拭子标本采集新模式”，可有效缓解医护人员紧缺的压力，通过新模式咽拭子标本采集点的增多，同样可以带来人员分流避免人员密集性聚集，消除潜在呼吸道疾病的传播风险等诸多益处；

(二)本发明通过数据采集、标注和数据格式转换，更有效进行目标检测网络的构建调整和网络的压缩优化；

(三)本发明将YOLOV5s与注意力机制的融合，基于mosaic和focus的更健壮的数据增强方法；

(四)本发明通过将人体扁桃体区域检测系统进行边侧部署，作为无医护人员帮助下被采样者自助核酸采集规范性监测的重要组成部分，可协助实现“咽拭子标本采集新模式”，有点如下：

(1)无需医护人员参与，减轻疫情常态化下医疗资源紧张的压力；

(2)可设置更多新模式咽拭子标本采集点，实现被采样者人员分流，缓解现有模式下单个采样点的人员大规模聚集情况，消除潜在的呼吸道传染病的传播风险；

(3)现有模式下，单个医护人员咽拭子标本采集工作强度较高，难免出现人员疲劳状态不好导致咽拭子标本采集不规范的情况，通过新模式咽拭子标本采集的规范性监测，可有效避免此类问题的发生。

附图说明

下面结合附图对本发明进一步说明。

附图1为YOLOV5s的网络结构示意图；

附图2为注意力模块的结构框图；

附图3为数据增强机制的示意图。

具体实施方式

参照说明书附图和具体实施例对本发明的基于目标检测的人体扁桃体区域检测系统及边侧部署方法作以下详细地说明。

实施例1：

本实施例提供了一种基于目标检测的人体扁桃体区域检测系统，该系统包括，

数据集制作单元，用于制作人体扁桃体区域数据集；

优化单元，用于基于YOLOV5s目标检测模型进行优化；

训练单元，用于训练模型并产出最优模型。

本实施例中的数据集制作单元包括，

图片爬取模块，用于通过网络搜索爬取人体扁桃体区域图片

图片核定模块，用于核定并剔除表达能力不足的人体扁桃体区域图片；

规范制定模块，用于依据PASCAL VOC数据标注规范，制定人体扁桃体区域标注规范；

区域标注模块，用于使用LabelImg标注工具，对图片进行扁桃体区域标注，生成VOC数据集；

文件夹构建模块，用于构建包含Annotations、JPEGImages及ImageSets三个文件夹的扁桃体区域图片数据集文档结构；JPEGImages文件夹存放原始扁桃体区域图片；并使用LabelImg标注工具，选择VOC格式，对JPEGImages文件夹内的原始扁桃体区域图片进行标注，生成每个图像的.xml标注文件，并将标注文件存放至Annotations文件夹中；同时编写PASCAL VOC数据格式构建脚本TonsilDatasets.py，引入xml.etree.ElementTree、os及random包，读取Annotations文件夹内的.xml文件，按照8：1：1构建train、val、test数据集，每个数据集生成.txt文件，存放于ImageSets文件夹内。

格式转换模块一，用于编写VOC2TXT数据格式转换python代码；具体如下：

构建YOLOLabels文件夹与Annotations、JPEGImages及ImageSetss三个文件夹同目录，编写VOC2TXT.py脚本构建YOLO数据集格式的.txt标注文件，并将文件存放入YOLOLabels文件夹内；VOC2TXT.py引入os、random、xml.etree.ElementTree、listdir及getcwd包，读取Annotations文件夹中的.xml标注文件和ImageSets中的数据集.txt文件，按照标注信息和数据集划分信息，为每张图像生成包含[分类标签扁桃体区域框中心点横坐标扁桃体区域框中心点纵坐标扁桃体区域框宽扁桃体区域框高]信息的.txt标注文件。

格式转换模块二，用于通过运行VOC2TXT代码，将数据集由VOC数据格式转换为YOLO数据格式；其中，VOC格式中的Annotations和ImageSets文件夹分别对应YOLO格式中的labels和dataset_path文件夹。

如附图1所示，本实施例中的优化单元在保持原始YOLOV5s的backbone、neck及head部分不变的前提下，在backbone和neck部分引入注意力机制，并借鉴CSP结构，实现跨阶段的注意力concatenate，即在YOLOV5s的backbone中设置注意力模块(ConvolutionalTriplet Attention模块，卷积三重注意力模块)，注意力模块根据堆叠在neck上的特征放置，具体如下：

·原YOLOV5s的backbone的Focus+CBL+CSP结构后接CBL+CSP+CBL结构生成特征图谱后跳跃连接至neck部分，调整为舍去后接CBL+CSP+CBL结构，改为后接ConvolutionalTriplet Attention模块，再跳跃连接至neck部分；

·原YOLOV5s的backbone在上述结构后接CBL+CSP+CBL结构生成特征图谱后跳跃连接至neck部分，调整为CBL+CSP后接Convolutional TripletAttention模块，再跳跃连接至neck部分；

·原YOLOV5s的backbone在上述结构后接CBL+CBL+SPP+CBL结构生成特征图谱后跳跃连接至neck部分，调整为CBL+SPP+CSP+CBL后接Convolutional Triplet Attention模块，再跳跃连接至neck部分。

如附图2所示，本实施例中的注意力模块包括按从右到左的顺序排列三个分支，当将尺寸为C×W×H的张量输入到注意模块中时，具体如下：

右列显示第一个分支：在W上进行GAP及GMP，以建模C和H之间的关系，输入张量逐层计算，其中包含C通道与W通道、Z-pool、卷积层、批量归一化层、Sigmoid层、W通道与C通道之间的交换，第一个分支的尺寸变化为C×H×W→W×H×C→2×H×C→1×H×C→C×H×W；

中间列显示第二个分支：在H上进行GAP及GMP，以建模C和W之间的关系，输入张量逐层计算，其中包含涉及C、W及H三通道的通道与通道之间的交换、Z-pool、卷积层、批量归一化层、Sigmoid层、通道与通道之间的交换，第二个分支的尺寸变化为C×H×W→H×C×W→2×C×W→1×C×W→C×H×W；

左列显示第三个分支：在C上进行GAP及GMP，以建模H和W之间的关系，输入张量逐层计算，包含Z-pool、卷积层、批量归一化层、S函数激活层，第三个分支的尺寸变化为：C×H×W→2×H×W→1×H×W→C×H×W。

本实施例中的训练单元包括，

结构构建模块，用于构建模型结构；

参数构建模块，用于构建输入、输出和权重参数；

损失函数构建模块，用于构建损失函数；

优化器构建模块，用于构建优化器；

预训练模块课，用于开源大数据集上预训练模型权重的引入；

训练模块，用于模型(网络)实例化并启动优化器进行训练；

权重选取模块，用于通过early stop策略选取最优epoch数的模型权重，并序列化；

可视化模块，用于使用netron工具进行模型结构的可视化；

评估模块，用于使用tensorboard引入日志文件进行训练过程模型性能评估的可视化。

由于基于pytorch框架构建人体扁桃体区域目标检测模型，最终生成的最优权重文件为.pt文件。

如附图3所示，本实施例中的训练单元中设置数据增强机制，具体如下：

(1)、数据集分为训练集和测试集，比例为1:1；

(2)、使用没有mosaic的训练集训练Yolo-v5。然后将测试集输入到经过训练的yolo-v5中，并将具有良好检测结果的图像拉入擦candidateset；

(3)、使用没有mosaic的测试集训练YOLOV5s，再将训练集输入到重新训练的YOLOV5s中，并将具有良好检测结果的图像拉入candidateset；

(4)、从candidateset随机选择四个样本；

(5)、每个样本的随机部分被切除，文本应设置为单行距；

(6)、将四个剪切的图像拼接成新图像。

该数据增强机制增加了candidateset的能力，其中图像很容易从Yolo-v5中提取特征。从candidateset拼接的马赛克结果可防止将太多包含小物体的样本引入训练集。

实施例2：

本实施例提供了一种基于目标检测的人体扁桃体区域检测系统的边侧部署方法，该方法是将人体扁桃体区域检测系统部署到边缘计算设备上，选取nvidia jetson nana开发板进行部署，对原始生成的.pt最优模型进行压缩优化部署，具体如下：

S1、使用ONNX工具对人体扁桃体区域检测系统进行初步优化，生成.onnx模型文件；

S2、使用tensorrt对.onnx模型进行框架层间映射、张量融合及数据类型变换，生成.engine引擎模型文件；

S3、使用c++编写调用.engine模型文件对视频进行人体扁桃体区域检测的.cpp文件；

S4、编写CMakelists.txt编译文件；

S5、使用cmake工具对源码进行编译，生成人体扁桃体区域检测的可执行文件.exe；

S6、使用python编写调用人体扁桃体区域检测可执行文件和模型文件的.py文件；

S7、配置jetpack框架下ubuntu系统的python环境；

S8、编写shell调用相关资源实现基于usb或csi摄像头的人体扁桃体区域检测。

实施例3：

本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于目标检测的人体扁桃体区域检测系统的边侧部署方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于目标检测的人体扁桃体区域检测系统，其特征在于，该系统包括，

数据集制作单元，用于制作人体扁桃体区域数据集；

优化单元，用于基于YOLOV5s目标检测模型进行优化；

训练单元，用于训练模型并产出最优模型。

2.根据权利要求1所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述数据集制作单元包括，

图片爬取模块，用于通过网络搜索爬取人体扁桃体区域图片

图片核定模块，用于核定并剔除表达能力不足的人体扁桃体区域图片；

规范制定模块，用于依据PASCAL VOC数据标注规范，制定人体扁桃体区域标注规范；

区域标注模块，用于使用LabelImg标注工具，对图片进行扁桃体区域标注，生成VOC数据集；

文件夹构建模块，用于构建包含Annotations、JPEGImages及ImageSets三个文件夹的扁桃体区域图片数据集文档结构；

格式转换模块一，用于编写VOC2TXT数据格式转换python代码；

格式转换模块二，用于通过运行VOC2TXT代码，将数据集由VOC数据格式转换为YOLO数据格式；其中，VOC格式中的Annotations和ImageSets文件夹分别对应YOLO格式中的labels和dataset_path文件夹。

3.根据权利要求2所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述文件夹构建模块中的JPEGImages文件夹存放原始扁桃体区域图片；并使用LabelImg标注工具，选择VOC格式，对JPEGImages文件夹内的原始扁桃体区域图片进行标注，生成每个图像的.xml标注文件，并将标注文件存放至Annotations文件夹中；同时编写PASCAL VOC数据格式构建脚本TonsilDatasets.py，引入xml.etree.ElementTree、os及random包，读取Annotations文件夹内的.xml文件，按照8：1：1构建train、val、test数据集，每个数据集生成.txt文件，存放于ImageSets文件夹内。

4.根据权利要求2所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述格式转换模块一具体如下：

构建YOLOLabels文件夹与Annotations、JPEGImages及ImageSetss三个文件夹同目录，编写VOC2TXT.py脚本构建YOLO数据集格式的.txt标注文件，并将文件存放入YOLOLabels文件夹内；VOC2TXT.py引入os、random、xml.etree.ElementTree、listdir及getcwd包，读取Annotations文件夹中的.xml标注文件和ImageSets中的数据集.txt文件，按照标注信息和数据集划分信息，为每张图像生成包含[分类标签扁桃体区域框中心点横坐标扁桃体区域框中心点纵坐标扁桃体区域框宽扁桃体区域框高]信息的.txt标注文件。

5.根据权利要求1所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述优化单元在保持原始YOLOV5s的backbone、neck及head部分不变的前提下，在backbone和neck部分引入注意力机制，并借鉴CSP结构，实现跨阶段的注意力concatenate，即在YOLOV5s的backbone中设置注意力模块，注意力模块根据堆叠在neck上的特征放置，具体如下：

YOLOV5s的backbone的Focus+CBL+CSP结构后接注意力模块，再跳跃连接至neck部分；

YOLOV5s的backbone的Focus+CBL+CSP结构后的CBL+CSP结构后接注意力模块，再跳跃连接至neck部分；

YOLOV5s的backbone的Focus+CBL+CSP结构后的CBL+CSP结构后的CBL+SPP+CSP+CBL后接注意力模块，再跳跃连接至neck部分。

6.根据权利要求5所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述注意力模块包括按从右到左的顺序排列三个分支，当将尺寸为C×W×H的张量输入到注意模块中时，具体如下：

右列显示第一个分支：在W上进行GAP及GMP，以建模C和H之间的关系，输入张量逐层计算，其中包含C通道与W通道、Z-pool、卷积层、批量归一化层、Sigmoid层、W通道与C通道之间的交换，第一个分支的尺寸变化为C×H×W→W×H×C→2×H×C→1×H×C→C×H×W；

中间列显示第二个分支：在H上进行GAP及GMP，以建模C和W之间的关系，输入张量逐层计算，其中包含涉及C、W及H三通道的通道与通道之间的交换、Z-pool、卷积层、批量归一化层、Sigmoid层、通道与通道之间的交换，第二个分支的尺寸变化为C×H×W→H×C×W→2×C×W→1×C×W→C×H×W；

左列显示第三个分支：在C上进行GAP及GMP，以建模H和W之间的关系，输入张量逐层计算，包含Z-pool、卷积层、批量归一化层、S函数激活层，第三个分支的尺寸变化为：C×H×W→2×H×W→1×H×W→C×H×W。

7.根据权利要求1所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述训练单元包括，

结构构建模块，用于构建模型结构；

参数构建模块，用于构建输入、输出和权重参数；

损失函数构建模块，用于构建损失函数；

优化器构建模块，用于构建优化器；

预训练模块课，用于开源大数据集上预训练模型权重的引入；

训练模块，用于网络实例化并启动优化器进行训练；

权重选取模块，用于通过early stop策略选取最优epoch数的模型权重，并序列化；

可视化模块，用于使用netron工具进行模型结构的可视化；

评估模块，用于使用tensorboard引入日志文件进行训练过程模型性能评估的可视化。

8.根据权利要求7所述的基于目标检测的人体扁桃体区域检测系统，其特征在于，所述训练单元中设置数据增强机制，具体如下：

数据集分为训练集和测试集，比例为1:1；

使用没有mosaic的训练集训练Yolo-v5。然后将测试集输入到经过训练的yolo-v5中，并将具有良好检测结果的图像拉入擦candidateset；

使用没有mosaic的测试集训练YOLOV5s，再将训练集输入到重新训练的YOLOV5s中，并将具有良好检测结果的图像拉入candidateset；

从candidateset随机选择四个样本；

每个样本的随机部分被切除，文本应设置为单行距；

将四个剪切的图像拼接成新图像。

9.一种基于目标检测的人体扁桃体区域检测系统的边侧部署方法，其特征在于，该方法是将人体扁桃体区域检测系统部署到边缘计算设备上，选取nvidia jetson nana开发板进行部署，对原始生成的.pt最优模型进行压缩优化部署，具体如下：

S1、使用ONNX工具对人体扁桃体区域检测系统进行初步优化，生成.onnx模型文件；

S2、使用tensorrt对.onnx模型进行框架层间映射、张量融合及数据类型变换，生成.engine引擎模型文件；

S3、使用c++编写调用.engine模型文件对视频进行人体扁桃体区域检测的.cpp文件；

S4、编写CMakelists.txt编译文件；

S5、使用cmake工具对源码进行编译，生成人体扁桃体区域检测的可执行文件.exe；

S6、使用python编写调用人体扁桃体区域检测可执行文件和模型文件的.py文件；

S7、配置jetpack框架下ubuntu系统的python环境；

S8、编写shell调用相关资源实现基于usb或csi摄像头的人体扁桃体区域检测。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求9所述的一种基于目标检测的人体扁桃体区域检测系统的边侧部署方法。

Images