CN116168328A - 一种甲状腺结节超声检查系统及方法 - Google Patents

一种甲状腺结节超声检查系统及方法 Download PDF

Info

Publication number
CN116168328A
CN116168328A CN202310193802.8A CN202310193802A CN116168328A CN 116168328 A CN116168328 A CN 116168328A CN 202310193802 A CN202310193802 A CN 202310193802A CN 116168328 A CN116168328 A CN 116168328A
Authority
CN
China
Prior art keywords
module
dynamic input
image
frame
thyroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310193802.8A
Other languages
English (en)
Inventor
董怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiwei Xinzhi Medical Technology Shanghai Co ltd
Original Assignee
Shiwei Xinzhi Medical Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiwei Xinzhi Medical Technology Shanghai Co ltd filed Critical Shiwei Xinzhi Medical Technology Shanghai Co ltd
Priority to CN202310193802.8A priority Critical patent/CN116168328A/zh
Publication of CN116168328A publication Critical patent/CN116168328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种甲状腺结节超声检查系统及方法，涉及目标检测领域，该系统包括动态输入图像获取模块，用于从甲状腺超声视频中获取连续的动态输入图像；所述动态输入图像为对三个连续采样点的超声图像进行拼接和尺寸调整后的图像；甲状腺结节识别模型，与所述动态输入图像获取模块连接，用于对所述动态输入图像进行甲状腺结节识别，输出识别结果；所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取。本发明提高了甲状腺结节检测的准确性。

Description

一种甲状腺结节超声检查系统及方法
技术领域
本发明涉及目标检测领域，特别是涉及一种甲状腺结节超声检查系统及方法。
背景技术
甲状腺结节超声检查是临床中最常见的检测方式，近几年，随着人工智能(Artificial Intelligence，AI)技术的快速发展，通过计算机视觉辅助检测技术可以大大提高临床检测效率。目前，通过深度学习检测技术可以自动捕捉到结节的目标区域，为医生的后续诊断节省大量时间。检测速度、检测稳定性和检测准确率是这一技术的关键指标。
在现有技术中，运用目标检测技术可以实现对视频中单帧静态图像的进行实时检测。但在实际应用中，超声扫查和检测是同步进行的，原有的检测方法会出现检测框不稳定，检测框过程中消失的情况，无法准确得到连续的检测结果，使用体验差。主要原因是由于结节特征多表现为动态特征，仅通过静态的图像无法检测准确，导致动态捕捉不能连续抓取。
发明内容
本发明的目的是提供一种甲状腺结节超声检查系统及方法，提高了甲状腺结节检测的准确性。
为实现上述目的，本发明提供了如下方案：
一种甲状腺结节超声检查系统，包括：
动态输入图像获取模块，用于从甲状腺超声视频中获取连续的动态输入图像；所述动态输入图像为对三个连续采样点的超声图像进行拼接和尺寸调整后的图像；
甲状腺结节识别模型，与所述动态输入图像获取模块连接，用于对所述动态输入图像进行甲状腺结节识别，输出识别结果；
所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取。
可选地，所述动态输入图像获取模块包括动态输入层，所述动态输入层用于输入三个连续采样点的超声图像，分别对第一采样点的超声图像、第二采样点的超声图像和第三采样点的超声图像进行灰度变化后进行图像拼接，得到3通道的拼接图像；将3通道的拼接图像进行尺寸调整得到所述动态输入图像；
所述动态输入层的输出与所述骨干网络的输入连接。
可选地，所述骨干网络包括依次连接的Foucs模块、第一CBL模块、第一CSP1模块、第二CBL模块、第三CBL模块、第二CSP1模块和第四CBL模块；所述第四CBL模块的输出分别连接第一分支和第二分支；
所述第一分支包括依次连接的第五CBL模块、第三CSP1模块和第六CBL模块；
所述第二分支包括依次连接的第七CBL模块、第八CBL模块和SPP模块和第九CBL模块；
所述第四CBL模块的输出、所述第六CBL模块的输出和所述第九CBL模块的输出作为所述骨干网络的三个输出。
可选地，所述目标检测网络还包括与所述骨干网络连接的颈部；所述颈部包括FPN+PAN模块；所述FPN+PAN模块用于特征融合。
本发明公开了一种甲状腺结节超声检查方法，包括：
从甲状腺超声视频中获取连续的动态输入图像；
采用甲状腺结节识别模型对所述动态输入图像进行甲状腺结节识别，输出识别结果；
所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取；所述数据集中样本数据包括动态输入样本图像和与动态输入样本图像对应的标签信息。
可选地，还包括：
采用K-means算法对所述数据集中具有标注框的动态输入样本图像进行聚类，根据聚类结果确定锚框的尺寸。
可选地，对目标检测网络进行训练时的损失函数表示为：
Ltotal＝Lobj+Lcls+Lconf；
其中，Ltotal表示总损失，Lobj表示预测框损失，Lcls表示分类损失，Lconf表示置信度损失；
Figure BDA0004106532000000031
其中，IOU表示预测框与真实框的交集，与预测框与真实框的开集之比；b表示预测框的中心坐标，bgt表示真实框的中心坐标，ρ2(b，bgt)表示预测框的中心坐标与真实框的中心坐标之间的欧式距离，c表示预测框与真实框的最小外接矩形对角线长度，a为长宽比，v表示衡量长宽比一致性的参数；
Figure BDA0004106532000000032
Figure BDA0004106532000000033
其中，w表示预测框宽，h表示预测框高，wgt表示真实框的宽，hgt表示真实框的高。
可选地，对目标检测网络进行训练时，对所述数据集中视频帧延迟2帧，从第3帧开始将前3帧作为三个连续采样点的超声图像进行拼接和尺寸调整，得到连续的动态输入样本图像，将每个动态输入样本图像输入所述目标检测网络；对于每个动态输入样本图像，所述目标检测网络输出的识别结果标注到第2帧对应的超声图像上。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明从甲状腺超声视频中获取连续的动态输入图像；动态输入图像为对三个连续采样点的超声图像进行拼接和尺寸调整后的图像，实现甲状腺超声图像的多帧融合，能够提取结节的动态特征，从而提高了甲状腺结节检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种甲状腺结节超声检查系统结构示意图；
图2为本发明实施例提供的一种甲状腺结节超声检查系统原理示意图；
图3为本发明实施例提供的骨干网络结构示意图；
图4为本发明实施例提供的CBL结构示意图；
图5为本发明实施例提供的残差单元结构示意图；
图6为本发明实施例提供的CSP1_X结构示意图；
图7为本发明实施例提供的Focus结构示意图；
图8为本发明实施例提供的SPP结构示意图；
图9为本发明实施例提供的颈部结构示意图；
图10为本发明实施例提供的CSP2_X结构示意图；
图11为本发明实施例提供的FPN+PAN原理示意图；
图12为本发明实施例甲状腺结节识别模型训练阶段流程示意图；
图13为本发明实施例甲状腺结节识别模型预测阶段流程示意图；
图14为本发明实施例提供的一种甲状腺结节超声检查方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种甲状腺结节超声检查系统及方法，提高了甲状腺结节检测的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本实施例提供了一种甲状腺结节超声检查系统，如图1所示，该系统包括：
动态输入图像获取模块101，用于从甲状腺超声视频中获取连续的动态输入(Dynamic Input)图像；所述动态输入图像为对三个连续采样点的超声图像进行拼接和尺寸调整后的图像。
甲状腺结节识别模型102，与所述动态输入图像获取模块连接，用于对所述动态输入图像进行甲状腺结节识别，输出识别结果。
所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络(Backbone)中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取。
所述数据集中样本数据包括动态输入样本图像和与动态输入样本图像对应的标签信息。
所述动态输入图像获取模块包括动态输入层，所述动态输入层用于输入三个连续采样点的超声图像，分别对第一采样点的超声图像、第二采样点的超声图像和第三采样点的超声图像进行灰度变化后进行图像拼接，得到3通道的拼接图像；将3通道的拼接图像进行尺寸调整得到所述动态输入图像。具体包括：动态输入层用于输入三个连续采样点的超声图像，分别对第一采样点的超声图像、第二采样点的超声图像和第三采样点的超声图像进行灰度变化后，得到三张维度为(W，H，1)的图像；对三张维度为(W，H，1)的图像进行拼接，得到维度为(W，H，3)的图像；将维度为(W，H，3)的图像的尺寸调整为(512，512，3)，得到所述动态输入图像；其中W表示图像宽度，H表示图像高度。
3通道的拼接图像为维度为(W，H，3)的图像。尺寸调整后为(512，512，3)。
采用数据集对目标检测网络进行训练时，动态输入层根据视频采样频率FPS，设置当前帧的图像为Ti，选定步长stride为n，设置n＝FPS/30，Ti-n作为动态输入的前一帧图像，Ti+n作为动态输入的后一帧图像，如图2所示。其中每一帧的图像宽为W，图像高为H，通道数为channel。提取后的Ti-n，Ti，Ti+n的维度均为(W，H，3)，3为通道数，通过灰度化后维度变为(W，H，1)，随后通过拼接得到(W，H，3)的动态输入图像。动态输入数据在输入网络前还需通过尺寸调整到(512，512，3)，如图2中Mi，再进行归一化处理。最后转为网络训练的张量(tensor)，(batch_size，3，512，512)，这里批量大小(batch_size)为128。
所述动态输入层的输出与所述骨干网络的输入连接。
骨干网络包括Focus模块、CBL模块、CSP1模块和SPP模块。骨干网络共包括9个结构相同的CBL模块，分别为第一CBL模块、第二CBL模块、……和第九CBL模块。
如图3所示，所述骨干网络包括依次连接的Foucs模块、第一CBL模块、第一CSP1模块、第二CBL模块、第三CBL模块、第二CSP1模块和第四CBL模块；所述第四CBL模块的输出分别连接第一分支和第二分支。
所述第一分支包括依次连接的第五CBL模块、第三CSP1模块和第六CBL模块。
所述第二分支包括依次连接的第七CBL模块、第八CBL模块和SPP模块和第九CBL模块。
所述第四CBL模块的输出、所述第六CBL模块的输出和所述第九CBL模块的输出作为所述骨干网络的三个输出。
本实施例为降低网络下采样时特征提取的损失，加入了Foucs模块。如图7所示，Foucs模块是通过切片(Slice)的方式将通道数(512，512，3)的图像转化为(256，256，12)的特征图，再通过拼接(Concat)和CBL模块进行特征提取，最后得到(256，256，64)的特征图。Foucs模块将3通道的二维图像信息转化为64个通道维度的二维特征图，再通过3*3卷积提取特征，这种下采样的方式减少了网络下采样所造成的损失。
如图4所示，CBL模块包括依次连接的卷积层、批归一化层和LekyRelu激活函数，CBL模块用于实现特征的提取。
如图6所示，本实施例中CSP1_X包括CSP1_1模块和CSP1_3模块。
CSP1(CSP1_X)模块，其中X表示残差模块的数量。CSP1模块是由CBL模块、残差模块(Res unit)、卷积层，批归一化层和激活函数层组成，CSP1模块可以更好地提取图像特征，加快网络收敛。残差模块结构如图5所示。
第一CSP1模块为CSP1_1模块，包括1个残差单元。第二CSP1模块为CSP1_3模块，包括3个依次连接的残差单元。
SPP模块为多尺度特征融合模块，如图8所示，通过3个最大池化层，将3个尺度(大，中，小)的特征图进行聚合，浅层的特征图具有丰富的细节特征，深层特征图具有的丰富的语义特征，将浅层和深层特征进行融合可以聚合多尺度的特征信息，增强特征学习能力。
通过骨干网络将动态输入转换为三个尺度的输出作为颈部(Neck)的输入。
所述目标检测网络还包括与所述骨干网络连接的颈部；如图9所示，所述颈部包括CBL模块、CSP2模块和FPN+PAN模块；所述FPN+PAN模块用于特征融合。图9中CBL模块下方的2层表示两个CBL模块串联。
CSP2模块包括多个CBL模块、卷积层，批归一化层和激活函数层组成，CSP2模块可以更好地提取图像特征，加快网络收敛。
CSP2(CSP2_X)模块结构如图10所示，其中X表示CBL模块的数量。
本实施例中，CSP2模块均为CSP2_1模块。
由于浅层特征图对细节纹理特征更敏感，深层特征图感受野更广泛，通过特征金字塔的融合方式可以结合网络浅层与深层的信息，增强特征提取能力，因此本实施例采用了FPN+PAN模块。FPN+PAN模块中FPN是通过自顶向下的特征金字塔进行融合，传递了更多语义信息，PAN是通过自底向上的特征金字塔进行融合，传递了更多定位信息。FPN+PAN的方式可以捕捉到不同尺度大小的目标。其原理图如图11所示。
所述目标检测网络还包括与颈部连接的检测头。
通过通过颈部(Neck)处理后得到三个输出特征图维度分别为(64，64，255)、(32，32，255)和(16，16，255)，三个输出特征图将作为预测头(Head)的输入。
预测头(Head)部分将三个输入的特征图进行拼接(Cancat)，聚合成维度为(16128，11)的特征向量用于计算损失，损失函数表示为：
Ltotal＝Lobj+Lcls+Lconf；
其中，Ltotal表示总损失，Lobj表示预测框损失，Lcls表示分类损失，Lconf表示置信度损失。
Lobj为预测框损失使用了CIOU损失函数，相较于传统交并比(IOU)，CIOU考虑了重叠面积、中心点距离和长宽比的因素。
Figure BDA0004106532000000081
其中，IOU表示预测框与真实框的交集，与预测框与真实框的并集之比；b表示预测框的中心坐标，bgt表示真实框的中心坐标，p2(b，bgt)表示预测框的中心坐标与真实框的中心坐标之间的欧式距离，c表示预测框与真实框的最小外接矩形对角线长度，a为长宽比，v表示衡量长宽比一致性的参数。
Figure BDA0004106532000000082
Figure BDA0004106532000000083
其中，w表示预测框宽，h表示预测框高，wgt表示真实框的宽，hgt表示真实框的高。
通过CIOU损失函数的回归方式，使得预测框更加精准。
Lcls分类损失和Lconf置信度损失函数均采用二元交叉熵损失函数，二元交叉熵损失函数代替了softmax函数，降低了计算复杂度，二元交叉熵损失函数的公式如下：
Figure BDA0004106532000000091
其中，y为输入样本对应的标签，正样本为1，负样本为0，p为模型预测该输入为正样本的概率。
对于数据集中数据标注和类别划分，对甲状腺超声视频出现结节的区域进行剪切，提取出每一帧图像进行人工数据标注，标注的类别共计6类或者2类。
当类别为2类时，包括有结节和无结节。
当类别为6类时，包括结节、脂肪、肌肉、腺体、乳头和无结节。
目标检测网络的训练过程如图12所示，实际检测过程如图13所示。
在训练开始前，采用K-means算法对所述数据集中具有标注框的动态输入样本图像进行聚类，根据聚类结果自适应得到预设的锚框(Anchor box)大小，这种方式可以使目标检测框更加精准，加快训练中网络收敛的速度。
对目标检测网络进行训练时，使用动态拼接数据(动态输入图像)送入目标检测网络，同时将标注的信息作为真实标签(Ground True)，使用SGD优化器，初始学习率lr为10-4e，采用余弦衰减学习率，训练epoch设置为1000。
本实施例对数据集中数据进行增强，具体包括：针对甲状腺超声影像的特点，采用随机水平翻转，HSV空间随机亮度、色度、对比度变换的增强方式。超声图像背景复杂，且噪声干扰较大，故取消随机裁剪，mixup，masic等增强方式，更多地保留超声图像的全局的信息。
对目标检测网络进行训练时，对所述数据集中视频帧延迟2帧，从第3帧开始将前3帧作为三个连续采样点的超声图像进行拼接和尺寸调整，得到连续的动态输入样本图像，将每个动态输入样本图像输入所述目标检测网络；对于每个动态输入样本图像，所述目标检测网络输出的识别结果标注到第2帧对应的超声图像上，以此类推实时检测后续帧的识别结果。
对目标检测网络进行训练时，通过设置自动停止的方式结束训练，即当目标检测的总损失在连续75个epoch没有降低的情况下，自动保留当前损失为最优的损失。
对于每帧的检测框具有重复的情况，采用非极大值抑制(Non-MaximumSuppression，NMS)对数据集进行处理后进行区分，减少了误检的情况。
本发明针对甲状腺结节超声影像的特点，在原有静态检测网络中加入了动态特征，通过连续动态特征代替原始网络中的静态特征进行结节的检测，有效地提升了甲状腺超声动态捕捉效果，为后续诊断处理提供了稳定的结果输出，并显著增强了实际检测的使用体验。
本发明的技术效果如下。
1、本发明与现有技术方案相比，使用了动态特征代替原有静态特征进行检测，根据前后帧的变化趋势决定甲状腺结节的位置，利用动态数据进行检测更符合临床医生的判定经验。
2、对比现有技术中复杂的动态特征处理算法，本发明仅在原有特征中融入有效的动态特征，无需花费额外的算力代价，依然保持原有实时检测的性能指标。
3、相比于原始目标检测方法，本发明具有更好的泛化性能，对不同品牌的超声设备都具有较好的检测效果。
实施例2
本实施例提供了一种甲状腺结节超声检查方法，如图14所示，该方法包括以下步骤。
步骤201：从甲状腺超声视频中获取连续的动态输入图像。
步骤202：采用甲状腺结节识别模型对所述动态输入图像进行甲状腺结节识别，输出识别结果。
所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取；所述数据集中样本数据包括动态输入样本图像和与动态输入样本图像对应的标签信息。
采用K-means算法对所述数据集中具有标注框的动态输入样本图像进行聚类，根据聚类结果确定锚框的尺寸。
对目标检测网络进行训练时的损失函数表示为：
Ltotal＝Lobj+Lcls+Lconf；
其中，Ltotal表示总损失，Lobj表示预测框损失，Lcls表示分类损失，Lconf表示置信度损失；
Figure BDA0004106532000000111
其中，IOU表示预测框与真实框的交集，与预测框与真实框的并集之比；b表示预测框的中心坐标，bgt表示真实框的中心坐标，ρ2(b，bgt)表示预测框的中心坐标与真实框的中心坐标之间的欧式距离，c表示预测框与真实框的最小外接矩形对角线长度，a为长宽比，v表示衡量长宽比一致性的参数；
Figure BDA0004106532000000112
Figure BDA0004106532000000113
其中，w表示预测框宽，h表示预测框高，wgt表示真实框的宽，hgt表示真实框的高。
对目标检测网络进行训练时，对所述数据集中视频帧延迟2帧，从第3帧开始将前3帧作为三个连续采样点的超声图像进行拼接和尺寸调整，得到连续的动态输入样本图像，将每个动态输入样本图像输入所述目标检测网络；对于每个动态输入样本图像，所述目标检测网络输出的识别结果标注到第2帧对应的超声图像上。
本发明针对甲状腺超声图像结节动态检测不稳定的现象，提出了一种甲状腺结节超声检查方法，本发明一种甲状腺结节超声检查方法为基于静态目标检测模型yolov5s的改良算法，解决了实际应用中在线检测过程中出现的检测框选不稳定，框选不准确的问题，这些问题即明显地影响了使用体验，又为后续诊断处理带来了隐患。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见系统部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种甲状腺结节超声检查系统，其特征在于，包括：
动态输入图像获取模块，用于从甲状腺超声视频中获取连续的动态输入图像；所述动态输入图像为对三个连续采样点的超声图像进行拼接和尺寸调整后的图像；
甲状腺结节识别模型，与所述动态输入图像获取模块连接，用于对所述动态输入图像进行甲状腺结节识别，输出识别结果；
所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取。
2.根据权利要求1所述的甲状腺结节超声检查系统，其特征在于，所述动态输入图像获取模块包括动态输入层，所述动态输入层用于输入三个连续采样点的超声图像，分别对第一采样点的超声图像、第二采样点的超声图像和第三采样点的超声图像进行灰度变化后进行图像拼接，得到3通道的拼接图像；将3通道的拼接图像进行尺寸调整得到所述动态输入图像；
所述动态输入层的输出与所述骨干网络的输入连接。
3.根据权利要求1所述的甲状腺结节超声检查系统，其特征在于，所述骨干网络包括依次连接的Foucs模块、第一CBL模块、第一CSP1模块、第二CBL模块、第三CBL模块、第二CSP1模块和第四CBL模块；所述第四CBL模块的输出分别连接第一分支和第二分支；
所述第一分支包括依次连接的第五CBL模块、第三CSP1模块和第六CBL模块；
所述第二分支包括依次连接的第七CBL模块、第八CBL模块和SPP模块和第九CBL模块；
所述第四CBL模块的输出、所述第六CBL模块的输出和所述第九CBL模块的输出作为所述骨干网络的三个输出。
4.根据权利要求1所述的甲状腺结节超声检查系统，其特征在于，所述目标检测网络还包括与所述骨干网络连接的颈部；所述颈部包括FPN+PAN模块；所述FPN+PAN模块用于特征融合。
5.一种甲状腺结节超声检查方法，其特征在于，包括：
从甲状腺超声视频中获取连续的动态输入图像；
采用甲状腺结节识别模型对所述动态输入图像进行甲状腺结节识别，输出识别结果；
所述甲状腺结节识别模型为采用数据集对目标检测网络进行训练获得的，所述目标检测网络的骨干网络中加入了Foucs模块，所述Foucs模块用于对所述动态输入图像进行特征提取；所述数据集中样本数据包括动态输入样本图像和与动态输入样本图像对应的标签信息。
6.根据权利要求5所述的甲状腺结节超声检查方法，其特征在于，还包括：
采用K-means算法对所述数据集中具有标注框的动态输入样本图像进行聚类，根据聚类结果确定锚框的尺寸。
7.根据权利要求5所述的甲状腺结节超声检查方法，其特征在于，对目标检测网络进行训练时的损失函数表示为：
Ltotal＝Lobj+Lcls+Lconf；
其中，Ltotal表示总损失，Lobj表示预测框损失，Lcls表示分类损失，Lconf表示置信度损失；
Figure FDA0004106531990000021
其中，IOU表示预测框与真实框的交集，与预测框与真实框的并集之比；b表示预测框的中心坐标，bgt表示真实框的中心坐标，ρ2(b,bgt)表示预测框的中心坐标与真实框的中心坐标之间的欧式距离，c表示预测框与真实框的最小外接矩形对角线长度，a为长宽比，v表示衡量长宽比一致性的参数；
Figure FDA0004106531990000022
Figure FDA0004106531990000023
其中，w表示预测框宽，h表示预测框高，wgt表示真实框的宽，hgt表示真实框的高。
8.根据权利要求5所述的甲状腺结节超声检查方法，其特征在于，对目标检测网络进行训练时，对所述数据集中视频帧延迟2帧，从第3帧开始将前3帧作为三个连续采样点的超声图像进行拼接和尺寸调整，得到连续的动态输入样本图像，将每个动态输入样本图像输入所述目标检测网络；对于每个动态输入样本图像，所述目标检测网络输出的识别结果标注到第2帧对应的超声图像上。
CN202310193802.8A 2023-03-01 2023-03-01 一种甲状腺结节超声检查系统及方法 Pending CN116168328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310193802.8A CN116168328A (zh) 2023-03-01 2023-03-01 一种甲状腺结节超声检查系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310193802.8A CN116168328A (zh) 2023-03-01 2023-03-01 一种甲状腺结节超声检查系统及方法

Publications (1)

Publication Number Publication Date
CN116168328A true CN116168328A (zh) 2023-05-26

Family

ID=86421819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310193802.8A Pending CN116168328A (zh) 2023-03-01 2023-03-01 一种甲状腺结节超声检查系统及方法

Country Status (1)

Country Link
CN (1) CN116168328A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252832A (zh) * 2023-09-20 2023-12-19 什维新智医疗科技(上海)有限公司 一种超声结节实时检测方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252832A (zh) * 2023-09-20 2023-12-19 什维新智医疗科技(上海)有限公司 一种超声结节实时检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
US20220051405A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN105654067A (zh) 一种车辆检测方法及装置
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN111916206B (zh) 一种基于级联的ct影像辅助诊断系统
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
CN112149620A (zh) 基于无锚点的自然场景文字区域检测模型的构建方法
CN116665095B (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
CN112037239B (zh) 基于多层次显式关系选择的文本指导图像分割方法
WO2022127814A1 (zh) 一种图像的显著性物体检测方法、装置、设备及存储介质
CN111539456B (zh) 一种目标识别方法及设备
CN113052215A (zh) 基于神经网络可视化的声呐图像自动目标识别方法
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN116168328A (zh) 一种甲状腺结节超声检查系统及方法
CN116805360B (zh) 一种基于双流门控渐进优化网络的显著目标检测方法
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN112926667A (zh) 深度融合边缘与高层特征的显著性目标检测方法及装置
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN113537397B (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN113989588A (zh) 一种基于自学习的五边形绘图测试智能评价系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination