CN116385814A - 一种检测目标的超声筛查方法、系统、装置及介质 - Google Patents

一种检测目标的超声筛查方法、系统、装置及介质 Download PDF

Info

Publication number
CN116385814A
CN116385814A CN202310214047.7A CN202310214047A CN116385814A CN 116385814 A CN116385814 A CN 116385814A CN 202310214047 A CN202310214047 A CN 202310214047A CN 116385814 A CN116385814 A CN 116385814A
Authority
CN
China
Prior art keywords
feature
image
module
target detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310214047.7A
Other languages
English (en)
Other versions
CN116385814B (zh
Inventor
李睿卓
高文静
尹训涛
张锐忠
夏慧敏
王红英
王哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Women and Childrens Medical Center
Original Assignee
Guangzhou Women and Childrens Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Women and Childrens Medical Center filed Critical Guangzhou Women and Childrens Medical Center
Priority to CN202310214047.7A priority Critical patent/CN116385814B/zh
Publication of CN116385814A publication Critical patent/CN116385814A/zh
Application granted granted Critical
Publication of CN116385814B publication Critical patent/CN116385814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种检测目标的超声筛查方法、系统、装置及介质，方法包括：获取输入超声图像；利用目标检测模型，对输入超声图像进行分析，获得输入超声图像的目标检测图像；其中，目标检测模型通过已标注检测目标的超声图像训练生成的；利用分类模型，对目标检测图像进行分析，获得目标检测图像的分类信息；其中，分类模型基于跨尺度交叉交互特征融合网络建立的；跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；基于分类信息，输出输入超声图像的筛查结果。本发明能够方便、快捷地实现胆道闭锁的区分识别，可广泛应用于图像检测技术领域。

Description

一种检测目标的超声筛查方法、系统、装置及介质
技术领域
本发明涉及图像检测技术领域，尤其是一种检测目标的超声筛查方法、系统、装置及介质。
背景技术
胆道闭锁(biliary atresia，BA)是婴幼儿黄疸中最致命的一类疾病，若没有手术干预(Kasai肠造口术或肝移植)，其预后极差，患儿因严重梗阻性胆管病变，逐渐出现肝纤维化、肝硬化、门静脉高压、肝衰竭，大多数在2岁内死亡。然而Kasai术的最佳时间窗为60天，因此，对出生后2个月的胆道闭锁和其他梗阻性原因的黄疸患儿应进行鉴别诊断及治疗。目前诊断胆道闭锁唯一金标准为术中胆管造影，此检查为有创性检查。我国胆道闭锁发病率明显高于欧美及其他地区人群，且BA患儿常常在出生后3-5月时才被确诊。
BA无创性实验室检查结果包括胆道梗阻相关生物学标记物持续升高，如血清结合胆红素、血清γ-谷氨酰转肽酶GGT，但其诊断特异度较低，余血清生物学标记物如基质金属蛋白酶7(MMP7)、CD177特异性虽高，受限于实验条件，不易于临床常规推广及基层应用。
复旦大学附属儿科医院外科主任郑珊团队与上海药奥明公司，将基质金属蛋白酶7(MMP7)、B超等检查结果与人工智能(AI)技术融合(中国专利申请：CN115064267A，CN114563493A)实现了血液生物标志物与B超图像特征的整合，自动分析预测胆道闭锁疾病风险，与传统诊断方式相比，基于AI的无创多指标整合诊断模型的AUC达到99.1％。
但是现有技术的缺点如下：(1)主要是针对胆道闭锁的关键影像特征(包括肝门三角征、胆囊等)和相应特异性生物标记物的建立Logistic回归列线图计算风险评分，在诊断过程中图像特征依赖于操作者的主观评分，不具备图像可视化及智能鉴别能力；(2)此外，以受试者样本中MMP-7的浓度和受试者样本中胆汁酸的浓度为输入，以风险评估结果为输出，对患者及家属的配合度及多模态信息采集要求较高，成本远高于单纯超声图像甄别。鉴于此，如何实现方便、快捷地进行BA患者的区分识别是一个亟需解决的问题。
发明内容
有鉴于此，本发明实施例提供一种检测目标的超声筛查方法、系统、装置及介质，能够方便、快捷地实现胆道闭锁的区分识别。
一方面，本发明的实施例提供了一种检测目标的超声筛查方法，包括：
获取输入超声图像；
利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；其中，所述目标检测模型通过已标注检测目标的超声图像训练生成的；
利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；其中，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；
基于所述分类信息，输出所述输入超声图像的筛查结果。
可选地，还包括：
基于已标注检测目标的超声图像，创建目标检测模型。
可选地，所述基于已标注检测目标的超声图像，创建目标检测模型，包括：
根据所述已标注检测目标的超声图像，确定训练样本；
设置深度学习网络模型，基于所述训练样本对所述深度学习网络模型进行检测训练，并基于训练结果，对所述深度学习网络模型进行调整，获得目标检测模型；其中，所述深度学习神经网络模型为利用Centernet网络搭建的。
可选地，所述利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像，包括：
基于所述输入超声图像，获得检测目标的目标边界框；并生成所述输入超声图像的热图；
基于所述目标边界框，确定若干候选框；
根据预构建的损失函数，对若干所述候选框进行归纳筛选，得到目标检测框；
通过所述目标检测框，对所述输入超声图像进行目标区域裁剪，获得目标检测图像化。
可选地，所述分类模型包括分类器，所述利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息，包括：
根据所述目标检测图像，获得输入特征图；
通过所述位置注意模块，对所述输入特征图进行特征合并，得到第一特征；
通过所述条形池化模块，对所述输入特征图进行条带池化，得到第二特征；
基于所述第一特征图和所述第二特征图，通过所述特征提取或编码器利用跨尺度交互注意力传播算法，获得输出特征；
通过所述双尺度注意的特征融合模块，对所述输出特征进行特征融合，得到第三特征；
基于所述第三特征，通过所述信息上下文增强模块进行信息增强，得到第四特征；
基于所述第四特征，通过所述分类器进行分类，得到所述目标检测图像的分类信息。
可选地，所述跨尺度交叉交互特征融合网络还包括粗特征生成器和自适应特征块，所述根据所述目标检测图像，获得输入特征图，包括：
基于所述目标检测图像，通过所述粗特征生成器和所述自适应特征块进行特征提取，获得输入特征图。
可选地，所述基于所述第三特征，通过所述信息上下文增强模块进行信息增强，得到第四特征，包括：
根据所述第三特征，结合所述粗特征图，通过所述信息上下文增强模块进行信息增强，得到第四特征；其中，所述粗特征图通过所述自适应特征块提取得到。
另一方面，本发明的实施例提供了一种检测目标的超声筛查系统，包括：
第一模块，用于获取输入超声图像；
第二模块，用于利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；其中，所述目标检测模型通过已标注检测目标的超声图像训练生成的；
第三模块，用于利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；其中，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；
第四模块，用于基于所述分类信息，输出所述输入超声图像的筛查结果。
另一方面，本发明的实施例提供了一种检测目标的超声筛查装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
另一方面，本发明的实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明实施例首先获取输入超声图像；利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；其中，所述目标检测模型通过已标注检测目标的超声图像训练生成的；利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；其中，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；基于所述分类信息，输出所述输入超声图像的筛查结果。本发明通过目标检测模型和分类模型，能够自动化对输入超声图像的目标检测并获得分类信息，实现对检测目标的筛查分类。通过标注了胆囊目标的超声图像作为已标注检测目标的超声图像，便能方便、快捷地实现胆道闭锁的区分识别。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有的胆道闭锁胆囊目标检测的效果示意图；
图2为本发明实施例提供的一种检测目标的超声筛查方法的流程示意图；
图3为本发明实施例提供的一种检测目标的超声筛查方法的整体流程示意图；
图4为本发明实施例提供的目标检测模型进行目标检测的流程示意图；
图5为本发明实施例提供的生成Heatmap图的流程示意图；
图6为本发明实施例提供的分类模型的框架示意图；
图7为本发明实施例提供的位置注意模块及条形池化注意模块的示意图；
图8为本发明实施例提供的基于双尺度注意的特征融合模块DAF的示意图；
图9为本发明实施例提供的目标检测模型的性能数据的示意图；
图10为本发明实施例提供的相对其他方法的热力图的对比示意图；
图11为本发明实施例提供的目标检测及最终效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
首先需要说明的是，超声(USG)是大多数地区进行黄疸患儿腹部无创性检查的唯一方式。超声检查的本质是对操作者的依赖性和客观性，这对适用的人工智能系统的通用性提出了挑战。人工智能模型所获得的超声图像特征决定了模型的性能，而除特征外其他背景信息会对模型的性能产生不利影响，并使模型的解释复杂化。因此，人工智能的可解释性建立在目标结构定位准确的基础上，且必须与专业检查者的注意力区域一致。
如图1所示，真实世界中胆道闭锁胆囊目标检测困难。目前BA的非侵入性的影像诊断方法主要是依靠超声检查，其胆囊表现具有特异性，表现为：①小胆囊，胆囊腔长径＞15mm，但缺乏完整的黏膜线及均匀的囊壁回声。②可探及闭锁的胆囊腔长度≤15mm。③胆囊未探及。由于BA的位置多样，胆囊的异常表现变化较大，胆囊闭锁又被称为“幽灵胆囊”。非经验丰富医师不能准确找到异常胆囊并进行诊断，故BA患儿自基层转诊最常见的原因为“胆囊未探及”。目前其对BA的超声AI应用研究局限于国内几个顶尖的国家级儿童医疗中心，中山大学附属第一医院周路遥教授团队已从国内多家医院收集的四千余张胆囊超声图像，采用五折交叉验证后集成的深度学习方法训练了一个智能诊断模型(NatureCommunications,2021)，开发成“婴儿胆闭超声智能识别”小程序，利用手机直接拍照获得诊断。该程序通过输入图像进行预测，采用类激活映射(或加权梯度类激活映射)的方法，将深度卷积神经网络模型学到的疾病特征信息转化成热力图的形式，在热力图上寻找病灶区域，以此来更进一步地辅助医生诊断。
但该程序应用存在诸多问题：
(1)该应用要求高：实际操作过程中，超声医师习惯首先使用低频凸阵探头对婴幼儿腹部超声扫查，在发现胆囊不可见或异常胆囊后，再更换高频探头，并放大包含胆囊的超声切面图。该过程对操作者的经验性要求高，初级医师或基础医疗机构往往对异常胆囊视而不见、无法获得所要求的胆囊切面。此外对采集图像质量及背景要求苛刻，需经高频线阵探头获得包含最大胆囊完整切面、排除胆囊外解剖结构的高质量图像。实际回顾性研究中无法获得此类高质量图片，其应用性欠佳。
(2)该模型敏感性和特异性分别为88.03％和83.87％，使用中心数据及多家外单位数据其效能偏低，模型鲁棒性待考察。
(3)胆囊困难样本及特殊的异常胆囊表现的可解释性欠佳，具体表现为热力图不准。
由于存在伪影和邻近的器官，包括肠、肝、门静脉和静脉分支的干扰，自动对胆道闭锁胆囊区域进行准确定位十分困难(图1)。僵直的胆囊壁及不完整连续的胆囊黏膜是异常胆囊征像。然而，基于卷积神经网络的架构偏向于纹理识别，这可能会导致关注胆囊周边的软组织纹理，而不是胆囊壁及胆囊本身的相关征像(Nature Communications,2021)。由于伪影及周围组织干扰，对象检测器学习的特征常存在偏差。热力图呈现与临床经验不符。
鉴于此，一方面，参照图2和图3，本发明的实施例提供了一种检测目标的超声筛查方法，包括：
S100、获取输入超声图像；
具体地，获取输入的待检测识别的超声病历图片，如输入原始包含胆囊切面图像。
S200、利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；
需要说明的是，所述目标检测模型通过已标注检测目标的超声图像训练生成的。
其中，一些实施例中，还包括：基于已标注检测目标的超声图像，创建目标检测模型。一些实施例中，包括：根据所述已标注检测目标的超声图像，确定训练样本；设置深度学习网络模型，基于所述训练样本对所述深度学习网络模型进行检测训练，并基于训练结果，对所述深度学习网络模型进行调整，获得目标检测模型；其中，所述深度学习神经网络模型为利用Centernet网络搭建的。
其中，训练样本的确定，通过对前瞻性儿童胆汁淤积专科队列(ChiCTR1800015717)受试者中收集到的原始超声图像及与之对应的标签Bounding Box，用Center-CNN模型对广州市妇女儿童医疗中心1433张图片进行感兴趣区域的图像特征学习后，使用该目标检测模型对来自广州市妇女儿童医疗中心和长沙市妇幼保健院数据集图片进行胆囊的目标检测和自动裁剪，获得训练样本。具体地，进行数据块建立保存训练样本，包括：获取前瞻性黄疸患儿队列电子图像存档和通信系统(PACS)中DICOM原始文件，所有纳入的患者均行腹腔镜术中胆管造影检查，获取首次入院超声原始图片数据及疾病分类信息(1)根据2004年北美儿科胃肠病、肝病和营养学会指南中胆汁淤积诊断标准：1)总胆红素>87.5>mol>L，结合胆红素>总胆红素>20％或总胆红素<87.5>mol>L，结合胆红素>17.1>mol>L；2)年龄小于180天。非BA患儿的诊断包括1)特发性胆汁淤积症；2)巨细胞病毒肝炎；3)阿拉杰里综合征(Alagille syndrome)；4)胆总管囊肿；5)希特林(Citrin)缺乏症；6)胆管炎；7)先天性胆汁酸合成紊乱；8)胆道瘘；9)肝囊肿；10)朗格汉斯细胞组织细胞增多症等。特有图像信息包括但不限于：使用高频线阵探头所获得切面、用低频线阵探头所获得切面、胆囊病灶位于图片边缘区域、胆囊病灶所位于中心的扫查切面，超声低像素图片、高清像素图片(200×200pixel)、非完整包括胆囊最长经线超声切面。共纳入852例BA患儿和581例非BA患者的1433张图像，由资深放射科医生使用标签软件(https:>>github.com>tzutalin>labelImg)对含有胆囊的图像进行标记后生成xml文件并进行了一致性评估。
一些实施例中，步骤S200包括：基于所述输入超声图像，获得检测目标的目标边界框；并生成所述输入超声图像的热图；基于所述目标边界框，确定若干候选框；根据预构建的损失函数，对若干所述候选框进行归纳筛选，得到目标检测框；通过所述目标检测框，对所述输入超声图像进行目标区域裁剪，获得目标检测图像。
具体地，获得1433张图像中，选取Centernet网络作为胆囊检测的深度学习网络。Heatmap表示胆囊类别的信息，每一个类别将会产生一个单独的Heatmap图。对于每张Heatmap图而言，当某个坐标处包含目标的中心点时，则会在该目标处产生一个关键点，利用高斯圆来表示整个关键点，按人数而非图片数，按7:2:1比例分训练集、验证、测试集。在本实施例中，涉及图像为二分类检测任务(胆囊和背景类别)，经过公开数据集实验验证，在带有GPU显卡的机器上Centernet网络可同时满足系统的精度和速度的要求，平均目标检测在1-3秒内可完成。
其中，一阶段的目标检测，还包括搭建胆囊目标检测网络(即目标检测模型)，学习胆囊的(黏膜、胆囊壁形态、内容物等、周边组织特点等)特征检测不同特征尺度下的胆囊。CenterNet将胆囊的检测问题转换成其中心点预测问题，即用胆囊的中心点来表示该目标，并通过预测胆囊中心点的偏移量与其宽高来获取胆囊的矩形框，在胆囊区域自动检测的同时，完成了目标区域裁剪。如图4所示，通过目标检测模型得到目标检测图像的步骤具体包括：
步骤1：基于原始图像(即输入超声图像)，获取检测目标胆囊的目标边界框；
步骤2：生成Heatmap图，如图5所示，Img中一个目标gt_box对应heatmap中的一个高斯圆，以box中心点最亮，沿着半径向外逐渐变暗，具体步骤如下：
①将输入的图片缩放成512*512大小，对该图像执行R＝4的下采样操作之后，获得一个128*128大小的Heatmap图；
②将输入图片中的Box缩放到128*128大小的Heatmap图上面，计算该Box的中心点坐标，并执行向下取整操作，并将其定义为point；
③根据目标Box大小来计算高斯圆的半径R。关于高斯圆的半径确定，主要还是依赖于目标box的宽高，实际情况下通常会取IOU＝0.7，即overlap＝0.7作为临界值，然后分别计算出三种情况的半径，取最小值作为高斯核的半径R；
④在128*128大小的Heatmap图上面，以point为中心点，半径为R计算高斯值，point点处数值最大，随着半径R的增加数值不断减小；
步骤3：基于目标边界框，以中心点坐标(X0,Y0)为基准获取n个候选框的中心点坐标(X0+φW1，Y0+ψH1)，其中，W1为目标边界框的宽度，H1表示目标边界框的长度，φ和ψ表示-0.5到0.5之间的随机数；基于候选框的中心点坐标，通过偏移缩放系数对目标边界框进行偏移和缩小获得一一对应的n个候选框；
步骤4，构建空间信息度量的Loss函数(即预构建的损失函数)；
步骤5，根据优选的目标框的集合中优选目标框的中心和宽高偏移量，归纳出最优目标检测框。在胆囊区域自动检测得到目标检测框，进而完成目标区域裁剪。
S300、利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；
需要说明的是，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；所述分类模型包括分类器，一些实施例中，包括：根据所述目标检测图像，获得输入特征图；通过所述位置注意模块，对所述输入特征图进行特征合并，得到第一特征；通过所述条形池化模块，对所述输入特征图进行条带池化，得到第二特征；基于所述第一特征图和所述第二特征图，通过所述特征提取或编码器利用跨尺度交互注意力传播算法，获得输出特征；通过所述双尺度注意的特征融合模块，对所述输出特征进行特征融合，得到第三特征；基于所述第三特征，通过所述信息上下文增强模块进行信息增强，得到第四特征；基于所述第四特征，通过所述分类器进行分类，得到所述目标检测图像的分类信息。
其中，一些实施例中，跨尺度交叉交互特征融合网络还包括粗特征生成器和自适应特征块，所述根据所述目标检测图像，获得输入特征图，包括：基于所述目标检测图像，通过所述粗特征生成器和所述自适应特征块进行特征提取，获得输入特征图。
一些实施例中，基于所述第三特征，通过所述信息上下文增强模块进行信息增强，得到第四特征，包括：根据所述第三特征，结合所述粗特征图，通过所述信息上下文增强模块进行信息增强，得到第四特征；其中，所述粗特征图通过所述自适应特征块提取得到。
具体地，二阶段分类判断还包括搭建多分支分类网络(即分类模型)进行图像特征提取及分类。通过融合训练两个不同尺度的注意力网络，对不同位置、不同大小、形态各异的胆囊特征进行定位及特征提取；在训练分类网络时，网络除提取全局特征外，还提取局部特征，并与全局特征进行融合送入分类器进行分类；通过该分类模型实现超声图像中的胆道闭锁及非胆道闭锁胆囊分类的目的。通过建立跨尺度交叉交互特征融合网络(ISCI)来识别胆道闭锁的胆囊。如图6所示，为ISCI的整体架构。ISCI主要由三个模块组成:特征提取或编码器、双重注意特征融合(DAF)和信息上下文增强模块(ICE)。在ISCI中，该方法是以ResNet作为基本框架，利用金字塔特征层次结构并行地附加一个粗特征生成器(CFG)和自适应特征块(AFB)。使用双注意特征融合模块(DAF)生成的自上而下的特征，将编码器的特征映射投影到ICE中。分类模型得到分类信息的具体步骤如下：
步骤1，胆道闭锁胆囊位置各异是这个该阶段任务中要处理的第一个任务。同时，巨大复杂的背景使得CNN很难从超声图像中提取出病灶特征。通过引入了一个基于自我注意机制(self-attention)的位置注意模块(PAM)。
如图7a所示，使用F∈RC×W×H表示注意模块中的输入特征图，其中C，W，H分别表示通道、宽度、高度维度。为了计算空间注意力权重矩阵，在空间维度中使用最大池化和平均池化来获得两种不同的特征，通过合并这两种特征传递三个分支。在最上面的分支中，合并特征图F通过一个卷积块产生一个特征图
Figure BDA0004114277560000091
在第二个分支中，合并特征图F遵循相同的操作得到特征图/>
Figure BDA0004114277560000098
两个特征图相乘，并在结果矩阵上应用softmax生成空间自注意力特征图Sp，表达式如下：
Figure BDA0004114277560000092
其中，
Figure BDA0004114277560000093
表示位置ith对位置jth的影响。两个位置的特征表征越相似，它们之间的相关性越大。合并特征图F通过一个卷积块被输入到第三分支，得到/>
Figure BDA0004114277560000094
它与F具有相同的形状，然后它与空间自注意力特征Sp相乘。因此，位置注意模块FPAM对应的注意特征图(即第一特征)可以表示为：
Figure BDA0004114277560000095
其中，α逐渐从0学习一个权重来表示空间注意图更多的重要性。因此，位置注意模块在空间自注意力特征的引导下，选择性地将全局上下文聚合到学习到的特征上。
步骤2，胆道闭锁病灶的尺寸差异大是分类任务中要处理的第二个挑战。如图7b所示，通过结合多尺度上下文信息和基于局部信息与其全局信息的的空间关系的策略。条形池化注意模块(SPA)，有利于提取上下文信息并降低计算成本，即从不同的空间维度收集全局特征。x∈RC*W*H是一个输入张量，首先将输入两个并行路径，水平条带池化后的输出yh∈RH。表达式如下：
Figure BDA0004114277560000096
类似地，垂直条带池化后的输出yv可以写成：
Figure BDA0004114277560000097
其中每一个都包含一个水平或垂直条带池层，后面是一个1×1卷积层，该层具有共享权，用于调制当前位置及其邻居特征的对应关系。
Figure BDA0004114277560000101
Figure BDA0004114277560000102
FA＝softmax(F1⊙F2)
其中，f1s表示权值共享的卷积层，FA即为第二特征。
步骤3，通过跨尺度交互注意力传播算法，捕获了局部和全局的相关性，增强病灶的特征表示。如图8d所示，给定局部特征Fl和Fg局部特征(F1从第一特征确认，Fg从第二特征确认)：
Figure BDA0004114277560000103
Figure BDA0004114277560000104
其中，QL表示局部特征的查询向量，
Figure BDA0004114277560000105
表示局部特征的查询向量的权重，KL表示局部特征的被查向量，/>
Figure BDA0004114277560000106
表示局部特征的被查向量的权重，VL表示局部特征的内容向量，
Figure BDA0004114277560000107
表示局部特征的内容向量的权重，QG表示全局特征的查询向量，/>
Figure BDA0004114277560000108
表示全局特征的查询向量的权重，KG表示表示全局特征的被查向量，/>
Figure BDA0004114277560000109
表示全局特征的被查向量的权重，VG表示全局特征的内容向量，/>
Figure BDA00041142775600001010
表示全局特征的内容向量的权重。W(L-→G)代表从局部特征提取的全局特征，W(G→L)代表全局与局部特征的不同，对以下两个序列生成交互注意力特征图：
Figure BDA00041142775600001011
Figure BDA00041142775600001012
AG＝W(L→G)VL
AL＝W(G→L)VG
YA＝f3(f3(Fi-1))⊙AL
YB＝f3(UP(Fi))⊙AG
Fout＝YA+YB
其中，T表示转置，d表示维度，f3表示3×3的卷积，UP(·)表示上采样操作，两个分支YA和YB相加产生Fout(即输出特征)，输出特征被传递到DAF模块以产生新的输出，用于下一阶段的多尺度特征融合。
步骤4，如图8，基于双尺度注意的特征融合模块DAF在每个阶段充分利用多层次特征地图，负责更好地融合上下文信息和空间信息充分利用多层次特征地图，得到第三特征。
步骤5，利用ICE来增强边界信息，并提供补充信息，有利于提高分类性能。
XICE＝f1(Gpool(ReLU((f1(XAFB)))⊙f1(XDAF))
其中，XICE表示第四特征；XAFB表示自适应特征块提取的粗特征图；XDAF表示双注意特征融合模块特征。进而通过分类器得到分类信息。
S400、基于所述分类信息，输出所述输入超声图像的筛查结果；
具体地，输出的筛查结果包括步骤S200具体实施例得到的热图Heatmap和步骤S300具体实施例得到的分类信息。
作为优选地实施方式，一些实施例中，还进行模型性能验证：
①如图9所示，基于召回度、准确性、F1分数和平均精度均值的分析，目标检测模型取得了较好的性能，目标检测效果如图10和图11所示；其中，图10中，左侧为现有方法关于胆道闭锁的输入图像及识别结果，右侧为本发明技术方案关于胆道闭锁的输入图像及识别结果，相较于现有技术，本发明效果较优；本发明技术方案关于胆道闭锁的目标检测及最终效果图如图11。
②基于自主开发算法获得，本发明的分类模型基于总体图像的基础获得了91％的AUC，类激活图比之前的研究获得了更好的特征可解释性。
③为了验证网络模型的普适性，选取由中山大学附属第一医院收集的公开数据集。该数据集是从11家医院1166例患者的视频中抽取出3750帧图像，采集频率＞7MHz，分辨率大于300*300，jpg格式，并由经验丰富的超声医师选取胆囊最长经线的切面后进行分割。取长沙市妇幼保健院、广东省妇幼保健院，该数据集源于历史存图原始数据(不限制采集频率、分辨率)进行外部验证，并予以五折交叉验证。在以上数据集上(训练集80％和测试集20％)进行测试，分类准确率高，各指标如表1所示：
表1
Accuracy Precision Recall Specificity F1-score Mcc
广东省妇幼 0.9012 0.8541 0.9101 0.9207 0.9054 0.9154
长沙市妇幼 0.8978 0.9231 0.8834 0.9012 0.9147 0.9024
广州市妇儿 0.9114 0.9254 0.9654 0.9145 0.9241 0.9231
综上所述，本发明针对胆道闭锁的疾病超声图像固有特征，提供了创新的跨网络多尺度特征融合分类模块，通过学习上下文信息，以获得更可靠的特征表示；为了减少纹理偏差，提高对模型的空间理解。我们添加了非典型BA图像，其中包括填充型胆囊的管腔和其他形态学特征，以对抗此类疾病的图像特征学习偏差；原始超声图像有一些无用的附加信息区域，包括医院的信息和设备的详细参数，阻碍有效特征信息提取。具体来说，本发明使用的胆囊目标检测模型目标阈值为0.5，在胆囊区域自动检测的同时，完成了目标区域裁剪；本发明采用将目标检测与分类模块相结合的两阶段方法，识别和分类胆囊；该算法基能利用现有常规超声历史图像数据，构建了一种程序简单、数据可拓展、有助于基层应用与诊断的高效目标检测与分类模型，同时实现专家级的视觉效果；有助于在临床诊疗过程中对婴幼儿胆汁淤积症进行低成本有效的分诊。相较于现有技术，本发明具有以下有益效果：
1、现有方法中未解决胆囊目标区域检测的问题。本发明第一次可以对于婴幼儿腹部超声图像中的胆囊进行准确的目标检测，有助于辅助年轻医师找到“幽灵胆囊”。
2、现有分类方法适用于高分辨度高频胆囊超声图像，泛化性较差，本发明对输入图像的质量、采集频率、周边组织结构等无苛刻要求，临床特征的可解释性显著提升，克服邻近器官干扰和伪影的缺点，对低分辨率、低频、高频图像均能进行高性能的二分类，其准确性高。
本发明中添加了ICE、SPA、PAM、DAF模块，客观分析了209层热力图，模型更具鲁棒性、在超声特征和时空分辨率上表现更佳：
①通过不同顺序的热力图层，以更好地理解图像特征；如胆囊僵直的黏膜及是否无胆汁填充。
②对于困难样本(小目标区域<40*40像素)依旧可以进行准确分类，其热力图与临床专家注意力一致。
③提供一种能利用现有病历数据快速构建预测模型，具有高性能及拓展性，以便多中心临床应用与模型优化。
此外，本发明的方法流程还适用于针对其它检测目标的目标检测以及分类判断的过程，通过对训练样本以及分类模型的分类参考参数进行适应性调整即可。
另一方面，本发明的实施例提供了一种检测目标的超声筛查系统，包括：第一模块，用于获取输入超声图像；第二模块，用于利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；其中，所述目标检测模型通过已标注检测目标的超声图像训练生成的；第三模块，用于利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；其中，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；第四模块，用于基于所述分类信息，输出所述输入超声图像的筛查结果。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种检测目标的超声筛查装置，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能>操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能>操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和>或特征中的一个或多个可以被集成在单个物理装置和>或软件模块中，或者一个或多个功能和>或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和>或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种检测目标的超声筛查方法，其特征在于，包括：
获取输入超声图像；
利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；其中，所述目标检测模型通过已标注检测目标的超声图像训练生成的；
利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；其中，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；
基于所述分类信息，输出所述输入超声图像的筛查结果。
2.根据权利要求1所述的一种检测目标的超声筛查方法，其特征在于，还包括：
基于已标注检测目标的超声图像，创建目标检测模型。
3.根据权利要求2所述的一种检测目标的超声筛查方法，其特征在于，所述基于已标注检测目标的超声图像，创建目标检测模型，包括：
根据所述已标注检测目标的超声图像，确定训练样本；
设置深度学习网络模型，基于所述训练样本对所述深度学习网络模型进行检测训练，并基于训练结果，对所述深度学习网络模型进行调整，获得目标检测模型；其中，所述深度学习神经网络模型为利用Centernet网络搭建的。
4.根据权利要求1所述的一种检测目标的超声筛查方法，其特征在于，所述利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像，包括：
基于所述输入超声图像，获得检测目标的目标边界框；并生成所述输入超声图像的热图；
基于所述目标边界框，确定若干候选框；
根据预构建的损失函数，对若干所述候选框进行归纳筛选，得到目标检测框；
通过所述目标检测框，对所述输入超声图像进行目标区域裁剪，获得目标检测图像。
5.根据权利要求1所述的一种检测目标的超声筛查方法，其特征在于，所述分类模型包括分类器，所述利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息，包括：
根据所述目标检测图像，获得输入特征图；
通过所述位置注意模块，对所述输入特征图进行特征合并，得到第一特征；
通过所述条形池化模块，对所述输入特征图进行条带池化，得到第二特征；
基于所述第一特征图和所述第二特征图，通过所述特征提取或编码器利用跨尺度交互注意力传播算法，获得输出特征；
通过所述双尺度注意的特征融合模块，对所述输出特征进行特征融合，得到第三特征；
基于所述第三特征，通过所述信息上下文增强模块进行信息增强，得到第四特征；基于所述第四特征，通过所述分类器进行分类，得到所述目标检测图像的分类信息。
6.根据权利要求5所述的一种检测目标的超声筛查方法，其特征在于，所述跨尺度交叉交互特征融合网络还包括粗特征生成器和自适应特征块，所述根据所述目标检测图像，获得输入特征图，包括：
基于所述目标检测图像，通过所述粗特征生成器和所述自适应特征块进行特征提取，获得输入特征图。
7.根据权利要求6所述的一种检测目标的超声筛查方法，其特征在于，所述基于所述第三特征，通过所述信息上下文增强模块进行信息增强，得到第四特征，包括：
根据所述第三特征，结合所述粗特征图，通过所述信息上下文增强模块进行信息增强，得到第四特征；其中，所述粗特征图通过所述自适应特征块提取得到。
8.一种检测目标的超声筛查系统，其特征在于，包括：
第一模块，用于获取输入超声图像；
第二模块，用于利用目标检测模型，对所述输入超声图像进行分析，获得所述输入超声图像的目标检测图像；其中，所述目标检测模型通过已标注检测目标的超声图像训练生成的；
第三模块，用于利用分类模型，对所述目标检测图像进行分析，获得所述目标检测图像的分类信息；其中，所述分类模型基于跨尺度交叉交互特征融合网络建立的；所述跨尺度交叉交互特征融合网络包括位置注意模块、条形池化模块、特征提取或编码器、双尺度注意的特征融合模块和信息上下文增强模块；
第四模块，用于基于所述分类信息，输出所述输入超声图像的筛查结果。
9.一种检测目标的超声筛查装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
CN202310214047.7A 2023-03-07 2023-03-07 一种检测目标的超声筛查方法、系统、装置及介质 Active CN116385814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310214047.7A CN116385814B (zh) 2023-03-07 2023-03-07 一种检测目标的超声筛查方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310214047.7A CN116385814B (zh) 2023-03-07 2023-03-07 一种检测目标的超声筛查方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN116385814A true CN116385814A (zh) 2023-07-04
CN116385814B CN116385814B (zh) 2023-12-05

Family

ID=86964709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310214047.7A Active CN116385814B (zh) 2023-03-07 2023-03-07 一种检测目标的超声筛查方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN116385814B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063740A (zh) * 2018-07-05 2018-12-21 高镜尧 超声影像关键目标的检测模型构建及检测方法、装置
US20200134392A1 (en) * 2018-10-24 2020-04-30 The Climate Corporation Detection of plant diseases with multi-stage, multi-scale deep learning
CN112001931A (zh) * 2020-08-24 2020-11-27 上海眼控科技股份有限公司 图像分割方法、装置、设备及存储介质
US11113574B1 (en) * 2021-03-26 2021-09-07 StradVision, Inc. Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
US20210406582A1 (en) * 2019-06-05 2021-12-30 Boe Technology Group Co., Ltd. Method of semantically segmenting input image, apparatus for semantically segmenting input image, method of pre-training apparatus for semantically segmenting input image, training apparatus for pre-training apparatus for semantically segmenting input image, and computer-program product
US20220108546A1 (en) * 2019-06-17 2022-04-07 Huawei Technologies Co., Ltd. Object detection method and apparatus, and computer storage medium
CN114494812A (zh) * 2022-02-16 2022-05-13 湖南大学 一种基于改进CenterNet的图像小目标检测方法
CN114724031A (zh) * 2022-04-08 2022-07-08 中国科学院合肥物质科学研究院 结合上下文感知和多尺度混合注意力的玉米虫害区域检测方法
CN114742796A (zh) * 2022-04-11 2022-07-12 平安科技（深圳）有限公司 一种乳腺超声结节检测方法、装置、电子设备及存储介质
CN115063573A (zh) * 2022-06-14 2022-09-16 湖北工业大学 一种基于注意力机制的多尺度目标检测方法
CN115496980A (zh) * 2022-09-22 2022-12-20 上海大学 基于多视角特征的遥感影像篡改目标检测方法及系统
CN115620178A (zh) * 2022-10-14 2023-01-17 国网江苏省电力有限公司电力科学研究院 一种用于无人机的电网异常危险行为的实时检测方法
US20230031579A1 (en) * 2021-10-15 2023-02-02 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for detecting an object in an image

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063740A (zh) * 2018-07-05 2018-12-21 高镜尧 超声影像关键目标的检测模型构建及检测方法、装置
US20200134392A1 (en) * 2018-10-24 2020-04-30 The Climate Corporation Detection of plant diseases with multi-stage, multi-scale deep learning
US20210406582A1 (en) * 2019-06-05 2021-12-30 Boe Technology Group Co., Ltd. Method of semantically segmenting input image, apparatus for semantically segmenting input image, method of pre-training apparatus for semantically segmenting input image, training apparatus for pre-training apparatus for semantically segmenting input image, and computer-program product
US20220108546A1 (en) * 2019-06-17 2022-04-07 Huawei Technologies Co., Ltd. Object detection method and apparatus, and computer storage medium
CN112001931A (zh) * 2020-08-24 2020-11-27 上海眼控科技股份有限公司 图像分割方法、装置、设备及存储介质
US11113574B1 (en) * 2021-03-26 2021-09-07 StradVision, Inc. Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
US20230031579A1 (en) * 2021-10-15 2023-02-02 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for detecting an object in an image
CN114494812A (zh) * 2022-02-16 2022-05-13 湖南大学 一种基于改进CenterNet的图像小目标检测方法
CN114724031A (zh) * 2022-04-08 2022-07-08 中国科学院合肥物质科学研究院 结合上下文感知和多尺度混合注意力的玉米虫害区域检测方法
CN114742796A (zh) * 2022-04-11 2022-07-12 平安科技（深圳）有限公司 一种乳腺超声结节检测方法、装置、电子设备及存储介质
CN115063573A (zh) * 2022-06-14 2022-09-16 湖北工业大学 一种基于注意力机制的多尺度目标检测方法
CN115496980A (zh) * 2022-09-22 2022-12-20 上海大学 基于多视角特征的遥感影像篡改目标检测方法及系统
CN115620178A (zh) * 2022-10-14 2023-01-17 国网江苏省电力有限公司电力科学研究院 一种用于无人机的电网异常危险行为的实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUCHAO FENG: "ICIF-Net: Intra-Scale Cross-Interaction and Inter-Scale Feature Fusion Network for Bitemporal Remote Sensing Images Change Detection", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 60, pages 1 - 13, XP011907110, DOI: 10.1109/TGRS.2022.3168331 *
管文青: "混合注意力特征增强的航空图像目标检测", 计算机工程与应用, pages 1 - 12 *

Also Published As

Publication number Publication date
CN116385814B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
Chen et al. Medical image segmentation and reconstruction of prostate tumor based on 3D AlexNet
Su et al. Lung nodule detection based on faster R-CNN framework
CN113870258B (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
Chen et al. Machine-learning-based classification of real-time tissue elastography for hepatic fibrosis in patients with chronic hepatitis B
Zhao et al. A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN110197713B (zh) 一种医疗影像的处理方法、装置、设备和介质
Yoshida et al. CAD in CT colonography without and with oral contrast agents: progress and challenges
Pei et al. Small bowel motility assessment based on fully convolutional networks and long short-term memory
Ghosh et al. Deep transfer learning for automated intestinal bleeding detection in capsule endoscopy imaging
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
Mahapatra et al. Weakly supervised semantic segmentation of Crohn's disease tissues from abdominal MRI
WO2022110525A1 (zh) 一种癌变区域综合检测装置及方法
Lee et al. A straightforward approach to computer-aided polyp detection using a polyp-specific volumetric feature in CT colonography
Sapitri et al. Deep learning-based real time detection for cardiac objects with fetal ultrasound video
Huang et al. A liver fibrosis staging method using cross-contrast network
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
Peña-Solórzano et al. Findings from machine learning in clinical medical imaging applications–Lessons for translation to the forensic setting
Wang et al. Computer auxiliary diagnosis technique of detecting cholangiocarcinoma based on medical imaging: A review
Yuan et al. Deep learning-based quality-controlled spleen assessment from ultrasound images
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
Abolvardi et al. Registration based data augmentation for multiple sclerosis lesion segmentation
CN116934683A (zh) 人工智能辅助超声诊断脾创伤的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant