CN113633304B - 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 - Google Patents
一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 Download PDFInfo
- Publication number
- CN113633304B CN113633304B CN202110720615.1A CN202110720615A CN113633304B CN 113633304 B CN113633304 B CN 113633304B CN 202110720615 A CN202110720615 A CN 202110720615A CN 113633304 B CN113633304 B CN 113633304B
- Authority
- CN
- China
- Prior art keywords
- image
- abnormal
- score
- jugular vein
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004731 jugular vein Anatomy 0.000 title claims abstract description 60
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000003582 temporal bone Anatomy 0.000 title claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 102
- 230000005856 abnormality Effects 0.000 claims abstract description 36
- 238000012217 deletion Methods 0.000 claims abstract 2
- 230000037430 deletion Effects 0.000 claims abstract 2
- 238000012549 training Methods 0.000 claims description 35
- 238000002474 experimental method Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 18
- 208000009205 Tinnitus Diseases 0.000 abstract description 16
- 231100000886 tinnitus Toxicity 0.000 abstract description 6
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 9
- 230000003902 lesion Effects 0.000 description 8
- 206010061728 Bone lesion Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000000959 ear middle Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003094 ear ossicle Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001180 ethmoid sinus Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/505—Clinical applications involving diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种用于颞骨影像中颈静脉球窝骨壁缺失异常检测方法,用于计算机辅助搏动性耳鸣诊断。本发明充分利用少量稀有的异常数据,将异常先验信息引入网络模型,突出了异常特征并增加了异常特征与异常特征之间的差距,使整体检测准确度提高。通过具有针对性的数据增强方式和创新的数据使用手段,设计合理的代理任务使网络模型充分发挥其善于预测的优势,提升检测准确度。本发明所提供的的异常检测方法与现有方法相比,不再依赖极大量的有标注数据,且具有更容易实施和推广的优点。
Description
技术领域
本发明涉及医学影像处理领域,特别涉及一种颞骨CT中影像颈静脉球窝骨壁缺失异常检测方法。
背景技术
耳鸣表现为无外界刺激情况下人体对声音的异常感知,是耳科常见病、多发病。其中,搏动性耳鸣(Pulsatile Tinnitus,PT)约占耳鸣患者的4%-10%。近十年来,随着经济发展和人们对健康的重视,患者诊治需求激增。随着颞骨影像技术的普及,针对搏动性耳鸣的影像检查方法已成为重要的技术手段。
颞骨CT是诊断搏动性耳鸣骨质性病变的主要方法,颞骨CT可以显示中耳、内耳等多个细微结构,例如耳蜗、半规管、前庭、听小骨等。颞骨核磁影像可显示中耳、内耳等多层面细微结构,也可用于诊断耳鸣骨质性病变。搏动性耳鸣与颞骨区多部位的血管及骨质形态学因素密切相关,其中搏动性耳鸣发生的主要骨质性病变是颞骨区血管旁骨壁缺失。已报道的可引起搏动性耳鸣的骨壁缺失部位包括颈内动脉管周围骨壁、颈静脉球窝与乳突气房间骨壁、乙状窦沟周围骨壁、颈静脉球窝与鼓室间骨壁、岩上窦位置上半规骨壁等。搏动性耳鸣由骨壁缺失导致血流噪音传导至耳内而产生。在临床实践中,对骨质性病变精确诊断是治愈搏动性耳鸣的关键。搏动性耳鸣病变微小、位置多变,在临床实践中对医生的经验要求较高。且临床需求不断增加,医学影像数据每年急剧增长,也极大的增加了医生的工作负担。
近些年基于计算机视觉、深度学习的医学影像智能化分析成为研究热门,医学影像自动处理为临床诊断、手术规划、临床教学等任务提供了可靠的参考依据。在医学影像中自动判别目标区域是否发生异常或者病变,自动标注异常或者病变的发生区域,具有许多技术上的挑战。存在异常或者病变的图像数据数量较少,这对于深度学习方法的实现带来了极大的挑战。与单幅的2D自然图像不同,医学影像通常为一组连续的2D影像形成的3D 体数据,同一解剖结构在一系列连续的层中存在,在连续的单层2D影像中显示为一系列形态变化。当结构发生病变时,会表现出一定的形态改变,病变的表现形式在临床上进行了明确定义,但利用计算机自动捕捉由于病变位置导致的图像的变化具有一定困难。正常的颈静脉球窝图像之间,常常表现出各异的形态,在正常样本中具有较大的类内差距,而异常样本带来的特征变化并不十分明显,这对于图像的分类或者异常检测任务带来难度。搏动性耳鸣相关的血管旁骨壁缺失时,尤其是颈静脉球窝骨壁缺失时,其病变部位多变,影像学表现各异,周围结构毗邻复杂,成为影像诊断中的难点,这对骨壁缺失的自动异常检测带来挑战。
传统医学影像异常检测方法通常采用滑动窗遍历每个位置,对当前位置图像块进行分类,分类方法采用特征提取加分类器的策略。对于颈静脉球窝骨壁缺失异常检测,可能存在以下问题:(1)颞骨CT中颈静脉球窝目标尺寸小,骨壁缺失病变目标更加微小,目标检测困难,容易产生大量假阳性样本;(2)异常样本远远少于正常样本数量,类别极度不均衡,特征难提取,类别难区分。基于自编码器的异常检测由于网络泛化能力强,输入异常图像时,解码图像与输入图像十分接近,难以区分正常或异常。编解码网络通常用在无监督任务中,没有用到异常数据的指导作用。
发明内容
鉴于上述问题,本发明提供了一种用于颞骨影像中颈静脉球窝骨壁缺失异常检测方法,该方法包括:
在正常颈静脉球窝CT影像中,利用矩形框在颈静脉球窝骨壁处进行随机遮罩,遮罩矩形框像素灰度值取原颈静脉球窝图像像素灰度的中位数,生成伪异常图像;
将所述伪异常图像作为输入,将对应的正常颈静脉球窝图像作为标签,训练编解码网络1;
在存在骨壁缺失的异常颈静脉球窝图像中,利用矩形框框定骨壁缺失位置,将骨壁缺失位置以外的像素值置零,生成孤立异常样本图像;
将所述存在骨壁缺失的异常颈静脉球窝图像作为输入,将对应的孤立异常样本图像作为输出目标,训练编解码网络2;
分别利用训练收敛的编解码网络1和编解码网络2对输入颈静脉球窝影像进行预测,得到两幅预测图像;
基于两幅预测图像,利用该方法构造的异常评分计算公式,对预测图像与输入图像进行计算,分别得到由两个编解码网络生成的异常评分;
利用该方法构造的结果融合公式,将得到的两个异常评分进行融合,得到最终异常判别概率;
基于最终异常判别概率,输出判定为异常的颈静脉球窝图像骨壁缺失位置。
可选的,所述编解码网络可根据实际需求选择,不局限于某一结构的编解码网络,且两个编解码网络结构无需一定相同。
可选的,计算两个编解码网络生成的异常评分时,可根据待预测影像自身的特征如纹理、亮度,对公式的权重参数依实际预测需求进行调节。
可选的,计算最终异常判别概率时,可根据实际训练情况或预测需求,根据对两个编解码网络的置信程度不同,调节结果融合公式中的权重参数。
本申请提供的技术方案,提供了一种颞骨影像中颈静脉球窝骨壁缺失异常检测方法,用于计算机辅助搏动性耳鸣诊断。该方法生成与真实骨壁缺失图像相似的伪异常图像作为数据增强手段,利用伪异常图像和正常图像作为成对数据,利用异常图像和孤立异常图像作为成对数据,提供了一种新颖的训练方法。充分利用颈静脉球窝骨壁缺失的图像特征,使其在进行异常检测时能够提供更加充分、更具有区分性的异常特征。该方法构造了一种将预测图像与原图像进行比对计算的公式,用来计算异常分值,可根据实际预测需求和图像特征进行参数调节。本发明所提供的颈静脉球窝骨壁缺失异常检测方法与常规深度学习方法相比,网络结构可根据任务进行替换,对异常数据数量要求低,具有更高的推广性;本发明提供的数据增强策略和训练策略可推广到其他类似的图像异常检测任务中。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述技术方案和其目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
图1示出了本发明提供的用于颞骨影像中颈静脉球窝骨壁缺失异常检测方法的架构图;
图2示出了本发明提供的网络训练方法示意图;
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施实例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本方法充分利用少量稀有的异常数据挖掘异常根本特有的特征。在仅有的少量但明确的异常样本中,充分突出异常部位特征,减少在特征提取过程中对异常特征的湮没,让模型能够对异常部位具有较高的敏感度,从而使网络对于正常特征和异常特征能够进行更明确的区分。本方法对有标注的异常数据需求较小,且异常位置仅需要框出即可,不需要像素级标注。本发明提出了一种颈静脉球窝骨壁缺失异常检测方法,如图1所示,在该方法中分别利用正常颈静脉球窝图像生成伪异常图像标签,利用异常颈静脉球窝图像,即存在骨壁缺失的颈静脉球窝图像生成孤立异常标签,分别训练两个编解码网络。预测过程如图 2所示,利用训练好的网络对输入图像进行预测,通过异常评分模块并进行结果融合,将两个编解码网络生成的预测图计算为异常评分并进行融合,进行是否异常的判别与异常位置的输出。
以下结合说明书附图,对本发明的实施实例加以说明:
本发明采用颞骨CT颈静脉球窝图像数据集进行训练、验证和测试。其中训练集共59 例数据,668层颈静脉球窝图像。分别为正常颈静脉球窝34例,499层图像;异常颈静脉球窝,即存在骨壁缺失的颈静脉球窝25例,169层图像。验证集共10例数据,157层颈静脉球窝图像。分别为正常颈静脉球窝6例,132层图像;异常颈静脉球窝,即存在骨壁缺失的颈静脉球窝4例,25层图像。测试集共101例数据,1501层颈静脉球窝图像。分别为正常颈静脉球窝60例,1179层图像;异常颈静脉球窝,即存在骨壁缺失的颈静脉球窝41例,322层图像。
1)训练输入图像与标签图像生成:
第一步:生成正常判别模块的输入图像,即伪异常图像。在训练集的正常颈静脉球窝图像中,人工利用矩形框在任意的骨壁处,以任意的大小进行遮罩。矩形框像素值取原正常图像像素灰度值的中位数,伪异常图像用来生成任意位置、任意尺寸的模拟异常图像。正常颈静脉球窝图像与伪异常图像作为一对训练数据;
第二步:在训练集的异常颈静脉球窝,即存在骨壁缺失的颈静脉球窝图像中,人工利用矩形框框定骨壁缺失位置,保留骨壁缺失位置并将图像其他位置像素值置零,生成异常判别模块的孤立异常标签。异常颈静脉球窝图像与孤立异常标签作为一对训练数据。
2)模型训练:
第一步:利用1)中生成的伪异常图像作为网络输入,将其对应的正常颈静脉球窝图像作为对应的Ground Truth标签训练一个编解码网络,作为正常判别模块。本实验中直接选择U-Net网络作为该编解码网络,训练时采用MSE损失函数(均方损失函数)。该网络将作为正常判别模块。当正常图像输入正常判别模块后,输出图像将与输入图像相似。当异常图像输入正常判别模块后,输出图像与输入图像误差较大。
第二步:将训练集中的异常颈静脉球窝图像作为输入,利用1)中生成的对应的孤立异常图像作为Ground Truth标签训练另一个编解码网络,作为异常判别模块。本实验中,同样直接选择U-Net网络作为该编解码网络,训练时采用MSE损失函数。该网络作为异常判别模块。当正常图像输入异常判别模块后,输出图像将为黑色或接近黑色的图像,即输出图像像素值为0或接近0(小于等于5)。当输入图像为异常图像时,异常判别模块的输出图像将有某区域与输入图像的异常发生区域相似,即该区域内与输入图像相同区域的像素值相同或相近,而其他区域为黑色或接近黑色的图像,即输出图像像素值为0或接近 0(小于等于5)。这意味着异常区域被检测到。
3)异常评分模块:
当待检测图像输入至训练好的正常判别模块和异常判别模块后,将分别生成对应的预测图像。异常评分模块将对两幅生成的预测图像转化为该模块的异常评分,并对异常评分进行加权求和,输出最终的异常评分。通过设定好的可调节的异常评分阈值进行判定,若输出为异常,该模块还将输出异常发生区域。
正常判别模块和异常判别模块的输出预测图像将通过公式(1)计算为异常评分。
Score=α*scoreMSE+β*scoreSSIM+γ*scoreMask_Num#(1)
其中,scoreMSE为输入图像与预测图像之间的归一化MSE评分,scoreSSIM为输入图像与预测图像之间的归一化评分,scoreMask_Num为输入图像与预测图像之间的误差点数量评分,三个指标的取值范围都是0到1,取值越高则输入图像为异常图像的概率越大。α,β,γ为评分系数,可根据异常检测任务,根据待检图像异常发生对图像产生的影响不同,进行权重调节。
对于正常判别模块,若输入图像为正常颈静脉球窝图像,则正常判别模块输出的预测图像将接近输入图像,即输入图像与正常判别模块的输出预测图像之间的MSE距离较小,结构相似性SSIM较大,输入图像与输出预测图像之间像素值差较大的像素个数较少。若输入图像为异常颈静脉球窝图像,即存在骨壁缺失的颈静脉球窝图像,则输入图像与正常判别模块的输出预测图像之间的MSE距离较大,结构相似性SSIM较小,输入图像与输出预测图像之间像素值差较大的像素个数较多。由上所述,当MSE越大,则scoreMSE评分越高。图像最大MSE为255×255,根据网络对图像的预测程度,本实验在验证集上选择 5%为误差阈值,即当误差MSE值大于255×255×0.05时,scoreMSE为1,小于255×255×0.05 时,scoreMSE为实际MSE与255×255×0.05的比值,由此可知,scoreMSE取值范围为0到 1之间。具体计算方式如公式(2)所示,其中σ为上述误差阈值,本实验中选择σ=5%, MSE为预测图像的实际MSE取值。
误差阈值σ可根据不同实际任务选择合适的获取方式。本实施例中提供两种较优的选择方法。以scoreMSE的σ误差阈值为例,在小样本验证集上利用模型分别对输入的正常图像和异常图像进行预测,可以获得每幅输入图像对应生成的预测图像,并计算输入图像与对应输出图像之间的实际MSE值。分别取正常图像集和异常图像集的实际MSE均值代表正常图像集和异常图像集的MSE值,则σ误差阈值取两图像集MSE值的均值或直接取正常或异常图像集的MSE值。另外,如果数据集数量较小难以获得小样本验证集时可利用常规的误差阈值获取方法,即网络在测试时直接记录输入每幅图像与对应输出预测图像的 MSE值,并根据数据标签直接选择使检测准确度最高的MSE值作为误差阈值。对于下文 scoreSSIM和scoreMask_Num的误差阈值σ获取方式相同,将不再重复。在不同实际任务中,误差阈值σ的获取方式可在本实施例方法上进行适应性的数值调整。
同样的,scoreSSIM计算方法类似,SSIM取值范围为0到1,对应的若SSIM值越小,则scoreSSIM评分越高。根据网络对图像的预测程度,本实验在验证集上选择5%为误差阈值,即对于正常判别模块,当SSIM值小于0.95时,scoreSSIM为1,当SSIM评分大于0.95 时,scoreSSIM为SSIM值减0.95后与0.05的比值,由此可知,scoreSSIM取值范围为0到1 之间。同样的,scoreMask_Num计算方法类似,输入图像与预测图像之间的误差点数量越多, scoreMask_Num评分越高。用h表示图像的高,w表示图像的宽,则输入图像与预测图像误差点数量最大为图像的高乘宽,即h×w。根据网络对图像的预测程度,本实验在验证集上选择5%为误差阈值,即对于正常判别模块,当误差点数量大于h×w×5%时,scoreMask_Num为 1,当误差点数量小于h×w×5%时,scoreMask_Num为实际误差点数量与h×w×5%的比值,由此可知,scoreMask_Num取值范围为0到1之间。scoreMSE和scoreMask_Num计算方式与公式 (2)类似,根据上述文字描述本领域技术人员即可重复该实例,在此不再重复。
我们的异常评分方式同时考虑生成的预测图像与输入图像之间的均方误差MSE,结构相似性SSIM(Structural Similarity)和预测图像与输入图像之间差值大于某阈值的异常像素数量,是一种更加全面更具有广泛适用性的灵活的评分方式。其中系数α,β,γ用来根据实际异常检测任务不同,给予三个评分方式不同的权重,以适应不同类型的任务获得更好的性能。以本实施例为例,我们可以分别获取三个评分方式得到的异常检测准确率,按照三个评分方式的准确率比值作为系数α,β,γ的值,从而使模型检测准确率具有更高的置信度。最后,本实验根据实际任务需要,选择α,β,γ分别为0.3,0.1,0.6。
对于异常判别模块,若输入图像为正常颈静脉球窝图像,则异常判别模块输出的预测图像将为黑色或接近黑色的图像,即输出图像所有像素值等于0或接近0(小于等于5)。即输入图像与异常判别模块的输出预测图像之间的MSE距离较大,结构相似性SSIM较小,输入图像与输出预测图像之间像素值差较大的像素个数较多。若输入图像为异常颈静脉球窝图像,即存在骨壁缺失的颈静脉球窝图像,则异常判别模块输出的预测图像将存在某区域与输入图像十分相似,即该区域像素值与输入图像同区域像素值接近或相等,而其他区域为黑色或接近黑色,即像素值为0或接近0(小于等于5)。那么对应的,输入图像与异常判别模块的输出预测图像之间的MSE距离相较正常图像输入时较小,或者说在异常区域内MSE距离较小,结构相似性SSIM相较正常图像输入时较大,或者说在异常区域内SSIM较大,输入图像与输出预测图像之间像素值差较大的像素个数相较正常图像输入时较少,或者说在异常区域内较少。同样的,利用公式(1)-(2)的方法可以计算异常判别模块的异常评分,在此不再重复。
得到两个判别模块的评分后,可通过公式(3)计算最终的异常评分。
Score=ε×scoreNormal+(1-ε)×scoreAbsence#(3)
公式(3)为加权求和的形式,scoreNormal为正常判别模块评分,scoreAbsence为异常判别模块评分,ε为权重系数,可根据对两个模块的置信程度不同,调整权重系数。例如我们可以分别获得两个模块分别进行检测时的准确率,将两个模块的准确率比值作为权重系数ε的取值以获得更高的置信度。同时,由于实际任务中两个模块对于漏检率与错检率的偏重不同,可根据实际任务的需要在此基础上进行数值上的调整。本实验在验证集中取得权重系数ε为0.4。最终异常评分取值范围为0到1。
最后,可根据最终异常评分设置阈值,判定输入是否为异常。若判定输入为异常,将取异常判别模块的输出图像中,像素值大于一定阈值的像素位置,则为异常发生位置,可通过在原图中对应位置标黄的方式突出表示。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。
Claims (2)
1.一种用于颞骨影像中颈静脉球窝骨壁缺失异常检测方法,其特征在于该方法包括:
在正常颈静脉球窝CT影像中,利用矩形框在颈静脉球窝骨壁处进行随机遮罩,遮罩矩形框像素灰度值取原颈静脉球窝图像像素灰度的中位数,生成伪异常图像;
将所述伪异常图像作为输入,将对应的正常颈静脉球窝图像作为标签,训练编解码网络1作为正常判别模块;
在存在骨壁缺失的异常颈静脉球窝图像中,利用矩形框框定骨壁缺失位置,将骨壁缺失位置以外的像素值置零,生成孤立异常样本图像;
将所述存在骨壁缺失的异常颈静脉球窝图像作为输入,将对应的孤立异常样本图像作为输出目标,训练编解码网络2作为异常判别模块;
分别利用训练收敛的编解码网络1和编解码网络2对输入颈静脉球窝影像进行预测,得到两幅预测图像;
基于两幅预测图像,利用该方法构造的异常评分计算公式,对预测图像与输入图像进行计算,分别得到由两个编解码网络生成的异常评分;
利用该方法构造的结果融合公式,将得到的两个异常评分进行融合,得到最终异常判别概率;
基于最终异常判别概率,输出判定是否为异常,若判定为异常还将输出异常颈静脉球窝图像骨壁缺失位置;
当待检测图像输入至训练好的正常判别模块和异常判别模块后,将分别生成对应的预测图像;异常评分模块将对两幅生成的预测图像转化为该模块的异常评分,并对异常评分进行加权求和,输出最终的异常评分;通过设定好的可调节的异常评分阈值进行判定,若输出为异常,该模块还将输出异常发生区域;
正常判别模块和异常判别模块的输出预测图像将通过公式(1)计算为异常评分;
Score=α*scoreMSE+β*scoreSSIM+γ*scoreMask_Num#(1)
其中,scoreMSE为输入图像与预测图像之间的归一化MSE评分,scoreSSIM为输入图像与预测图像之间的归一化评分,scoreMask_Num为输入图像与预测图像之间的误差点数量评分,三个指标的取值范围都是0到1,取值越高则输入图像为异常图像的概率越大;α,β,γ为评分系数;
图像最大MSE为255×255,根据网络对图像的预测程度,在验证集上选择5%为误差阈值,即当误差MSE值大于255×255×0.05时,scoreMSE为1,小于255×255×0.05时,scoreMSE为实际MSE与255×255×0.05的比值,由此可知,scoreMSE取值范围为0到1之间;具体计算方式如公式(2)所示,其中σ为上述误差阈值,本实验中选择σ=5%,MSE为预测图像的实际MSE取值;
同样的,scoreSSIM计算方法类似,SSIM取值范围为0到1,对应的若SSIM值越小,则scoreSSIM评分越高;根据网络对图像的预测程度,在验证集上选择5%为误差阈值,即对于正常判别模块,当SSIM值小于0.95时,scoreSSIM为1,当SSIM评分大于0.95时,scoreSSIM为SSIM值减0.95后与0.05的比值,由此可知,scoreSSIM取值范围为0到1之间;用h表示图像的高,w表示图像的宽,则输入图像与预测图像误差点数量最大为图像的高乘宽,即h×w;在验证集上选择5%为误差阈值,即对于正常判别模块,当误差点数量大于h×w×5%时,scoreMask_Num为1,当误差点数量小于h×w×5%时,scoreMask_Num为实际误差点数量与h×w×5%的比值,由此可知,socreMask_Num取值范围为0到1之间;
利用公式(1)-(2)的方法计算异常判别模块的异常评分;
得到两个判别模块的评分后,通过公式(3)计算最终的异常评分;
Score=ε×scoreNormal+(1-ε)×scoreAbsence#(3)
公式(3)为加权求和的形式,scoreNormal为正常判别模块评分,scoreAbsence为异常判别模块评分,ε为权重系数,取得权重系数ε为0.4;
最后,根据最终异常评分设置阈值,判定输入是否为异常;若判定输入为异常,将取异常判别模块的输出图像中,像素值大于异常评分的像素位置,则为异常发生位置。
2.根据权利要求1所述的方法,其特征在于:
1)训练输入图像与标签图像生成:
第一步:生成正常判别模块的输入图像,即伪异常图像;在训练集的正常颈静脉球窝图像中,人工利用矩形框在任意的骨壁处,以任意的大小进行遮罩;矩形框像素值取原正常图像像素灰度值的中位数,伪异常图像用来生成任意位置、任意尺寸的模拟异常图像;正常颈静脉球窝图像与伪异常图像作为一对训练数据;
第二步:在训练集的异常颈静脉球窝,即存在骨壁缺失的颈静脉球窝图像中,人工利用矩形框框定骨壁缺失位置,保留骨壁缺失位置并将图像其他位置像素值置零,生成异常判别模块的孤立异常标签;异常颈静脉球窝图像与孤立异常标签作为一对训练数据;
2)模型训练:
第一步:利用1)中生成的伪异常图像作为网络输入,将其对应的正常颈静脉球窝图像作为对应的Ground Truth标签训练一个编解码网络,作为正常判别模块;本实验中直接选择U-Net网络作为该编解码网络,训练时采用MSE损失函数即均方损失函数;该网络将作为正常判别模块;
第二步:将训练集中的异常颈静脉球窝图像作为输入,利用1)中生成的对应的孤立异常图像作为Ground Truth标签训练另一个编解码网络,作为异常判别模块;直接选择U-Net网络作为该编解码网络,训练时采用MSE损失函数;该网络作为异常判别模块;当正常图像输入异常判别模块后,输出图像将为黑色或接近黑色的图像,即输出图像像素值小于等于5;当输入图像为异常图像时,异常判别模块的输出图像将有某区域与输入图像的异常发生区域相似,即该区域内与输入图像相同区域的像素值相同或相近,而其他区域为黑色或接近黑色的图像,即输出图像像素值小于等于5;这意味着异常区域被检测到;
3)异常评分模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110720615.1A CN113633304B (zh) | 2021-06-28 | 2021-06-28 | 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110720615.1A CN113633304B (zh) | 2021-06-28 | 2021-06-28 | 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113633304A CN113633304A (zh) | 2021-11-12 |
CN113633304B true CN113633304B (zh) | 2023-11-24 |
Family
ID=78416307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110720615.1A Active CN113633304B (zh) | 2021-06-28 | 2021-06-28 | 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113633304B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5796410A (en) * | 1990-06-12 | 1998-08-18 | Lucent Technologies Inc. | Generation and use of defective images in image analysis |
CN106778036A (zh) * | 2017-01-10 | 2017-05-31 | 首都医科大学附属北京友谊医院 | 一种数据处理的方法及装置 |
CN106780652A (zh) * | 2017-01-10 | 2017-05-31 | 首都医科大学附属北京友谊医院 | 医学数据处理方法及装置 |
CN109658464A (zh) * | 2018-11-09 | 2019-04-19 | 四川大学 | 基于加权核范数极小的稀疏角ct图像重建方法 |
CN111128349A (zh) * | 2019-11-14 | 2020-05-08 | 清华大学 | 基于gan的医学影像病灶检测标记数据增强方法及装置 |
US10691980B1 (en) * | 2019-04-18 | 2020-06-23 | Siemens Healthcare Gmbh | Multi-task learning for chest X-ray abnormality classification |
CN111861994A (zh) * | 2020-06-17 | 2020-10-30 | 西安电子科技大学 | 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 |
CN111882533A (zh) * | 2020-07-15 | 2020-11-03 | 山东省眼科研究所 | 决策模型诊断方法、装置及计算机可读存储介质 |
CN112419330A (zh) * | 2020-10-16 | 2021-02-26 | 北京工业大学 | 一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法 |
CN112734773A (zh) * | 2021-01-28 | 2021-04-30 | 依未科技(北京)有限公司 | 一种亚像素级眼底血管分割方法、装置、介质和设备 |
-
2021
- 2021-06-28 CN CN202110720615.1A patent/CN113633304B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5796410A (en) * | 1990-06-12 | 1998-08-18 | Lucent Technologies Inc. | Generation and use of defective images in image analysis |
CN106778036A (zh) * | 2017-01-10 | 2017-05-31 | 首都医科大学附属北京友谊医院 | 一种数据处理的方法及装置 |
CN106780652A (zh) * | 2017-01-10 | 2017-05-31 | 首都医科大学附属北京友谊医院 | 医学数据处理方法及装置 |
CN109658464A (zh) * | 2018-11-09 | 2019-04-19 | 四川大学 | 基于加权核范数极小的稀疏角ct图像重建方法 |
US10691980B1 (en) * | 2019-04-18 | 2020-06-23 | Siemens Healthcare Gmbh | Multi-task learning for chest X-ray abnormality classification |
CN111128349A (zh) * | 2019-11-14 | 2020-05-08 | 清华大学 | 基于gan的医学影像病灶检测标记数据增强方法及装置 |
CN111861994A (zh) * | 2020-06-17 | 2020-10-30 | 西安电子科技大学 | 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 |
CN111882533A (zh) * | 2020-07-15 | 2020-11-03 | 山东省眼科研究所 | 决策模型诊断方法、装置及计算机可读存储介质 |
CN112419330A (zh) * | 2020-10-16 | 2021-02-26 | 北京工业大学 | 一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法 |
CN112734773A (zh) * | 2021-01-28 | 2021-04-30 | 依未科技(北京)有限公司 | 一种亚像素级眼底血管分割方法、装置、介质和设备 |
Non-Patent Citations (1)
Title |
---|
Computer Vision in Precipitation Nowcasting: Applying Image Quality Assessment Metrics for Training Deep Neural Networks;Quang-Khai Tran;Atmosphere;1-20 * |
Also Published As
Publication number | Publication date |
---|---|
CN113633304A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113011485B (zh) | 多模态多病种长尾分布眼科疾病分类模型训练方法和装置 | |
CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN109493342B (zh) | 一种基于深度学习的皮肤病图片病变类型分类方法 | |
CN108416772A (zh) | 一种基于级联卷积神经网络的斜眼检测方法 | |
CN112488976B (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
CN111653356A (zh) | 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统 | |
KR20190105180A (ko) | 합성곱 신경망 기반의 병변 진단 장치 및 방법 | |
CN107330352A (zh) | 基于hog特征和机器学习的睡姿压力图像识别方法 | |
CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
CN114359629A (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
KR20190087681A (ko) | 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 | |
CN110991254A (zh) | 超声图像视频分类预测方法及系统 | |
CN111403026A (zh) | 一种面瘫等级评估方法 | |
CN111833321A (zh) | 一种调窗优化增强的颅内出血检测模型及其构建方法 | |
CN117788407A (zh) | 基于人工神经网络的青光眼图像特征提取的训练方法 | |
CN112102234B (zh) | 基于目标检测神经网络的耳硬化病灶检测及诊断系统 | |
CN113870270A (zh) | 一种统一框架下的眼底影像视杯、视盘分割方法 | |
CN113633304B (zh) | 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 | |
CN115830034B (zh) | 一种用于口腔健康管理的数据分析系统 | |
CN110598724B (zh) | 一种基于卷积神经网络的细胞低分辨率图像融合方法 | |
CN111292285A (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
CN113469942B (zh) | 一种ct图像病变检测方法 | |
CN111652840B (zh) | 一种x光胸透图像肺部浑浊筛查分类装置 | |
CN115581435A (zh) | 一种基于多传感器的睡眠监测方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |