发明内容
针对现有技术中存储的问题,本发明提供一种基于人工智能的医学图像质量快速提升系统,包括:
图像采集模块,用于控制超声采集探头按照预设的动态范围和信号增益对当前患者进行超声信号采集并进行图像重建得到超声图像,以及获取标准超声图像作为参考图像;
质量评估模块,连接所述图像采集模块,用于将所述超声图像作为待提升图像,将所述参考图像输入预先训练的特征提取模型中得到多个特征指标,随后从各所述特征指标中筛选出多个参考所述特征指标对所述待提升图像进行参考质量评估得到图像质量差异图;
质量提升模块,连接所述质量评估模块,用于根据所述图像质量差异图从所述待提升图像中截取多个待提升区,利用人工智能分析模型分析各所述待提升区的待提升指标,随后对于每个所述待提升区,基于各所述待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
优选的,所述质量评估模块包括:
第一存储单元,用于保存各所述特征指标对应的权重,以及多个评估等级对应的权重阈值;
特征提取单元,用于获取参考图像,随后将所述参考图像输入所述特征提取模型中得到多个所述特征指标;
质量评估单元,连接所述特征提取单元和所述第一存储单元,用于根据外部输入的评估等级筛选出权重超过对应的所述权重阈值的各所述特征指标作为参考特征指标,随后根据各所述参考特征指标对所述待提升图像进行参考质量评估生成对应的所述图像质量差异图。
优选的,所述质量评估单元包括:
全参考评估子单元,用于在所述参考特征指标的个数等于所述特征指标的个数时,根据各所述参考指标对所述待提升图像进行全参考质量评估得到所述图像质量差异图;
降参考评估子单元,用于在所述参考特征指标的个数小于所述特征指标的个数时,根据各所述参考指标对所述待提升图像进行降参考质量评估得到所述图像质量差异图。
优选的,所述图像质量差异图中包括多个差异区,所述质量提升模块包括:
第二存储单元,用于保存标准噪声、标准清晰度、标准失真度;
分析单元,连接所述第二存储单元,用于根据各所述差异区从所述待提升图像中的对应位置截取图像块作为所述待提升区,利用人工智能分析模型分析各所述待提升区的噪声、清晰度、失真度,随后对于每个所述待提升区,分别计算噪声与标准噪声之间的噪声差异值、清晰度与标准清晰度之间的清晰度差异值以及失真度与标准失真度之间的失真差异值,在所述噪声差异值大于预设的差异值阈值时将噪声作为所述待提升指标关联所述待提升区,在所述清晰度差异值大于所述差异值阈值时将清晰度作为所述待提升指标关联所述待提升区,在所述失真都差异值大于所述差异值阈值时将失真度作为所述待提升指标关联所述待提升区;
质量提升单元,连接所述分析单元,用于对于每个所述待提升区,基于各所述待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
优选的,所述质量提升单元包括:
滤波子单元,用于在所述待提升区关联有噪声的所述待提升指标时对所述待提升区进行图像滤波处理;
增强子单元,用于在所述待提升区关联有清晰度的所述待提升指标时对所述待提升区进行图像增强处理;
复原子单元,用于在所述待提升区关联有失真度的所述待提升指标时对所述待提升区进行图像复原处理。
优选的,所述质量评估模块还包括采集调整单元,用于根据所述待提升指标调整所述动态范围和所述信号增益,随后进行下一次超声信号采集。
本发明还提供一种基于人工智能的医学图像质量快速提升方法,,应用于上述的医学图像质量快速提升系统,所述医学图像质量快速提升方法包括:
步骤S1,所述医学图像质量快速提升系统获取参考图像以及控制超声采集探头对患者进行超声信号采集并生成超声图像作为待提升图像,将所述参考图像输入预先训练的特征提取模型中得到多个特征指标,随后从各所述特征指标中筛选出多个参考所述特征指标对所述待提升图像进行参考质量评估得到图像质量差异图;
步骤S2,所述医学图像质量快速提升系统根据所述图像质量差异图从所述待提升图像中截取多个待提升区,利用人工智能分析模型分析各所述待提升区的待提升指标,随后对于每个所述待提升区,基于各所述待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
优选的,所述医学图像质量快速提升系统中保存各所述特征指标对应的权重,以及多个评估等级对应的权重阈值,则所述步骤S1包括:
步骤S11,所述医学图像质量快速提升系统控制所述超声采集探头按照预设的动态范围和信号增益进行超声信号采集并进行图像重建得到所述超声图像作为所述待提升图像;
步骤S12,所述医学图像质量快速提升系统获取参考图像,随后将所述参考图像输入所述特征提取模型中得到多个所述特征指标;
步骤S13,所述医学图像质量快速提升系统根据外部输入的评估等级筛选出权重超过对应的所述权重阈值的各所述特征指标作为参考特征指标,随后根据各所述参考特征指标对所述待提升图像进行参考质量评估生成对应的所述图像质量差异图。
优选的,所述步骤S13包括:
步骤S131,所述医学图像质量快速提升系统在所述参考特征指标的个数等于所述特征指标的个数时,根据各所述参考指标对所述待提升图像进行全参考质量评估得到所述图像质量差异图;
步骤S132,所述医学图像质量快速提升系统在所述参考特征指标的个数小于所述特征指标的个数时,根据各所述参考指标对所述待提升图像进行降参考质量评估得到所述图像质量差异图。
优选的,所述图像质量差异图中包括多个差异区,医学图像质量快速提升系统保存标准噪声、标准清晰度、标准失真度,则所述步骤S2包括:
步骤S21,所述医学图像质量快速提升系统根据各所述差异区从所述待提升图像中的对应位置截取图像块作为所述待提升区,利用人工智能分析模型分析各所述待提升区的噪声、清晰度、失真度,随后对于每个所述待提升区,分别计算噪声与标准噪声之间的噪声差异值、清晰度与标准清晰度之间的清晰度差异值以及失真度与标准失真度之间的失真差异值,在所述噪声差异值大于预设的差异值阈值时将噪声作为所述待提升指标关联所述待提升区,在所述清晰度差异值大于所述差异值阈值时将清晰度作为所述待提升指标关联所述待提升区,在所述失真都差异值大于所述差异值阈值时将失真度作为所述待提升指标关联所述待提升区;
步骤S22,所述医学图像质量快速提升系统对于每个所述待提升区,基于各所述待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
上述技术方案具有如下优点或有益效果:
1)对待提升图像进行图像质量评估,截取出待提升图像和参考图像间的差异区,并针对各差异区进行需要提升的指标的针对分析,随后进行针对性调整,不会对其他质量达标的图像区域造成影响,而且仅需要调整图像中质量不达标的部分,可以节省大量时间;
2)对图像质量分析时,医师根据需要的图像质量要求进行动态调整质量评估标准,节省质量评估时间。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式,只要符合本发明的主旨,则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中,基于现有技术中存储的上述问题,现提供一种基于人工智能的医学图像质量快速提升系统,包括:
图像采集模块1,用于控制超声采集探头按照预设的动态范围和信号增益对当前患者进行超声信号采集并进行图像重建得到超声图像,以及获取标准超声图像作为参考图像;
质量评估模块2,连接图像采集模块1,用于将超声图像作为待提升图像,将参考图像输入预先训练的特征提取模型中得到多个特征指标,随后从各特征指标中筛选出多个参考特征指标对待提升图像进行参考质量评估得到图像质量差异图;
质量提升模块3,连接质量评估模块2,用于根据图像质量差异图从待提升图像中截取多个待提升区,利用人工智能分析模型分析各待提升区的待提升指标,随后对于每个待提升区,基于各待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
具体的,本实施例中,在对患者进行图像采集时,按照预设的动态范围和信号增益进行扫描,预设的值会根据以往的扫描成像经验选择适当的值;
动态范围是指超声波系统能够处理的最大信号强度与最小信号强度之比,通常用分贝(dB)表示。动态范围越大,表示系统能够区分更多不同强度的回声信号,从而显示更丰富的细节和对比度。按照预设的动态范围来调节超声采集探头可以避免过大或过小的动态范围导致的图像失真或模糊。
信号增益是指超声波系统对输入信号进行放大的倍数,也用分贝(dB)表示。信号增益越高,表示系统对输入信号的灵敏度越高,从而显示更亮的图像。按照预设的信号增益来调节超声采集探头可以避免过高或过低的信号增益导致的图像噪声或暗淡。
但是对于不同的患者个体,采集的图像会因人而异,导致图像中部分区域的成像效果和图像质量达不到我们希望的预期效果,所以需要对图像进行质量评估,对于超声图像的质量评估,我们选择对当前扫描部位成像效果较好的一副超声图像作为参考图像,也就是说,参考图像的图像质量是我们希望到达的图像质量,选择好参考图像之后,需要提取参考图像中的特征指标用于对待提升图像进行质量评估,此处的特征提取模型不做特定限定,可以采用现有技术中的特征提取模型,特征提取模型有很多,例如基于小波变换的特征提取模型:这种模型利用小波变换的多尺度分析和方向选择性,从超声图像中提取出不同频率和方向的特征,如能量、熵、方差等;基于卷积神经网络的特征提取模型:这种模型利用卷积神经网络的深度学习能力,从超声图像中自动学习和提取出高层次的抽象特征,如形状、纹理、语义等;基于分数布朗运动的特征提取模型:这种模型利用分数布朗运动的分形理论,从超声图像中提取出反映图像复杂度和粗糙度的分形特征,如分形维数、分形长度、分形谱等,只要能够实现从超声图像中提取出需要的特征指标即可,对模型的训练过程采用常规的训练方式即可,若想要达到更好的特征提取效果,则需要根据实际需求调整对模型的训练数据以及最终得到的特征要求,此处不再赘述。
超声图像的图像质量评估是一种对超声图像的清晰度、均匀性、结构、血流等特征进行量化或分类的方法,目的是为了提高超声诊断的准确性和效率。超声图像的图像质量评估可以分为主观评估和客观评估两种。客观评估是指使用数学模型或算法来对超声图像进行评价,通常采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似度(Structural Similarity Index,SSIM)、无参考质量指标(No Reference Quality Index,NRQI)等方式。客观评估的优点是快速方便,易于实现标准化和自动化。
本发明的较佳的实施例中,质量评估模块2包括:
第一存储单元21,用于保存各特征指标对应的权重,以及多个评估等级对应的权重阈值;
特征提取单元22,用于获取参考图像,随后将参考图像输入特征提取模型中得到多个特征指标;
质量评估单元23,连接特征提取单元22和第一存储单元21,用于根据外部输入的评估等级筛选出权重超过对应的权重阈值的各特征指标作为参考特征指标,随后根据各参考特征指标对待提升图像进行参考质量评估生成对应的图像质量差异图。
具体的,本实施例中,根据外部输入的评估等级筛选出权重超过对应的权重阈值的各特征指标作为参考特征指标,外部输入的评估等级一种可选的方式可以分为宽松、中等、严格,对应的,宽松等级表示对图像的质量要求不高,只需对超声图像中较为重要的部分进行质量提升,中等等级表示表示对图像的质量要求一般,需对超声图像中较为重要的部分以及一些次要的部分进行质量提升,严格等级则表示对图像的质量要求很高,需对超声图像中绝大部分进行质量提升;因为各个特征指标在之前已经根据重要程度分配了权重,所以在此处,评估等级提升时对应的权要阈值也就下降,评估等级降低时对应的权要阈值也就增加(要求越高,需要提升的特征指标就越多,降低阈值,则超过阈值的特征指标就增加),筛选出权重超过对应的权重阈值的各特征指标作为参考特征指标。
本发明的较佳的实施例中,质量评估单元23包括:
全参考评估子单元231,用于在参考特征指标的个数等于特征指标的个数时,根据各参考指标对待提升图像进行全参考质量评估得到图像质量差异图;
降参考评估子单元232,用于在参考特征指标的个数小于特征指标的个数时,根据各参考指标对待提升图像进行降参考质量评估得到图像质量差异图。
具体的,本实施例中,上述的客观评估又可根据源图像参考信息比例分为:全参考(Full Reference Image Quality Assessment,FR-IQA)、降参考(Reduced ReferenceImage Quality Assessment,RR-IQA)和无参考(No Reference Image QualityAssessment,NR-IQA)。本实施例中采用全参考或降参考的方式;
全参考评估只能在拥有无失真的原始图像存在的情况下进行,难度相对较低。其核心思想是对两幅图像的信息量或特征相似度进行比较,由于信息充足,所以研究较为充分各种评价指标也比较成熟。
半参考评估只有原始图像的部分信息或从参考图像中提取的部分特征,此类方法介于FR-IQA和NR-IQA之间。半参考评估需要在保证信息量最小的同时,提取最能反映图像质量的特征。
一般来说,超声图像的主要特征包括:
亮度:亮度是指图像中每个像素点的灰度值,反映了超声波回声信号的强度。亮度可以用来衡量超声图像中组织或结构的反差和清晰度。
对比度:对比度是指图像中不同区域或不同对象之间亮度差异的程度,反映了超声波回声信号在不同介质间的衰减和反射。对比度可以用来衡量超声图像中组织或结构的可辨识度和细节程度。
结构:结构是指图像中各个区域或对象之间的空间关系和形态特征,反映了超声波回声信号在不同介质间的传播和散射。结构可以用来衡量超声图像中组织或结构的形状和位置。
血流:血流是指图像中显示出来的动态血液流动情况,反映了超声多普勒效应产生的频移信号。血流可以用来衡量超声图像中血管或心脏的功能和状态。
在我们本次实施例中,根据医师的医学经验判断图像的各特征指标对该部位的图像质量的影响的程度,以此标准给图像的各个特征进行相应的权重;
在对待提升图像进行质量评估时,会选择评估等级,评估等级表示的是质量评估的严格程度,例如,医师需要对图像质量要求很高,那么他会将评估等级设置很高,那么权重阈值就会很低,以此增加需要判断的特征指标的数量,保证能查找出尽可能多的待提升图像和参考图像之间的差异,在权重阈值为0时,则对应的为全参考评估;
全参考评估和降参考评估时生成的都是图像质量差异图,以图形的形式可以快速反应出待提升图像和参考图像之间的差异部分,并将这些差异的部分提取出来作为差异区。
本发明的较佳的实施例中,图像质量差异图中包括多个差异区,质量提升模块3包括:
第二存储单元31,用于保存标准噪声、标准清晰度、标准失真度;
分析单元32,连接第二存储单元31,用于根据各差异区从待提升图像中的对应位置截取图像块作为待提升区,利用人工智能分析模型分析各待提升区的噪声、清晰度、失真度,随后对于每个待提升区,分别计算噪声与标准噪声之间的噪声差异值、清晰度与标准清晰度之间的清晰度差异值以及失真度与标准失真度之间的失真差异值,在噪声差异值大于预设的差异值阈值时将噪声作为待提升指标关联待提升区,在清晰度差异值大于差异值阈值时将清晰度作为待提升指标关联待提升区,在失真都差异值大于差异值阈值时将失真度作为待提升指标关联待提升区;
质量提升单元33,连接分析单元,用于对于每个待提升区,基于各待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
具体的,本实施例中,对于图像质量提升,是基于图像的各差异区的待提升指标进行针对性提升的;
所以在此之前,需要通过人工智能模型分析各个差异区和参考图像对应位置之间的差异,在本实施例中主要以噪声、清晰度、失真度作为主要分析的分析指标;具体的,在实际应用中可以根据实际需求调整人工智能模型的分析指标,人工智能模型分析出各个差异区是哪些方面不达标并将该指标作为待提升指标与该差异区关联,随后进行针对性调整;
利用人工智能分析模型分析各待提升区的噪声、清晰度、失真度的一些可能的方式有以下几种:
基于图像质量评估的方式:这种方式利用图像质量评估(Image QualityAssessment,IQA)的方法,从超声图像中提取出反映图像质量的特征,如峰值信噪比(PeakSignal to Noise Ratio,PSNR)、结构相似度(Structural SIMilarity Index,SSIM)、拉普拉斯梯度和(Laplacian Gradient Sum,LGS)等,然后根据这些特征计算出噪声、清晰度、失真度等指标的数值。这种方式的优点是可以利用已有的IQA算法和数据集,实现相对简单和快速。缺点是可能不能充分考虑超声图像的特殊性和多样性,以及人类视觉系统(HumanVisual System,HVS)的感知特征。
基于深度学习的方式:这种方式利用深度学习(Deep Learning,DL)的技术,从超声图像中自动学习和提取出高层次的抽象特征,如形状、纹理、语义等,然后根据这些特征构建一个人工智能分析模型,用于预测噪声、清晰度、失真度等指标的数值。这种方式的优点是可以适应不同类型和场景的超声图像,提高分析的准确性和鲁棒性。缺点是需要大量的标注数据和计算资源,以及复杂的模型设计和优化。
基于对抗网络的方式:这种方式利用对抗网络(Generative AdversarialNetwork,GAN)的技术,从超声图像中生成优化后的二维灰度图像作为高质量超声图像,然后根据生成图像和原始图像之间的差异计算出噪声、清晰度、失真度等指标的数值。这种方式的优点是可以生成具有高质量和真实感的超声图像,提高分析的可信度和可视化效果。缺点是需要设计合适的损失函数和评价指标,以及平衡生成器和判别器之间的对抗关系;
除了上述方式,现有技术中还有其他分析超声图像的噪声、清晰度、失真度的较为成熟的人工智能分析模型,从中选取任意一种能够实现分析各待提升区的噪声、清晰度、失真度的模型即可,不做具体的限定。
本发明的较佳的实施例中,质量提升单元33包括:
滤波子单元331,用于在待提升区关联有噪声的待提升指标时对待提升区进行图像滤波处理;
增强子单元332,用于在待提升区关联有清晰度的待提升指标时对待提升区进行图像增强处理;
复原子单元333,用于在待提升区关联有失真度的待提升指标时对待提升区进行图像复原处理。
具体的,本实施例中,针对上述的指标,对超声图像进行质量提升的方法主要可以从滤波、增强、复原三个方面进行:
滤波:滤波是指对超声图像进行一些数学变换或运算,以消除或减少图像中的噪声和伪影,提高图像的信噪比和分辨率。滤波的方法有很多,如线性滤波、非线性滤波、自适应滤波、频域滤波等。其中,线性滤波是指对图像中每个像素点的灰度值进行加权平均或卷积运算,如均值滤波、高斯滤波、维纳滤波等;非线性滤波是指对图像中每个像素点的灰度值进行非线性变换或运算,如中值滤波、双边滤波、各向异性扩散等;自适应滤波是指根据图像的局部特征或统计信息来调节滤波器的参数或系数,如自适应中值滤波、自适应维纳滤波等;频域滤波是指将图像通过傅里叶变换或其他变换转换到频域,然后根据频率特征来设计合适的滤波器,如低通滤波器、高通滤波器、带通滤波器等。
增强:增强是指对超声图像进行一些处理,以强调或突出图像中的某些感兴趣的特征或信息,提高图像的对比度和可辨识度。增强的方法也有很多,如直方图均衡、同态滤波、视网膜增强、金字塔融合等。其中,直方图均衡是指通过调整图像的灰度分布,使其更加均匀和平衡,从而增加图像的动态范围和亮度;同态滤波是指通过分离图像的反射分量和照明分量,并分别对其进行处理,从而同时增加图像的亮度和细节;视网膜增强是指通过模拟人类视网膜的处理机制,对图像进行自适应增强和色彩恢复;金字塔融合是指通过将不同尺度或不同模态的图像分解为多层金字塔结构,并按照一定的规则将各层金字塔重新组合成一个新的图像。
复原:复原是指对超声图像进行一些逆向操作或推断,以恢复或重建图像中的原始或理想的状态,提高图像的真实性和准确性。复原的方法主要分为两类:基于模型的方法和基于学习的方法。其中,基于模型的方法是指根据超声图像成像的物理过程或数学模型,建立图像退化和复原的关系式,然后通过优化算法求解复原后的图像,如去卷积复原、线性代数复原、图像盲反卷积等;基于学习的方法是指利用大量的有标签或无标签的图像数据,通过机器学习或深度学习的技术,学习图像退化和复原的映射函数或网络模型,然后通过推理或预测得到复原后的图像,如字典学习、稀疏编码、卷积神经网络等。
本发明的较佳的实施例中,质量评估模块2还包括采集调整单元24,用于根据待提升指标调整动态范围和信号增益,随后进行下一次超声信号采集。
本发明还提供一种基于人工智能的医学图像质量快速提升方法,应用于上述的医学图像质量快速提升系统,如图2所示,医学图像质量快速提升方法包括:
步骤S1,医学图像质量快速提升系统获取参考图像以及控制超声采集探头对患者进行超声信号采集并生成超声图像作为待提升图像,将参考图像输入预先训练的特征提取模型中得到多个特征指标,随后从各特征指标中筛选出多个参考特征指标对待提升图像进行参考质量评估得到图像质量差异图;
步骤S2,医学图像质量快速提升系统根据图像质量差异图从待提升图像中截取多个待提升区,利用人工智能分析模型分析各待提升区的待提升指标,随后对于每个待提升区,基于各待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
本发明的较佳的实施例中,医学图像质量快速提升系统中保存各特征指标对应的权重,以及多个评估等级对应的权重阈值,则如图3所示,步骤S1包括:
步骤S11,医学图像质量快速提升系统控制超声采集探头按照预设的动态范围和信号增益进行超声信号采集并进行图像重建得到超声图像作为待提升图像;
步骤S12,医学图像质量快速提升系统获取参考图像,随后将参考图像输入特征提取模型中得到多个特征指标;
步骤S13,医学图像质量快速提升系统根据外部输入的评估等级筛选出权重超过对应的权重阈值的各特征指标作为参考特征指标,随后根据各参考特征指标对待提升图像进行参考质量评估生成对应的图像质量差异图。
本发明的较佳的实施例中,如图4所示,步骤S13包括:
步骤S131,医学图像质量快速提升系统在参考特征指标的个数等于特征指标的个数时,根据各参考指标对待提升图像进行全参考质量评估得到图像质量差异图;
步骤S132,医学图像质量快速提升系统在参考特征指标的个数小于特征指标的个数时,根据各参考指标对待提升图像进行降参考质量评估得到图像质量差异图。
本发明的较佳的实施例中,图像质量差异图中包括多个差异区,医学图像质量快速提升系统保存标准噪声、标准清晰度、标准失真度,则如图5所示,步骤S2包括:
步骤S21,医学图像质量快速提升系统根据各差异区从待提升图像中的对应位置截取图像块作为待提升区,利用人工智能分析模型分析各待提升区的噪声、清晰度、失真度,随后对于每个待提升区,分别计算噪声与标准噪声之间的噪声差异值、清晰度与标准清晰度之间的清晰度差异值以及失真度与标准失真度之间的失真差异值,在噪声差异值大于预设的差异值阈值时将噪声作为待提升指标关联待提升区,在清晰度差异值大于差异值阈值时将清晰度作为待提升指标关联待提升区,在失真都差异值大于差异值阈值时将失真度作为待提升指标关联待提升区;
步骤S22,医学图像质量快速提升系统对于每个待提升区,基于各待提升指标进行图像质量提升,在所有图像质量提升完成后得到已提升图像。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。