CN113888663B - 重建模型训练方法、异常检测方法、装置、设备及介质 - Google Patents

重建模型训练方法、异常检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN113888663B
CN113888663B CN202111204693.2A CN202111204693A CN113888663B CN 113888663 B CN113888663 B CN 113888663B CN 202111204693 A CN202111204693 A CN 202111204693A CN 113888663 B CN113888663 B CN 113888663B
Authority
CN
China
Prior art keywords
image
pixel region
region
pixel
modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111204693.2A
Other languages
English (en)
Other versions
CN113888663A (zh
Inventor
于朋鑫
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202111204693.2A priority Critical patent/CN113888663B/zh
Publication of CN113888663A publication Critical patent/CN113888663A/zh
Application granted granted Critical
Publication of CN113888663B publication Critical patent/CN113888663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种重建模型训练方法、异常检测方法、装置、设备及介质。重建模型训练方法包括：获取至少一个正样本图像；对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域；获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。通过本发明实施例的技术方案，实现了提高医学图像中异常检测的准确性，从而降低医生漏诊异常疾病的可能性。

Description

重建模型训练方法、异常检测方法、装置、设备及介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种重建模型训练方法、异常检测方法、装置、设备及介质。
背景技术
大脑是人体的重要组成，许多脑部异常的发现与评估依赖于对MRI的诊断分析，比如血栓，动脉瘤等。除了专家诊断之外，计算机辅助诊断技术也在脑部异常诊断中逐步发挥更大的作用，这主要依赖于深度学习技术的发展。
深度学习技术通过对大量影像数据的学习，可以模仿人类专家的诊断过程，给出辅助诊断意见，还可以通过检测、分割等技术实现进一步的病灶计数，病灶量化等。
但是，目前基于MRI的深度学习辅助脑部异常检测的方法主要受到（1）异常样本数据量不足；（2）疾病模式多样导致类别不平衡的影响；（3）异常样本类别有限等原因导致准确率较低，鲁棒性较差。因此，如何提高异常检测方法的准确率以及对多种疾病异常的鲁棒性，成为亟需解决的问题。
发明内容
本发明提供一种重建模型训练方法、异常检测方法、装置、设备及介质，利用图像重建作为间接任务，来解决因异常疾病的数据样本难以收集导致的异常检测方法准确性和鲁棒性受限的问题，从而实现降低医生误诊或者漏诊异常疾病的可能性。
第一方面，本发明实施例提供了一种图像重建模型训练方法，该方法包括：
获取至少一个正样本图像；
对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
可选的，在获取至少一个正样本图像之后，还包括：
基于所述正样本图像中像素点的像素数据确定所述正样本图像的有效图像区域；
基于预设划分条件，确定所述有效图像区域中的至少一个像素区域。
可选的，在确定当前像素区域在第一模态下的第一相关像素区域之前，还包括：
对于任一正样本图像，获取所述正样本图像在第一模态下的第一模态图像，以及所述正样本图像在至少一个第二模态下的第二模态图像；
基于预设配准规则对所述第一模态图像以及各所述第二模态图像进行配准；
获取所述正样本图像中的预设位置线条，并基于所述预设位置线条对所述第一模态图像以及各所述第二模态图像中的各图像内容进行位置校正。
可选的，在确定当前像素区域在第一模态下的第一相关像素区域之前，还包括：
基于预设编码规则对各所述正样本图像中的各所述像素区域进行编码，得到各所述像素区域的编码标识；其中，所述编码标识包括所述像素区域在所述样本图像中第一坐标轴投影上的位置、所述像素区域在所述样本图像中第二坐标轴投影上的位置、所述像素区域在所述样本图像中第三坐标轴投影上的位置、所述像素区域与预设位置线条的位置关系、所述像素区域的所在模态。
可选的，所述第一相关像素区域包括第一像素相邻区域和第一像素对称区域；
相应的，所述获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合图像特征，包括：
将所述第二像素区域的区域图像数据分别输入到各所述第二模态对应的各第二编码器中进行特征提取，得到各所述第二编码器输出的各第二区域特征；
将所述第一像素相邻区域的区域图像数据、所述第一像素对称区域的区域图像数据，以及各所述第二区域特征输入至所述第一模态对应的第一编码器中，得到所述第一编码器输出的融合区域特征。
可选的，所述基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型，包括：
将各所述融合区域特征输入至所述第一模态对应的第一解码器中进行图像重建，得到所述第一解码器输出的第一重建图像；
将所述第二区域特征分别输入至各所述第二模态分别对应的各第二解码器中进行图像重建，得到各所述第二解码器输出的各第二重建图像；
将所述正样本图像在第一模态的第一模态图像作为第一重建图像的第一标签，以及将所述正样本图像在至少一个第二模态下的各第二模态图像分别作为各所述第二重建图像的各第二标签；
基于所述第一标签、所述第一重建图像、各所述第二标签以及各所述第二重建图像确定所述当前图像重建模型的损失函数，并基于所述损失函数对所述当前图像重建模型进行训练，得到训练后的目标图像重建模型。
第二方面，本发明实施例还提供了一种图像异常检测方法，该方法包括：
获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；
确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果。
可选的，在确定所述待检测图像的异常检测结果之后，还包括：
将所述待检测图像与所述重建图像的逐像素强度误差以预设形式进行显示，以提示所述待检测图像中的异常位置。
第三方面，本发明实施例还提供了一种图像重建模型训练装置，该装置包括：
正样本图像获取模块，用于获取至少一个正样本图像；
像素区域确定模块，用于对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
图像重建模型训练模块，用于获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
第四方面，本发明实施例还提供了一种图像异常检测装置，该装置包括：
像素区域确定模块，用于获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
重建图像确定模块，用于将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；
异常检测结果确定模块，用于确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果。
第五方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的图像重建模型训练方法或者图像异常检测方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的图像重建模型训练方法或者图像异常检测方法。
本发明实施例的技术方案具体通过获取至少一个正样本图像，以解决因为罕见疾病，数据难以收集，无法支持模型进行有效训练的问题；进一步的，对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域；最后获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各像素区域的融合区域特征以及各像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型；图像重建模型对正常区域具有优秀的重建性能，对异常区域具有较差的重建性能，根据重建图像与原始图像的对比实现了对异常图像和异常区域的自动化识别检测，从而实现降低医生误诊或者漏诊异常疾病的可能性。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1是本发明实施例提供的一种图像重建模型训练方法的流程示意图；
图2是本发明实施例提供的另一种图像重建模型训练方法的流程示意图；
图3是本发明实施例提供的一种图像异常检测方法的流程示意图；
图4是本发明实施例提供的另一种图像异常检测方法的流程示意图；
图5是本发明实施例提供的另一种图像异常检测方法的流程示意图；
图6是本发明实施例提供的一种图像重建模型训练装置的结构示意图；
图7是本发明实施例提供的一种图像异常检测装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种图像重建模型训练方法的流程图，本实施例可适用于对图像重建模型进行训练的情况，更具体的，本实施例适用于基于正样本数据对图像重建模型进行训练的情况。该方法可以由图像重建模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现。
在对本发明实施例的技术方案进行介绍之前，先对该技术方案的应用场景进行示例性的介绍，当然该技术方案不仅应用与下述应用场景，还可以应用于其他应用场景，本实施例对技术方案的应用场景不加以限定。具体的，应用场景包括：大脑是人体的重要组成，许多脑部异常的发现与评估依赖于对MRI的诊断分析，比如血栓，动脉瘤等。除了专家诊断之外，计算机辅助诊断技术也在脑部异常诊断中逐步发挥更大的作用，这主要依赖于深度学习技术的发展。深度学习技术通过对大量影像数据的学习，可以模仿人类专家的诊断过程，给出辅助诊断意见，还可以通过检测、分割等技术实现进一步的病灶计数，病灶量化等。但是，目前基于MRI的深度学习辅助脑部异常检测的准确率较低，所以如何提高异常检测的准确率，成为亟需解决的问题。
基于上述技术背景，本发明实施例的技术方案确定导致基于深度学习辅助脑部异常检测的准确率较低的原因可能包括以下问题：
第一点、对于某些罕见疾病，疾病数据难以收集，无法支持深度学习算法对异常图像重建模型进行有效训练，从而导致现有异常图像重建的准确性较低。
第二点、深度学习算法通常只对某一种疾病类型进行训练，当输入的影像中存在其它未学习过的疾病时，可能会不能识别，从而导致对疾病诊断结果产生误诊或漏诊。
第三点、MRI具有多种参数设置，用于观察不同区域不同类型的组织，但是目前的深度学习算法没用充分利用到这种多模态信息，导致对疾病诊断结果产生误诊或漏诊。
基于上述技术问题，本发明实施例的技术思路通过仅使用正常样本进行训练，使模型无需有疾病存在的异常样本，解决因数据难以收集导致的现有异常图像重建的准确性较低的问题以及导致对疾病诊断结果产生误诊或漏诊的问题；进一步的，还利用MRI的多模态信息进提取更全面丰富的信息，提高模型训练的准确性，从而解决对疾病诊断结果产生误诊或漏诊的问题。
基于上述技术思路，本发明实施例的技术方案具体通过获取至少一个正样本图像，以解决因为罕见疾病，数据难以收集，无法支持模型进行有效训练的问题；进一步的，对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域；最后获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各像素区域的融合区域特征以及各像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型；解决了对疾病诊断结果产生误诊或漏诊的问题，实现了提高模型重建的准确性，从而实现降低医生误诊或者漏诊异常疾病的可能性。
如图1所示，该技术方案的方法具体包括以下步骤：
S110、获取至少一个正样本图像。
现有技术一般在训练图像重建模型时，大多会选择带有标记的样本以及不带标记的样本同时作为训练集对模型进行训练，以提高模型训练的准确性。但是，本实施例中的图像重建模型是为了检测图像中可能存在的未知的疾病所导致的异常。由于某些罕见疾病的图像难以收集，并且深度学习算法通常只对某一种疾病类型的异常进行训练，当输入的影像中存在其它未学习过的疾病导致的异常图像时，模型可能会发生误识别或漏识别的情况，从而导致误诊或者漏诊。针对此，本实施例的技术方案中选取的用于图像重建模型训练的样本均为正样本。该正样本可以解释为没有疾病的样本图像集，作为模型训练的样本数据集。选用正样本图像作为样本数据集的好处在于：正样本图像在筹集过程中较为简单，不会因为数据集过少而导致无法训练或者训练效果不准确，并且用没有疾病的样本图像作为训练集使模型学习，得到训练完成的目标图像重建模型，当将有没有疾病的图像输入至该目标图像重建模型时，得到的重建图像为与输入图像相似度较高；当将有疾病的图像输入至该目标图像重建模型时，得到的重建图像为与输入图像相似度较低；因为该目标图像重建模型在训练过程中并没有对有疾病的模型进行学习，所以重建模型对于有疾病的图像识别准确度角度，从而导致重建相似度交低。因此，基于重建结果可以对原图像中是否为异常图像进行检测，并且只要原图像中存在任何异常图像均可以进行检测，并不单单局限于一种疾病所导致的异常，增加了目标图像重建模型应用的灵活性。
具体的，获取正样本图像的方法可以是基于各体检正常的用户在医学影像仪器的拍摄结果中进行随机选取得到，当然也可以从医学影像数据库中随机选取得到，本实施例对正样本图像的获取方式不加以限制。当然，本实施例中的正样本图像可以是脑部图像，也可以是其他部位的图像，例如胸部等部位的图像，本实施例对正样本图像对应的图像部位不加以限制。
S120、对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域。
在本发明实施例中，在获取各正样本图像之后，需要对各正样本图像进行预处理，以使处理后的样本图像可以作为模型训练的输入数据。具体的，以任一正样本图像为例介绍图像预处理的具体过程。可选的，具体过程包括：获取任一正样本图像中的像素点的像素数据，并基于所述正样本图像中的像素点的像素数据确定正该样本图像的有效图像区域。
可选的，以正样本图像为脑部图像为例进行介绍，正样本图像可以是基于医学影像设备对头部进行扫描得到的图像，该正样本图像中除去脑部区域图像以还有其他部位区域的图像；相应的，若正样本图像为头部扫描图像，则有效图像区域为脑部区域图像。可选的，若正样本图像为胸部扫描图像，则有效图像区域为肺部区域图像或者为心脏区域图像等。本实施例对样本图像的部位以及有效图像区域的部位不加以限定。
具体的，确定正样本图像的有效图像区域的方法可以是基于待选取的有效图像区域的像素数据与正样本图像中其他部位的像素数据的数据差确定有效图像区域。示例性的，基于阈值法对头部扫图像的脑部区域进行提取，去除脑外背景区域，最终仅保留脑部区域，并将脑部区域作为有效图像区域。
在获取正样本图像中的有效图像区域之后，该有效图像区域中可能包含有多个像素点，若继续对每一个像素点进行处理虽然提高的之后模型训练的准确性，但是会导致很大的计算量，从而对当前处理器的要求较高。所以本实施例的技术方案在获取正样本图像中的有效图像区域后，基于预设划分条件，确定所述有效图像区域中的至少一个像素区域，从而在保证正确性的基础上，减小了计算量，降低了对处理器的要求，从而使当前模型训练的方法应用更加灵活。
具体的，像素区域可以是由多个像素点组成的区域。划分条件可以是当前像素区域中包括有多少像素点的条件。该像素条件可以基于预先实验所得到的各数据中进行确定，本实施例对划分条件不加以限定。
示例性的，可以将有效图像区域划分为若干个64x64的像素区域，即一个像素区域中包含有64x64个像素点。
进一步的，为了进一步的提高模型训练的准确性，本实施例的技术方案利用MRI中的多模态信息提取丰富的图像信息，用于观察不同区域不同类型的图像信息，从而实现提高准确性。
具体的，本实施例以对任一正样本图像中的任一像素区域为例介绍获取图像中的多模态信息。可选的，获取过程包括：对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域。
其中，第一模态可以是当前像素区域所处的当前模态；第二模态可以是当前像素区域对应的其他模态，在本实施例中，第二模态的数量可以为一个也可以为多个，本实施例对此不加以限定。示例性的，以MRI图像为例对多模态进行介绍，例如，若当前模态为T1模态，则第一模态为T1模态，相应的，第二模态可以为T2模态，和/或，Flair模态。第一模态下的第一相关像素区域可以是当前模态下与当前像素区域存在相关关系的像素区域，例如第一相关像素区域包括第一像素相邻区域和第一像素对称区域。具体的，第一像素相邻区域可以是当前像素区域相邻的像素区域；第一像素对称区域可以是当前像素区域基于预设中线的对称像素区域。当然，本实施例中的第一相关像素区域还可以是其他与当前像素区域存在相关关系的像素区域，本实施例第一相关像素区域的区域数量与相关关系不加以限制。第二像素区域可以是当前像素区域在第二模态下的对应的像素区域。需要说明的是，本实施例中的第二像素区域的数量与第二模态的数量是对应的。
具体的，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域的方法可以是通过预先对磁共振设置不同的扫描参数得到不同模态下的图像，并对各模态下的图像进行选取得到第一相关像素区域以及各第二像素区域。
S130、获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各像素区域的融合区域特征以及各像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
在本发明实施例中，通过提取正样本图像在不同模态下的图像特征，得到正样本图像中更加丰富的特征信息，从而实现提高模型训练的准确性。
可选的，得到正样本图像中更加丰富的特征信息的方法可以通过获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征。可选的，获取融合区域特征的方法包括：将所述第二像素区域的区域图像数据分别输入到各所述第二模态对应的各第二编码器中进行特征提取，得到各所述第二编码器输出的各第二区域特征。
进一步的，将所述第一像素相邻区域的区域图像数据、所述第一像素对称区域的区域图像数据，以及各所述第二区域特征输入至所述第一模态对应的第一编码器中，得到所述第一编码器输出的融合区域特征。
其中，编码器可以用于提取像素区域的区域图像数据中的特征信息。本实施例中，第二编码器用于提取第二模态下的第二像素区域中的特征信息，第一编码器用于提取第一模态下的第一相关像素区域中的特征信息，以及将第一相关像素区域中的特征信息与各第二像素区域中的特征信息进行融合，得到融合区域特征信息。需要说明的是，第二编码器的数量与第二模态的数量是对应的，以便于可以分别提取各第二模态下的各第二像素区域中的特征信息。当然，上述设置多个编码器的有益效果在于可以同时提取不同模态下的特征信息，缩短特征信息提取的时间，从而提高模型训练的效率当然还可以仅通过一个编码器进行特征提取与特征融合，以实现减小计算量的效果，本实施例对编码器的数量可以根据实际情况进行具体的设置，本实施例的技术方案对此不加以限制。
具体的，分别将各第二模态对应的第二像素区域的区域图像数据输入至对应的各第二编码器中，得到各第二编码器输出的各第二区域特征。
具体的，将第一模态下对应的第一相关像素区域的区域图像数据输入至对应的第一编码器中。其中，第一相关像素区域包括第一像素相邻区域和第一像素对称区域。具体的，想第一像素相邻区域第一像素对称区域分别输入至第一编码器中，并且将各第二编码器输出的各第二区域特征输入至第一编码器中，最终得到第一编码器输出的第一相关像素区域和各第二像素区域的融合区域特征。
进一步的，基于上述得到当前像素区域的融合区域特征的方法确定各正样本图像中的各像素区域的融合区域特征，并将各融合区域特征作为当前图像重建模型的输入数据进行训练。
可选的，将各所述融合区域特征输入至所述第一模态对应的第一解码器中进行图像重建，得到所述第一解码器输出的第一重建图像；将所述第二区域特征分别输入至各所述第二模态分别对应的各第二解码器中进行图像重建，得到各所述第二解码器输出的各第二重建图像；将所述正样本图像在第一模态的第一模态图像作为第一重建图像的第一标签，以及将所述正样本图像在至少一个第二模态下的各第二模态图像分别作为各所述第二重建图像的各第二标签；基于所述第一标签、所述第一重建图像、各所述第二标签以及各所述第二重建图像确定所述当前图像重建模型的损失函数，并基于所述损失函数对所述当前图像重建模型进行训练，得到训练后的目标图像重建模型。
其中，解码器可以用于将输入的特征信息重建为图像。第一解码器为第一模态下的第一编码器对应的解码器，用于将第一模态下的各融合区域图像作为输入特征，得到正样本图像在当前模态下的重建图像。第二解码器为第二模态下的第二编码器对应的解码器，用于将第二模态下的各第二区域特征作为输入特征，得到正样本图像在其他模态下的重建图像。需要说明的是，为了缩短训练时间，本实施例中的编码器与解码器的数量是一一对应的，并且编码器和解码器的数量与模态的数量也是一一对应的。
具体的，在到所述第一标签、所述第一重建图像、各所述第二标签以及各所述第二重建图像之后，基于第一标签和第一重建图像生成第一损失函数，基于各第二标签和第二重建图像生成各第二损失函数。进一步的，基于第一损失函数和各第二损失函数生成当前图像重建模型的损失函数，并基于该损失函数对当前图像重建模型的模型参数进行调节后再次进行迭代训练，当直到满足迭代停止条件，得到训练后的目标图像重建模型。
本发明实施例的技术方案具体通过获取至少一个正样本图像，以解决因为罕见疾病，数据难以收集，无法支持模型进行有效训练的问题；进一步的，对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域；最后获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各像素区域的融合区域特征以及各像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型；解决了对疾病诊断结果产生误诊或漏诊的问题，实现了提高模型重建的准确性，从而实现降低医生误诊或者漏诊异常疾病的可能性。
图2为本发明实施例提供的另一种图像重建模型训练方法的流程图，本实施例在上述各实施例的基础上，在步骤“对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域”之前增加了步骤“基于预设编码规则对各正样本图像中的各像素区域进行编码，得到各像素区域的编码标识”其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本实施例提供的图像重建模型训练方法具体包括如下步骤：
S210、获取至少一个正样本图像。
在本发明实施例中，为了得到更加准确的模型训练信息，在对正样本图像中的像素数据进行处理之前，先对正样本图像在各模态下图像进行预处理。本实施例以对任一正样本图像进行预处理为例进行介绍。可选的，对于任一正样本图像，获取所述正样本图像在第一模态下的第一模态图像，以及所述正样本图像在至少一个第二模态下的第二模态图像；基于预设配准规则对所述第一模态图像以及各所述第二模态图像进行配准；获取所述正样本图像中的预设位置线条，并基于所述预设位置线条对所述第一模态图像以及各所述第二模态图像中的各图像内容进行位置校正。
具体的，基于样本图像中的像素点在各模态下的像素位置，对第一模态图像以及各所述第二模态图像进行配准，以使模态中的相同部位位于同一空间位置。
具体的，获取样本图像中预先设置的位置线条，该线条可以是位于样本图像中线的位置。进一步的，基于所述预设位置线条对所述第一模态图像以及各所述第二模态图像中的各图像内容进行位置校正，以使位置线条平行于图像边界的纵轴，位置位于图像边界横轴的中心。
S220、基于预设编码规则对各正样本图像中的各像素区域进行编码，得到各像素区域的编码标识。
在本发明实施例中，为了减小处理器的计算量，对样本图像中的各像素区域进行编码处理的到像素区域的编码标识，之后的处理过程中就可以对像素区域的编码标识进行调用和存储，最终基于像素区域的编码标识确定对应的像素数据。
可选的，基于预设编码规则对各所述正样本图像中的各所述像素区域进行编码，得到各所述像素区域的编码标识。
在本实施例中，所述编码标识包括所述像素区域在所述样本图像中第一坐标轴投影上的位置、所述像素区域在所述样本图像中第二坐标轴投影上的位置、所述像素区域在所述样本图像中第三坐标轴投影上的位置、所述像素区域与预设位置线条的位置关系、所述像素区域的所在模态。
具体的，因为样本图像的图像数据为三维数据。所以，像素区域在样本图像的第一坐标轴投影上的位置可以解释为像素区域在样本图像数据Z轴上的位置，即在像素区域在样本图像数据的三维数据中的第几维；像素区域在样本图像的第二坐标轴投影上的位置可以解释为像素区域在样本图像数据在Y轴上的位置，即像素区域在样本图像数据在纵轴上的相对空间位置；像素区域在样本图像的第三坐标轴投影上的位置可以解释为在像素区域在样本图像数据X轴上的位置，即像素区域在样本图像数据在横轴上的相对空间位置；像素区域与预设位置线条的位置关系可以解释为像素区域在预设位置线条的左侧还是右侧。
需要说明的是，本发明实施例对编码标识中各项标识的顺序不加以限制，只有能体现出各项标识即可。
S230、对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域。
S240、获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各像素区域的融合区域特征以及各像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
本发明实施例的技术方案具体通过对样本图像中的各像素区域进行编码处理的到像素区域的编码标识，之后的处理过程中就可以对像素区域的编码标识进行调用和存储，最终基于像素区域的编码标识确定对应的像素数据，实现了减小了获取模型训练数据的时间，提高了模型训练的效率。
图3为本发明实施例提供的一种图像异常检测方法的流程图，本实施例还适用于对图像中的异常情况进行检测的情况，具体的，本实施例还适用于基于待检测图像与重建图像的像素强度比对结果确定异常检测结果的情况。该方法可以由图像异常检测装置来执行，该装置可以由软件和/或硬件的方式来实现。如图3所示，该方法具体包括以下步骤：
S310、获取目标对象的待检测图像，并确定待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域。
在本发明实施例中，目标对象可以是通过医学影像仪器扫描过的对象，该目标对象可以是人、也可以是动物，本实施例对目标对象的对象类型不加以限制。目标对象的待检测图像可以只是一个部位的医学图像，也可以是包括多个部位的医学图像。本实施例中的正样本图像为三维医学图像；示例性的，医学图像可以是CT图像或者磁共振图像等三维医学图像。
S320、将第一相关像素区域以及各第二像素区域输入至预先训练的图像重建模型中，得到重建模型输出的重建图像。
在本发明实施例中，将待检测图像输入至预先训练的图像重建模型中，得到待检测图像的重建图像。其中，该图像重建模型基于本发明任意实施例提供的图像重建模型训练方法得到。
S330、确定待检测图像与重建图像的逐像素强度误差，并基于逐像素强度误差与预设强度误差阈值的数值比对结果，确定待检测图像的异常检测结果。
在本发明实施例中，确定待检测图像中与重建图像中像素点的逐像素强度误差的方法可以是分别计算待检测图像中与重建图像中对应位置的像素点的像素强度数据的像素差值，并将该点的像素强度差值确定该为该像素对应的像素强度误差；进一步的，基于待检测图像中与重建图像中各像素点的像素差值确定待检测图像与重建图像各像素点的逐像素强度误差；进一步的，将各逐像素强度误差与分别预设强度阈值进行数值比对。若数值比对结果中当前逐像素强度误差超过预设强度阈值，则说明待检测图像中当前像素点存在异常；若数值比对结果中当前逐像素强度误差不超过预设强度阈值，则说明待检测图像中当前像素点未存在异常。
本实施例的技术方案具体通过获取目标对象的待检测图像，获取目标对象的待检测图像，并确定待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域；将第一相关像素区域以及各第二像素区域输入至预先训练的图像重建模型中，得到重建模型输出的重建图像；确定待检测图像与重建图像的逐像素强度误差，并基于逐像素强度误差与预设强度误差阈值的数值比对结果，确定待检测图像的异常检测结果；实现了提高异常检测的准确性，从而实现降低医生误诊或者漏诊异常疾病的可能性。
图4为本发明实施例提供的另一种图像异常检测方法的流程图，本实施例在上述各实施例的基础上，在步骤“确定待检测图像的异常检测结果”之后增加了步骤“将第一平均像素强度和第二平均像素强度的强度差值以预设形式进行显示”其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图4，本实施例提供的图像重建模型训练方法包括：
S410、获取目标对象的待检测图像，并确定待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及当前像素区域在至少一个第二模态下的第二像素区域。
S420、将第一相关像素区域以及各第二像素区域输入至预先训练的图像重建模型中，得到重建模型输出的重建图像。
S430、确定待检测图像与重建图像的逐像素强度误差，并基于逐像素强度误差与预设强度误差阈值的数值比对结果，确定待检测图像的异常检测结果。
S440、将待检测图像与重建图像的逐像素强度误差以预设形式进行显示。
在本实施例中，在计算得到第一平均像素强度和第二平均像素强度的强度差值之后，可以将该强度差值以热力图的形式进行展示，以提示所述待检测图像中的异常位置。
需要说明的是，还可以以其他形式进行展示，本实施例对展示的方式不加以限制。
本实施例的技术方案具体通过获取目标对象的待检测图像，获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果；将待检测图像与所述重建图像的逐像素强度误差以预设形式进行显示，以提示所述待检测图像中的异常位置；实现了提高异常检测的准确性，从而实现降低医生误诊或者漏诊异常疾病的可能性。
在上述实施例的基础上，本发明实施例还提供了一个优选实施例。具体的，图5为本发明实施例提供的另一种图像异常检测方法的流程图，本实施例与上述各实施例相同或相应的术语的解释在此不再赘述。参见图5，本实施例提供的图像重建模型训练方法具体包括如下内容：
【1】首先需要对多模态 MRI 影像数据进行预处理，主要包括：
【1.1】对多模态MRI影像进行配准，使不同模态中的相同结构位于同一空间位置。
【1.2】然后提取脑部中线，并根据中线进行位置校正，使脑部中线平行于图像边界的纵轴，位置位于图像边界横轴的中心。
【1.3】基于阈值法进行脑部区域提取，最终仅保留脑部区域，去除脑外背景区域。
【1.4】将图像划分为若干个64x64的小块，并根据每个小块与中线的相对位置以及自身在空间中的位置进行编码，编码包含五个部分z,y,x,f,t)，含义为：
（1）z表示小块在三维 MRI 中的哪一层；
（2）y表示小块在纵轴上的相对空间位置，以脑部中线与图像下边界的交点作为原点，小块中点与原点在纵轴上的相对距离即为y(最大为1，即图像上边界)；
（3）x表示小块在横轴上的相对空间位置，以脑部中线与图像下边界的交点作为原点，小块中点与原点在横轴上的相对距离即为x；
（4）f表示小块所处区域，如果小块中点在中线左侧，则f为-1，否则为1；
（5）t表示小块属于哪一个模态，根据总模态的数量定义为one-hot向量。举例：假如一共有三个模态，且当前小块属于第一个模态，则t=[1,0,0]；如果属于第二个模态，则t=[0,1,0]。依次类推。
【1.5】对于图像中的任意一点，可以以其作为中心得到一个64x64的小块，并根据如上编码规则得到其对应编码。
【2】然后，使用正常样本(健康人的MRI数据)训练异常检测模型。将模态转换作为自监督任务，以具有三种模态的数据为例，对图像重建模型进行训练。
【2.1】如图5所示，在模型训练过程中，假设我们待转换的模态及图像区域编码为(z,y,x,f,[0,1,0])，则根据编码规则得到：
（1）与其在空间中位于相邻位置的图像区域(z-1,y,x,f,[0,1,0])和(z+1,y,x,f,[0,1,0])；
（2）与其在空间中位于对称位置的图像区域(z,y,x,-f,[0,1,0])；
（3）与其模态不同但位置相同的图像区域(z,y,x,f,[1,0,0])和(z,y,x,f,[0,0,1])。
【2.2】首先，对于不同模态的图像区域，其各自通过一个编码器-解码器结构进行模态内信息的提取。同时，将编码器中提取的特征信息输入到待重建模态图像对应的编码器中，用于信息融合。这是因为这些图像与待重建区域的模态不同，因此总体强度分布也不同，直接将其图像用于信息融合会导致偏差。
【2.3】对于具有相邻位置信息和对称位置信息的图像区域，其将共同输入编码器B中，进行信息提取，这是因为这些图像与待重建区域属于同一数据，具有相同的总体强度分布，有助于恢复待重建区域的原始信息。
【2.4】当来自编码器A和C提取的特征输入到编码器B中之后，在编码器B中，对来自相邻空间区域，对称空间区域和不同模态区域的多种特征进行融合增强，最后将其输入到对应的解码器B中，通过逐步解码，得到目标重建区域的重建结果(z,y,x,f,[0,1,0])’。在训练过程中，计算重建结果(z,y,x,f,[0,1,0])’与原始图像区域(z,y,x,f,[0,1,0])的重建损失，进行模型的参数优化；同时，对于其它模态的重建结果(z,y,x,f,[1,0,0])’和(z,y,x,f,[0,0,1])’，也与其各自对应的原始图像区域计算重建损失，以进行模型的整体优化，得到训练后的目标图像重建模型。
【3】当模型训练完成后，对任意新图像，执行以下过程判断其是否存在异常：
【3.1】对新图像执行【1】中所述的预处理及编码。
【3.2】使用滑动窗口法，将新图像中的每个区域作为待重建区域，并根据编码信息确定其相关区域。
【3.3】将相关区域输入网络模型中，得到重建图像区域，与原始图像区域计算逐像素强度误差。
【3.4】计算整个新图像的平均像素强度误差，如果大于阈值则表示该图像存在异常；同时，可以将逐像素强度误差以热力图的形式进行显示，提示专家可能存在异常的区域。
以下是本发明实施例提供的图像重建模型训练装置和图像异常检测装置的实施例，该装置与上述各实施例的图像重建模型训练方法和图像异常检测方法属于同一个发明构思，在图像重建模型训练装置和图像异常检测装置的实施例中未详尽描述的细节内容，可以参考上述图像重建模型训练方法和图像异常检测方法的实施例。
图6为本发明实施例提供的一种图像重建模型训练装置的结构示意图，本实施例可适用于对图像重建模型进行训练的情况，具体的，本实施例适用于基于正样本数据对图像重建模型进行训练的情况。参见图6，该图像重建模型训练装置的具体结构包括：正样本图像获取模块510、像素区域确定模块520和图像重建模型训练模块530；其中，
正样本图像获取模块510，用于获取至少一个正样本图像；
像素区域确定模块520，用于对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
图像重建模型训练模块530，用于获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
本发明实施例的技术方案具体通过获取至少一个正样本图像，以解决因为罕见疾病，数据难以收集，无法支持模型进行有效训练的问题；进一步的，对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；最后获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型；解决了对疾病诊断结果产生误诊或漏诊的问题，实现了提高模型重建的准确性，从而实现降低医生误诊或者漏诊异常疾病的可能性。
在上述实施例的基础上，该装置还包括：
有效图像区域确定模块，用于在获取至少一个正样本图像之后，基于所述正样本图像中像素点的像素数据确定所述正样本图像的有效图像区域；
像素区域确定模块，用于基于预设划分条件，确定所述有效图像区域中的至少一个像素区域。
在上述实施例的基础上，该装置还包括：
模态图像获取模块，用于在确定当前像素区域在第一模态下的第一相关像素区域之前，对于任一正样本图像，获取所述正样本图像在第一模态下的第一模态图像，以及所述正样本图像在至少一个第二模态下的第二模态图像；
图像配准模块，用于基于预设配准规则对所述第一模态图像以及各所述第二模态图像进行配准；
图像内容位置校正模块，用于获取所述正样本图像中的预设位置线条，并基于所述预设位置线条对所述第一模态图像以及各所述第二模态图像中的各图像内容进行位置校正。
在上述实施例的基础上，该装置还包括：
编码标识确定模块，用于在确定当前像素区域在第一模态下的第一相关像素区域之前，基于预设编码规则对各所述正样本图像中的各所述像素区域进行编码，得到各所述像素区域的编码标识；其中，所述编码标识包括所述像素区域在所述样本图像中第一坐标轴投影上的位置、所述像素区域在所述样本图像中第二坐标轴投影上的位置、所述像素区域在所述样本图像中第三坐标轴投影上的位置、所述像素区域与预设位置线条的位置关系、所述像素区域的所在模态。
在上述实施例的基础上，所述第一相关像素区域包括第一像素相邻区域和第一像素对称区域；
相应的，图像重建模型训练模块530，包括：
第二区域特征确定单元，用于将所述第二像素区域的区域图像数据分别输入到各所述第二模态对应的各第二编码器中进行特征提取，得到各所述第二编码器输出的各第二区域特征；
融合区域特征确定单元，用于将所述第一像素相邻区域的区域图像数据、所述第一像素对称区域的区域图像数据，以及各所述第二区域特征输入至所述第一模态对应的第一编码器中，得到所述第一编码器输出的融合区域特征。
在上述实施例的基础上，图像重建模型训练模块530，包括：
第一重建图像确定单元，用于将各所述融合区域特征输入至所述第一模态对应的第一解码器中进行图像重建，得到所述第一解码器输出的第一重建图像；
第二重建图像确定单元，用于将所述第二区域特征分别输入至各所述第二模态分别对应的各第二解码器中进行图像重建，得到各所述第二解码器输出的各第二重建图像；
标签确定单元，用于将所述正样本图像在第一模态的第一模态图像作为第一重建图像的第一标签，以及将所述正样本图像在至少一个第二模态下的各第二模态图像分别作为各所述第二重建图像的各第二标签；
重建模型训练单元，用于基于所述第一标签、所述第一重建图像、各所述第二标签以及各所述第二重建图像确定所述当前图像重建模型的损失函数，并基于所述损失函数对所述当前图像重建模型进行训练，得到训练后的目标图像重建模型。
本发明实施例所提供的图像重建模型训练装置可执行本发明任意实施例所提供的图像重建模型训练方法，具备执行方法相应的功能模块和有益效果。
图7为本发明实施例提供的一种图像异常检测装置的结构示意图，本实施例可适用于对图像中的异常情况进行检测的情况；具体的，本实施例适用于基于待检测图像与重建图像的像素强度比对结果确定异常检测结果的情况。参见图7，该图像异常检测装置的具体结构包括：像素区域确定模块610、重建图像确定模块620和异常检测结果确定模块630；其中，
像素区域确定模块610，用于获取目标对象的待检测图像；
重建图像确定模块620，用于将所述待检测图像输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；其中，所述图像重建模型基于上述任意实施例所述的图像重建模型训练方法进行训练得到；
异常检测结果确定模块630，用于分别确定所述待检测图像的第一平均像素强度误差，以及所述重建图像的第二平均像素强度误差，并基于所述第一平均像素强度和所述第二平均像素强度的强度差值与预设强度阈值的数值比对结果，确定所述待检测图像的异常检测结果。
本实施例的技术方案具体通过获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；进一步地，获取所述待检测图像中的各像素区域的第一相关像素区域和第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像，基于上述各实施例提供的训练方法所训练的模型，得到了更加准确的重建图像，从而可以提高图像异常检测的准确性；进一步地，分别确定所述待检测图像的第一平均像素强度误差，以及所述重建图像的第二平均像素强度误差，并基于所述第一平均像素强度和所述第二平均像素强度的强度差值与预设强度阈值的数值比对结果，确定所述待检测图像的异常检测结果；实现了提高异常检测的准确性，从而实现降低医生误诊或者漏诊异常疾病的可能性。
在上述实施例的基础上，该装置还包括：
强度差值显示单元，用于在确定所述待检测图像的异常检测结果之后，将所述第一平均像素强度和所述第二平均像素强度的强度差值以预设形式进行显示，以提示所述待检测图像中的异常位置。
本发明实施例所提供的图像异常检测装置可执行本发明任意实施例所提供的图像异常检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述图像重建模型训练装置和图像异常检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图8为本发明实施例提供的一种电子设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图8显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备12以通用计算电子设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图8未显示，通常称为“硬盘驱动器”）。尽管图8中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图8所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及样本数据获取，例如实现本发实施例所提供的一种图像重建模型训练方法和一种图像异常检测方法的步骤；可选的，图像重建模型训练方法包括：
获取至少一个正样本图像；
对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
可选的，图像异常检测方法包括：
获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；
确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的样本数据获取方法的技术方案。
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如实现本发实施例所提供的一种图像重建模型训练方法和一种图像异常检测方法的步骤；
可选的，图像重建模型训练方法包括：
获取至少一个正样本图像；
对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
获取任一正样本图像中的各像素区域的第一相关像素区域和第二像素区域的融合区域特征，并基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
可选的，图像异常检测方法包括：
获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；
确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种图像重建模型训练方法，其特征在于，包括：
获取至少一个正样本图像，其中，所述正样本图像为没有疾病的图像；
对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；其中，所述第一相关像素区域包括第一像素相邻区域和第一像素对称区域；
将所述第二像素区域的区域图像数据分别输入到各所述第二模态对应的各第二编码器中进行特征提取，得到各所述第二编码器输出的各第二区域特征；将所述第一像素相邻区域的区域图像数据、所述第一像素对称区域的区域图像数据，以及各所述第二区域特征输入至所述第一模态对应的第一编码器中，得到所述第一编码器输出的融合区域特征；基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
2.根据权利要求1所述的方法，其特征在于，在获取至少一个正样本图像之后，还包括：
基于所述正样本图像中像素点的像素数据确定所述正样本图像的有效图像区域；
基于预设划分条件，确定所述有效图像区域中的至少一个像素区域。
3.根据权利要求1所述的方法，其特征在于，在确定当前像素区域在第一模态下的第一相关像素区域之前，还包括：
对于任一正样本图像，获取所述正样本图像在第一模态下的第一模态图像，以及所述正样本图像在至少一个第二模态下的第二模态图像；
基于预设配准规则对所述第一模态图像以及各所述第二模态图像进行配准；
获取所述正样本图像中的预设位置线条，并基于所述预设位置线条对所述第一模态图像以及各所述第二模态图像中的各图像内容进行位置校正。
4.根据权利要求1所述的方法，其特征在于，在确定当前像素区域在第一模态下的第一相关像素区域之前，还包括：
基于预设编码规则对各所述正样本图像中的各所述像素区域进行编码，得到各所述像素区域的编码标识；其中，所述编码标识包括所述像素区域在所述样本图像中第一坐标轴投影上的位置、所述像素区域在所述样本图像中第二坐标轴投影上的位置、所述像素区域在所述样本图像中第三坐标轴投影上的位置、所述像素区域与预设位置线条的位置关系、所述像素区域的所在模态。
5.根据权利要求1所述的方法，其特征在于，所述基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型，包括：
将各所述融合区域特征输入至所述第一模态对应的第一解码器中进行图像重建，得到所述第一解码器输出的第一重建图像；
将所述第二区域特征分别输入至各所述第二模态分别对应的各第二解码器中进行图像重建，得到各所述第二解码器输出的各第二重建图像；
将所述正样本图像在第一模态的第一模态图像作为第一重建图像的第一标签，以及将所述正样本图像在至少一个第二模态下的各第二模态图像分别作为各所述第二重建图像的各第二标签；
基于所述第一标签、所述第一重建图像、各所述第二标签以及各所述第二重建图像确定所述当前图像重建模型的损失函数，并基于所述损失函数对所述当前图像重建模型进行训练，得到训练后的目标图像重建模型。
6.一种图像异常检测方法，其特征在于，包括：
获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；其中，所述图像重建模型基于上述权利要求1-5中任一所述的图像重建模型训练方法进行训练得到；
确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果。
7.根据权利要求6所述的方法，其特征在于，在确定所述待检测图像的异常检测结果之后，还包括：
将所述待检测图像与所述重建图像的逐像素强度误差以预设形式进行显示，以提示所述待检测图像中的异常位置。
8.一种图像重建模型训练装置，其特征在于，包括：
正样本图像获取模块，用于获取至少一个正样本图像，其中，所述正样本图像为没有疾病的图像；
像素区域确定模块，用于对于任一正样本图像中的任一像素区域，确定当前像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；其中，所述第一相关像素区域包括第一像素相邻区域和第一像素对称区域；
图像重建模型训练模块，用于将所述第二像素区域的区域图像数据分别输入到各所述第二模态对应的各第二编码器中进行特征提取，得到各所述第二编码器输出的各第二区域特征；将所述第一像素相邻区域的区域图像数据、所述第一像素对称区域的区域图像数据，以及各所述第二区域特征输入至所述第一模态对应的第一编码器中，得到所述第一编码器输出的融合区域特征；基于各所述像素区域的融合区域特征以及各所述像素区域在各个模态下的各模态区域图像，对当前图像重建模型进行迭代训练，直到满足迭代停止条件，得到训练后的目标图像重建模型。
9.一种图像异常检测装置，其特征在于，包括：
像素区域确定模块，用于获取目标对象的待检测图像，并确定所述待检测图像中的任一像素区域在第一模态下的第一相关像素区域，以及所述当前像素区域在至少一个第二模态下的第二像素区域；
重建图像确定模块，用于将所述第一相关像素区域以及各所述第二像素区域输入至预先训练的图像重建模型中，得到所述重建模型输出的重建图像；其中，所述图像重建模型基于上述权利要求1-5中任一所述的图像重建模型训练方法进行训练得到；
异常检测结果确定模块，用于确定所述待检测图像与所述重建图像的逐像素强度误差，并基于所述逐像素强度误差与预设强度误差阈值的数值比对结果，确定所述待检测图像的异常检测结果。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像重建模型训练方法或者如权利要求6-7中任一所述的图像异常检测方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像重建模型训练方法或者如权利要求6-7中任一所述的图像异常检测方法。
CN202111204693.2A 2021-10-15 2021-10-15 重建模型训练方法、异常检测方法、装置、设备及介质 Active CN113888663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111204693.2A CN113888663B (zh) 2021-10-15 2021-10-15 重建模型训练方法、异常检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111204693.2A CN113888663B (zh) 2021-10-15 2021-10-15 重建模型训练方法、异常检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113888663A CN113888663A (zh) 2022-01-04
CN113888663B true CN113888663B (zh) 2022-08-26

Family

ID=79002972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111204693.2A Active CN113888663B (zh) 2021-10-15 2021-10-15 重建模型训练方法、异常检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113888663B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861321B (zh) * 2023-02-28 2023-09-05 深圳市玄羽科技有限公司 应用于工业互联网的生产环境检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3547252A4 (en) * 2016-12-28 2019-12-04 Shanghai United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR PROCESSING MULTI-MODAL IMAGES
CN107137107B (zh) * 2017-05-09 2020-02-21 上海联影医疗科技有限公司 多模态医学图像获取方法及多模态医学图像成像系统
CN110619618B (zh) * 2018-06-04 2023-04-07 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110211079B (zh) * 2019-05-22 2021-07-13 首都医科大学 医学图像的融合方法及装置
SE1930421A1 (en) * 2019-12-30 2021-07-01 Unibap Ab Method and means for detection of imperfections in products
CN112085197B (zh) * 2020-09-11 2022-07-22 推想医疗科技股份有限公司 神经网络模型的训练方法及装置、存储介质和电子设备
CN112258564B (zh) * 2020-10-20 2022-02-08 推想医疗科技股份有限公司 生成融合特征集合的方法及装置
CN113052831B (zh) * 2021-04-14 2024-04-23 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Reconstruction Using Pre-Trained Autoencoder on Multimode Fiber Imaging System;Yuang Li;Zhenming Yu;Yudi Chen;Tiantian He;Jiaying Zhang;Ruining;《IEEE Photonics Technology Letters》;20201231;第32卷(第13期);第779-782页 *
多模态影像组学预测肿块型乳腺癌术前淋巴结转移的价值;王祥芝，张书海，徐敏，汤晓敏，汤晓敏，谢宗玉;《蚌埠医学院学报》;20210531;第46卷(第5期);第652-656页 *
多模态特征联合稀疏表示的视频目标跟踪;段喜萍等;《哈尔滨工程大学学报》;20151231(第12期);第75-79页 *

Also Published As

Publication number Publication date
CN113888663A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN109741312B (zh) 一种肺结节鉴别方法、装置、设备及介质
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN110363760B (zh) 用于识别医学图像的计算机系统
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN111091561B (zh) 感兴趣区的神经纤维提取方法、系统、设备及存储介质
CN110969623B (zh) 一种肺部ct多征象自动检测方法、系统、终端及存储介质
CN111986189A (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
CN110648318A (zh) 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
CN112037146A (zh) 医学图像伪影自动校正方法、装置和计算机设备
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN114241240A (zh) 脑部图像的分类方法、装置、电子设备及存储介质
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN113298831A (zh) 图像分割方法、装置、电子设备及存储介质
CN111738992B (zh) 肺部病灶区域提取方法、装置、电子设备和存储介质
CN113888663B (zh) 重建模型训练方法、异常检测方法、装置、设备及介质
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN118230038A (zh) 基于影像分析的眼眶淋巴增生病分类鉴别方法及系统
CN113554640A (zh) Ai模型的训练方法、使用方法、计算机设备及存储介质
CN116452592B (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN115089112B (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
CN113409273B (zh) 一种图像分析方法、装置、设备和介质
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant