CN112419303B - 神经网络训练方法、系统、可读存储介质和设备 - Google Patents

神经网络训练方法、系统、可读存储介质和设备 Download PDF

Info

Publication number
CN112419303B
CN112419303B CN202011428204.7A CN202011428204A CN112419303B CN 112419303 B CN112419303 B CN 112419303B CN 202011428204 A CN202011428204 A CN 202011428204A CN 112419303 B CN112419303 B CN 112419303B
Authority
CN
China
Prior art keywords
reconstructed image
neural network
training
image
imaging agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011428204.7A
Other languages
English (en)
Other versions
CN112419303A (zh
Inventor
吕杨
奚臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202011428204.7A priority Critical patent/CN112419303B/zh
Publication of CN112419303A publication Critical patent/CN112419303A/zh
Priority to US17/643,409 priority patent/US20220108459A1/en
Application granted granted Critical
Publication of CN112419303B publication Critical patent/CN112419303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种神经网络训练方法、系统、可读存储介质和设备,属于医疗影像技术领域,获取医学扫描的多类训练数据样本,一类训练数据样本针对一种显像剂,每类训练数据包括性能参数水平不同的两种重建图像,以第一显像剂和第二显像剂为例,根据第一显像剂的训练数据样本和第二显像剂的训练数据样本对初始化神经网络模型进行训练,利用训练过程中神经网络输出的预测输出图像和第二显像剂的重建图像的差异调整初始化神经网络模型的训练参数,获取目标神经网络。通过本申请提供的神经网络训练方法得到的目标神经网络,可以对利用第二显像剂进行PET扫描成像的数据进行有效的图像重建。

Description

神经网络训练方法、系统、可读存储介质和设备
技术领域
本申请涉及医疗影像技术领域,特别是涉及一种神经网络训练方法、系统、可读存储介质和设备。
背景技术
PET(Positron Emission Tomography,正电子发射计算机断层扫描)是医学领域中较为先进的临床检查影像技术,目前已被广泛应用于医学领域的诊断和研究。
在通过PET系统对生物体进行扫描前,先给生物体注射含有放射性核素的显像剂,显像剂在生物体内会发生衰变并产生正电子,接着衰变后产生的正电子在行进十分之几毫米到几毫米后,与生物体内的电子相遇,发生正负电子对湮灭反应,从而生成一对方向相反、能量相同的光子,这一对光子穿过生物体组织,被PET系统的探测器接收,并经计算机进行散射和随机信息的校正,以通过相应的图像重建算法生成能够反映显像剂在生物体内分布的图像。
PET检查的原理是借助于PET显像剂可以聚集到病变部位的特点来发现病灶,它可以从分子水平动态无创定量地观察药物及其代谢产物在人体内的生理、生化变化。PET显像剂有多种不同的类型,不同显像剂成像机理不同,成像效果也大相径庭,通常用一种显像剂的图像进行训练的神经网络不能直接用于其他显像剂。由于在PET成像中一般采用糖代谢显像剂(2-18F-FDG),其他显像剂较为少用,其他显像剂的相应数据获取难度高,如部分显像剂难以获得优质图像(以Yttrium-90为例,它在衰变时可用于PET成像的分支比仅为百万分之三),部分显像剂只有少数机构有能力制备,数据收集困难,因而相应的神经网络也难以获取。目前业界对此尚未提出有效的解决方案。
发明内容
基于此,有必要针对传统的部分显像剂难以应用在神经网络中的问题,提供一种神经网络训练方法、系统、可读存储介质和设备。
第一方面,本申请提供了一种神经网络训练方法,包括以下步骤:
获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
获取初始化神经网络模型,将第一重建图像和第三重建图像作为输入训练样本,将第二重建图像和第四重建图像作为输出目标样本,对初始化神经网络模型进行训练;
在训练过程中,获取初始化神经网络模型在输入第三重建图像时的第一预测输出图像,根据第一预测输出图像和第四重建图像获取第一预测偏差值;
根据第一预测偏差值调整初始化神经网络模型的训练参数,获取目标神经网络。
在其中一个实施例中,获取医学扫描的多类训练数据样本包括以下步骤:
获取针对第一显像剂的N套分别包含预设计数量的第一扫描测量数据,在每一套第一扫描测量数据中,根据第一扫描测量数据获取第二重建图像;对第一扫描测量数据进行降采样,获取第二扫描测量数据,根据第二扫描测量数据获取第一重建图像;
获取针对第二显像剂的M套分别包含预设计数量的第三扫描测量数据,在每一套第三扫描测量数据中,根据第三扫描测量数据获取第四重建图像;对第三扫描测量数据进行降采样,获取第四扫描测量数据,根据第四扫描测量数据获取第三重建图像;
其中,N和M均为正整数,且N大于M。
在其中一个实施例中,根据第一预测输出图像和第四重建图像获取第一预测偏差值包括以下步骤:
获取第一预测输出图像和第四重建图像的图像像素差;
获取另一类训练数据样本中每一套训练数据样本的权重,其中,另一类训练数据样本包括多套训练数据样本;
根据图像像素差和对应的训练数据样本的权重获取第一预测偏差值。
在其中一个实施例中,根据第一预测偏差值调整初始化神经网络模型的训练参数包括以下步骤:
对初始化神经网络模型进行迭代训练,根据迭代过程中第一预测偏差值的变化确定调节因子,根据调节因子对各类训练数据样本中每一套训练数据样本的权重进行调整。
在其中一个实施例中,神经网络训练方法还包括以下步骤:
在训练过程中,获取初始化神经网络模型在输入第一重建图像时的第二预测输出图像,根据第二预测输出图像和第二重建图像获取第二预测偏差值;
获取各类训练数据样本中每一套训练数据样本的权重,根据第二预测偏差值、第一预测偏差值和对应的训练数据样本的权重获取神经网络的损失函数;
根据损失函数调整初始化神经网络模型的训练参数。
第二方面,本申请提供了一种神经网络训练方法,包括以下步骤:
获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
获取初始化神经网络模型,将第一重建图像作为输入训练样本,将第二重建图像作为输出目标样本,对初始化神经网络模型进行训练,获取中间神经网络;
将中间神经网络中的部分计算层参数固定,将第三重建图像作为输入训练样本,将第四重建图像作为输出目标样本,对固定参数后的中间神经网络模型进行训练,获取目标神经网络。
第三方面,本申请提供了一种神经网络训练系统,包括:
样本获取单元,用于获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
第一模型训练单元,用于获取初始化神经网络模型,将第一重建图像和第三重建图像作为输入训练样本,将第二重建图像和第四重建图像作为输出目标样本,对初始化神经网络模型进行训练;
网络获取单元,用于在训练过程中,获取初始化神经网络模型在输入第三重建图像时的第一预测输出图像,根据第一预测输出图像和第四重建图像获取第一预测偏差值;根据第一预测偏差值调整初始化神经网络模型的训练参数,获取目标神经网络。
在其中一个实施例中,样本获取单元还用于获取针对第一显像剂的N套分别包含预设计数量的第一扫描测量数据,在每一套第一扫描测量数据中,根据第一扫描测量数据获取第二重建图像;对第一扫描测量数据进行降采样,获取第二扫描测量数据,根据第二扫描测量数据获取第一重建图像;
样本获取单元还用于获取针对第二显像剂的M套分别包含预设计数量的第三扫描测量数据,在每一套第三扫描测量数据中,根据第三扫描测量数据获取第四重建图像;对第三扫描测量数据进行降采样,获取第四扫描测量数据,根据第四扫描测量数据获取第三重建图像;其中,N和M均为正整数,且N大于M。
在其中一个实施例中,网络获取单元还用于获取第一预测输出图像和第四重建图像的图像像素差;获取另一类训练数据样本中每一套训练数据样本的权重,其中,另一类训练数据样本包括多套训练数据样本;根据图像像素差和对应的训练数据样本的权重获取第一预测偏差值。
在其中一个实施例中,网络获取单元还用于对初始化神经网络模型进行迭代训练,根据迭代过程中第一预测偏差值的变化确定调节因子,根据调节因子对各类训练数据样本中每一套训练数据样本的权重进行调整。
在其中一个实施例中,网络获取单元还用于在训练过程中,获取初始化神经网络模型在输入第一重建图像时的第二预测输出图像,根据第二预测输出图像和第二重建图像获取第二预测偏差值;获取各类训练数据样本中每一套训练数据样本的权重,根据第二预测偏差值、第一预测偏差值和对应的训练数据样本的权重获取神经网络的损失函数;根据损失函数调整初始化神经网络模型的训练参数。
第四方面,本申请提供了一种神经网络训练系统,包括:
样本获取单元,用于获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
第二模型训练单元,用于获取初始化神经网络模型,将第一重建图像作为输入训练样本,将第二重建图像作为输出目标样本,对初始化神经网络模型进行训练,获取中间神经网络;
第三模型训练单元,用于将中间神经网络中的部分计算层参数固定,将第三重建图像作为输入训练样本,将第四重建图像作为输出目标样本,对固定参数后的中间神经网络模型进行训练,获取目标神经网络。
第五方面,本申请提供了一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述任意一项神经网络训练方法的步骤。
第六方面,本申请提供了一种计算机设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述任意一项神经网络训练方法的步骤。
相比于相关技术,本申请提供的神经网络训练方法、系统、可读存储介质和设备,获取医学扫描的多类训练数据样本,一类训练数据样本针对一种显像剂,每类训练数据包括性能参数水平不同的两种重建图像,以第一显像剂和第二显像剂为例,根据第一显像剂的训练数据样本和第二显像剂的训练数据样本对初始化神经网络模型进行训练,利用训练过程中神经网络输出的预测输出图像和第二显像剂的重建图像的差异调整初始化神经网络模型的训练参数,获取目标神经网络。在具体实现过程中,由于第一显像剂的训练数据的参与,初始化神经网络模型在训练时有足够的训练样本,而且第二显像剂的训练数据也有参与训练,因此,即使第二显像剂的数据样本较少,也能完成对该第二显像剂相关的神经网络的训练和调优,通过本申请提供的神经网络训练方法得到的目标神经网络,可以对利用第二显像剂进行PET扫描成像的数据进行有效的图像重建。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中的示例性医学设备100的示意图;
图2为一个实施例中的神经网络训练方法的流程示意图;
图3为另一个实施例中的神经网络训练方法的流程示意图;
图4为一个实施例中的神经网络的连接示意图;
图5为一个实施例中的神经网络中每个网络模块的结构示意图;
图6为一个实施例中的神经网络训练系统的结构示意图;
图7为另一个实施例中的神经网络训练系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本申请,并不限定本申请的保护范围。
图1是一个实施例的示例性用于图像重建的医学设备100的示意图。参考图1所示,医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140以及存储器150。医学设备100中的所有组件都可以通过网络120互相连接。
扫描仪110可扫描受试目标并且生成与该受试目标相关的扫描数据。在一些实施例中,扫描仪110可以是医学成像设备,例如PET设备、SPECT设备、PET-CT设备或PET-MRI设备等或其任意组合。在本申请中,该医学成像设备具体可以为PET设备。
本申请中提到的“图像”可以指2D图像、3D图像、4D图像和/或任何相关数据,这并非旨在限制本申请的范围。对于本领域的技术人员来说,在本申请的指导下可以进行各种修正和改变。
扫描仪110可包括支撑组件111、探测器组件112、工作台114、电子模块115以及冷却组件116。
支撑组件111可以支撑扫描仪110的一个或多个部件,例如探测器组件112、电子模块115、冷却组件116等。在一些实施例中,支撑组件111可以包括主机架、机架基座、前盖板以及后盖板(未出示)。前盖板可以与机架基座连接。前盖板可以垂直于机架基座。主机架可以安装于前盖板的侧面。主机架可以包括一个或多个支撑架以容纳探测器组件112和/或电子模块115。主机架可以包括圆形的开口(例如,检测区域113)以容纳扫描目标。在一些实施例中,主机架的开口可以是其它形状,包括,例如椭圆形。后盖板可以安装于主机架上与前盖板相对的侧面。机架基座可以支撑前盖板、主机架和/或后盖板。在一些实施例中,扫描仪110可以包括一个外壳以覆盖并保护主机架。
探测器组件112可以探测从检测区域113发射的辐射事件(例如,光子信号)。在一些实施例中,探测器组件112可以接收辐射线(例如,光子信号)并且生成电信号。探测器组件112可以包括一个或多个探测器单元。一个或多个探测器单元可以被封装而形成一个探测器区块。一个或多个探测器区块可以被封装而形成一个探测器盒。一个或多个探测器盒可以被安装而形成一个探测器模块。一个或多个探测器模块可以被安装而形成一个探测环。
电子模块115可以采集和/或处理由探测器组件112生成的电信号。电子模块115可以包括加算器、乘法器、减法器、放大器、驱动器电路、差动电路、积分电路、计数器、过滤器、模数转换器、下限检测电路、恒定系数鉴别器电路、时间-数字转换器、符合电路等其中一种或几种的组合。电子模块115可以将与探测器组件112接收到的辐射线的能量相关的模拟信号转化为数字信号。电子模块115可以比较多个数字信号、分析多个数字信号并且通过探测器组件112中所接收辐射线的能量确定图像数据。在一些实施例中,如果探测器组件112具有一个大的轴向视野(例如,0.75米至2米),则电子模块115可以具有来自多个探测器通道的高数据输入速率。例如,电子模块115可以每秒处理数百亿事件。在一些实施例中,数据输入速率可以与探测器组件112中探测器单元的数量有关。
扫描仪110可以扫描位于其检测区域内的对象,并生成与对象相关的多个成像数据。在本申请中,“受试目标”和“对象”可交替使用。仅作为示例,受试目标可包括扫描目标、人造物体等。在另一实施例中,受试目标可包括扫描目标的特定部分、器官和/或组织。例如,受试目标可包括头部、大脑、颈部、身体、肩部、手臂、胸部、心脏、胃、血管、软组织、膝盖、脚或其他部位等,或其任意组合。
网络120可包括任意合适的网络,该网络能协助医学设备100交换信息和/或数据。在一些实施例中,医学设备100的一个或多个组件(例如,扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如,处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例,处理引擎140可通过网络120从终端130获得用户指令。网络120可以包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中,网络120可包括一个或多个网络接入点。例如,网络120可包括有线和/或无线网络接入点,诸如基站和/或因特网交换点,医学设备100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中,存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中,存储器150可存储数据和/或指令,处理引擎140可以执行或使用该数据和/或指令以执行本申请中所描述的示例性方法。在一些实施例中,存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中,存储器150可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等,或者其任意组合。
在一些实施例中,存储器150可连接到网络120,以便与医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)通信。医学设备100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中,存储器150可直接连接到医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)或与这些组件通信。在一些实施例中,存储器150可以是处理引擎140的一部分。
为了实现本申请中所描述的各种模块、单元及其功能,计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程,计算机也可以充当服务器。在医学设备100中可以实现神经网络训练方法、系统等。
参见图2所示,为本申请一个实施例的神经网络训练方法的流程示意图。该实施例中的神经网络训练方法包括以下步骤:
步骤S210:获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数。
在本步骤中,医学扫描的多类训练数据样本可以从存储器150中获取,存储器150中可以设置数据库,用于保存训练数据样本,训练数据样本也可以在扫描后从处理引擎140中获取,具体过程为:受试目标可以置于医学设备扫描仪110的工作台114上,进入扫描仪110的检测区域113并进行扫描拍摄,从电子模块115中获取原始数据,并经处理引擎处理,得到数据样本。
第一显像剂可为在扫描模式中常用的显像剂,如氟代脱氧葡萄糖(18F-FDG)等,第二显像剂可为在扫描模式中较为少用的显像剂,如钇-90(Yttrium-90)等,相应的重建图像的性能参数包括信噪比、分辨率、对比度、亮度等。
步骤S220:获取初始化神经网络模型,将第一重建图像和第三重建图像作为输入训练样本,将第二重建图像和第四重建图像作为输出目标样本,对初始化神经网络模型进行训练。
在本步骤中,初始化神经网络可以是反馈卷积神经网络等,将性能参数较低的重建图像作为输入训练样本,将性能参数较高的重建图像作为输出目标训练样本,对初始化神经网络模型进行训练,使初始化神经网络模型能对输入的重建图像做出判断,输出相应的较高性能参数的重建图像,在由于数据稀少导致重建图像性能参数低的情况下,还能得到较优的重建图像,优化图像输出,如降低图像噪声、提高图像对比度、提高图像亮度、提高图像分辨率等等。
步骤S230:在训练过程中,获取初始化神经网络模型在输入第三重建图像时的第一预测输出图像,根据第一预测输出图像和第四重建图像获取第一预测偏差值;根据第一预测偏差值调整初始化神经网络模型的训练参数,获取目标神经网络。
在本步骤中,神经网络主要针对第二显像剂相应的图像进行优化,因此通过第一预测输出图像和第四重建图像之间的第一预测偏差值,调整初始化神经网络模型的训练参数,使之适应对第二显像剂相应的图像的识别和优化。
步骤S220和步骤S230可以由处理引擎140来执行。
在本实施例中,获取医学扫描的多类训练数据样本,一类训练数据样本针对一种显像剂,每类训练数据包括性能参数水平不同的两种重建图像,以第一显像剂和第二显像剂为例,根据第一显像剂的训练数据样本和第二显像剂的训练数据样本对初始化神经网络模型进行训练,利用训练过程中神经网络输出的预测输出图像和第二显像剂的重建图像的差异调整初始化神经网络模型的训练参数,获取目标神经网络。在具体实现过程中,由于第一显像剂的训练数据的参与,初始化神经网络模型在训练时有足够的训练样本,而且第二显像剂的训练数据也有参与训练,因此,即使第二显像剂的数据样本较少,也能完成对该第二显像剂相关的神经网络的训练和调优,通过本申请提供的神经网络训练方法得到的目标神经网络,可以对利用第二显像剂进行PET扫描成像的数据进行有效的图像重建。
需要说明的是,上述神经网络训练方法可以在医学设备的控制台上执行,也可以在医学设备的后处理工作站上执行,或在能与医学设备通信的终端130上实现处理引擎的示例性计算设备200上执行,且不局限于此,可以根据实际应用的需要进行变化调整。
在一个实施例中,获取医学扫描的多类训练数据样本包括以下步骤:
获取针对第一显像剂的N套分别包含预设计数量的第一扫描测量数据,在每一套第一扫描测量数据中,根据第一扫描测量数据获取第二重建图像;对第一扫描测量数据进行降采样,获取第二扫描测量数据,根据第二扫描测量数据获取第一重建图像;
获取针对第二显像剂的M套分别包含预设计数量的第三扫描测量数据,在每一套第三扫描测量数据中,根据第三扫描测量数据获取第四重建图像;对第三扫描测量数据进行降采样,获取第四扫描测量数据,根据第四扫描测量数据获取第三重建图像;
其中,N和M均为正整数,且N大于M。
在本实施例中,针对不同的显像剂,可先获取多套不同的扫描测量数据,每套扫描测量数据具有预设的计数量,以扫描测量数据为基础可得到相应的性能参数水平较高的重建图像,通过对扫描测量数据进行降采样,得到低计数的扫描测量数据,并以此得到相应的性能参数水平较低的重建图像,如此可为神经模型训练,获取高度关联的性能参数水平有所差异的两种重建图像。
需要说明的是,一般N和M均大于或等于1。
具体的,以第一显像剂为18F-FDG,第二显像剂为68Ga-PSMA进行PET扫描,获取具备降噪能力的神经网络为例进行说明。
18F-FDG作为一种葡萄糖类似物,将为如脑、肾脏以及癌细胞等葡萄糖高利用率细胞所摄取。在此类细胞内,磷酸化过程将会阻止葡萄糖以原有的完整形式从细胞之中释放出来。葡萄糖之中的2位氧乃是后续糖酵解所必需的;因而,18F-FDG与2-脱氧-D-葡萄糖相同,在细胞内无法继续代谢;这样,在放射性衰变之前,所形成的18F-FDG-6-磷酸将不会发生糖酵解。结果,18F-FDG的分布情况就会很好地反映体内细胞对葡萄糖的摄取和磷酸化的分布情况。在PET成像方面,18F-FDG可用于评估心脏、肺脏以及脑部的葡萄糖代谢状况。同时,18F-FDG还在肿瘤学方面用于肿瘤成像。在被细胞摄取之后,18F-FDG将由己糖激酶(在快速生长型恶性肿瘤之中,线粒体型己糖激酶显著升高),加以磷酸化,并为代谢活跃的组织所滞留,如大多数类型的恶性肿瘤。因此,18F-FDG可用于癌症的诊断、分期和治疗监测,尤其是对于霍奇金氏病、非霍奇金氏淋巴瘤、结直肠癌、乳腺癌、黑色素瘤以及肺癌。另外,18F-FDG还已经用于阿尔茨海默氏病的诊断。
PSMA(Prostate specific membrane antigen molecular image probe)的全称为前列腺特异性膜抗原,它是一种细胞表面蛋白,几乎在所有的前列腺癌细胞中过量表达。通过将金属放射性核素标记药物68Ga结合至PSMA上,得到68Ga-PSMA,通过PET/CT在全身进行前列腺癌的有效诊断和定位。68Ga-PSMA会在如下器官有正常的生理分布:唾液腺、肝脏、脾脏、肾脏、小肠和膀胱等;也就是说,在以上所说的器官发现放射性核素的高浓聚,并不一定代表肿瘤的扩散。推动68Ga标记显像剂研究和发展的重要动力之一是需要弥补18F-FDG在某些疾病诊断方面的缺陷。前列腺癌是18F-FDG诊断的“盲区”之一,文献报道半数以上的前列腺癌及其转移灶为FDG假阴性,并且由于18F-FDG在鉴别肿瘤和炎性反应时的非特异性,仅约20%的前列腺18F-FDG摄取增高灶被证实为前列腺癌。以PSMA为基础的分子探针自被报道以来,不断被研究和改进,也形成了较理想的68Ga标记PSMA化合物的技术,68Ga-PSMA于2012年首次应用于前列腺癌患者。此后,68Ga-PSMA对前列腺癌的影像评估迅速成为核医学研究热点,并很快发展出以PSMA为基础的前列腺癌PRRT(Peptide radioreceptortherapy)。
成像机理的差异导致18F-FDG在全身各组织器官均有摄取,而Ga68-PSMA仅在病灶区及唾液腺、肝脏、肾脏等部位有摄取。在图像上这两者是从整体到局部的关系,那么18F-FDG图像中有一部分信息是与68Ga-PSMA图像有关联的,可以用于68Ga-PSMA图像处理类的神经网络的训练。进一步的以68Ga-PSMA图像降噪为例进行说明。
多类训练数据样本也可称为训练集,训练集可包括N(N≥1)套具有足够计数的18F-FDG的PET临床数据,并通过降采样得到低计数的18F-FDG的PET临床数据,分别进行图像重建,得到匹配的高信噪比图像和低信噪比图像i∈[1,N];
训练集还可包括M(1≤M<N)套具有足够计数的68Ga-PSMA的PET临床数据,并通过降采样得到低计数的68Ga-PSMA的PET临床数据,分别进行图像重建,得到匹配的高信噪比图像和低信噪比图像
神经网络可选择具有降噪能力的网络架构NN,包括但不限于卷积神经网络中的UNet/ResNet/VNet/UNet++/FeedBackNet等等,另外,可使用多种不同的PET图像重建方法对PET临床数据进行图像重建。
在一个实施例中,根据第一预测输出图像和第四重建图像获取第一预测偏差值包括以下步骤:
获取第一预测输出图像和第四重建图像的图像像素差;
获取另一类训练数据样本中每一套训练数据样本的权重,其中,另一类训练数据样本包括多套训练数据样本;
根据图像像素差和对应的训练数据样本的权重获取第一预测偏差值。
在本实施例中,可对每套训练数据样本设置权重,利用权重对神经网络预测输出的第一预测输出图像和已有的第四重建图像之间的图像像素差进行综合,使针对第二显像剂的图像像素差更加准确,以便于对神经网络进行参数调节。
进一步的,如第二显像剂为68Ga-PSMA,相应的训练数据样本包括高信噪比图像和低信噪比图像神经网络输出的第一预测图像记为则第一预测偏差值的表达式为:
上式中,η表示第一预测偏差值,t表示迭代次数,wi表示训练数据样本的权重。
需要说明的是,调整初始化神经网络模型的训练参数,其目的是为了尽可能减小第一预测偏差值。
在一个实施例中,根据第一预测偏差值调整初始化神经网络模型的训练参数包括以下步骤:
对初始化神经网络模型进行迭代训练,根据迭代过程中第一预测偏差值的变化确定调节因子,根据调节因子对各类训练数据样本中每一套训练数据样本的权重进行调整。
在本实施例中,初始化神经网络模型可迭代训练,在迭代训练过程中,根据第一预测偏差值在迭代前后的变化来确定调节因子,利用调节因子调整各类训练数据样本中每一套训练数据样本的权重,实现对训练参数不断进行优化,将第一预测偏差值尽可能减小,进而得到目标神经网络。
进一步的,若当前迭代中的第一预测偏差值大于或等于上一迭代中的第一预测偏差值,将调节因子设为β0,β0<1;若当前迭代中的第一预测偏差值小于上一迭代中的第一预测偏差值,将调节因子设为1/β0;调节因子可通过以下公式获取:
上式中,β表示调节因子,t表示迭代次数,η表示第一预测偏差值。
需要说明的是,调节因子不仅调整对应第二显像剂的训练数据样本的权重,还调整训练神经网络所用的其他类显像剂的训练数据样本的权重,调整后的权重可用于神经网络的下一次迭代训练。
具体的,多类训练数据样本可包括上述N(N≥1)套18F-FDG的PET临床数据,M(1≤M<N)套68Ga-PSMA的PET临床数据,对其中训练数据样本的权重进行调整的过程如下:
上式中,表示N套18F-FDG的PET临床数据的训练数据样本的权重,表示M套68Ga-PSMA的PET临床数据的训练数据样本的权重。
需要说明的是,训练的迭代过程达到预定迭代次数,或者第一预测偏差值ηt小于预定阈值,训练的迭代过程可中止,此时训练得到的神经网络即为目标神经网络。
在一个实施例中,神经网络训练方法还包括以下步骤:
在训练过程中,获取初始化神经网络模型在输入第一重建图像时的第二预测输出图像,根据第二预测输出图像和第二重建图像获取第二预测偏差值;
获取各类训练数据样本中每一套训练数据样本的权重,根据第二预测偏差值、第一预测偏差值和对应的训练数据样本的权重获取神经网络的损失函数;
根据损失函数调整初始化神经网络模型的训练参数。
在本实施例中,针对第一显像剂,同样也可将第一重建图像输入初始化神经网络模型,获取初始化神经网络模型输出的第二预测输出图像,其与第二重建图像之间的差异构成第二预测偏差值,结合各套训练数据样本的权重、第一预测偏差值和第二预测偏差值,构建神经网络的损失函数;在损失函数中加入各套训练数据样本的权重,利用该损失函数对调整初始化神经网络模型的训练参数,可以将权重反映到神经网络中,使神经网络适应第一显像剂和第二显像剂的图像数据。
进一步的,根据损失函数调整初始化神经网络模型的训练参数的过程中,可对损失函数进行优化,使之收敛,让初始化神经网络模型输出的图像尽可能符合第二重建图像或第四重建,最终的分割图像,然后利用收敛后的损失函数进行反向传播,对初始化神经网络模型进行参数配置优化,使初始化神经网络模型成为目标神经网络,如此可以将各权重反映到神经网络中,充分利用各类训练数据样本。
需要说明的是,损失函数的获取和优化也可在训练迭代过程中实现。
具体的,多类训练数据样本可包括上述N(N≥1)套18F-FDG的PET临床数据,M(1≤M<N)套68Ga-PSMA的PET临床数据,对每套训练数据样本可设置初始权重具体如下:
在迭代过程中,可相对各个权重进行归一化,具体如下:
根据18F-FDG的PET临床数据得到高信噪比图像和低信噪比图像 根据68Ga-PSMA的PET临床数据得到高信噪比图像和低信噪比图像作为输入,将作为目标对初始化神经网络模型进行训练,其中损失函数的表达式如下:
上式中,L表示损失函数,神经网络输出的第一预测图像记为 输出的第二预测图像记为
需要说明的是,上述内容多以两种显像剂为例进行说明,第二显像剂的类型不作限制,本领域技术人员可根据本申请的技术思路将其扩展成三种以上显像剂的数据同时进行训练,具体过程与两种显像剂的数据同时进行训练的过程相似。
PET的功能主要是依靠显像剂来发挥作用,本申请采用的各种显像剂,按其作用原理可以分为:
1、结合型显像剂:包括单胺氧化酶活性显像剂、肾上腺素能受体显像剂、乙酰胆碱能受体显像剂、阿片受体显像剂和雌激素受体显像剂、多巴胺系统结合型显像剂、5-羟色胺系统结合型显像剂(5-羟色胺转运蛋白显像剂、5-羟色胺受体显像剂);
2、代谢型显像剂:氨基酸代谢显像剂(11C-MET等)、脂肪酸代谢显像剂(11C-PA等)、核酸代谢显像剂11C-胸腺嘧啶和胆碱代谢显像剂(甲基-11C胆碱)、包括糖代谢显像剂(2-18F-FDG)、多巴胺局部代谢显像剂(6-18F-FDOPA);
3、血流和血容量显像剂:有CO、CO2、正丁醇、13NH3、62Cu-PTSM、15O标记的O2、H2O。
根据核素种类不同可分为氟18标记、碳11标记、氮13标记和氧15标记的正电子药物等等。根据核素来源可以分为医用加速器生产和发生器生产,按作用靶器官的不同可分为肿瘤用、神经用、心血管用正电子药物。
本申请的方案通过不同显像剂的训练数据对初始化神经网络模型进行训练,由于其中部分显像剂具备足够的训练数据,即使第二显像剂的数据样本较少,也能完成对该第二显像剂相关的神经网络的训练和调优,解决了目前相关技术所面临的技术难题。
根据上述神经网络训练方法,本申请实施例还提供另一种神经网络训练方法,以下就另一种神经网络训练方法的实施例进行详细说明。
参见图3所示,为本申请一个实施例的神经网络训练方法的流程示意图。该实施例中的神经网络训练方法包括:
步骤S310:获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
步骤S320:获取初始化神经网络模型,将第一重建图像作为输入训练样本,将第二重建图像作为输出目标样本,对初始化神经网络模型进行训练,获取中间神经网络;
在本步骤中,先利用针对第一显像剂的第一重建图像和第二重建图像对初始化神经网络模型进行训练,通过损失函数优化神经网络的参数,直至损失函数收敛,得到中间神经网络;
步骤S330:将中间神经网络中的部分计算层参数固定,将第三重建图像作为输入训练样本,将第四重建图像作为输出目标样本,对固定参数后的中间神经网络模型进行训练,获取目标神经网络;
在本步骤中,将中间神经网络中的部分计算层参数固定,再利用针对第二显像剂的第三重建图像和第四重建图像对固定参数后的中间神经网络模型进行训练,对中间神经网络中的剩余参数进行调整优化,直至损失函数收敛,进而得到目标神经网络。
在本实施例中,获取医学扫描的多类训练数据样本,一类训练数据样本针对一种显像剂,每类训练数据包括性能参数水平不同的两种重建图像,以第一显像剂和第二显像剂为例,先根据第一显像剂的训练数据样本对初始化神经网络模型进行训练,在神经网络的损失函数收敛后,固定神经网络的部分参数,再利用第二显像剂的训练数据样本对中间神经网络进行训练,对剩余参数进行调整优化,直至损失函数收敛,进而得到目标神经网络。在具体实现过程中,由于第一显像剂的训练数据的参与,初始化神经网络模型在训练时有足够的训练样本,而且第二显像剂的训练数据也有参与训练,因此,即使第二显像剂的数据样本较少,也能完成对该第二显像剂相关的神经网络的训练和调优,通过本申请提供的神经网络训练方法得到的目标神经网络,可以对利用第二显像剂进行PET扫描成像的数据进行有效的图像重建。
进一步的,在固定中间神经网络的部分参数时,可选择固定中间神经网络中除最后一层卷积计算层以外的其他层的参数,也可选择固定中间神经网络中的卷积层参数或反卷积层参数,固定参数可根据实际情况和需求进行调整和变化。
在一个实施例中,神经网络包括反馈卷积神经网络,反馈卷积神经网络分为多层迭代网络,反馈卷积神经网络的输入连接至每层迭代网络的输出的前一级;
每层迭代网络的反馈卷积块包括交错连接的多个卷积层和多个反卷积层,在前卷积层与在后卷积层相连接,在前反卷积层与在后卷积层相连接。
在本实施例中,神将网络模块中的神经网络可为反馈卷积神经网络,可将其设置为多层迭代网络,并将输入连接至每层迭代网络的输出的前一级,由于输入与迭代网络的迭代计算结果相结合,在每层迭代计算时可有效解决梯度消失的问题,并加快训练收敛;每层迭代网络包含反馈卷积块,每个反馈卷积块中有交错连接的多个卷积层和多个反卷积层,其中在前卷积层与在后卷积层相连接,在前反卷积层与在后卷积层相连接,由此可实现不同卷积层的特征相拼接,使图像梯度和特征的传递更有效并且减少网络参数,进而减轻过拟合现象。
进一步的,神经网络可针对输入图像的性能参数进行优化,如信噪比、分辨率、对比度、亮度等。
具体的,神经网络结构为反馈卷积神经网络(FeedBack Net,简写为FB-Net),网络结构如图4和图5所示,图中的基本操作模块包括:
1、3x3/1x1Conv:卷积层,卷积核大小为3x3或1x1。每个卷积层都通过PReLU函数进行激活。
2、3x3 Deconv:反卷积层,卷积核大小为3x3。每个反卷积层都通过PReLU函数进行激活。
残差连接:将不同层的输入与输出相连接,可以有效解决梯度消失问题以及加快训练收敛。
稠密连接:将不同卷积层的特征相拼接(拼接后的特征汇总了稠密连接两端上一层的输出特征),使得梯度和特征的传递更有效并且减少网络参数,进而减轻过拟合现象。
FB-Net由从上到下的三个网络分支依次迭代构成,并且
(1)每个分支都由普通的卷积模块和FB-Block构成。FB-Block包含1x1卷积模块和projection group模块。1x1卷积模块能够减少特征图的数量,加速网络的推理过程;projection group模块通过稠密连接丰富了high-level特征的表达;表示第t-1次迭代的high-level特征,它作为反馈信息指导第t次迭代的low-level特征表达这使得网络的学习表达能力逐步增强。图中的1L表示low-level特征,1H1、1H2、1H3表示high-level特征。
(2)每个分支网络有相同的输入和输出以及损失函数。相同的输入能够确保网络获取需要校正的low-level信息;相同的输出和损失函数能够指导网络在每个迭代过程中去重建目标图像并且使得在早期的迭代过程中,FB-Block结构里包含high-level信息的表示。图中的L0 t、L1 t、Lg t、LG t表示low-level特征,H1 t、Hg t、HG t表示high-level特征。
(3)每个分支网络共享神经网络的权重,极大地压缩了网络模型,减小了网络推理时间。
在一个实施例中,技术方案可为将不同显像剂的样本混合后进行训练,对于基准显像剂的数据给予较小的权重,对于特定显像剂的数据给予较大的权重。具体如下:
初始化步骤:
1.训练集包括N套具有足够计数的18F-FDG的PET临床数据,并通过降采样得到低计数的18F-FDG的PET临床数据,分别进行图像重建,得到匹配的高信噪比图像和低信噪比图像
2.训练集还包括M(M<N)套具有足够计数的68Ga-PSMA的PET临床数据,并通过降采样得到低计数的68Ga-PSMA的PET临床数据,分别进行图像重建,得到匹配的高信噪比图像和低信噪比图像
3.对每套训练数据设置初始权重
4.神经网络选择具有降噪能力的网络架构NN,包括但不限于卷积神经网络中的UNet/ResNet/VNet/UNet++/FeedBackNet等等;
迭代步骤(t=0,…,T):
1.权重归一化:
2.以作为输入,作为目标对神经网络进行训练,其中损失函数值计算为:
其中神经网络得到预测图像记为
3.计算神经网络对于68Ga-PSMA预测图像的偏差值:
4.设置调节因子,β0<1,有:
5.对训练集中的数据的权重系数进行调整:
6.返回步骤1进行下一轮迭代。
结果输出:
迭代达到预定次数或者偏差值ηt小于给定的阈值时,迭代中止。此时得到的神经网络即为适用于68Ga-PSMA图像降噪的网络。
在一个实施例中,技术方案还可为先利用基准显像剂的数据进行网络训练,固定网络中的大部分参数,然后利用特定显像剂的数据对剩余参数进行训练。
初始化步骤:
1.训练集包括N套具有足够计数的18F-FDG的PET临床数据,并通过降采样得到低计数的18F-FDG的PET临床数据,分别进行图像重建,得到匹配的高信噪比图像和低信噪比图像
2.训练集还包括M(M<N)套具有足够计数的68Ga-PSMA的PET临床数据,并通过降采样得到低计数的68Ga-PSMA的PET临床数据,分别进行图像重建,得到匹配的高信噪比图像和低信噪比图像
网络训练:
以FeedBackNet(FB-Net)为例,网络结构如图4和图5所示。
作为输入,作为目标对该神经网络进行训练至收敛。
固定该网络中除3x3 Conv F外其他层的参数,以作为输入,作为目标对该神经网络进行训练至收敛。训练结束得到的目标神经网络。
根据上述神经网络训练方法,本申请实施例还提供一种神经网络训练系统,以下就神经网络训练系统的实施例进行详细说明。
参见图6所示,为本申请一个实施例的神经网络训练系统的结构示意图。该实施例中的神经网络训练系统包括:
样本获取单元410,用于获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
第一模型训练单元420,用于获取初始化神经网络模型,将第一重建图像和第三重建图像作为输入训练样本,将第二重建图像和第四重建图像作为输出目标样本,对初始化神经网络模型进行训练;
网络获取单元430,用于在训练过程中,获取初始化神经网络模型在输入第三重建图像时的第一预测输出图像,根据第一预测输出图像和第四重建图像获取第一预测偏差值;根据第一预测偏差值调整初始化神经网络模型的训练参数,获取目标神经网络。
在一个实施例中,样本获取单元410还用于获取针对第一显像剂的N套分别包含预设计数量的第一扫描测量数据,在每一套第一扫描测量数据中,根据第一扫描测量数据获取第二重建图像;对第一扫描测量数据进行降采样,获取第二扫描测量数据,根据第二扫描测量数据获取第一重建图像;
样本获取单元410还用于获取针对第二显像剂的M套分别包含预设计数量的第三扫描测量数据,在每一套第三扫描测量数据中,根据第三扫描测量数据获取第四重建图像;对第三扫描测量数据进行降采样,获取第四扫描测量数据,根据第四扫描测量数据获取第三重建图像;其中,N和M均为正整数,且N大于M。
在一个实施例中,网络获取单元430还用于获取第一预测输出图像和第四重建图像的图像像素差;获取另一类训练数据样本中每一套训练数据样本的权重,其中,另一类训练数据样本包括多套训练数据样本;根据图像像素差和对应的训练数据样本的权重获取第一预测偏差值。
在一个实施例中,网络获取单元430还用于对初始化神经网络模型进行迭代训练,根据迭代过程中第一预测偏差值的变化确定调节因子,根据调节因子对各类训练数据样本中每一套训练数据样本的权重进行调整。
在一个实施例中,网络获取单元430还用于在训练过程中,获取初始化神经网络模型在输入第一重建图像时的第二预测输出图像,根据第二预测输出图像和第二重建图像获取第二预测偏差值;获取各类训练数据样本中每一套训练数据样本的权重,根据第二预测偏差值、第一预测偏差值和对应的训练数据样本的权重获取神经网络的损失函数;根据损失函数调整初始化神经网络模型的训练参数。
根据上述神经网络训练方法,本申请实施例还提供另一种神经网络训练系统,以下就另一种神经网络训练系统的实施例进行详细说明。
参见图7所示,为本申请一个实施例的神经网络训练系统的结构示意图。该实施例中的神经网络训练系统包括:
样本获取单元410,用于获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,第一重建图像的性能参数低于第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,第三重建图像的性能参数低于第四重建图像的性能参数;
第二模型训练单元440,用于获取初始化神经网络模型,将第一重建图像作为输入训练样本,将第二重建图像作为输出目标样本,对初始化神经网络模型进行训练,获取中间神经网络;
第三模型训练单元450,用于将中间神经网络中的部分计算层参数固定,将第三重建图像作为输入训练样本,将第四重建图像作为输出目标样本,对固定参数后的中间神经网络模型进行训练,获取目标神经网络。
在一个实施例中,神经网络包括反馈卷积神经网络,反馈卷积神经网络分为多层迭代网络,反馈卷积神经网络的输入连接至每层迭代网络的输出的前一级;
每层迭代网络的反馈卷积块包括交错连接的多个卷积层和多个反卷积层,在前卷积层与在后卷积层相连接,在前反卷积层与在后卷积层相连接。
本申请实施例的各个神经网络训练系统与上述神经网络训练方法相对应,在上述神经网络训练方法的实施例阐述的技术特征及其有益效果均适用于神经网络训练系统的实施例中。
根据上述神经网络训练方法,本申请实施例还提供一种可读存储介质和计算机设备。
一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的神经网络训练方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现由于基础显像剂的训练数据的参与,初始化神经网络模型在训练时有足够的训练样本,而且第二显像剂的训练数据也有参与训练,因此,即使第二显像剂的数据样本较少,也能完成对该第二显像剂相关的神经网络的训练和调优,通过本申请提供的神经网络训练方法得到的目标神经网络,可以对利用第二显像剂进行PET扫描成像的数据进行有效的图像重建。
一种计算机设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的神经网络训练方法的步骤。
上述计算机设备,通过在处理器上运行可执行程序,可以实现由于基础显像剂的训练数据的参与,初始化神经网络模型在训练时有足够的训练样本,而且第二显像剂的训练数据也有参与训练,因此,即使第二显像剂的数据样本较少,也能完成对该第二显像剂相关的神经网络的训练和调优,通过本申请提供的神经网络训练方法得到的目标神经网络,可以对利用第二显像剂进行PET扫描成像的数据进行有效的图像重建。
本领域普通技术人员可以理解实现上述实施例用于神经网络训练方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性的计算机可读取存储介质中,如实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述神经网络训练方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种神经网络训练方法,其特征在于,所述方法包括以下步骤:
获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,所述第一重建图像的性能参数低于所述第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,所述第三重建图像的性能参数低于所述第四重建图像的性能参数;所述第一显像剂能够被全身各组织器官摄取,所述第二显像剂仅能够被病灶区和部分器官摄取;所述第一显像剂的重建图像为整体图像,所述第二显像剂的重建图像为局部图像,且所述第二显像剂的重建图像与所述第一显像剂的重建图像的部分信息是关联的;
获取初始化神经网络模型,将所述第一重建图像和所述第三重建图像作为输入训练样本,将所述第二重建图像和所述第四重建图像作为输出目标样本,对所述初始化神经网络模型进行训练;
在训练过程中,获取所述初始化神经网络模型在输入所述第三重建图像时的第一预测输出图像,根据所述第一预测输出图像和所述第四重建图像获取第一预测偏差值;
根据所述第一预测偏差值调整所述初始化神经网络模型的训练参数,获取目标神经网络。
2.根据权利要求1所述的神经网络训练方法,其特征在于,所述获取医学扫描的多类训练数据样本包括以下步骤:
获取针对所述第一显像剂的N套分别包含预设计数量的第一扫描测量数据,在每一套第一扫描测量数据中,根据所述第一扫描测量数据获取所述第二重建图像;对所述第一扫描测量数据进行降采样,获取第二扫描测量数据,根据所述第二扫描测量数据获取所述第一重建图像;
获取针对所述第二显像剂的M套分别包含预设计数量的第三扫描测量数据,在每一套第三扫描测量数据中,根据所述第三扫描测量数据获取所述第四重建图像;对所述第三扫描测量数据进行降采样,获取第四扫描测量数据,根据所述第四扫描测量数据获取所述第三重建图像;
其中,NM均为正整数,且N大于M
3.根据权利要求1所述的神经网络训练方法,其特征在于,所述根据所述第一预测输出图像和所述第四重建图像获取第一预测偏差值包括以下步骤:
获取所述第一预测输出图像和所述第四重建图像的图像像素差;
获取所述另一类训练数据样本中每一套训练数据样本的权重,其中,所述另一类训练数据样本包括多套训练数据样本;
根据所述图像像素差和对应的训练数据样本的权重获取所述第一预测偏差值。
4.根据权利要求3所述的神经网络训练方法,其特征在于,所述根据所述第一预测偏差值调整所述初始化神经网络模型的训练参数包括以下步骤:
对所述初始化神经网络模型进行迭代训练,根据迭代过程中所述第一预测偏差值的变化确定调节因子,根据所述调节因子对各类训练数据样本中每一套训练数据样本的权重进行调整。
5.根据权利要求1所述的神经网络训练方法,其特征在于,所述方法还包括以下步骤:
在训练过程中,获取所述初始化神经网络模型在输入所述第一重建图像时的第二预测输出图像,根据所述第二预测输出图像和所述第二重建图像获取第二预测偏差值;
获取各类训练数据样本中每一套训练数据样本的权重,根据所述第二预测偏差值、所述第一预测偏差值和对应的训练数据样本的权重获取神经网络的损失函数;
根据所述损失函数调整所述初始化神经网络模型的训练参数。
6.一种神经网络训练方法,其特征在于,所述方法包括以下步骤:
获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,所述第一重建图像的性能参数低于所述第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,所述第三重建图像的性能参数低于所述第四重建图像的性能参数;所述第一显像剂能够被全身各组织器官摄取,所述第二显像剂仅能够被病灶区和部分器官摄取;所述第一显像剂的重建图像为整体图像,所述第二显像剂的重建图像为局部图像,且所述第二显像剂的重建图像与所述第一显像剂的重建图像的部分信息是关联的;
获取初始化神经网络模型,将所述第一重建图像作为输入训练样本,将所述第二重建图像作为输出目标样本,对所述初始化神经网络模型进行训练,获取中间神经网络;
将所述中间神经网络中的部分计算层参数固定,将所述第三重建图像作为输入训练样本,将所述第四重建图像作为输出目标样本,对固定参数后的中间神经网络模型进行训练,获取目标神经网络。
7.一种神经网络训练系统,其特征在于,所述系统包括:
样本获取单元,用于获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,所述第一重建图像的性能参数低于所述第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,所述第三重建图像的性能参数低于所述第四重建图像的性能参数;所述第一显像剂能够被全身各组织器官摄取,所述第二显像剂仅能够被病灶区和部分器官摄取;所述第一显像剂的重建图像为整体图像,所述第二显像剂的重建图像为局部图像,且所述第二显像剂的重建图像与所述第一显像剂的重建图像的部分信息是关联的;
第一模型训练单元,用于获取初始化神经网络模型,将所述第一重建图像和所述第三重建图像作为输入训练样本,将所述第二重建图像和所述第四重建图像作为输出目标样本,对所述初始化神经网络模型进行训练;
网络获取单元,用于在训练过程中,获取所述初始化神经网络模型在输入所述第三重建图像时的第一预测输出图像,根据所述第一预测输出图像和所述第四重建图像获取第一预测偏差值;根据所述第一预测偏差值调整所述初始化神经网络模型的训练参数,获取目标神经网络。
8.一种神经网络训练系统,其特征在于,所述系统包括:
样本获取单元,用于获取医学扫描的多类训练数据样本,其中一类训练数据样本包括针对第一显像剂的第一重建图像和第二重建图像,所述第一重建图像的性能参数低于所述第二重建图像的性能参数;另一类训练数据样本包括针对第二显像剂的第三重建图像和第四重建图像,所述第三重建图像的性能参数低于所述第四重建图像的性能参数;所述第一显像剂能够被全身各组织器官摄取,所述第二显像剂仅能够被病灶区和部分器官摄取;所述第一显像剂的重建图像为整体图像,所述第二显像剂的重建图像为局部图像,且所述第二显像剂的重建图像与所述第一显像剂的重建图像的部分信息是关联的;
第二模型训练单元,用于获取初始化神经网络模型,将所述第一重建图像作为输入训练样本,将所述第二重建图像作为输出目标样本,对所述初始化神经网络模型进行训练,获取中间神经网络;
第三模型训练单元,用于将所述中间神经网络中的部分计算层参数固定,将所述第三重建图像作为输入训练样本,将所述第四重建图像作为输出目标样本,对固定参数后的中间神经网络模型进行训练,获取目标神经网络。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,所述可执行程序被处理器执行时实现权利要求1至6中任意一项所述的神经网络训练方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有可执行程序,其特征在于,所述处理器执行所述可执行程序时实现权利要求1至6中任意一项所述的神经网络训练方法的步骤。
CN202011428204.7A 2020-12-09 2020-12-09 神经网络训练方法、系统、可读存储介质和设备 Active CN112419303B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011428204.7A CN112419303B (zh) 2020-12-09 2020-12-09 神经网络训练方法、系统、可读存储介质和设备
US17/643,409 US20220108459A1 (en) 2020-12-09 2021-12-08 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011428204.7A CN112419303B (zh) 2020-12-09 2020-12-09 神经网络训练方法、系统、可读存储介质和设备

Publications (2)

Publication Number Publication Date
CN112419303A CN112419303A (zh) 2021-02-26
CN112419303B true CN112419303B (zh) 2023-08-15

Family

ID=74775342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011428204.7A Active CN112419303B (zh) 2020-12-09 2020-12-09 神经网络训练方法、系统、可读存储介质和设备

Country Status (2)

Country Link
US (1) US20220108459A1 (zh)
CN (1) CN112419303B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792734A (zh) * 2021-09-18 2021-12-14 深圳市商汤科技有限公司 神经网络训练及图像处理的方法、装置、设备及存储介质
US11515042B1 (en) * 2021-10-27 2022-11-29 Kkl Consortium Limited Method for generating a diagnosis model capable of diagnosing multi-cancer according to stratification information by using biomarker group-related value information, method for diagnosing multi-cancer by using the diagnosis model, and device using the same
CN115249245B (zh) * 2022-09-22 2022-12-23 深圳华声医疗技术股份有限公司 超声成像参数优化方法、装置、计算机设备及存储介质
CN116051463A (zh) * 2022-11-04 2023-05-02 中国科学院深圳先进技术研究院 医学图像处理方法、装置、计算机设备及存储介质
CN118236077A (zh) * 2022-12-20 2024-06-25 上海联影医疗科技股份有限公司 心功能信息确定方法和装置、心肌信息确定方法和装置
CN115810016B (zh) * 2023-02-13 2023-04-28 四川大学 肺部感染cxr图像自动识别方法、系统、存储介质及终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019149718A1 (en) * 2018-02-01 2019-08-08 Koninklijke Philips N.V. Low radiation dose computed tomography perfusion (ctp) with improved quantitative analysis
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111462264A (zh) * 2020-03-17 2020-07-28 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法
CN111626964A (zh) * 2020-06-03 2020-09-04 上海联影医疗科技有限公司 扫描图像的优化方法、优化装置和医学扫描系统
CN111753862A (zh) * 2019-03-29 2020-10-09 北京地平线机器人技术研发有限公司 训练神经网络模型的方法及装置、图像识别方法
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
CN111915622A (zh) * 2020-07-09 2020-11-10 沈阳先进医疗设备技术孵化中心有限公司 一种图像分割网络模型的训练及图像分割方法、装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1704710A4 (en) * 2003-12-24 2007-09-19 Walker Digital Llc METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
US9292187B2 (en) * 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US7945078B2 (en) * 2007-05-14 2011-05-17 University Of Central Florida Research Institute, Inc. User accessible tissue sample image database system and method
SE540595C2 (en) * 2015-12-02 2018-10-02 Icomera Ab Method and system for identifying alterations to railway tracks or other objects in the vicinity of a train
US20180197317A1 (en) * 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019149718A1 (en) * 2018-02-01 2019-08-08 Koninklijke Philips N.V. Low radiation dose computed tomography perfusion (ctp) with improved quantitative analysis
CN111753862A (zh) * 2019-03-29 2020-10-09 北京地平线机器人技术研发有限公司 训练神经网络模型的方法及装置、图像识别方法
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111462264A (zh) * 2020-03-17 2020-07-28 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法
CN111626964A (zh) * 2020-06-03 2020-09-04 上海联影医疗科技有限公司 扫描图像的优化方法、优化装置和医学扫描系统
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
CN111915622A (zh) * 2020-07-09 2020-11-10 沈阳先进医疗设备技术孵化中心有限公司 一种图像分割网络模型的训练及图像分割方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于残差神经网络的图像超分辨率改进算法;王一宁等;《计算机应用》;20180110;全文 *

Also Published As

Publication number Publication date
US20220108459A1 (en) 2022-04-07
CN112419303A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419303B (zh) 神经网络训练方法、系统、可读存储介质和设备
CN108257134B (zh) 基于深度学习的鼻咽癌病灶自动分割方法和系统
US11020077B2 (en) Simultaneous CT-MRI image reconstruction
US20200311932A1 (en) Systems and Methods for Synthetic Medical Image Generation
US8280124B2 (en) Methods of view selection for radioactive emission measurements
US12073492B2 (en) Method and system for generating attenuation map from SPECT emission data
CN106491151B (zh) Pet图像获取方法及系统
CN111493909B (zh) 医学图像扫描方法、装置、计算机设备和存储介质
CN112365560B (zh) 基于多级网络的图像重建方法、系统、可读存储介质和设备
US11756161B2 (en) Method and system for generating multi-task learning-type generative adversarial network for low-dose PET reconstruction
CN107133549A (zh) Ect运动门控信号获取方法及ect图像重建方法
JP5214624B2 (ja) 限定的なデータセットに基づく画像生成
CN111493908A (zh) 医学图像扫描方法、装置、计算机设备和存储介质
Sanaat et al. Deep‐TOF‐PET: Deep learning‐guided generation of time‐of‐flight from non‐TOF brain PET images in the image and projection domains
CN112037147B (zh) 医学图像降噪方法和装置
Sun et al. Dual gating myocardial perfusion SPECT denoising using a conditional generative adversarial network
Feng et al. Image‐derived and arterial blood sampled input functions for quantitative PET imaging of the angiotensin II subtype 1 receptor in the kidney
CN112017258B (zh) Pet图像重建方法、装置、计算机设备以及存储介质
Slomka et al. New imaging protocols for new single photon emission CT technologies
Gao et al. Dynamic dual-tracer PET reconstruction
CN111544022A (zh) 一种pet衰减校正方法、装置和计算机设备
CN115423892A (zh) 一种基于最大期望网络的无衰减校正pet重建方法
Pan et al. Full-dose PET synthesis from low-dose PET using 2D high efficiency denoising diffusion probabilistic model
Shiri et al. Deep adaptive transfer learning for site-specific PET attenuation and scatter correction from multi-national/institutional datasets
CN113052840A (zh) 一种基于低信噪比pet图像的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant