CN114511599A - 模型训练方法及其装置、医学图像配准方法及其装置 - Google Patents

模型训练方法及其装置、医学图像配准方法及其装置 Download PDF

Info

Publication number
CN114511599A
CN114511599A CN202210067924.8A CN202210067924A CN114511599A CN 114511599 A CN114511599 A CN 114511599A CN 202210067924 A CN202210067924 A CN 202210067924A CN 114511599 A CN114511599 A CN 114511599A
Authority
CN
China
Prior art keywords
image sequence
portal vein
liver image
registration
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210067924.8A
Other languages
English (en)
Other versions
CN114511599B (zh
Inventor
韩紫丞
黄文豪
张欢
王瑜
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202210067924.8A priority Critical patent/CN114511599B/zh
Publication of CN114511599A publication Critical patent/CN114511599A/zh
Application granted granted Critical
Publication of CN114511599B publication Critical patent/CN114511599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供了一种模型训练方法，用于迭代训练初始神经网络模型，得到非刚性配准模型，迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数。训练方法包括：基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据；基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和其对应的门静脉分割数据，确定当前次训练的损失函数值；基于当前次训练的损失函数值，调整初始神经网络模型的参数，并循环迭代训练初始神经网络模型，直至确定的损失函数值满足预设条件，得到非刚性配准模型。

Description

模型训练方法及其装置、医学图像配准方法及其装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种模型训练方法及其装置、医学图像配准方法及其装置、电子设备和计算机可读存储介质。
背景技术
现有技术中，为了方便医生精确地观察分析图像，快速定位病灶区域，以为肝脏疾病的诊断和肝外科手术计划提供有效参考，需要将动脉期肝脏图像序列配准到门脉期肝脏图像序列上。
然而，由于门脉期肝脏图像序列中的肝脏内部动脉几乎不显影，且肝脏内部动脉细小易受到肿块等结构影响，因此，在将动脉期肝脏图像序列配准到门脉期肝脏图像序列的过程中，肝内动脉较难配准且配准效果不理想。
发明内容
有鉴于此，本申请实施例提供了一种模型训练方法、模型训练装置、医学图像配准方法、医学图像配准装置、电子设备和计算机可读存储介质、以解决现有技术中在将动脉期肝脏图像序列配准到门脉期肝脏图像序列的过程中，肝内动脉较难配准且配准效果不理想的技术问题。
根据本申请实施例的第一方面，提供一种模型训练方法，用于迭代训练初始神经网络模型，得到非刚性配准模型，迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数。训练方法包括：基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据；基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和门静脉期肝脏图像序列样本对应的门静脉分割数据，确定当前次训练的损失函数值；基于当前次训练的损失函数值，调整初始神经网络模型的参数，并循环迭代训练初始神经网络模型，直至确定的损失函数值满足预设条件，得到非刚性配准模型，其中，非刚性配准模型用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
在一个实施例中，全局相似度损失函数用于约束每次训练的配准数据的相似度，平滑损失函数用于约束相邻的两次训练之间的变化幅度，肝动脉损失函数用于约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离；其中，基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和门静脉期肝脏图像序列样本对应的门静脉分割数据，确定当前次训练的损失函数值，包括：基于当前次训练的配准数据、门静脉期肝脏图像序列样本、全局相似度损失函数，确定当前次训练对应的第一损失函数值；基于当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、和平滑损失函数，确定当前次训练对应的第二损失函数值；基于当前次训练的配准数据、门静脉期肝脏图像序列样本对应的门静脉分割数据、和肝动脉损失函数，确定当前次训练对应的第三损失函数值；对第一损失函数值、第二损失函数值和三损失函数值进行加权计算，确定当前次训练的损失函数值。
在一个实施例中，基于当前次训练的配准数据、门静脉期肝脏图像序列样本对应的门静脉分割数据、和肝动脉损失函数，确定当前次训练对应的第三损失函数值，包括：对当前次训练的配准数据、和门静脉期肝脏图像序列样本对应的门静脉分割数据进行求交集运算，获得交集数据；对当前次训练的配准数据和预设的固定参数进行求和运算，获得求和数据；基于对交集数据的绝对值和求和数据的绝对值的求比值运算，确定第三损失函数值。
在一个实施例中，在基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据之前，还包括：确定动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本；基于对动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本进行预配准操作，获得预配准动脉期肝脏图像序列样本。
在一个实施例中，在基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据之前，还包括：基于门静脉期肝脏图像序列样本，确定门静脉期肝脏图像序列样本对应的多个门静脉期肝脏图像序列样本块数据；将多个门静脉期肝脏图像序列样本块数据输入到预先训练好的门静脉分割模型，确定多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据；基于多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据，确定门静脉期肝脏图像序列样本对应的门静脉分割数据。
在一个实施例中，动脉期肝脏图像序列样本包括动脉期肝脏CT图像序列或动脉期肝脏MRI图像序列，门静脉期肝脏图像序列样本包括门静脉期肝脏CT图像序列或门静脉期肝脏MRI图像序列。
根据本申请实施例的第二方面，提供一种医学图像配准方法，用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列，配准方法包括：基于对待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列进行预配准操作，获得预配准动脉期肝脏图像序列；基于参考门静脉期肝脏图像序列，确定参考门静脉期肝脏图像序列对应的门静脉分割数据；将预配准动脉期肝脏图像序列、参考门静脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于上述第一方面的训练方法确定的非刚性配准模型，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据；基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
在一个实施例中，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据，包括：获得非刚性配准模型确定的非刚性配准形变场；获得预配准动脉期肝脏图像序列对应的预配准形变场；整合预配准形变场和非刚性配准形变场，获得整合后形变场；待配准动脉期肝脏图像序列按照整合后形变场进行空间变换，获得初始配准数据。
在一个实施例中，基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据，包括：确定初始配准数据中的初始肝动脉配准数据；基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始肝动脉配准数据进行去黏连操作，获得中间肝动脉配准数据；基于对中间肝动脉配准数据进行平滑操作处理，获得最终肝动脉配准数据，以确定待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
在一个实施例中，基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始最终配准数据进行去黏连操作，获得中间肝动脉配准数据，包括：确定参考门静脉期肝脏图像序列对应的门静脉分割数据和初始肝动脉配准数据的重叠数据；从初始肝动脉配准数据中删除重叠数据，获得删除操作后的初始肝动脉配准数据；基于对删除操作后的初始肝动脉配准数据进行连通域操作，保留肝动脉主干，获得中间肝动脉配准数据。。
根据本申请实施例的第三方面，提供一种模型训练装置，用于迭代训练初始神经网络模型，得到非刚性配准模型，迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数，训练装置包括：第一获得模块，配置为基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据；损失函数值确定模块，配置为基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和门静脉期肝脏图像序列样本对应的门静脉分割数据，确定当前次训练的损失函数值；第二获得模块，配置为基于当前次训练的损失函数值，调整初始神经网络模型的参数，并循环迭代训练初始神经网络模型，直至确定的损失函数值满足预设条件，得到非刚性配准模型，其中，非刚性配准模型用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
根据本申请实施例的第四方面，提供一种医学图像配准装置，用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列，配准装置包括：第三获得模块，配置为基于对待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列进行预配准操作，获得预配准动脉期肝脏图像序列；第一确定模块，配置为基于参考门静脉期肝脏图像序列，确定参考门静脉期肝脏图像序列对应的门静脉分割数据；第四获得模块，配置为将预配准动脉期肝脏图像序列、参考门静脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于上述第一方面的训练方法确定的非刚性配准模型，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据；后处理模块，配置为基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
根据本申请实施例的第五方面，提供一种电子设备，包括：处理器；以及存储器，在存储器中存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述第一方面的模型训练方法，或如上述第二方面的医学图像配准方法。
根据本申请实施例的第六方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述第一方面的模型训练方法，或如上述第二方面的医学图像配准方法。
本申请实施例提供的模型训练方法，用于迭代训练初始神经网络模型，得到用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列的非刚性配准模型。由于在模型训练过程中设计了全局相似度损失函数、平滑损失函数和肝动脉损失函数共三个模型约束函数，从不同角度对肝内外动脉配准结果进行约束，尤其是肝动脉损失函数通过引入门静脉分割数据，约束肝内不可见血管，以增加肝内不可见血管和静脉门静脉距离，使得训练获得的非刚性配准模型能够动将待配准动脉期肝脏图像序列中的肝内动脉精准地配准到参考门静脉期肝脏图像序列的相应位置，从而解决肝内动脉较难配准且配准效果不理想的技术问题。
附图说明
图1所示为本申请一实施例提供的模型训练方法的流程示意图。
图1a所示为本申请一实施例提供的模型训练方法的流程示意图。
图1b所示为本申请一实施例提供的获得预配准动脉期肝脏图像序列样本的流程示意图。
图1c所示为本申请一实施例提供的模型训练方法的流程示意图。
图2所示为本申请一实施例提供的模型训练方法的流程示意图。
图3所示为本申请一实施例提供的模型训练方法的流程示意图。
图4所示为本申请一实施例提供的医学图像配准方法的流程示意图。
图4a所示为本申请一实施例提供的医学图像配准方法的流程示意图。
图4b所示为本申请一实施例提供的医学图像配准方法的整体流程示意图。
图5所示为本申请一实施例提供的医学图像配准方法的流程示意图。
图5a所示为本申请一实施例提供的对初始肝动脉配准数据进行去黏连操作的流程示意图。
图6所示为本申请一实施例提供的模型训练装置的结构示意图。
图7所示为本申请一实施例提供的损失函数值确定模块的结构示意图。
图8所示为本申请一实施例提供的模型训练装置的结构示意图。
图9所示为本申请一实施例提供的医学图像配准装置的结构示意图。
图10所示为本申请一实施例提供的后处理模块的结构示意图。
图11所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
肝癌是发病率及死亡率很高的恶性肿瘤之一。临床上通常采用肝部增强CT(Computed Tomography，电子计算机断层扫描)扫描和肝部增强MRI(Magnetic ResonanceImaging，核磁共振成像)扫描等检查，辅助医生进行肝脏疾病的诊断和治疗。肝脏增强CT/MRI扫描指的是向患者体内注射造影剂，造影剂随血流进入肝脏，在不同的时间段，对患者进行CT/MRI扫描。
由于肝脏血液循环十分丰富，有门静脉和肝动脉双重供血，流入肝脏的血液中1/4来自肝动脉，3/4来自门静脉，肝动脉主要供给肝脏所需的氧气，门静脉把来自消化道的营养物质和有害物质输入肝脏经肝脏加工处理后，进入全身循环。在做增强CT或增强MRI检查时，由于肝动脉和门静脉供血量的不同，会出现动脉期、门静脉期、实质期和延迟期这四个时期。不同期相的肝脏CT或MRI图像序列上携带的信息对辅助医生进行肝脏疾病的诊断和治料都至关重要，为了医生能够更好地进行后续分析图像，需要将不同期限的肝脏CT/MRI图像序列进行配准。
配准是将一个医学图像序列(浮动图像或待配准图像，moving image)寻求一种或者一系列的空间变换，使它与另一套医学图像序列(参考图像，fixed image)上的对应点达到空间上的一致。这种一致是指人体上的同一位置点在个图像序列上具有相同的空间位置，配准的结果应使两个图像序列上所有的位置点，或者至少是所有具有诊断意义的位置点都能够达到匹配。
为了方便医生精确地观察分析图像，快速定位病灶区域，以为肝脏疾病的诊断和肝外科手术计划提供有效参考，需要将动脉期肝脏图像序列配准到门脉期肝脏图像序列上。
然而，由于门脉期肝脏图像序列上肝脏内部动脉几乎不显影，且肝脏内部动脉细小易受到肿块等结构影响，在将动脉期肝脏图像序列配准到门脉期肝脏图像序列的过程中，肝内动脉较难配准且配准效果不理想。
为了解决上述问题，本申请实施例提供一种用于训练初始神经网络模型模型训练方法，在模型训练过程中设计了全局相似度损失函数、平滑损失函数和肝动脉损失函数共三个模型约束函数，从不同角度对肝内外动脉配准结果进行约束，尤其是肝动脉损失函数通过引入门静脉分割数据，约束肝内不可见血管，以增加肝内不可见血管和静脉门静脉距离，使得训练获得的非刚性配准模型，能够将动脉期肝脏图像序列中的肝内动脉精准地配准到门静脉期肝脏图像序列的相应位置，从而解决肝内动脉较难配准且配准效果不理想的技术问题。
下面结合图1至图11详细介绍本申请实施例提及的模型训练方法、模型训练方法装置、医学图像配准方法、医学图像配准装置、电子设备和计算机可读存储介质。
模型训练方法
本申请实施例提供的模型训练方法，用于迭代训练初始神经网络模型，得到用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列的非刚性配准模型。迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数，全局相似度损失函数用于约束每次训练的配准数据的相似度，平滑损失函数用于约束相邻的两次训练之间的变化幅度，肝动脉损失函数用于约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离。
需要说明的是，初始神经网络模型可以、但不限于为Resunet网络。
图1所示为本申请一实施例提供的模型训练方法的流程示意图。如图1所示，如图1所示，该模型训练方法包括如下步骤。
S101：基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据。
具体而言，考虑到迭代训练得到的非刚性配准模型是为了进行非刚性配准，非刚性配准之前会进行预配准(其中，刚性配准为最常见的预配准手段之一)，因此，初始神经网络模型的训练样本为，预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，其中，预配准动脉期肝脏图像序列样本为经过预配准操作后的动脉期肝脏图像序列样本。
初始神经网络模型，以预配准动脉期肝脏图像序列样本为待配准图像(movingimage)，以门静脉期肝脏图像序列样本为参考图像(fixed image)，使得预配准动脉期肝脏图像序列样本中的肝动脉经过多次迭代变换，配准到门静脉期肝脏图像序列样本的相应位置，经过当前次变换后的预配准动脉期肝脏图像序列样本即为当前次训练的配准数据。
需要说明的是，预配准操作包括刚性配准操作，刚性配准操作是指通过对图像的平移、旋转与缩放处理进行配准，不涉及对图像的形变处理。
在一个可选的实施例中，图1a所示为本申请一实施例提供的模型训练方法的流程示意图。如图1a所示，在基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据步骤之前，该模型训练方法还包括如下步骤。
S100a：确定动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本。
具体而言，动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本需要属于同一患者同一检查的肝脏图像序列。例如：若动脉期肝脏图像序列样本为A患者在注射造影剂后进行增强CT检查时获得的动脉期肝脏CT图像序列，则门静脉期肝脏图像序列样本即为A患者在同一增强CT检查中获得门静脉期肝脏CT图像序列。若动脉期肝脏图像序列样本为B患者在注射造影剂后进行增强MRI检查时，获得的动脉期肝脏MRI图像序列，则门静脉期肝脏图像序列样本即为B患者在同一增强MRI检查中获得门静脉期肝脏增强MRI图像序列。
需要说明的是，动脉期肝脏图像序列样本可以、但不限于动脉期肝脏CT图像序列或动脉期肝脏MRI图像序列。对应地，门静脉期肝脏图像序列样本可以、但不限于门静脉期肝脏CT图像序列或门静脉期肝脏MRI图像序列。
S100b：基于对动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本进行预配准操作，获得预配准动脉期肝脏图像序列样本。
具体而言，在确定动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本之后，在进入初始神经网络模型之前，对动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本进行预配准操作，获得预配准动脉期肝脏图像序列样本。
在一个进一步实施例中，预配准操作为刚性配准操作，预配准动脉期肝脏图像序列样本为刚性配准后的动脉期肝脏图像序列样本。
具体而言，图1b所示为本申请一实施例提供的获得预配准动脉期肝脏图像序列样本的流程示意图。如图1b所示，获得预配准动脉期肝脏图像序列样本包括如下步骤。将动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本输入初始刚性预配准网络，动脉期肝脏图像序列样本为待配准图像，记为图像A，门静脉期肝脏图像序列样本为参考图像，记为图像B。在当前周期的刚性配准过程中，通过平移和旋转变换等刚性变换过程，获得当前周期的刚性配准数据，计为图像f(A)，采用互信息作为相关度指标衡量刚性配准数据和参考图像相似度，即，计算图像f(A)与图像B的相关度指标，基于f(A)与图像B的相关度指标，调整初始刚性配准神经网络模型的参数，重复当前周期，直至计算图像f(A)与图像B的相似度满足预设条件，获得训练好的刚性配准模型，获得训练好的刚性配准模型的同时，也获得了刚性配准后的动脉期肝脏图像序列样本(即，获得了预配准动脉期肝脏图像序列样本)。
获得预配准动脉期肝脏图像序列样本之后，将预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本输入初始神经网络模型。
S102：基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和门静脉期肝脏图像序列样本对应的门静脉分割数据，确定当前次训练的损失函数值。
具体而言，预配准动脉期肝脏图像序列样本为待配准图像，门静脉期肝脏图像序列样本为参考图像。模型约束函数用于衡量移动后的待配准图像与参考图像的相似度(即用于衡量移动后的预配准动脉期肝脏图像序列样本与门静脉期肝脏图像序列样本的相似度)，从而约束初始神经网络模型向提高相似度的方向改进。模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数，这三个模型约束函数从不同角度衡量非刚性配准的效果，即，是在训练过程中对初始神经网络模型在不同的方面进行约束，以获得非刚性配准模型。
全局相似度损失函数，即NCC Loss(Normalized Cross-Correlation loss，归一化互相关损失函数)为提前预设的，用于约束每次训练的配准数据的相似度。NCC Loss是以每次训练的配准数据与参考图像为变量的函数。NCC Loss通过计算相关系数来衡量非刚性配准结果的相似度，从而对初始神经网络模型进行优化。
平滑损失函数，即Smooth Loss为提前预设的，用于约束相邻的两次训练之间的变化幅度，以整个迭代训练过程中相邻的两次训练的配准参数为变量的函数。Smooth Loss对邻域内变换幅度进行约束，从而防止图像序列中的相邻的区域内在非刚性配准过程出现过大变动，进而优化初始神经网络模型。
肝动脉损失函数，即Artery in liver Loss，为提前预设的，用于约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离，以当前次训练的配准数据和门静脉期肝脏图像序列样本对应的门静脉分割数据为变量的函数。Artery in liver Loss结合了门静脉期肝脏图像序列样本对应的门静脉分割数据，通过计算当前次训练的配准数据与门静脉期肝脏图像序列样本对应的静脉分割数据，以约束肝内不可见血管和门静脉之间的距离，从而对初始神经网络模型进行优化。
针对于初始神经网络模型对应的迭代训练中的每次训练，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本、门静脉期肝脏图像序列样本对应的门静脉分割数据，以及提前预设的全局相似度损失函数、平滑损失函数和肝动脉损失函数，获得结合了三方面约束的损失函数值，以对初始神经网络模型进行优化，使得训练获得的非刚性配准模型，能够将动脉期肝脏图像序列中的肝内动脉精准地配准到门静脉期肝脏图像序列的相应位置。
在一个可选的实施例中，图1c所示为本申请一实施例提供的模型训练方法的流程示意图。如图1c所示，在基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据步骤之前，该模型训练方法还包括如下步骤。
S100c：基于门静脉期肝脏图像序列样本，确定门静脉期肝脏图像序列样本对应的多个门静脉期肝脏图像序列样本块数据。
S100d：将多个门静脉期肝脏图像序列样本块数据输入到预先训练好的门静脉分割模型，确定多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据。
S100e：基于多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据，确定门静脉期肝脏图像序列样本对应的门静脉分割数据。
具体而言，门静脉期肝脏图像序列样本对应的门静脉分割数据，为门静脉期肝脏图像序列样本中门静脉的标记。
在获得门静脉期肝脏图像序列样本对应的门静脉分割数据后，将其输入初始神经网络模型，将其输入Artery in liver Loss进行计算，以用于约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离。
S103：基于当前次训练的损失函数值，调整初始神经网络模型的参数，并循环迭代训练初始神经网络模型，直至确定的损失函数值满足预设条件，得到非刚性配准模型。
具体而言，根据当前次训练的损失函数值，调整初始神经网络模型的参数，并循环迭代训练初始神经网络模型，直至加权后损失函数值满足预设条件，则认为初始神经网络模型训练完毕，获得非刚性配准模型。
本申请实施例中，在模型训练过程中设计了全局相似度损失函数、平滑损失函数和肝动脉损失函数共三个模型约束函数，从不同角度对肝内外动脉配准结果进行约束，尤其是肝动脉损失函数通过引入门静脉分割数据，约束肝内不可见血管，以增加肝内不可见血管和静脉门静脉距离，使得训练获得的非刚性配准模型能够将待配准动脉期肝脏图像序列中的肝内动脉精准地配准到参考门静脉期肝脏图像序列的相应位置，从而解决肝内动脉较难配准且配准效果不理想的技术问题。
图2所示为本申请一实施例提供的模型训练方法的流程示意图。如图2所示，基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和门静脉期肝脏图像序列样本对应的门静脉分割数据，确定当前次训练的损失函数值，包括如下步骤。
S201：基于当前次训练的配准数据、门静脉期肝脏图像序列样本、全局相似度损失函数，确定当前次训练对应的第一损失函数值。
NCC Loss是以每次训练的配准数据与参考图像为变量的函数。将当前次训练的配准数据、门静脉期肝脏图像序列样本代入NCC Loss进行计算，获得当前次训练对应的第一损失函数值。
S202：基于当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、和平滑损失函数，确定当前次训练对应的第二损失函数值。
具体而言，Smooth Loss是以整个迭代训练过程中相邻的两次训练的配准参数为变量的函数。将当前次训练的配准数据、当前次训练对应的上一次训练的配准数据代入Smooth Loss进行计算，获得当前次训练对应的第二损失函数值。
需要说明的是，若当前次训练为整个迭代训练过程的第一次训练，则上一次训练的配准数据就为预配准动脉期肝脏图像序列样本本身。
S203：基于当前次训练的配准数据、门静脉期肝脏图像序列样本对应的门静脉分割数据、和肝动脉损失函数，确定当前次训练对应的第三损失函数值。
具体而言，Artery in liver Loss以当前次训练的配准数据和门静脉期肝脏图像序列样本对应的门静脉分割数据为变量的函数，将当前次训练的配准数据和门静脉期肝脏图像序列样本对应的门静脉分割数据输入Artery in liver Loss进行计算，获得当前次训练对应的第三损失函数值，用来约束肝内不可见血管和门静脉之间的距离。
S204：对第一损失函数值、第二损失函数值和三损失函数值进行加权计算，确定当前次训练的损失函数值。
具体而言，基于预设的第一损失函数值、第二损失函数值和三损失函数值各自对应的加权值，对第一损失函数值、第二损失函数值和三损失函数值进行加权计算，获得当前次训练的损失函数值。
需要说明的是，第一损失函数值、第二损失函数值和三损失函数值各自对应的加权值为人为预设。
还需要说明的是，针对于迭代训练过程中的每个训练过程均通过上述步骤，获得每次训练的损失函数值。
本申请实施例中，通过上述步骤，获得结合三方面约束的当前次训练的损失函数值，实现在训练过程中对初始神经网络模型在不同的方面进行约束，以获得更优异的非刚性配准模型的目的。尤其是引入肝动脉损失函数，约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离，使得初始神经网络模型向能够准确地配准肝内不可见血管的方向上改进，使得训练获得的非刚性配准模型能够解决肝内动脉较难配准且配准效果不理想的技术问题。
图3所示为本申请一实施例提供的模型训练方法的流程示意图。如图3所示，基于当前次训练的配准数据、门静脉期肝脏图像序列样本对应的门静脉分割数据、和肝动脉损失函数，确定当前次训练对应的第三损失函数值步骤，包括如下步骤。
S301：对当前次训练的配准数据、和门静脉期肝脏图像序列样本对应的门静脉分割数据进行求交集运算，获得交集数据。
S302：对当前次训练的配准数据和预设的固定参数进行求和运算，获得求和数据。
S303：基于对交集数据的绝对值和求和数据的绝对值的求比值运算，确定第三损失函数值。
示例性地，Artery in liver Loss＝|M∩Y|/|M+δ|
其中，M为当前次训练的配准数据，Y为门静脉期肝脏图像序列样本对应的门静脉分割数据，δ为常数1e-5。
本申请实施例中，通过计算当前次训练的配准数据与门静脉期肝脏图像序列样本对应的门静脉分割数据，约束中间配准数据中的配准出的肝内不可见动脉血管和静脉门静脉距离，以降低动脉期肝脏图像序列配准到门脉期肝脏图像序列出现假阳的概率。
示例性医学图像配准方法
本申请实施例提供的模型训练方法，用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
图4所示为本申请一实施例提供的医学图像配准方法的流程示意图。如图4所示，该医学图像配准方法包括下列步骤。
S401：基于对待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列进行预配准操作，获得预配准动脉期肝脏图像序列。
S402：基于参考门静脉期肝脏图像序列，确定参考门静脉期肝脏图像序列对应的门静脉分割数据。
参考门静脉期肝脏图像序列样本对应的门静脉分割数据，为参考门静脉期肝脏图像序列中的门静脉的标记。
S403：将预配准动脉期肝脏图像序列、参考门静脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于上述任一实施例的训练方法确定的非刚性配准模型，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据。
S404：基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
在一个可选的实施例中，图4a所示为本申请一实施例提供的医学图像配准方法的流程示意图。如图4a所示，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据步骤，包括下列步骤。
S4031：获得非刚性配准模型确定的非刚性配准形变场。
S4032：获得预配准动脉期肝脏图像序列对应的预配准形变场。
S4033：整合预配准形变场和非刚性配准形变场，获得整合后形变场。
S4034：待配准动脉期肝脏图像序列按照整合后形变场进行空间变换，获得初始配准数据。
具体而言，图4b所示为本申请一实施例提供的医学图像配准方法的整体流程示意图。结合图4、图4a和图4b所示，将待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列输入预先训练好的刚性配准模型，获得刚性配准形变场(刚性配准为一种常见的预配准实现方式)，待配准动脉期肝脏图像序列按照刚性配准形变场进行空间变换，获得预配准动脉期肝脏图像序列。
将参考门静脉期肝脏图像序列输入预先训练好的门静脉分割模型，获得参考门静脉期肝脏图像序列对应的门静脉分割数据。将预配准动脉期肝脏图像序列、参考门静脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于上述任一实施例的训练方法确定的非刚性配准模型，获得非预配准形变场。
将预配准形变场和非预配准形变场通过加权整合，获得整合后形变场。待配准动脉期肝脏图像序列按照整合后形变场进行直接一步空间变换，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据。基于门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据，使得待配准动脉期肝脏图像序列不容易显示的肝内动脉精准地配准到参考门静脉期肝脏图像序列上，更好地解决肝内动脉配准难题的问题。
本申请实施例提供的医学图像配准方法，能够使得待配准动脉期肝脏图像序列中的肝内动脉精准地配准到参考门静脉期肝脏图像序列上，更好地解决肝内动脉配准难题的问题，从而为医生后续分析图像快速定位病灶区域提供基础。
图5所示为本申请一实施例提供的医学图像配准方法的流程示意图。如图5所示，该医学图像配准方法包括下列步骤。基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据步骤，包括如下步骤。
S501：确定初始配准数据中的初始肝动脉配准数据。
具体而言，初始肝动脉配准数据为初始配准数据中配准后的肝动脉(肝动脉包括肝内动脉和肝外动脉)的标记。
S502：基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始最终配准数据进行去黏连操作，获得中间肝动脉配准数据。
具体而言，引入门静脉分割数据对配准的初始配准数据中的初始肝动脉配准数据进行削减，解决门静脉与肝动脉之间的粘连的问题，获得中间肝动脉配准数据。
图5a所示为本申请一实施例提供的对初始肝动脉配准数据进行去黏连操作的流程示意图。如图5a所示，基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据步骤，包括如下步骤。
S5021：确定参考门静脉期肝脏图像序列对应的门静脉分割数据和初始肝动脉配准数据的重叠数据。
S5022：从初始肝动脉配准数据中删除重叠数据，获得删除操作后的初始肝动脉配准数据。
S5023：基于对删除操作后的初始肝动脉配准数据进行连通域操作，保留肝动脉主干，获得中间肝动脉配准数据。
具体而言，使用参考门静脉期肝脏图像序列中的门静脉的标记，将配准的初始配准数据中配准后的肝动脉的标记截断，保留门静脉的标记中与配准后的肝动脉的标记重叠的部分，以尽可能地获得更准确的肝脏内部动脉，从而获得删除操作后的配准后的肝动脉标记。并对删除操作后的配准后的肝动脉标记进行连通域操作，保留肝动脉主干部分，从而去除其他连通域，继而获得肝动脉标记(即，中间肝动脉配准数据)。
S503：基于对中间肝动脉配准数据进行平滑操作处理，获得最终肝动脉配准数据，以确定待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
具体而言，对中间肝动脉标记做平滑操作处理，获得平滑操作后的中间肝动脉标记。另外，对中间肝动脉标记进行中线提取操作，获得中间提取操作后的中间肝动脉标记，并对中间提取操作后的中间肝动脉标记进行膨胀操作处理，获得膨胀操作后的中间肝动脉标记。对平滑操作后的中间肝动脉标记和膨胀操作后的中间肝动脉标记求并集，获得最终的肝动脉标记数据，即，最终肝动脉配准数据，从而确定待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据，实现将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列相应位置的目的。
本申请实施例中，通过上述步骤对初始配准数据中的初始肝动脉配准数据进行后处理，从而获得更为精准的肝动脉配准数据，继而将待配准动脉期肝脏图像序列中的肝内动脉精准地配准到参考门静脉期肝脏图像序列的相应位置，以方便医生精确地观察分析图像，快速定位病灶区域，继而为肝脏疾病的诊断和肝外科手术计划提供有效参考。
示例性模型训练装置
本申请实施例提供的模型训练装置用于训练初始神经网络模型，以用于迭代训练初始神经网络模型，得到用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列的非刚性配准模型。
迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数，全局相似度损失函数用于约束每次训练的配准数据的相似度，平滑损失函数用于约束相邻的两次训练之间的变化幅度，肝动脉损失函数用于约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离。
图6所示为本申请一实施例提供的模型训练装置的结构示意图。如图6所示，该模型训练装置100包括第一获得模块101、损失函数值确定模块102和第二获得模块103。
第一获得模块101配置为，基于初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据。损失函数值确定模块102配置为，基于模型约束函数，利用当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、门静脉期肝脏图像序列样本和门静脉期肝脏图像序列样本对应的门静脉分割数据，确定当前次训练的损失函数值。第一获得模块103配置为，基于当前次训练的损失函数值，调整初始神经网络模型的参数，并循环迭代训练初始神经网络模型，直至确定的损失函数值满足预设条件，得到非刚性配准模型，非刚性配准模型用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
本申请实施例中，由于在模型训练过程中设计了全局相似度损失函数、平滑损失函数和肝动脉损失函数共三个模型约束函数，从不同角度对肝内外动脉配准结果进行约束，尤其是肝动脉损失函数通过引入门静脉分割数据，约束肝内不可见血管，以增加肝内不可见血管和静脉门静脉距离，使得训练获得的非刚性配准模型能够动脉期肝脏图像序列中的肝内动脉精准地配准到门静脉期肝脏图像序列的相应位置，从而解决肝内动脉较难配准且配准效果不理想的技术问题。
图7所示为本申请一实施例提供的损失函数值确定模块的结构示意图。如图7所示，损失函数值确定模块102进一步包括：第一损失函数值确定单元1021、第二损失函数值确定单元1022、第三损失函数值确定单元1023和加权单元1024。
第一损失函数值确定单元1021配置为，基于当前次训练的配准数据、门静脉期肝脏图像序列样本、全局相似度损失函数，确定当前次训练对应的第一损失函数值。第二损失函数值确定单元1022配置为，基于当前次训练的配准数据、当前次训练对应的上一次训练的配准数据、和平滑损失函数，确定当前次训练对应的第二损失函数值。第三损失函数值确定单元1023配置为，基于当前次训练的配准数据、门静脉期肝脏图像序列样本对应的门静脉分割数据、和肝动脉损失函数，确定当前次训练对应的第三损失函数值。加权单元1024配置为，对第一损失函数值、第二损失函数值和三损失函数值进行加权计算，确定当前次训练的损失函数值。
第三损失函数值确定单元1023进一步配置为对当前次训练的配准数据、和门静脉期肝脏图像序列样本对应的门静脉分割数据进行求交集运算，获得交集数据。对当前次训练的配准数据和预设的固定参数进行求和运算，获得求和数据。基于对交集数据的绝对值和求和数据的绝对值的求比值运算，确定第三损失函数值。
图8所示为本申请一实施例提供的模型训练装置的结构示意图。如图8所示，模型训练装置100还一步包括：样本确定模块104和预配准模块105。
样本确定模块104配置为，确定动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本。预配准模块105配置为，基于对动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本进行预配准操作，获得预配准动脉期肝脏图像序列样本。
在一个实施例中，如图8所示，模型训练装置100还一步包括门静脉分割数据确定模块106。门静脉分割数据确定模块106配置为基于门静脉期肝脏图像序列样本，确定门静脉期肝脏图像序列样本对应的多个门静脉期肝脏图像序列样本块数据；将多个门静脉期肝脏图像序列样本块数据输入到预先训练好的门静脉分割模型，确定多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据；基于多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据，确定门静脉期肝脏图像序列样本对应的门静脉分割数据。
在一个实施例中，动脉期肝脏图像序列样本包括动脉期肝脏CT图像序列或动脉期肝脏MRI图像序列，门静脉期肝脏图像序列样本包括门静脉期肝脏CT图像序列或门静脉期肝脏MRI图像序列。
上述模型训练装置中其他各个模块的具体功能和操作已经在图1到图3描述的模型训练方法中进行了详细介绍，因此，这里将省略其重复描述。
示例性医学图像配准装置
本申请实施例提供的医学图像配准装置用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
图9所示为本申请一实施例提供的医学图像配准装置的结构示意图。如图9所示，医学图像配准装置200包括：第三获得模块201、第一确定模块202、第四获得模块203和后处理模块204。
第二获得模块201配置为，基于对待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列进行预配准操作，获得预配准待配准动脉期肝脏图像序列。第一确定模块202配置为，基于参考门静脉期肝脏图像序列，确定参考门静脉期肝脏图像序列对应的门静脉分割数据。第三获得模块203配置为，将预配准动脉期肝脏图像序列、参考门静脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于上述任一实施例的训练方法确定的非刚性配准模型，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据。后处理模块206配置为，基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始配准数据进行后处理，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
在一个实施例中，基于非刚性配准模型，获得待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的初始配准数据步骤，包括：获得非刚性配准模型确定的非刚性配准形变场。获得预配准动脉期肝脏图像序列对应的预配准形变场。整合预配准形变场和非刚性配准形变场，获得整合后形变场。待配准动脉期肝脏图像序列按照整合后形变场进行空间变换，获得初始配准数据。
图10所示为本申请一实施例提供的后处理模块的结构示意图。如图10所示，后处理模块204进一步包括：第一确定单元2041、第一获得单元2042和第二获得单元2043。
第一确定单元2041配置为，确定初始配准数据中的初始肝动脉配准数据。第一获得单元2042配置为，基于参考门静脉期肝脏图像序列对应的门静脉分割数据，对初始最终配准数据进行去黏连操作，获得中间肝动脉配准数据。第二获得单元2043配置为，基于对中间肝动脉配准数据进行平滑操作处理，获得最终肝动脉配准数据，以确定待配准动脉期肝脏图像序列和参考门静脉期肝脏图像序列对应的最终配准数据。
在一个实施例中，第一获得单元2042进一步配置为确定参考门静脉期肝脏图像序列对应的门静脉分割数据和初始肝动脉配准数据的重叠数据。从初始肝动脉配准数据中删除重叠数据，获得删除操作后的初始肝动脉配准数据。基于对删除操作后的初始肝动脉配准数据进行连通域操作，保留肝动脉主干，获得中间肝动脉配准数据。
上述医学图像配准装置中其他各个模块的具体功能和操作已经在图4到图5描述的医学图像配准方法置中进行了详细介绍，因此，这里将省略其重复描述。
示例性电子设备
图11所示为本申请一实施例提供的电子设备的结构示意图。如图11所示，电子设备300包括一个或多个处理器310和存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。
存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的模型训练方法，或者各个实施例的医学图像配准方法，以及/或者其他期望的功能。
在一个示例中，电子设备300还可以包括：输入装置330和输出装置340，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
当然，为了简化，图11中仅示出了该电子设备300中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性模型训练方法”部分中描述的根据本申请各个实施例提供的模型训练方法中的步骤，或执行本说明书上述“示例性医学图像配准方法”部分中描述的根据本申请各个实施例提供的医学图像配准方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的步骤式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性模型训练方法”部分中描述的根据本申请各个实施例提供的模型训练方法中的步骤，或执行本说明书上述“示例性医学图像配准方法”部分中描述的根据本申请各个实施例提供的医学图像配准方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，以上列举的仅为本申请的具体实施例，显然本申请不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本申请公开的内容直接导出或联想到的所有变形，均应属于本申请的保护范围。
应当理解，本申请实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本申请实施例的技术方案使用，并不能用以限制本申请的保护范围。
以上仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种模型训练方法，其特征在于，用于迭代训练初始神经网络模型，得到非刚性配准模型，迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数，所述训练方法包括：
基于所述初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据；
基于所述模型约束函数，利用所述当前次训练的配准数据、所述当前次训练对应的上一次训练的配准数据、所述门静脉期肝脏图像序列样本和所述门静脉期肝脏图像序列样本对应的门静脉分割数据，确定所述当前次训练的损失函数值；
基于所述当前次训练的损失函数值，调整所述初始神经网络模型的参数，并循环迭代训练所述初始神经网络模型，直至确定的损失函数值满足预设条件，得到所述非刚性配准模型，其中，所述非刚性配准模型用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
2.根据权利要求1所述的模型训练方法，其特征在于，所述全局相似度损失函数用于约束每次训练的配准数据的相似度，所述平滑损失函数用于约束相邻的两次训练之间的变化幅度，所述肝动脉损失函数用于约束每次训练的配准数据中的肝内动脉与肝内门静脉的距离；
其中，所述基于所述模型约束函数，利用所述当前次训练的配准数据、所述当前次训练对应的上一次训练的配准数据、所述门静脉期肝脏图像序列样本和所述门静脉期肝脏图像序列样本对应的门静脉分割数据，确定所述当前次训练的损失函数值，包括：
基于所述当前次训练的配准数据、所述门静脉期肝脏图像序列样本、所述全局相似度损失函数，确定所述当前次训练对应的第一损失函数值；
基于所述当前次训练的配准数据、所述当前次训练对应的上一次训练的配准数据、和所述平滑损失函数，确定所述当前次训练对应的第二损失函数值；
基于所述当前次训练的配准数据、所述门静脉期肝脏图像序列样本对应的门静脉分割数据、和所述肝动脉损失函数，确定所述当前次训练对应的第三损失函数值；
对所述第一损失函数值、所述第二损失函数值和所述三损失函数值进行加权计算，确定所述当前次训练的损失函数值。
3.根据权利要求2所述的模型训练方法，其特征在于，所述基于所述当前次训练的配准数据、所述门静脉期肝脏图像序列样本对应的门静脉分割数据、和所述肝动脉损失函数，确定所述当前次训练对应的第三损失函数值，包括：
对所述当前次训练的配准数据、和所述门静脉期肝脏图像序列样本对应的门静脉分割数据进行求交集运算，获得交集数据；
对所述当前次训练的配准数据和预设的固定参数进行求和运算，获得求和数据；
基于对所述交集数据的绝对值和所述求和数据的绝对值的求比值运算，确定所述第三损失函数值。
4.根据权利要求1至3任一项所述的模型训练方法，其特征在于，在所述基于所述初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据之前，还包括：
确定动脉期肝脏图像序列样本和所述门静脉期肝脏图像序列样本；
基于对所述动脉期肝脏图像序列样本和所述门静脉期肝脏图像序列样本进行预配准操作，获得所述预配准动脉期肝脏图像序列样本。
5.根据权利要求1至3任一项所述的模型训练方法，其特征在于，在所述基于所述初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据之前，还包括：
基于所述门静脉期肝脏图像序列样本，确定所述门静脉期肝脏图像序列样本对应的多个门静脉期肝脏图像序列样本块数据；
将所述多个门静脉期肝脏图像序列样本块数据输入到预先训练好的门静脉分割模型，确定所述多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据；
基于所述多个门静脉期肝脏图像序列样本块数据各自对应的门静脉分割块数据，确定所述门静脉期肝脏图像序列样本对应的门静脉分割数据。
6.根据权利要求4所述的模型训练方法，其特征在于，所述动脉期肝脏图像序列样本包括动脉期肝脏CT图像序列或动脉期肝脏MRI图像序列，所述门静脉期肝脏图像序列样本包括门静脉期肝脏CT图像序列或门静脉期肝脏MRI图像序列。
7.一种医学图像配准方法，其特征在于，用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列，所述配准方法包括：
基于对所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列进行预配准操作，获得预配准动脉期肝脏图像序列；
基于所述参考门静脉期肝脏图像序列，确定所述参考门静脉期肝脏图像序列对应的门静脉分割数据；
将所述预配准动脉期肝脏图像序列、所述参考门静脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于权利要求1至6任一项所述的训练方法确定的非刚性配准模型，基于所述非刚性配准模型，获得所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的初始配准数据；
基于所述参考门静脉期肝脏图像序列对应的门静脉分割数据，对所述初始配准数据进行后处理，获得所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的最终配准数据。
8.根据权利要求7所述的医学图像配准方法，其特征在于，所述基于所述非刚性配准模型，获得所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的初始配准数据，包括：
获得非刚性配准模型确定的非刚性配准形变场；
获得预配准动脉期肝脏图像序列对应的预配准形变场；
整合所述预配准形变场和所述非刚性配准形变场，获得整合后形变场；
所述待配准动脉期肝脏图像序列按照所述整合后形变场进行空间变换，获得所述初始配准数据。
9.根据权利要求7或8所述的医学图像配准方法，其特征在于，所述基于所述参考门静脉期肝脏图像序列对应的门静脉分割数据，对所述初始配准数据进行后处理，获得所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的最终配准数据，包括：
确定所述初始配准数据中的初始肝动脉配准数据；
基于所述参考门静脉期肝脏图像序列对应的门静脉分割数据，对所述初始肝动脉配准数据进行去黏连操作，获得中间肝动脉配准数据；
基于对所述中间肝动脉配准数据进行平滑操作处理，获得最终肝动脉配准数据，以确定所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的最终配准数据。
10.根据权利要求9所述的医学图像配准方法，其特征在于，所述基于所述参考门静脉期肝脏图像序列对应的门静脉分割数据，对所述初始最终配准数据进行去黏连操作，获得中间肝动脉配准数据，包括：
确定所述参考门静脉期肝脏图像序列对应的门静脉分割数据和所述初始肝动脉配准数据的重叠数据；
从所述初始肝动脉配准数据中删除所述重叠数据，获得删除操作后的初始肝动脉配准数据；
基于对所述删除操作后的初始肝动脉配准数据进行连通域操作，保留肝动脉主干，获得所述中间肝动脉配准数据。
11.一种模型训练装置，其特征在于，用于迭代训练初始神经网络模型，得到非刚性配准模型，迭代训练过程中利用的模型约束函数包括全局相似度损失函数、平滑损失函数和肝动脉损失函数，所述训练装置包括：
第一获得模块，配置为基于所述初始神经网络模型，利用预配准动脉期肝脏图像序列样本和门静脉期肝脏图像序列样本，得到当前次训练的配准数据；
损失函数值确定模块，配置为基于所述模型约束函数，利用所述当前次训练的配准数据、所述当前次训练对应的上一次训练的配准数据、所述门静脉期肝脏图像序列样本和所述门静脉期肝脏图像序列样本对应的门静脉分割数据，确定所述当前次训练的损失函数值；
第二获得模块，配置为基于所述当前次训练的损失函数值，调整所述初始神经网络模型的参数，并循环迭代训练所述初始神经网络模型，直至确定的损失函数值满足预设条件，得到所述非刚性配准模型，其中，所述非刚性配准模型用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列。
12.一种医学图像配准装置，其特征在于，用于将待配准动脉期肝脏图像序列配准到参考门静脉期肝脏图像序列，所述配准装置包括：
第三获得模块，配置为基于对所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列进行预配准操作，获得预配准动脉期肝脏图像序列；
第一确定模块，配置为基于所述参考门静脉期肝脏图像序列，确定所述参考门静脉期肝脏图像序列对应的门静脉分割数据；
第四获得模块，配置为将所述预配准动脉期肝脏图像序列、所述参考门静脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的门静脉分割数据输入基于权利要求1至6任一项所述的训练方法确定的非刚性配准模型，基于所述非刚性配准模型，获得所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的初始配准数据；
后处理模块，配置为基于所述参考门静脉期肝脏图像序列对应的门静脉分割数据，对所述初始配准数据进行后处理，获得所述待配准动脉期肝脏图像序列和所述参考门静脉期肝脏图像序列对应的最终配准数据。
13.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至10任一项所述的方法。
14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至10任一项所述方法。
CN202210067924.8A 2022-01-20 2022-01-20 模型训练方法及其装置、医学图像配准方法及其装置 Active CN114511599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210067924.8A CN114511599B (zh) 2022-01-20 2022-01-20 模型训练方法及其装置、医学图像配准方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210067924.8A CN114511599B (zh) 2022-01-20 2022-01-20 模型训练方法及其装置、医学图像配准方法及其装置

Publications (2)

Publication Number Publication Date
CN114511599A true CN114511599A (zh) 2022-05-17
CN114511599B CN114511599B (zh) 2022-09-20

Family

ID=81549870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210067924.8A Active CN114511599B (zh) 2022-01-20 2022-01-20 模型训练方法及其装置、医学图像配准方法及其装置

Country Status (1)

Country Link
CN (1) CN114511599B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563358A (zh) * 2023-07-07 2023-08-08 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425186A (zh) * 2008-11-17 2009-05-06 华中科技大学 一种基于ct图像的肝脏分段方法及其系统
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110363802A (zh) * 2018-10-26 2019-10-22 西安电子科技大学 基于自动分割和骨盆对齐的前列腺图像配准系统及方法
US20190378274A1 (en) * 2018-06-06 2019-12-12 International Business Machines Corporation Joint registration and segmentation of images using deep learning
CN110827331A (zh) * 2019-11-04 2020-02-21 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN110838139A (zh) * 2019-11-04 2020-02-25 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN110992411A (zh) * 2019-12-04 2020-04-10 图玛深维医疗科技(北京)有限公司 图像配准模型的训练方法和装置
CN111210467A (zh) * 2018-12-27 2020-05-29 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
US20200311923A1 (en) * 2019-03-26 2020-10-01 The Johns Hopkins University Method and Apparatus for Registration of Different Mammography Image Views
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置
CN113066090A (zh) * 2021-03-19 2021-07-02 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置
CN113538414A (zh) * 2021-08-13 2021-10-22 推想医疗科技股份有限公司 肺部图像配准方法和肺部图像配准装置
CN113610752A (zh) * 2021-06-15 2021-11-05 上海联影智能医疗科技有限公司 乳腺图像配准方法、计算机设备和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425186A (zh) * 2008-11-17 2009-05-06 华中科技大学 一种基于ct图像的肝脏分段方法及其系统
US20190378274A1 (en) * 2018-06-06 2019-12-12 International Business Machines Corporation Joint registration and segmentation of images using deep learning
CN110363802A (zh) * 2018-10-26 2019-10-22 西安电子科技大学 基于自动分割和骨盆对齐的前列腺图像配准系统及方法
CN111210467A (zh) * 2018-12-27 2020-05-29 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
US20200311923A1 (en) * 2019-03-26 2020-10-01 The Johns Hopkins University Method and Apparatus for Registration of Different Mammography Image Views
CN110838139A (zh) * 2019-11-04 2020-02-25 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN110827331A (zh) * 2019-11-04 2020-02-21 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN110992411A (zh) * 2019-12-04 2020-04-10 图玛深维医疗科技(北京)有限公司 图像配准模型的训练方法和装置
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置
CN113066090A (zh) * 2021-03-19 2021-07-02 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置
CN113610752A (zh) * 2021-06-15 2021-11-05 上海联影智能医疗科技有限公司 乳腺图像配准方法、计算机设备和存储介质
CN113538414A (zh) * 2021-08-13 2021-10-22 推想医疗科技股份有限公司 肺部图像配准方法和肺部图像配准装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHU-TE SU 等: "Featured Surface Matching Method for Liver Image Registration", 《IEEE ACESS》 *
STEFAN HELDMANN 等: "Elastic Registration of Multiphase CT Images of Liver", 《ELASTIC REGISTRATION OF MULTIPHASE CT IMAGES OF LIVER》 *
宋晓 等: "基于 CT 三视图的肝脏自动分割方法", 《系统仿真学报》 *
梁栋: "基于多期相CT影像的肝脏病灶检测和分类算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *
马露凡 等: "深度医学图像配准研究进展:迈向无监督学习", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563358A (zh) * 2023-07-07 2023-08-08 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法
CN116563358B (zh) * 2023-07-07 2023-09-22 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法

Also Published As

Publication number Publication date
CN114511599B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US20180220984A1 (en) Medical Imaging Methods And Apparatus For Diagnosis And Monitoring Of Diseases And Uses Therefor
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
Li et al. Multiscale receptive field based on residual network for pancreas segmentation in CT images
Hammouda et al. A new framework for performing cardiac strain analysis from cine MRI imaging in mice
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN110111305B (zh) 处理方案的生成方法、装置、设备和存储介质
Li et al. Fully convolutional networks for ultrasound image segmentation of thyroid nodules
KR20210000542A (ko) 의료영상에서의 특정연골 분할 방법 및 장치
CN114511599B (zh) 模型训练方法及其装置、医学图像配准方法及其装置
CN116649994A (zh) Cta与dsa图像智能融合方法、装置、设备及介质
Lee et al. Robust end-to-end focal liver lesion detection using unregistered multiphase computed tomography images
Zhou et al. A dual branch and fine-grained enhancement network for pancreatic tumor segmentation in contrast enhanced CT images
Srivastava et al. Analytical study of the encoder-decoder models for ultrasound image segmentation
Shajahan et al. RIBM3DU‐Net: Glioma tumour substructures segmentation in magnetic resonance images using residual‐inception block with modified 3D U‐Net architecture
CN117197346A (zh) 三维超声成像处理方法、系统、电子设备和可读存储介质
CN114119688B (zh) 基于深度学习的冠状动脉造影前后单模医学图像配准方法
El Hadramy et al. Intraoperative CT augmentation for needle-based liver interventions
CN113850794A (zh) 一种图像处理方法及装置
CN115578396B (zh) 一种血管图像提取方法、装置、电子设备和可读存储介质
Li et al. Application of U-shaped convolutional neural network based on attention mechanism in liver CT image segmentation
CN117649350B (zh) 一种血管内图像和造影图像的融合方法、装置和设备
CN114049282B (zh) 一种冠状动脉的构建方法、装置、终端及存储介质
US11836926B2 (en) System and method for contouring a set of medical images based on deep learning algorithm and anatomical properties
US20220199231A1 (en) System and method for assisting verification of labeling and contouring of multiple regions of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant