CN109410188B - 用于对医学图像进行分割的系统和方法 - Google Patents

用于对医学图像进行分割的系统和方法 Download PDF

Info

Publication number
CN109410188B
CN109410188B CN201811188083.6A CN201811188083A CN109410188B CN 109410188 B CN109410188 B CN 109410188B CN 201811188083 A CN201811188083 A CN 201811188083A CN 109410188 B CN109410188 B CN 109410188B
Authority
CN
China
Prior art keywords
image
network
modality
learning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811188083.6A
Other languages
English (en)
Other versions
CN109410188A (zh
Inventor
宋麒
孙善辉
尹游兵
曹坤琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keya Medical Technology Co Ltd
Original Assignee
Keya Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/138,926 external-priority patent/US10769791B2/en
Application filed by Keya Medical Technology Co Ltd filed Critical Keya Medical Technology Co Ltd
Publication of CN109410188A publication Critical patent/CN109410188A/zh
Application granted granted Critical
Publication of CN109410188B publication Critical patent/CN109410188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本公开的实施例提供一种用于对医学图像进行分割的系统和方法。所述系统包括配置为接收由图像采集装置采集的医学图像的通信接口。所述系统还包括配置为存储多个学习网络的存储器，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像联合训练。所述系统进一步包括处理器，该处理器配置为使用从所述多个学习网络中选择的分割网络对医学图像进行分割。

Description

用于对医学图像进行分割的系统和方法
相关申请的交叉引用
本申请基于并要求于2017年10月13日提交的美国临时申请第62/572,061号的优先权，其全部内容通过引用并入本文。
技术领域
本公开涉及用于对医学图像进行分割的系统和方法，以及更具体地，本公开涉及用于使用利用多模态图像训练好的学习网络进行交叉模态图像分割的系统和方法。
背景技术
医学图像的准确分割是放射治疗计划期间勾画的关键步骤。图像分割是将数字图像划分为数个部分的处理。分割的目标是将图像的表达简化和/或改变成更有意义且更容易分析。图像分割典型地用于在图像中定位对象和边界(线、曲线等)。更精确说来，图像分割是向图像中的每个像素指派标签以便具有相同标签的像素共享某个特点的处理。图像分割已经用于多种应用，包括定位肿瘤和其他病理对象、测量组织体积、解剖结构的诊断和研究、手术计划、虚拟手术仿真以及术中导航。
图像分割可以作为分类问题来解决。学习网络，诸如具有强大的分层架构的卷积神经网络(CNN)，已经应用于图像分割来提高准确度。例如，使用CNN的自动分类可以显著胜过传统的图像分割方法，诸如基于图谱的分割以及基于形状的分割等。
不同的医学图像模态已经用于获得医学图像。例如，计算机断层摄影和磁共振成像是诊断、临床研究和治疗计划中最广泛使用的放射摄影技术。每种成像模态具有其自身的利弊。例如，磁共振成像擅长软组织成像以及示出正常组织和异常组织之间的差异。例如，磁共振成像通常在疾病早期脑异常检出方面更灵敏，具体用于检测白质疾病，诸如多发性硬化症、进行性多灶性白质脑病、脑白质营养不良以及感染后脑炎。但是，计算机断层摄影擅长利用造影剂对骨骼、肺和血管成像。
由于不同成像模态的不同的长处，多模态图像分割提供了更高的准确度，因为不同模态的融合可以提供互补信息。
本公开的实施例通过用于使用在训练阶段期间利用多模态信息的学习网络对单模态图像进行分割的系统和方法，来解决以上问题。
发明内容
本公开的实施例提供一种用于对医学图像进行分割的系统。所述系统包括通信接口，其配置为接收由图像采集装置采集的医学图像。该系统还包括存储器，所述存储器配置为存储多个学习网络，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像联合训练。该系统还包括处理器，该处理器配置为使用从所述多个学习网络中选择的分割网络对所述医学图像进行分割。
本公开的实施例提供一种用于对医学图像进行分割的方法。所述方法包括接收由图像采集装置采集的医学图像。所述方法还包括从训练装置接收多个学习网络，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像联合训练。所述方法还包括利用处理器使用从所述多个学习网络中选择的分割网络对所述医学图像进行分割。
本公开的实施例还提供一种非易失性计算机可读介质，其上存储有指令，所述指令由一个以上处理器执行时，使得所述一个以上处理器执行用于对医学图像进行分割的方法。所述方法包括接收由图像采集装置采集的医学图像。所述方法还包括接收多个学习网络，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像联合训练。所述方法还包括使用从所述多个学习网络中选择的分割网络对所述医学图像进行分割。
应该理解的是，前面的一般性描述和下面的详细描述仅仅是示例性和解释性的，并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本公开实施例的示例性图像分割系统的示意图。
图2示出了根据本公开实施例的示例性图像处理装置的框图。
图3A示出了根据本公开实施例的用于对第一模态图像进行分割的示例性第一模态学习网络。
图3B示出了根据本公开实施例的用于对第二模态图像进行分割的示例性第二模态学习网络。
图4示出了根据本公开实施例的用于从第一和第二模态图像学习图像特征的示例性交叉模态学习网络。
图5示出了根据本公开实施例的图3A的示例性第一模态学习网络、图3B的示例性第二模态学习网络以及图4的交叉模态学习网络的联合训练。
图6示出了根据本公开实施例的用于对学习网络进行联合训练的示例性方法的流程图。
图7示出了根据本公开实施例的用于对医学图像进行分割的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中图示。在附图中可能的各处，相同附图标记将用于表示相同或相似的部件。
图1示出了根据本公开的一些实施例的示例性图像分割系统100。与本公开相符地，图像分割系统100配置为对由图像采集装置105所采集的医学图像进行分割。在一些实施例中，所述图像采集装置105包括磁共振成像(MRI)扫描仪(未示出)以及计算机断层摄影(CT)扫描仪(未示出)。
所述MRI扫描仪包括以磁场环绕患者管道的磁体。患者被放置在有垫治疗台上，该有垫治疗台能够移入患者管道中。MRI扫描仪进一步包括在多个方向(例如x轴、y轴和z轴)上的梯度线圈以在由所述磁体创建的均匀磁场上创建空间变化的磁场。MRI扫描仪所使用的均匀磁场典型地在0.2T到7T之间，例如大约1.5T或3T。该MRI扫描仪还包括：RF线圈，用于激励患者体内的组织，以及收发器，用于在返回均衡状态的同时接收由所述组织生成的电磁信号。
所述CT扫描仪包括对身体组织发射X射线的X射线源以及接收被身体组织衰减后的残余X射线的接收器。所述CT扫描仪还包括旋转机构以拍摄不同视角的X射线图像。该旋转机构能够是旋转患者的旋转台，或者围绕患者旋转X射线源和接收器的旋转结构。不同视角的X射线图像然后由计算机系统处理来构建二维(2D)截面图像或三维(3D)图像。
虽然使用MRI和CT图像作为示例进行说明，预期所公开的系统和方法不限于分割MRI和/或CT图像，而也可以应用或适用于处理使用各种其他成像模态采集的图像，包括例如功能性磁共振成像(例如fMRI、DCE-MRI和扩散MRI)、锥形束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像以及放射治疗射野成像等。
如图1中所示，图像分割系统100可以包括用于执行两个阶段的构件，两个阶段是训练阶段和检测阶段。为了执行训练阶段，图像分割系统100可以包括训练数据库101和模型训练装置102。为了执行检测阶段，图像分割系统100可以包括图像处理装置103和医学图像数据库104。在一些实施例中，图像分割系统100可以包括大约图1中所示的构件。例如，当用于分割医学图像的分割网络被预先训练好并提供时，图像分割系统100可以仅仅包括图像处理装置103和医学图像数据库104。
图像分割系统100可以可选地包括网络106以便利在图像分割系统100的各种构件，诸如数据库101和104，装置102、103和105，之间的通信。例如，网络106可以是局域网(LAN)、无线网络、云计算环境(例如软件即服务、平台即服务、基础设施即服务)、客户端服务器、广域网(WAN)等。在一些实施例中，网络106可以由有线数据通信系统或装置来替代。
在一些实施例中，图像分割系统100的各种构件可以彼此远程或处于不同位置，并通过如图1中所示的网络106来连接。在一些替代实施例中，图像分割系统100的某些构件可以位于相同的场所或一个装置内。例如，训练数据库101可以位于模型训练装置102的现场或作为其一部分。作为另一示例，模型训练装置102和图像处理装置103可以在相同的计算机或处理装置内。
如图1中所示，模型训练装置102可以与训练数据库101通信以接收至少一组训练数据。每组训练数据可以包括医学图像及其对应地面真值标签映射，后者为图像的每个像素提供分割结果。在训练数据库101中存储的训练图像可以从包含先前采集的医学图像的医学图像数据库获取。在一些实施例中，训练数据库101中的训练图像包括利用不同的图像采集系统对患者的同个部位采集的多模态训练图像，诸如由MRI扫描仪和CT扫描仪采集的MRI训练图像和CT训练图像。结果是，每个MRI训练图像在训练数据库101中具有对应的CT训练图像。训练图像能够是2D图像或3D图像。训练图像之前以每个像素/体素被分类且标注的方式进行了分割，例如如果该像素/体素对应于关注对象(例如癌症)，则标注值1；或者，如果该像素/体素对应于背景(例如非癌症)，则标注值0。
模型训练装置102可以使用从训练数据库101接收的训练数据来训练用于分割医学图像的分割模型，该医学图像从例如医学图像数据库104接收。模型训练装置102可以利用由执行训练处理的软件特别编程的硬件来实现。例如，模型训练装置102可以包括处理器和非易失性计算机可读介质。所述处理器可以通过执行存储在计算机可读介质中的训练处理的指令来进行训练。模型训练装置102可以另外包括输入和输出接口，以与训练数据库101、网络106和/或用户接口(未示出)进行通信。所述用户接口可以用于选择各组训练数据，调节训练处理的至少一个参数，选择或修改学习网络的框架，和/或手动或半自动地提供与图像相关联的检测结果用于训练。
与一些实施例相符，分割网络可以是机器学习网络，诸如CNN或FCN。但是，预期网络结构不限于任何网络架构。分割网络可以使用监督学习来训练。分割模型的架构包括不同层的叠层，其将输入转换为输出。不同层的示例可以包括一个或多个卷积层或全卷积层、非线性算子层、池化或上采样层、全连接层、和/或最终损失层。每个层可以连接一个上游层和一个下游层。
如本文中使用的，“训练”学习网络是指确定该学习网络中的至少一个层的一个或多个参数。例如，CNN模型的卷积层可以包括至少一个滤波器或核。所述至少一个滤波器的一个或多个参数，诸如核权重、尺寸、形状和结构，可以利用例如基于反向传播的训练处理来确定。
与本公开相符地，所述FCN模型可以由模型训练装置102使用训练直接训练，或从训练好的CNN模型转换而来。在一些实施例中，CNN模型中的卷积层可以被转换为FCN模型中的全卷积层。不同于仅能处理设定大小的输入的CNN模型，FCN模型能够处理任意大小的输入。因此，所述FCN模型可以为图像处理装置103提供比CNN模型更大的灵活性。使用从CNN转换而来的FCN(例如Inception V3)，所得到的概率图将与使用更强大的CNN架构自身所得到的概率图相同，除了后者使用较大的步幅。在CNN模型与FCN模型之间的转换在2018年7月31日提交、标题为“用于使用神经网络来检测癌症转移的系统和方法(Systems and Methodsfor Detecting Cancer Metastasis using a Neural Network)”且申请号为16/049,809的美国申请中进行了说明，其通过引用全部结合于此。
与本公开相符地，模型训练装置102使用来自训练数据库101的多模态训练图像对交叉模态学习网络、第一模态分割网络和第二模态分割网络进行联合训练。联合训练好的分割网络携载来自第一成像模态(例如MRI)和第二成像模态(例如CT)两者的信息。因此，即便稍迟用于分割单模态图像，所述分割网络能够利用交叉模态信息以协助分割。
例如，图3A示出根据本公开的实施例的用于分割第一模态图像的示例性第一模态学习网络，而图3B示出根据本公开的实施例的用于分割第二模态图像的示例性第二模态学习网络。在一些实施例中，如图3A中所示，所述第一模态学习网络可以是MRI分割网络310，其包括全卷积基础网络A 312和全连接网络FC-B 314等。MRI分割网络310接收MRI图像块311作为其输入并输出预测/分割结果，例如MRI图像块311的像素/体素的标签。FC-B 314进一步包括多个全连接层，诸如fc1、fc2和fc3等。
在一些实施例中，如图3B中所示，第一模态学习网络可以是CT分割网络320，其包括全卷积基础网络A 322以及全连接网络FC-C 324等。CT分割网络320接收CT图像块321作为其输入并输出预测/分割结果，例如CT图像块321的像素/体素的标签。FC-C 324还包括多个全连接层，诸如fc1、fc2和fc3等。
图4示出根据本公开实施例的用于从第一和第二模态图像学习图像特征的示例性交叉模态学习网络400。在一些实施例中，交叉模态学习网络400包括全卷积基础网络A 420和全连接网络FC-A 430等。交叉模态学习网络400接收MRI图像块311和CT图像块321作为其输入，并输出从多模态图像学习到的图像特征。FC-A 430还包括多个全连接层，诸如fc1、fc2和fc3等，用于从MRI图像块311和CT图像块321学习图像特征。
与本公开相符地，全卷积基础网络A 312、322和420是由MRI分割网络310、CT分割网络320和交叉模态学习网络400共享的相同的基础网络。在一些实施例中，MRI分割网络310、CT分割网络320和交叉模态学习网络400由模型训练装置102进行联合训练。例如，所述训练使用将来自所有三个网络的输出(例如来自FC-A 430、FC-B 314和FC-C 324的输出)考虑在内的损失函数。结果，该联合训练调整每个网络的学习空间。共享的全卷积基础网络312/322/420携载来自两个模态的信息。因此，即便MRI分割网络310或CT分割网络320用于分割单模态图像，该分割能够有效利用由联合训练好的网络所利用的交叉模态信息。
图像处理装置103可以从模型训练装置102接收分割网络，例如MRI分割网络310和CT分割网络320。图像处理装置103可以包括处理器和非易失性计算机可读介质(结合图2进行过详细讨论)。所述处理器可以执行存储在所述介质中的图像分割处理的指令。图像处理装置103可以另外包括输入和输出接口(结合图2进行过详细讨论)以与医学图像数据库104、网络106和/或用户接口(未示出)通信。所述用户接口可以用于选择用于分割的医学图像、开始分割处理、显示所述医学图像和/或分割结果。
图像处理装置103可以与医学图像数据库104通信以接收一幅或多幅医学图像。在一些实施例中，存储在医学图像数据库104中的医学图像可以包括多成像模态的医学图像，诸如MRI图像和CT图像。所述医学图像可以利用图像采集装置105，例如MRI扫描仪和CT扫描仪，来采集。图像处理装置103可以使用从模型训练装置102接收的训练好的分割模型以预测医学图像的各个像素或超像素是否对应于关注对象，并输出分割好的图像。与一些实施例相符地，图像处理装置103可以分割单模态图像，诸如MRI图像或CT图像。图像处理装置103基于医学图像的模态类型从自模型训练装置102接收的网络中选择分割网络。图像处理装置103并不要求该医学图像具有另一模态的对应图像可用于协同分割。因为分割网络是联合训练的，且包括携载交叉模态信息的全卷积基础网络，图像处理装置103能够在对单模态图像进行分割的同时依然充分利用交叉模态信息。
图2示出根据本公开一些实施例的示例性图像处理装置103。在一些实施例中，图像处理装置103可以是特定用途计算机或通用计算机。例如，图像处理装置103可以是为医院定制的计算机以执行图像采集和图像处理任务。如图2中所示，图像处理装置193可以包括通信接口202、存储器204、内存206和处理器208。
通信接口202可以包括可网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电等)、无线网络适配器(如WiFi适配器、电信(3G、4G/LTE等)适配器等)。图像处理装置103可以通过通信接口202连接到图像分割系统100的其他构件和网络106。在一些实施例中，通信接口202接收来自图像采集装置105-A和105-B的医学图像。例如，图像采集装置105-A是MRI扫描仪，以及图像采集装置105-B是MRI扫描仪。在一些实施例中，通信接口202还接收来自模型训练装置102的分割网络，例如MRI分割网络310和CT分割网络320。
存储器204/内存206可以是非易失性计算机可读介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪盘或其他形式的闪存、缓存器、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储器、磁带或其他磁性存储装置、或可以用于存储能够被计算机装置访问的信息或指令的任何其他非易失性介质等。
在一些实施例中，存储器204可以存储训练好的网络，例如MRI分割网络310、CT分割网络320以及交叉模态学习网络400，以及在执行计算机程序的同时使用或生成的数据，诸如提取的图像特征，等等。在一些实施例中，内存206可以存储计算机可执行指令，诸如至少一个图像处理程序。在一些实施例中，存储在存储器204中的医学图像可以划分为多个图像块，每个图像块包含医学图像的子集。图像块可以逐一从存储器204读取并存储到内存206中。
处理器208可以是包括至少一个通用处理设备(诸如微处理器，中央处理单元(CPU)，图形处理单元(GPU)等)的处理设备。更具体地说，该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器也可以是一个或多个专用处理设备，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等等。处理器208可以通信耦合到内存206并配置为执行其上存储的计算机可执行指令。
在一些实施例中，处理器208配置为确定用于分割的医学图像的成像模态。例如，如果所述医学图像是MRI图像，处理器208可以选择MRI分割网络310来对图像进行分割。类似地，如果医学图像是CT图像，则处理器28可以选择CT分割网络320来对图像进行分割。分割医学图像包括提取图像特征并对所述图像特征应用所选择的分割网络。在一些实施例中，所提取的图像特征可以在利用交叉模态学习网络400学习的那些图像特征中。将结合图7来描述示例性图像分割处理。
与本公开相符地，模型训练装置102能够具有与图像处理装置103相同或相似的结构。在一些实施例中，模型训练装置102包括处理器和其他构件等，该处理器配置为使用MRI训练图像和CT训练图像对MRI分割网络310、CT分割网络320和交叉模态学习网络400进行联合训练。将结合图5和图6来描述示例性网络训练处理。
图4示出根据本公开实施例的示例性第一模态学习网络(例如图3A的MRI分割网络310)、示例性第二模态学习网络(例如图3B的CT分割网络320)以及图4的交叉模态学习网络400的联合训练。图6示出根据本公开实施例的用于联合训练学习网络的示例性方法600的流程图。例如，方法600可以由图1中的模型训练装置102来实现。但是，方法600不限于该示例性实施例。方法600可以包括如下所述的步骤S602-S622。要知道，一些步骤对于执行本文中提供的公开内容来说是可选的。进一步地，一些步骤可以同时地执行，或以与图6中所示的次序不同地执行。将一起描述图5和图6。
在步骤S602，模型训练装置102对从例如训练数据库101接收的MRI训练图像和CT训练图像进行共同配准。共同配准实现MRI像素/体素和CT像素/体素之间的对应性。可以使用各种多模态图像配准方法，包括例如基于强度的配准、基于特征的配准等。在一些实施例中，配准可以使用线性转换或弹性转换。
在步骤S604，模型训练装置102从两种模态选择训练图像块。例如，MRI图像块311和图像块是包含多个像素/体素的图像的子集。例如，100×100的图像可以划分为100个尺寸为10×10的图像块。在一些实施例中，由MRI训练图像和CT训练图像裁剪的图像块可以具有32×32×32的尺寸。
在步骤S606，根据通过共同配准建立的对应性对所选择的MRI图像块和CT图像块配对。CT和MRI图像块被配对为(P_B、P_C)并同时被馈送以在稍后步骤中训练学习网络，其中，P_B是MRI图像块而P_C是CT图像块。在一些实施例中，配对的MRI图像块和CT图像块对应于根本对象中的相同或接近的物理位置。在一些实施例中，配对的图像块可以彼此远离。
在步骤S608，模型训练装置102对配对的图像块进行标注。在一些实施例中，为每对确定两组标签。第一组标签指示相应的图像块(MRI图像块或CT图像块)是否包含或对应于关注对象，例如肿瘤、血管等。例如，当图像块对应于癌症肿瘤区域时，标签值为1，而当其是背景的部分时，则标签值为0。因此，第一组标签包括两个标签，各个标签针对该配对中的对应的图像块。
另外，在一些实施例中，确定第二标签y。不同于上述的第一组标签，y是用于该配对的单个标签。在一些实施例中，y是二元的，采取肯定(例如1)或否定(例如0)的值。例如，当图像块P_B和P_C选自相同或接近的物理位置时，y是肯定的。当图像块P_B和P_C选自不同(远离)的位置时，y是否定的。在一些实施例中，可以利用欧几里得距离阈值(θ1和θ2)来确定远近距离。标签y可以根据下面的公式(1)来确定：
Figure GDA0002976704940000101
其中，dist是两个图像块之间的欧几里得距离，θ1和θ2是两个距离阈值(θ1＜θ2)。因此，每个图像块与两个标签相关联：(1)对象还是背景，以及(2)接近还是远离。
在步骤S610-622，模型训练装置102使用配对的MRI/CT图像块311/321对交叉模态学习网络400、MRI分割网络310和CT分割网络320进行联合训练。如图5中所示，训练涉及由交叉模态学习网络400、MRI分割网络310和CT分割网络320共享的全卷积基础网络A 520，以及全连接网络FC-A 430、FC-B 314和FC-C 324。与本公开相符地，联合训练使用由使用来自FC-A 430的输出所计算的损失A(LossA)、使用来自FC-B 314的输出所计算的损失B(LossB)和使用来自FC-C 324的输出所计算的损失C(LossC)构成的总损失(Loss)。FC-A 430是用于学习图像特征的辅助子网络，其稍迟会从分割网络(例如310和320)移除。联合训练包括三个方面：(1)MRI图像块分类，(2)CT图像块分类，以及(3)图像特征学习。多任务调整各个网络的学习空间。如图5中所示，联合训练的三个网络共享相同的全卷积基础网络520，因此，每个训练好的学习网络利用来自两种模态的信息进行了编码。
在步骤610中，模型训练装置102将交叉模态学习网络400应用于配对的MRI/CT图像块并计算损失A。如图5中所示，MRI/CT图像块311/321被输入到全卷积基础网络520，然后到FC-A 430。损失A可以基于FC-A 430的输出来计算。在一些实施例中，损失A是对比损失。例如，损失A能够根据公式(2)来计算。
Figure GDA0002976704940000111
其中，y是逐对的标签，d＝‖an-bn‖是特征空间中两个图像块的距离。an是用于MRI图像块311的特征矢量(FC-A输出)，而bn是用于CT图像块321的特征矢量(FC-A输出)。
使用对比损失，FC-A 430将学习到如果两个图像块在物理空间中接近则该特征在特征空间中接近而如果两个图像块在物理空间中远离则该特征在特征空间中远离的流形(manifold)。因此，训练好的网络被迫使学习来自不同模态(例如CT和MRI)的共有特征。如果一个模态不存在，则训练好的网络依然能够利用来自在基础网络520中编码的习得的交叉模态信息中的信息。
在步骤S612，模型训练装置102将MRI分割网络310应用于MRI图像块并计算损失B。类似地，在步骤S614中，模型训练装置102将CT分割网络320应用于CT图像块并计算损失C。在一些实施例中，MRI分割网络310和CT分割网络320是分类网络。如图5中所示，MRI图像块311输入到全卷积基础网络520，然后到FC-B 314。类似地，CT图像块321被输入到全卷积基础网络520，然后到FC-C 324。损失B和损失C能够分别基于FC-B 314和FC-C 324的输出来计算。在一些实施例中，损失B或损失C是交叉熵损失。例如，损失B或损失C能够根据公式(3)来计算：
Figure GDA0002976704940000112
其中，N是样本数。pn是该样本属于关注对象的地面真值概率。
Figure GDA0002976704940000121
是该样本属于关注对象的预测。
在步骤S616中，模型训练装置102基于损失A、损失B和损失C计算总损失。在一些实施例中，总损失可以是损失A、损失B和损失C的加权和。例如，损失能够根据公式(4)来计算：
Loss＝aLossA+bLossB+cLossC 公式(4)
其中，a、b和c是三个损失的权重参数，且满足a+b+c＝1。损失A、损失B和损失C能够以其他适合方式组合来得出损失。因为损失包含两种模态的信息，联合训练以最小化损失的三个网络也利用交叉模态信息进行了编码。
在步骤S618中，将所计算的损失Loss与预定阈值进行比较。如果损失Loss小于该阈值(S618：是)，方法600进行到步骤S620以向图像处理装置103提供联合训练好的网络，包括例如MRI分割网络310和CT分割网络320。否则，方法进行到步骤S622以进一步以减少损失Loss的方式来更新所述网络。在一些实施例中，使用随机梯度下降作为优化器来减少损失并训练所述模型。
图7示出根据本公开实施例的用于分割医学图像的示例性方法700的流程图。例如，方法700可以利用图1中的图像处理装置103来实现。但是，方法700不限于该示例性实施例。方法700可以包括下文中描述的步骤S602-S708。要知道一些步骤对于执行本文中提供的公开来说可以是可选的。进一步地，一些步骤可以同时地执行，或以不同于图7中所示的次序来执行。
在步骤S702中，图像处理装置103接收例如来自医学图像数据库104的医学图像。所述医学图像能够具有任何成像模态，诸如MRI或CT。在步骤S704中，图像处理装置103接收分割网络，例如MRI分割网络310和CT分割网络320。例如，所述分割网络可以使用方法600来训练。
在步骤S706中，图像处理装置103确定所述医学图像的成像模态。在一些实施例中，医学图像的成像模态可以利用图像数据文件的头来识别。在步骤S708中，图像处理装置103基于医学图像的成像模态来选择相应的分割网络，并应用该分割网络以对医学图像进行分割。例如，应用MRI分割网络310来分割MRI图像。
在一些实施例中，作为S708的部分，可以对目标图像施加滑动窗。由此，每个扫描的像素/体素基于分割网络输出来获得前景或背景标签，以及为该目标图像获得分割掩膜。在一些实施例中，MRI分割网络310和CT分割网络320的全连接层(图3A和图3B中的FC-B和FC-C)可以被转换为全卷积层，如申请号为16/049,809的美国申请中所描述的。转换而成的全卷积网络被应用于整个图像以获得分割掩膜。在一些实施例中，由于使用的最大池化，掩膜尺寸相较原始输入图像尺寸被减小。
虽然在所公开的实施例中，FC-A 430(图5中所示)被用作辅助网络以调整分类网络的训练，由FC-A 430产生的特征能够以各种其他应用来利用而不偏离本公开的范围和精神。在一个实施例中，所产生的特征矢量(fc3)被用于替换在图像匹配问题中的传统特征描述子(例如3D SIFT)。例如，为了判定MRI图像块和CT图像块是否来自物理空间中的相同位置，能够为各个图像块定义诸如尺度不变特征转换(SIFT)描述子的图像描述子。灰度和梯度图案显著不同于两个模态(例如CT和MRI)。SIFT描述子基于梯度来计算，由此它们不足以指示跨不同模态的图像块之间的相似性和相异性。在一些实施例中，所公开的系统和方法，能够通过使用对比损失和所设计的诸如方法600的训练方法以理解相似性和相异性为目标，从数据直接学习图像块表示。
在一些其他实施例中，由FC-A 430所学习的特征能够应用于基于特征的图像配准框架，其将CT图像坐标转换为MR图像坐标或将MR图像坐标转换为CT坐标。例如，所学习的特征能够被反馈以改进步骤S602中的MRI图像与CT图像的共同配准。在一些实施例中，对于基于稠密特征的配准方法，能够围绕各个体素提取图像块以产生描述该体素的图像块特征。对于基于稀疏特征的方法，可以围绕关键点提取图像块以产生描述所述关键点的图像块特征。如果两个图像块(例如一个来自CT而一个来自MRI)具有相似的描述子，这两个图像块被认为彼此对应。知道了图像中许多点之间的对应关系，可以计算几何转换以将这两幅图像对齐。
本公开的另一方面旨在提供一种存储指令的非易失性计算机可读介质，这些指令当执行时，使得一个或多个处理器执行上面讨论的所述方法。所述计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移除、不可移除或其他类型的计算机可读介质或计算机可读存储装置。例如，计算机可读介质可以是其上存储有计算机指令的存储装置或内存模块，如所公开的。在一些实施例中，所述计算机可读介质可以是其上存储有计算机指令的磁盘或闪存驱动器。
对于本领域技术人员来说显然的是可以对所公开的系统和相关方法进行各种修改和变形。通过考虑所公开的系统和相关方法的说明和实践，其他实施例对于本领域技术人员来说将是显然的。
意图说明和示例被认为仅仅是示例性的，不作为对本公开所要保护的范围的限制。

Claims (20)

1.一种用于对医学图像进行分割的系统，其特征在于，所述系统包括：
通信接口，其配置为接收由图像采集装置采集的所述医学图像；
存储器，其配置为存储多个学习网络，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像来联合训练；并且
所述多个学习网络与交叉模态学习网络利用所述交叉模态学习网络和所述多个学习网络的输出共同构造的损失函数来进行联合训练，其中所述交叉模态学习网络用于利用所述第一训练图像和所述第二训练图像学习不同模态的图像的图像特征；以及
处理器，其配置为使用从所述多个学习网络中选择的分割网络来对所述医学图像进行分割。
2.根据权利要求1所述的系统，其特征在于，所述学习网络是卷积神经网络。
3.根据权利要求1所述的系统，其特征在于，所述第一成像模态和所述第二成像模态从由以下模态组成的组中选择：计算机断层摄影、磁共振成像、功能性磁共振成像、锥形束计算机断层摄影、正电子发射断层摄影、单光子发射计算机断层摄影、X射线成像、光学断层摄影、荧光成像、超声成像以及放射治疗射野成像。
4.根据权利要求1所述的系统，其特征在于，所述通信接口进一步配置为接收来自训练装置的多个学习网络，其中，所述多个学习网络包括第一模态学习网络和第二模态学习网络，其中，所述训练装置被配置为对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练，
其中，所述交叉模态学习网络包括卷积基础网络以及用于从所述第一训练图像和第二训练图像学习图像特征的辅助网络，
其中，所述第一模态学习网络包括所述卷积基础网络以及用于分割所述第一训练图像的第一分类网络，以及
其中，所述第二模态学习网络包括所述卷积基础网络以及用于分割所述第二训练图像的第二分类网络。
5.根据权利要求4所述的系统，其特征在于，所述处理器被进一步配置为：
确定所述医学图像是第一成像模态的医学图像；以及
选择所述第一模态学习网络作为用于分割所述医学图像的分割网络。
6.根据权利要求4所述的系统，其特征在于，所述训练装置进一步配置为：
将所述第一训练图像与所述第二训练图像配准；
选择来自第一训练图像的第一图像块和来自第二训练图像的第二图像块；
基于所述配准将所述第一图像块与所述第二图像块配对；以及
使用成对的图像块对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练。
7.根据权利要求6所述的系统，其特征在于，所述训练装置进一步配置为对于各对第一图像块和第二图像块确定标签，所述标签指示每对的第一图像块的物理位置与第二图像块的物理位置之间的距离。
8.根据权利要求4所述的系统，其特征在于，所述训练装置被配置为使用利用所述交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络的输出构建的损失函数，以对网络进行联合训练。
9.根据权利要求6所述的系统，其特征在于，所述训练装置进一步配置为应用由辅助网络学习到的图像特征来将所述第一训练图像与所述第二训练图像配准。
10.一种用于对医学图像进行分割的方法，其特征在于，所述方法包括：
接收由图像采集装置采集的所述医学图像；
从训练装置接收多个学习网络，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像联合训练；并且
所述多个学习网络与交叉模态学习网络利用所述交叉模态学习网络和所述多个学习网络的输出共同构造的损失函数来进行联合训练，其中所述交叉模态学习网络用于利用所述第一训练图像和所述第二训练图像学习不同模态的图像的图像特征；以及
利用处理器，使用从所述多个学习网络中选择的分割网络对所述医学图像进行分割。
11.根据权利要求10所述的方法，其特征在于，所述学习网络是卷积神经网络。
12.根据权利要求10所述的方法，其特征在于，所述第一成像模态和所述第二成像模态从由以下模态组成的组中选择：计算机断层摄影、磁共振成像、功能性磁共振成像、锥形束计算机断层摄影、螺旋计算机断层摄影、正电子发射断层摄影、单光子发射计算机断层摄影、X射线成像、光学断层摄影、荧光成像、超声成像以及放射治疗射野成像。
13.根据权利要求10所述的方法，其特征在于，所述多个学习网络包括第一模态学习网络和第二模态学习网络，其中，所述方法进一步包括对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练，
其中，所述交叉模态学习网络包括卷积基础网络以及用于从所述第一训练图像和第二训练图像学习图像特征的辅助网络，
其中，所述第一模态学习网络包括所述卷积基础网络以及用于分割所述第一训练图像的第一分类网络，以及
其中，所述第二模态学习网络包括所述卷积基础网络以及用于分割所述第二训练图像的第二分类网络。
14.根据权利要求13所述的方法，其特征在于，所述方法进一步包括：
确定所述医学图像是第一成像模态的医学图像；以及
选择所述第一模态学习网络作为用于分割所述医学图像的分割网络。
15.根据权利要求13所述的方法，其特征在于，对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练进一步包括：
将所述第一训练图像与所述第二训练图像配准；
选择来自第一训练图像的第一图像块和来自第二训练图像的第二图像块；
基于所述配准将所述第一图像块与所述第二图像块配对；以及
使用成对的图像块对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练。
16.根据权利要求15所述的方法，其特征在于，对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练进一步包括：对于各对第一图像块和第二图像块确定标签，所述标签指示每对的第一图像块的物理位置与第二图像块的物理位置之间的距离。
17.根据权利要求13所述的方法，其特征在于，对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练进一步包括：使用利用所述交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络的输出构建的损失函数。
18.根据权利要求15所述的方法，其特征在于，将所述第一训练图像与所述第二训练图像配准进一步包括应用由辅助网络学习到的图像特征来改进配准。
19.一种非易失性计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序由至少一个处理器执行时，实现对医学图像进行分割的方法，所述方法包括：
接收由图像采集装置采集的所述医学图像；
接收多个学习网络，所述多个学习网络使用第一成像模态的第一训练图像和第二成像模态的第二训练图像联合训练；并且
所述多个学习网络与交叉模态学习网络利用所述交叉模态学习网络和所述多个学习网络的输出共同构造的损失函数来进行联合训练，其中所述交叉模态学习网络用于利用所述第一训练图像和所述第二训练图像学习不同模态的图像的图像特征；以及
使用从所述多个学习网络中选择的分割网络对所述医学图像进行分割。
20.根据权利要求19所述的非易失性计算机可读介质，其特征在于，所述多个学习网络包括第一模态学习网络和第二模态学习网络，其中，所述方法进一步包括对交叉模态学习网络、所述第一模态学习网络和所述第二模态学习网络进行联合训练，
其中，所述交叉模态学习网络包括卷积基础网络以及用于从所述第一训练图像和第二训练图像学习图像特征的辅助网络，
其中，所述第一模态学习网络包括所述卷积基础网络以及用于分割所述第一训练图像的第一分类网络，以及
其中，所述第二模态学习网络包括所述卷积基础网络以及用于分割所述第二训练图像的第二分类网络。
CN201811188083.6A 2017-10-13 2018-10-12 用于对医学图像进行分割的系统和方法 Active CN109410188B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762572061P 2017-10-13 2017-10-13
US62/572,061 2017-10-13
US16/138,926 2018-09-21
US16/138,926 US10769791B2 (en) 2017-10-13 2018-09-21 Systems and methods for cross-modality image segmentation

Publications (2)

Publication Number Publication Date
CN109410188A CN109410188A (zh) 2019-03-01
CN109410188B true CN109410188B (zh) 2021-06-04

Family

ID=65467714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811188083.6A Active CN109410188B (zh) 2017-10-13 2018-10-12 用于对医学图像进行分割的系统和方法

Country Status (1)

Country Link
CN (1) CN109410188B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11559221B2 (en) * 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
CN110148124A (zh) * 2019-05-21 2019-08-20 中山大学 喉咙识别方法、装置、系统、存储介质以及设备
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
EP3772720B1 (en) * 2019-08-08 2021-09-29 Siemens Healthcare GmbH Method and system for image analysis
CN111161240B (zh) * 2019-12-27 2024-03-05 上海联影智能医疗科技有限公司 血管分类方法、装置、计算机设备和可读存储介质
CN111127487B (zh) * 2019-12-27 2022-04-19 电子科技大学 一种实时多组织医学图像的分割方法
US11810291B2 (en) * 2020-04-15 2023-11-07 Siemens Healthcare Gmbh Medical image synthesis of abnormality patterns associated with COVID-19
CN111784706B (zh) * 2020-06-28 2021-06-04 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111667027B (zh) * 2020-07-03 2022-11-11 腾讯科技（深圳）有限公司 多模态图像的分割模型训练方法、图像处理方法及装置
CN112419339B (zh) * 2020-12-11 2024-05-14 上海联影医疗科技股份有限公司 医学图像分割模型训练方法及系统
CN112561825B (zh) * 2020-12-22 2023-04-25 清华大学 基于x射线成像的图像处理方法及装置
CN113378984B (zh) * 2021-07-05 2023-05-02 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合MRI多模态信息与SVM参数优化的脑肿瘤分割研究;王晓春;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20141215(第12期);摘要，第33页，第38-48页 *

Also Published As

Publication number Publication date
CN109410188A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109410188B (zh) 用于对医学图像进行分割的系统和方法
US10769791B2 (en) Systems and methods for cross-modality image segmentation
RU2699499C2 (ru) Системы и способы сегментации медицинских изображений на основании признаков, основанных на анатомических ориентирах
US11508059B2 (en) Methods and systems for detecting a centerline of a vessel
CN109906470B (zh) 使用神经网络方法的图像分割
CN109074500B (zh) 用于分割同一患者的医学图像的系统和方法
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
US7876938B2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
CN109377496B (zh) 用于分割医学图像的系统和方法及介质
US9336457B2 (en) Adaptive anatomical region prediction
EP2620909B1 (en) Method, system and computer readable medium for automatic segmentation of a medical image
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
Jung et al. Deep learning for medical image analysis: Applications to computed tomography and magnetic resonance imaging
WO2021121415A1 (en) Systems and methods for image-based nerve fiber extraction
CN114972729A (zh) 用于医学图像分析的标注高效学习的方法和系统
US11244472B2 (en) Method, system and computer program for determining position and/or orientation parameters of an anatomical structure
US11416994B2 (en) Method and system for detecting chest x-ray thoracic diseases utilizing multi-view multi-scale learning
Zhou et al. Learning stochastic object models from medical imaging measurements using Progressively-Growing AmbientGANs
Barzilay et al. Neural registration and segmentation of white matter tracts in multi-modal brain MRI
Sreelekshmi et al. A Review on Multimodal Medical Image Fusion
Takemura et al. Automatic anatomical labeling method of cerebral arteries in MR-angiography data set
Sindhura et al. A review of deep learning and Generative Adversarial Networks applications in medical image analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant before: Beijing Keya ark Medical Technology Co.,Ltd.

Address after: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant before: BEIJING CURACLOUD TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Keya Medical Technology Co.,Ltd.

Address before: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant before: Beijing Keya ark Medical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant