CN109300107A - 磁共振血管壁成像的斑块处理方法、装置和计算设备 - Google Patents

磁共振血管壁成像的斑块处理方法、装置和计算设备 Download PDF

Info

Publication number
CN109300107A
CN109300107A CN201810818827.1A CN201810818827A CN109300107A CN 109300107 A CN109300107 A CN 109300107A CN 201810818827 A CN201810818827 A CN 201810818827A CN 109300107 A CN109300107 A CN 109300107A
Authority
CN
China
Prior art keywords
network
magnetic resonance
vascular wall
training
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810818827.1A
Other languages
English (en)
Other versions
CN109300107B (zh
Inventor
郑海荣
刘新
胡战利
张娜
梁栋
杨永峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201810818827.1A priority Critical patent/CN109300107B/zh
Publication of CN109300107A publication Critical patent/CN109300107A/zh
Priority to PCT/CN2019/078890 priority patent/WO2020019738A1/zh
Priority to US16/910,074 priority patent/US11210783B2/en
Application granted granted Critical
Publication of CN109300107B publication Critical patent/CN109300107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，提供了一种磁共振血管壁成像的斑块处理方法、装置和计算设备，以对磁共振血管壁成像的斑块高效、准确识别和分类。所述方法包括：训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。本发明的技术方案一方面胶囊神经网络采用向量表示的血管斑块特征信息更丰富；另一方面，将已训练生成器网络和胶囊神经网络级联为系统对磁共振血管壁成像的斑块进行识别和分类时，识别和分类的精确度能够得到大幅度提高。

Description

磁共振血管壁成像的斑块处理方法、装置和计算设备
技术领域
本发明属于图像处理领域，尤其涉及一种磁共振血管壁成像的斑块处理方法、装置和计算设备。
背景技术
磁共振血管壁成像不仅可以对颅内动脉、颈动脉和主动脉等全身血管斑块进行定量分析，也能够准确识别易损斑块的纤维帽、出血、钙化、脂质核、炎症等不稳定性特征，是目前公认最好的斑块成像方法。然而，由于三维高分辨磁共振血管壁成像的数据量巨大，每位检查者的图像可达到500幅，有经验的专业医生需要花费30分钟才能完成一名检查者的诊断。
目前应用于医学领域的深度学习方法为卷积神经网络，应用领域包括医学图像处理，医学图像识别与分类等。深度学习在医学图像识别与分割中的研究，大部分基于传统的卷积神经网络算法。然而，基于卷积神经网络的深度学习方法，由于信息损失，因此不能够很好地处理图像细节。在分类问题上，基于卷积和全连层的分类网络已发展为成熟的网络结构，但分类的准确率仍然不高。
综上，现有方法在磁共振血管壁成像的斑块识别和分类上存在效率低以及准确率不高的缺陷。
发明内容
本发明的目的在于提供一种磁共振血管壁成像的斑块处理方法、装置和计算设备，以对磁共振血管壁成像的斑块高效、准确识别和分类。
本发明第一方面提供一种磁共振血管壁成像的斑块处理方法，所述方法包括：
训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
本发明第二方面提供一种磁共振血管壁成像的斑块处理装置，所述装置包括：
训练模块，用于训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
级联模块，用于将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
本发明第三方面提供一种处理磁共振血管壁成像的网络，所述处理磁共振血管壁成像的网络包括生成对抗网络和胶囊神经网络；
所述生成对抗网络经训练后用于对磁共振血管壁成像的斑块进行识别，所述胶囊神经网络经训练后用于对磁共振血管壁成像的斑块进行分类。
本发明第四方面提供一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下方法的步骤：
训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
本发明第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法的步骤：
训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
从上述本发明技术方案可知，一方面，由于生成对抗网络包含胶囊神经网络，而相比于传统的卷积神经网络或全连接层神经网络采用标量表示血管斑块，胶囊神经网络采用向量表示的血管斑块特征信息更丰富；另一方面，相比于传统的深度学习算法采用梯度传播方法，胶囊神经网络使用动态路由算法学习更新网络，因此，将已训练生成器网络和胶囊神经网络级联为系统对磁共振血管壁成像的斑块进行识别和分类时，识别和分类的精确度能够得到大幅度提高。
附图说明
图1是本发明实施例提供的磁共振血管壁成像的斑块处理方法的实现流程示意图；
图2本发明实施例提供的磁共振血管成像的斑块处理装置的结构示意图；
图3是本发明另一实施例提供的磁共振血管成像的斑块处理装置的结构示意图；
图4是本发明实施例提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
附图1是本发明实施例提供的磁共振血管壁成像的斑块处理方法的实现流程示意图，主要包括以下步骤S101和S102，以下详细说明：
S101，训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络。
在本发明实施例中，生成对抗网络包括判别器网络和生成器网络，其中，判别器网络采用传统神经网络(例如，卷积神经网络等)和胶囊神经网络的混合结构，其包含卷积层、PrimaryCaps层和DigitCaps层，生成器网络为深度卷积网络，并且考虑到为了更有效地训练深层网络，生成器网络采用残差网络结构；在判别器网络和生成器网络中均采用可参数化非线性函数PreLU(Parametric Rectified Linear Unit)作为激活函数。胶囊神经网络与判别器网络类似，也包含卷积层、PrimaryCaps层和DigitCaps层，其中，PrimaryCaps层在计算上与常规卷积层等效，但深层意义上不同，这是因为，在PrimaryCaps中，每一个胶囊(Capsule)内部由多个特征(feature)向量构成一个整体，胶囊神经网络的胶囊神经元使用squashing函数作为激活函数，并使用动态路由更新算法训练胶囊神经元，而卷积神经元则使用非线性函数ReLU(Rectified Linear Unit)作为激活函数，使用Adam算法训练传统卷积神经元，其中，squashing函数如下：
其中，sj是胶囊神经网络的输入总和，其计算方式如下：
其中，参数cij由动态路由算法更新，为第i个胶囊神经元传递给下一层第j个胶囊神经元的信息，而的计算方式如下：
其中，参数Wij由动态路由更新算法学习得到，ui为上一层胶囊神经元的原始输出。
为了训练后得到的已训练生成器网络和胶囊神经网络具有更高的识别率和精度，同时为了尽可能地降低计算资源，作为本发明一个实施例，训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络可以是以三维局部磁共振血管壁成像作为训练数据，并采用Adam训练算法和动态路由更新算法训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络。
需要说明的是，为了满足Wasserstein距离的K-Lipschitz假设，项目使用梯度惩罚来满足Lipschitz条件，上述对生成对抗网络和胶囊神经网络的训练过程中，训练判别器网络所采用的损失函数可以是训练生成器网络所用的损失函数可以是L(θG)＝LMSE(IL,IG)+10-4LWANG(IG)，其中，是参数为θD的判别器，x为磁共振血管壁成像数据，x～是磁共振血管壁成像数据经生成器网络分割后数据，是随机服从分布的随机样本，ε是0到1的均匀分布随机值，LMSE(IL,IG)按照公式计算，LWANG(IG)按照公式计算，其中，IL和IG分别为磁共振的分割标签和生成器的磁共振分割输出。
S102，将已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
将已训练生成器网络和胶囊神经网络级联为系统，实际是已训练生成器网络和胶囊神经网络融合、提取已训练生成器网络和胶囊神经网络的参数过程。融合后的系统能够实现对磁共振血管壁成像的斑块的识别和分类一体化，其中，已训练生成器网络负责对磁共振血管壁成像的斑块进行识别，已训练胶囊神经网络负责对磁共振血管壁成像的斑块进行分类。
从上述附图1示例的磁共振血管壁成像的斑块处理方法可知，一方面，由于生成对抗网络包含胶囊神经网络，而相比于传统的卷积神经网络或全连接层神经网络采用标量表示血管斑块，胶囊神经网络采用向量表示的血管斑块特征信息更丰富；另一方面，相比于传统的深度学习算法采用梯度传播方法，胶囊神经网络使用动态路由算法学习更新网络，因此，将已训练生成器网络和胶囊神经网络级联为系统对磁共振血管壁成像的斑块进行识别和分类时，识别和分类的精确度能够得到大幅度提高。
图2是本发明实施例提供的磁共振血管成像的斑块处理装置的示意图。为了便于说明，仅仅示出了装置的必要部分。图2示例的装置主要包括训练模块201和级联模块202，详细说明如下：
训练模块201，用于训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
级联模块202，用于将已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
需要说明的是，本发明实施例提供的装置，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
附图2示例的训练模块201可以包括网络训练单元301，如附图3示例的磁共振血管成像的斑块处理装置。网络训练单元301用于以三维局部磁共振血管壁成像作为训练数据，并采用Adam训练算法和动态路由更新算法训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络。
上述附图2或3示例的磁共振血管壁成像的斑块处理装置中，训练判别器网络所采用的损失函数可以是训练生成器网络所用的损失函数可以是L(θG)＝LMSE(IL,IG)+10-4LWANG(IG)，其中，是参数为θD的判别器，x为磁共振血管壁成像数据，是磁共振血管壁成像数据经生成器网络分割后数据，是随机服从分布的随机样本，ε是0到1的均匀分布随机值，LMSE(IL,IG)按照公式计算，LWANG(IG)按照公式计算，其中，IL和IG分别为磁共振的分割标签和生成器的磁共振分割输出。
图4是本发明一实施例提供的计算设备的结构示意图。如图4所示，该实施例的计算设备4包括：处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42，例如磁共振血管壁成像的斑块处理方法的程序。处理器40执行计算机程序42时实现上述磁共振血管壁成像的斑块处理方法实施例中的步骤，例如图1所示的步骤S101和S102，或者，处理器40执行计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图2所示训练模块201和级联模块202的功能。
示例性的，磁共振血管壁成像的斑块处理方法的计算机程序42主要包括：训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；将已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器40执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序42在计算设备4中的执行过程。例如，计算机程序42可以被分割成训练模块201和级联模块202(虚拟装置中的模块)的功能，各模块具体功能如下：训练模块201，用于训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；级联模块202，用于将已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
计算设备4可包括但不仅限于处理器40、存储器41。本领域技术人员可以理解，图4仅仅是计算设备4的示例，并不构成对计算设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器41可以是计算设备4的内部存储单元，例如计算设备4的硬盘或内存。存储器41也可以是计算设备4的外部存储设备，例如计算设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器41还可以既包括计算设备4的内部存储单元也包括外部存储设备。存储器41用于存储计算机程序以及计算设备所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/计算设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，磁共振血管壁成像的斑块处理方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；将已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种磁共振血管壁成像的斑块处理方法，其特征在于，所述方法包括：
训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
2.如权利要求1所述的磁共振血管壁成像的斑块处理方法，其特征在于，所述训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络，包括：
以三维局部磁共振血管壁成像作为训练数据，并采用Adam训练算法和动态路由更新算法训练生成对抗网络和胶囊神经网络，得到所述已训练生成器网络和已训练胶囊神经网络。
3.如权利要求1或2所述的磁共振血管壁成像的斑块处理方法，其特征在于，所述生成对抗网络包括判别器网络和生成器网络，训练所述判别器网络所采用的损失函数为训练训练所述生成器网络所用的损失函数为L(θG)＝LMSE(IL,IG)+10-4LWANG(IG)，所述是参数为θD的判别器，所述x为磁共振血管壁成像数据，所述为所述磁共振血管壁成像数据经所述生成器网络分割后数据，所述是随机服从分布的随机样本，所述ε是0到1的均匀分布随机值，所述LMSE(IL,IG)按照公式计算，所述LWANG(IG)按照公式计算。
4.一种磁共振血管壁成像的斑块处理装置，其特征在于，所述装置包括：
训练模块，用于训练生成对抗网络和胶囊神经网络，得到已训练生成器网络和已训练胶囊神经网络；
级联模块，用于将所述已训练生成器网络和胶囊神经网络级联为系统，以对磁共振血管壁成像的斑块进行识别和分类。
5.如权利要求4所述的磁共振血管壁成像的斑块处理装置，其特征在于，所述训练模块包括：
网络训练单元，用于以三维局部磁共振血管壁成像作为训练数据，并采用Adam训练算法和动态路由更新算法训练生成对抗网络和胶囊神经网络，得到所述已训练生成器网络和已训练胶囊神经网络。
6.如权利要求4或5所述的磁共振血管壁成像的斑块处理装置，其特征在于，所述生成对抗网络包括判别器网络和生成器网络，训练所述判别器网络所采用的损失函数为训练训练所述生成器网络所用的损失函数为L(θG)＝LMSE(IL,IG)+10-4LWANG(IG)，所述是参数为θD的判别器，所述x为磁共振血管壁成像数据，所述为所述磁共振血管壁成像数据经所述生成器网络分割后数据，所述是随机服从分布的随机样本，所述ε是0到1的均匀分布随机值，所述LMSE(IL,IG)按照公式计算，所述LWANG(IG)按照公式计算。
7.一种处理磁共振血管壁成像的网络，其特征在于，所述处理磁共振血管壁成像的网络包括生成对抗网络和胶囊神经网络；
所述生成对抗网络经训练后用于对磁共振血管壁成像的斑块进行识别，所述胶囊神经网络经训练后用于对磁共振血管壁成像的斑块进行分类。
8.如权利要求7所述的处理磁共振血管壁成像的网络，其特征在于，所述生成对抗网络包括判别器网络和生成器网络，所述生成器网络为采用残差网络结构的深度卷积网络，所述判别器网络采用传统神经网络和胶囊神经网络的混合结构，所述判别器网络或胶囊神经网络包含卷积层、PrimaaryCaps层和DigitCaps层，训练所述判别器网络所采用的损失函数为训练所述生成器网络所用的损失函数为L(θG)＝LMSE(IL,IG)+10-4LWANG(IG)，所述是参数为θD的判别器，所述x为磁共振血管壁成像数据，所述为所述磁共振血管壁成像数据经所述生成器网络分割后数据，所述是随机服从分布的随机样本，所述ε是0到1的均匀分布随机值，所述LMSE(IL,IG)按照公式计算，所述LWANG(IG)按照公式计算。
9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述方法的步骤。
CN201810818827.1A 2018-07-24 2018-07-24 磁共振血管壁成像的斑块处理方法、装置和计算设备 Active CN109300107B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810818827.1A CN109300107B (zh) 2018-07-24 2018-07-24 磁共振血管壁成像的斑块处理方法、装置和计算设备
PCT/CN2019/078890 WO2020019738A1 (zh) 2018-07-24 2019-03-20 磁共振血管壁成像的斑块处理方法、装置和计算设备
US16/910,074 US11210783B2 (en) 2018-07-24 2020-06-24 Method and device of processing plaques in magnetic resonance imaging of vessel wall, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810818827.1A CN109300107B (zh) 2018-07-24 2018-07-24 磁共振血管壁成像的斑块处理方法、装置和计算设备

Publications (2)

Publication Number Publication Date
CN109300107A true CN109300107A (zh) 2019-02-01
CN109300107B CN109300107B (zh) 2021-01-22

Family

ID=65167974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810818827.1A Active CN109300107B (zh) 2018-07-24 2018-07-24 磁共振血管壁成像的斑块处理方法、装置和计算设备

Country Status (3)

Country Link
US (1) US11210783B2 (zh)
CN (1) CN109300107B (zh)
WO (1) WO2020019738A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859201A (zh) * 2019-02-15 2019-06-07 数坤（北京）网络科技有限公司 一种非钙化斑块检出方法及其设备
CN110321968A (zh) * 2019-07-11 2019-10-11 广东工业大学 一种超声图像分类装置
CN110517250A (zh) * 2019-08-27 2019-11-29 东北大学 一种基于增强对抗生成网络的眼底视网膜血管分割系统
WO2020019738A1 (zh) * 2018-07-24 2020-01-30 深圳先进技术研究院 磁共振血管壁成像的斑块处理方法、装置和计算设备
CN111292322A (zh) * 2020-03-19 2020-06-16 中国科学院深圳先进技术研究院 医学图像处理方法、装置、设备及存储介质
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111666409A (zh) * 2020-05-28 2020-09-15 武汉大学 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法
CN111700638A (zh) * 2019-03-18 2020-09-25 通用电气公司 出血的自动检测和定位
CN111861878A (zh) * 2019-04-30 2020-10-30 达音网络科技（上海）有限公司 通过潜在空间正则化对监督式生成对抗网络进行优化
CN111986659A (zh) * 2020-07-16 2020-11-24 百度在线网络技术（北京）有限公司 建立音频生成模型的方法以及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210270A1 (de) * 2019-05-23 2020-11-26 Robert Bosch Gmbh Verfahren zum Trainieren eines Generative Adversarial Networks (GAN), Generative Adversarial Network, Computerprogramm, maschinenlesbares Speichermedium und Vorrichtung
CN111667478B (zh) * 2020-06-10 2023-04-07 复影(上海)医疗科技有限公司 Cta到mra跨模态预测的颈动脉斑块识别方法及系统
CN114648536A (zh) * 2020-12-17 2022-06-21 通用电气精准医疗有限责任公司 血管壁的提取方法及装置
CN112906813A (zh) * 2021-03-09 2021-06-04 中南大学 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
CN116452007B (zh) * 2023-06-15 2023-09-19 深圳市迪博企业风险管理技术有限公司 一种基于胶囊网络的企业税收合规风险评估方法
CN116628457B (zh) * 2023-07-26 2023-09-29 武汉华康世纪医疗股份有限公司 一种磁共振设备运行中的有害气体检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029493A1 (en) * 2001-09-28 2003-04-10 Vitivity, Inc. Diagnosis and treatment of vascular disease
CN107871318A (zh) * 2017-11-16 2018-04-03 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108171700A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于对抗网络的医学图像肺结节检测方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1929781A (zh) * 2003-08-21 2007-03-14 依斯克姆公司 用于脉管斑块检测和分析的自动化方法和系统
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN106127702B (zh) * 2016-06-17 2018-08-14 兰州理工大学 一种基于深度学习的图像去雾方法
CN107358626B (zh) * 2017-07-17 2020-05-15 清华大学深圳研究生院 一种利用条件生成对抗网络计算视差的方法
CN107451994A (zh) * 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置
US11120337B2 (en) * 2017-10-20 2021-09-14 Huawei Technologies Co., Ltd. Self-training method and system for semi-supervised learning with generative adversarial networks
CN108229381B (zh) * 2017-12-29 2021-01-08 湖南视觉伟业智能科技有限公司 人脸图像生成方法、装置、存储介质和计算机设备
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109300107B (zh) * 2018-07-24 2021-01-22 深圳先进技术研究院 磁共振血管壁成像的斑块处理方法、装置和计算设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029493A1 (en) * 2001-09-28 2003-04-10 Vitivity, Inc. Diagnosis and treatment of vascular disease
CN107871318A (zh) * 2017-11-16 2018-04-03 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
CN108171700A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于对抗网络的医学图像肺结节检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AYUSH JAISWAL ET AL.: "CapsuleGan：generative adversarial capsule network", 《ARXIV》 *
BO HU等: "Unsupervised Learning for Cell-level Visual Representation in Histopathology Images with Generative Adversarial Networks", 《IEEE》 *
JIMENEZ-SANCHEZ等: "Capsule Networks against Medical Imaging Data Challenges", 《ARXIV》 *
SHARATH M.SHANKARANARAYANA ET AL.: "Joint optic disc and cup segmentation using fully convolutional and adversarial networks", 《INTERNATIONAL WORKSHOP ON OPHTHALMIC MEDICAL IMAGE ANALYSIS》 *
THOMAS SCHLEGL等: "Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery", 《INTERNATIONAL CONFERENCE ON INFORMATION PROCESSING IN MEDICAL IMAGING》 *
王光磊等: "OCT影像下纤维斑块的自动识别算法", 《光全息与图像信息处理》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020019738A1 (zh) * 2018-07-24 2020-01-30 深圳先进技术研究院 磁共振血管壁成像的斑块处理方法、装置和计算设备
CN109859201A (zh) * 2019-02-15 2019-06-07 数坤（北京）网络科技有限公司 一种非钙化斑块检出方法及其设备
CN111598891A (zh) * 2019-02-20 2020-08-28 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111598891B (zh) * 2019-02-20 2023-08-08 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN111700638A (zh) * 2019-03-18 2020-09-25 通用电气公司 出血的自动检测和定位
CN111700638B (zh) * 2019-03-18 2023-08-22 通用电气公司 出血的自动检测和定位
CN111861878B (zh) * 2019-04-30 2023-09-22 达音网络科技（上海）有限公司 通过潜在空间正则化对监督式生成对抗网络进行优化
CN111861878A (zh) * 2019-04-30 2020-10-30 达音网络科技（上海）有限公司 通过潜在空间正则化对监督式生成对抗网络进行优化
CN110321968A (zh) * 2019-07-11 2019-10-11 广东工业大学 一种超声图像分类装置
CN110517250A (zh) * 2019-08-27 2019-11-29 东北大学 一种基于增强对抗生成网络的眼底视网膜血管分割系统
CN111292322A (zh) * 2020-03-19 2020-06-16 中国科学院深圳先进技术研究院 医学图像处理方法、装置、设备及存储介质
CN111292322B (zh) * 2020-03-19 2024-03-01 中国科学院深圳先进技术研究院 医学图像处理方法、装置、设备及存储介质
WO2021184799A1 (zh) * 2020-03-19 2021-09-23 中国科学院深圳先进技术研究院 医学图像处理方法、装置、设备及存储介质
CN111666409A (zh) * 2020-05-28 2020-09-15 武汉大学 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法
CN111986659A (zh) * 2020-07-16 2020-11-24 百度在线网络技术（北京）有限公司 建立音频生成模型的方法以及装置

Also Published As

Publication number Publication date
CN109300107B (zh) 2021-01-22
US11210783B2 (en) 2021-12-28
US20200320704A1 (en) 2020-10-08
WO2020019738A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
CN109300107A (zh) 磁共振血管壁成像的斑块处理方法、装置和计算设备
AU2016308097B2 (en) Three-dimensional (3D) convolution with 3D batch normalization
CN109801294A (zh) 三维左心房分割方法、装置、终端设备及存储介质
CN110136828A (zh) 一种基于深度学习实现医学影像多任务辅助诊断的方法
Chen et al. Recursive context routing for object detection
CN110458217A (zh) 图像识别方法及装置、眼底图像识别方法和电子设备
CN111956208B (zh) 一种基于超轻量级卷积神经网络的ecg信号分类方法
CN110321761A (zh) 一种行为识别方法、终端设备及计算机可读存储介质
CN110378301A (zh) 行人重识别方法及系统
CN110163350A (zh) 一种计算装置及方法
Puybareau et al. Left atrial segmentation in a few seconds using fully convolutional network and transfer learning
CN109801259A (zh) 一种核磁共振图像的快速成像方法、装置及设备
JP7492640B1 (ja) 脳ネットワークデータ特徴抽出方法および装置
Elalfi et al. Artificial neural networks in medical images for diagnosis heart valve diseases
Zhu et al. Big data image classification based on distributed deep representation learning model
CN109978004A (zh) 图像识别方法及相关设备
Li et al. Attention-based adaptive feature selection for multi-stage image dehazing
CN108734127A (zh) 年龄识别值调整方法、装置、设备及存储介质
CN112150569A (zh) 将cbct图像生成为ct图像的方法、装置及终端设备
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
CN109785336A (zh) 基于多路径卷积神经网络模型的图像分割方法及装置
Jiang et al. Images denoising for COVID-19 chest X-ray based on multi-resolution parallel residual CNN
CN109886992A (zh) 用于分割mri图像中异常信号区的全卷积网络模型训练方法
US20230103262A1 (en) Image processing method and device
CN112329736B (zh) 人脸识别方法及金融系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant