CN116934965A - 基于可控生成扩散模型的脑血管三维图像生成方法及系统 - Google Patents

基于可控生成扩散模型的脑血管三维图像生成方法及系统 Download PDF

Info

Publication number
CN116934965A
CN116934965A CN202310849254.XA CN202310849254A CN116934965A CN 116934965 A CN116934965 A CN 116934965A CN 202310849254 A CN202310849254 A CN 202310849254A CN 116934965 A CN116934965 A CN 116934965A
Authority
CN
China
Prior art keywords
blood vessel
image
generating
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310849254.XA
Other languages
English (en)
Inventor
涂圣贤
赵紫臣
陈彦凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202310849254.XA priority Critical patent/CN116934965A/zh
Publication of CN116934965A publication Critical patent/CN116934965A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明属于网络数据处理及数字信息的传输技术领域，尤其涉及基于可控生成扩散模型的脑血管三维图像生成方法及系统，其包括图像裁切处理、生成模型训练、控制分支训练、控制图像生成，本发明解决现有技术存在由于医学图像的隐私性，大量图像数据的获取也是十分困难，从而很难获取到大量的图像标注，而且由于图像标注成本过高，进而影响监督深度学习的血管分割的分割效果的问题，具有获取大量的图像‑标注对，用于下游的有监督深度学习分割任务的技术效果。

Description

基于可控生成扩散模型的脑血管三维图像生成方法及系统
技术领域
本发明属于网络数据处理及数字信息的传输技术领域，尤其涉及基于可控生成扩散模型的脑血管三维图像生成方法及系统。
背景技术
脑血管疾病一直以来都是威胁人类健康最主要的疾病之一，近几十年来，随着人们生活水平的提高，更多的疾病诱因逐渐加剧社会对于脑血管疾病治疗的负担，尤其是在发展中国家；根据全球疾病负担研究数据，卒中已经是我国成人致死致残的首位病因，我国卒中的发病率虽然在逐年下降，但患病率整体呈上升趋势，且缺血性卒中的发病率高于出血性卒中的发病率，占比约60％-70％；症状性颅内动脉粥样硬化是缺血性脑卒中的主要病因之一，尤其是在中国、韩国等亚洲国家和亚裔人群中所占比例更高；目前没有充分的研究证明对于颅内动脉粥样硬化的介入治疗相较于药物治疗具有更好的效果，并且颅内动脉的介入治疗具有一定的风险性；因此，准确有效地评估患者的动脉狭窄程度和风险对于医生判断是否进行手术干预具有非常重要的临床意义；
随着医学图像技术的发展，不同的脑血管成像方式也逐渐被医生所采用，其中三维数字减影血管造影具有分辨率高、三维显影的优势，可以大幅度降低骨骼和周围组织的干扰，是临床中分析脑血管狭窄的重要图像手段；然而，想要进行定量血流分析等下游任务需要将血管从三维图像中精准分割出来；目前的主流方法是使用有监督的深度学习方法来实现，这种方法需要大量有标注的数据，而三维数据尤其是血管数据的标注耗时大、难度高，难以获取大量的标注数据进行训练；因此，通过大量生成三维医学图像及其标注的方法可以显著降低标注图像获取成本；
现有技术存在由于医学图像的隐私性，大量图像数据的获取也是十分困难，从而很难获取到大量的图像标注，而且由于图像标注成本过高，进而影响监督深度学习的血管分割的分割效果的问题。
发明内容
本发明提供基于可控生成扩散模型的脑血管三维图像生成方法及系统，以解决上述背景技术中存在的现有技术存在由于医学图像的隐私性，大量图像数据的获取也是十分困难，从而很难获取到大量的图像标注，而且由于图像标注成本过高，进而影响监督深度学习的血管分割的分割效果的问题；
本发明所解决的技术问题采用以下技术方案来实现：基于可控生成扩散模型的脑血管三维图像生成方法，包括：
图像裁切处理：基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图；
生成模型训练：基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型；
控制分支训练：基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型；
控制图像生成：基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像。
进一步：
所述粗外分割处理包括：
基于无标注的血管原始三维图像，根据管状滤波器和区域生长的方法，通过血管概率估算函数，提取血管粗分割图；
所述精内裁切处理包括：
基于骨架化处理后的血管中心线图，以血管中心线的随机坐标点为中心，裁切相应大小的图像块。
进一步：
所述血管概率估算函数为：
所述λd为一个D维图像在x＝[x1,…,xD]T，s尺度下I(x)对应的Hessian矩阵Hij(x,s)的特征值；
所述i,j分别为Hessian矩阵的行和列；
所述d为特征值按照绝对值从小到大的编号；
所述SI为三个特征值的平方和之平方根，代表图像的结构信息；
所述RA为第二与第三特征值之比值，用于区分管状结构与平板结构；
所述α为调节RA占血管概率估算函数v之权重的参数；
所述k为调节S占血管概率估算函数v之权重的参数；
所述e为自然数。
进一步：
所述图像裁切处理还包括：
血管中心点图像块编码：基于血管中心点图像块图在血管原始三维图像上的相对位置，根据增加Z轴位置的权重并保持X和Y轴位置相同的权重的编码规则，通过位置编码函数，生成相应编码的血管中心点图像块图。
进一步：
所述位置编码函数为：
所述μ1、μ2、μ3分别为调节x、y、z三个维度编码值占总编码值比例的权重；
所述x、y、z为图像裁切时中心点坐标x＝[x1,x2,x3]T在图像整体中的相对坐标；
所述X、Y、Z分别为图像在三个维度的大小。
进一步：
所述生成模型训练包括：
所述自编码器训练包括：
基于血管原始三维图像，根据编解码操作，通过均方误差MSE函数和潜在空间编码与正态分布之间的KL散度函数，生成潜在空间的潜变量自编码器网络；
所述均方误差MSE函数为：
所述n为输出三维图像所含的体素数；
所述Yi代表第i个体素的目标值，即输入图像在第i个体素的值；
所述代表自编码器输出的对第i个体素的预测值；
所述潜在空间编码与正态分布之间的KL散度函数为：
所述p(x)为编码器编码分布；
所述q(x)为标准正态分布。
进一步：
所述生成模型训练包括：
所述噪声估计训练包括：
基于潜变量自编码器网络，通过前向扩散函数和网络预测的噪声函数，生成潜在空间的噪声估计网络；
所述前向扩散函数为：
所述βt为随时间步t线性增长的步长参数；
所述前向扩散函数可以简化为：
所述与所述前向扩散函数中的βt有/>
所述∈t为标准正态分布中随机采样的噪声；
所述网络预测噪声的损失函数为：
所述t为时间步；
所述∈θ代表噪声估计网络；
所述x0为未加入噪声的初始数据；
所述与所述前向扩散函数中的βt有/>
所述∈t为第t个时间步添加的噪声,
所述p为图像块相对位置编码。
进一步：
所述控制分支生成包括：
基于血管二值标注图，通过连接至图像生成模型并计算噪声估计损失函数，形成可控图像生成模型；
所述噪声估计损失函数包括：
所述t为时间步；
所述∈θ代表控制分支与噪声估计网络之组合；
所述x0为未加入噪声的初始数据；
所述与所述前向扩散函数中的βt有/>
所述∈t为第t个时间步添加的噪声；
所述p为图像块相对位置编码。
进一步：
所述控制图像生成：
控制图像生成包括：
控制条件获取：基于二值血管分割图，通过三维形变场函数，获取控制条件；
所述v为三维向量，表示坐标点x处的图像位移向量；
所述x′为x经位移向量位移之后的新坐标。
进一步：
所述控制图像生成：
采样迭代过程：基于潜变量自编码器网络和噪声估计网络组成图像生成模型，通过采样过程函数，生成三维血管采样图像；
所述
所述αt与所述前向扩散函数中的βt有αt＝1-βt；
所述与αt有/>
所述t为采样时间步；
所述T为设定最大时间步；
所述z为标准正态分布中的随机采样；
所述p为图像块相对位置编码。
同时，本发明还提供基于可控生成扩散模型的脑血管三维图像生成系统，包括：实现上述脑血管三维图像生成方法的脑血管三维图像生成平台，所述脑血管三维图像生成平台包括图像裁切处理模块、生成模型训练模块、控制分支训练模块、控制图像生成模块；
所述图像裁切处理模块用于：基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图；
所述生成模型训练模块用于：基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型；
所述控制分支训练模块用于：基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型；
所述控制图像生成模块用于：基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像。
有益技术效果：
本方案采用包括如图像裁切处理、生成模型训练、控制分支训练、控制图像生成等处理，由于基于现有的实际问题，即基于有监督深度学习的血管分割方法往往需要大量的图像和其对应的标注数据来进行拟合学习，三维图像的标注方法一般是将其视为二维切片图像的堆叠，之后在每一个二维切片上进行标注后再将标注结果堆叠为三维，以获得三维标注结果；但是三维医学图像尤其是血管图像存在切片数量多、血管结构分布分散、血管轮廓尺度变化大，对切片间连续性要求较高等特点，导致其标注难度大、标注耗时长，基于上述实际问题，本案在进入监督深度学习的血管分割之前，使用潜在扩散模型与控制分支网络结合的方式实现对潜在扩散模型生成结果的可控；潜在扩散模型的原理是将图像编码至潜在空间，在潜在空间进行扩散模型的前向扩散和反向扩散过程，最后得到的结果再解码至图像；前向扩散过程按照设定的分布逐步加入噪声，反向扩散过程则基于深度学习网络预测的噪声进行逐步的去噪；潜在扩散模型的网络结构主要包含两部分，第一部分是实现图像空间和潜在空间相互转换的自编码器网络，第二部分则是在反向扩散过程中预测噪声的噪声估计网络；控制分支网络的原理是在潜在扩散模型的结构之外额外添加一个新的深度学习网络分支，该分支接受控制信息作为输入，将编码后的控制信息连接到潜在扩散模型中实现控制信息的引入，实现对潜在扩散模型所生成的图像结果的控制；通过上述可控生成扩散模型，利用易于生成的二值分割图来引导生成模型生成对应的图像，从而获取大量的图像-标注对，用于下游的有监督深度学习分割任务。
附图说明
图1是本发明脑血管三维图像生成方法的总流程图；
图2是本发明脑血管三维图像生成方法的具体流程图；
图3是本发明脑血管三维图像生成方法的图像裁切处理的方法流程图；
图4是本发明脑血管三维图像生成方法的自编码器训练的方法流程图；
图5是本发明脑血管三维图像生成方法的噪声估计训练的方法流程图；
图6是本发明脑血管三维图像生成方法的控制分支训练的方法流程图；
图7是本发明脑血管三维图像生成方法的控制图像生成的方法流程图；
图8是本发明脑血管三维图像生成方法的实施例一的可控图像生成模型结构图；
图9是本发明脑血管三维图像生成方法的实施例一的图像处理流程图；
具体实施方式
以下结合附图对本发明做进一步描述：
图中：
S101-图像裁切处理；
S102-生成模型训练；
S103-控制分支训练；
S104-控制图像生成；
S2001-基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图；
S2002-基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型；
S2003-基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型；
S2004-基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像；
实施例：
本实施例：
如图1、2所示，基于可控生成扩散模型的脑血管三维图像生成方法，其特征在于，包括：
图像裁切处理S101：基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图S2001；
生成模型训练S102：基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型S2002；
控制分支训练S103：基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练S103，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型；
控制图像生成S104：基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像S2004。
由于采用包括如图像裁切处理、生成模型训练、控制分支训练、控制图像生成等处理，由于基于现有的实际问题，即基于有监督深度学习的血管分割方法往往需要大量的图像和其对应的标注数据来进行拟合学习，三维图像的标注方法一般是将其视为二维切片图像的堆叠，之后在每一个二维切片上进行标注后再将标注结果堆叠为三维，以获得三维标注结果；但是三维医学图像尤其是血管图像存在切片数量多、血管结构分布分散、血管轮廓尺度变化大，对切片间连续性要求较高等特点，导致其标注难度大、标注耗时长，基于上述实际问题，本案在进入监督深度学习的血管分割之前，使用潜在扩散模型与控制分支网络结合的方式实现对潜在扩散模型生成结果的可控；潜在扩散模型的原理是将图像编码至潜在空间，在潜在空间进行扩散模型的前向扩散和反向扩散过程，最后得到的结果再解码至图像；前向扩散过程按照设定的分布逐步加入噪声，反向扩散过程则基于深度学习网络预测的噪声进行逐步的去噪；潜在扩散模型的网络结构主要包含两部分，第一部分是实现图像空间和潜在空间相互转换的自编码器网络，第二部分则是在反向扩散过程中预测噪声的噪声估计网络；控制分支网络的原理是在潜在扩散模型的结构之外额外添加一个新的深度学习网络分支，该分支接受控制信息作为输入，将编码后的控制信息连接到潜在扩散模型中实现控制信息的引入，实现对潜在扩散模型所生成的图像结果的控制；通过上述可控生成扩散模型，利用易于生成的二值分割图来引导生成模型生成对应的图像，从而获取大量的图像-标注对，用于下游的有监督深度学习分割任务。
如图3所示，所述粗外分割处理包括：
基于无标注的血管原始三维图像，根据管状滤波器和区域生长的方法，通过血管概率估算函数，提取血管粗分割图；
所述精内裁切处理包括：
基于骨架化处理后的血管中心线图，以血管中心线的随机坐标点为中心，裁切相应大小的图像块。
所述血管概率估算函数为：
所述λd为一个D维图像在x＝[x1,…,xD]T，s尺度下I(x)对应的Hessian矩阵Hij(x,s)的特征值；
所述i,j分别为Hessian矩阵的行和列；
所述d为特征值按照绝对值从小到大的编号；
所述SI为三个特征值的平方和之平方根，代表图像的结构信息；
所述RA为第二与第三特征值之比值，用于区分管状结构与平板结构；
所述α为调节RA占血管概率估算函数v之权重的参数；
所述k为调节S占血管概率估算函数v之权重的参数；
所述e为自然数。
由于采用分割和裁切处理，其包括粗外分割处理、精内裁切处理，以及血管概率估算函数的应用，由于在后续的监督深度学习之前，第一个处理是图像裁切处理，其原理是：使用裁切的三维血管图像块而非原始大小的三维血管图像进行训练和采样。原始三维血管图像数据尺寸过大，同时血管结构在三维图像数据中的分布较为分散，使用裁切的方法能够在保持血管局部结构的同时降低计算需求。处理训练数据时，对于没有对应的人工标注的三维血管图像数据，首先使用基于管状滤波器和区域生长的方法提取血管的粗分割结果，或采用仅使用区域生长方法提取粗分割结果；或采用仅使用阈值法提取血管粗分割结果，对于有人工标注的图像数据则直接使用人工标注的二值分割图，然后基于二值图像的骨架化方法提取二值图中血管的中心线，之后在血管中心线的坐标集合中随机选择裁切位置，以所选择的中心线上的坐标点作为裁切的中心，或通过不提取中心线，直接从二值图中随机选择坐标点；或通过在二值图的包围盒区域中随机选择坐标点，按指定的图像大小裁取出对应大小的三维图像块，用于生成扩散模型的训练；其算法采用：裁切算法流程：对于无人工标注的三维血管图像数据，首先使用基于管状滤波器和区域生长的方法提取血管的粗分割；管状滤波器方法的原理是计算多尺度下图像灰度二阶梯度的Hessian矩阵的特征值，并根据特征值之间的相对关系判断该位置属于血管的概率值，具体流程如下：设I(x)为一个D维图像在x＝[x1,…,xD]T这一点的像素值，那么在尺度s下x对应的Hessian矩阵为：
其中，i,j分别代表Hessian矩阵的行和列，其中尺度s下的D维高斯分布,e代表自然数；其中*代表图像卷积操作；
计算Hessian矩阵的特征值λ并按照特征值的绝对值大小进行排序，即：
∣λd∣≤∣λd+1∣；d＝1,…,D-1；
其中d为特征值按照绝对值从小到大的编号；那么三维血管图像中x位置属于血管的概率v可以由血管概率估算函数表示：
其中代表图像的结构信息；其中/>用于区分管状结构与平板结构；其中α和k为调节RA和SI占血管概率估算函数值的权重的参数；其中e为自然数；通过该管状滤波器方法，提升粗分割效果；
管状滤波器方法处理之后，再利用区域生长法或使用阈值法，阈值法是设定一个阈值，将体素值处于阈值之上的体素记为血管，位于阈值之下的记为背景；从初始种子点逐步生长获得血管粗分割，这里的血管粗分割主要采用区域生长法，区域生长法是指从种子点开始，每一次迭代都遍历种子点在三维空间邻域内的点，将符合条件的点加入到新的种子点集合中，继续迭代直到没有新的种子点可以加入，初始种子点可以通过人工选取血管内部坐标点获得；
对于无人工标注的血管图像数据，经过上述方法可以得到二值分割图，对于有人工标注的血管图像数据，直接使用人工标注作为二值分割图。对二值分割图进行骨架化操作可以得到血管中心线，血管中心线可以用于三维血管图像裁切位置的选取；
在裁切时，首先从血管中心线坐标点的集合中随机选择一个坐标点x＝[x1,x2,x3]T，将该坐标点视为需要裁切的图像块的中心点，在原始三维血管图像中裁切出其周围H*W*D大小的图像块，其中H为图像高度，W为图像宽度，D为图像深度。对三维血管图像所对应的二值分割图也在相同的坐标点做相同的裁切操作，将裁切出的三维血管图像块和其对应的二值分割图像块作为一对训练数据使用；
基于上述分割和裁切处理，即结合脑血管的三维结构特点，采用沿血管中心线选取裁切中心点的裁切策略,并对裁切出的图像块的相对位置进行编码，基于裁切的数据预处理方法可以降低训练可控生成扩散模型所用的数据尺寸，使模型的训练与推理可以在显存较小的硬件设备上运行。基于血管中心线的裁切策略可以保证裁切出的图像块中包含血管结构，便于模型的训练。基于血管图像块所在的相对空间位置进行位置编码，有助于模型生成合理的图像块。
如图3所示，所述图像裁切处理S101还包括：
血管中心点图像块编码：基于血管中心点图像块图在血管原始三维图像上的相对位置，根据增加Z轴位置的权重并保持X和Y轴位置相同的权重的编码规则，通过位置编码函数，生成相应编码的血管中心点图像块图。
所述位置编码函数为：
所述μ1、μ2、μ3分别为调节x、y、z三个维度编码值占总编码值比例的权重；
所述x、y、z为图像裁切时中心点坐标x＝[x1,x2,x3]T在图像整体中的相对坐标；
所述X、Y、Z分别为图像在三个维度的大小。
由于采用分割和裁切处理还包括血管中心点图像块编码：基于血管中心点图像块图在血管原始三维图像上的相对位置，根据增加Z轴位置的权重并保持X和Y轴位置相同的权重的编码规则，通过位置编码函数，生成相应编码的血管中心点图像块图，以及位置编码函数，其原理为：由于裁切操作会使图像块失去了其在整体图像上的相对位置信息，所以在训练生成模型时向网络输入中加入裁切出的图像块在原始图像中的位置编码，由于脑血管的图像信息沿三维图像中Z轴的变化最大，可以在编码时加大Z轴位置的权重，X和Y轴位置使用相同的权重，将三维相对位置信息编码为一个单一值，位置编码公式为：
pemb＝μ1x+μ2y+μ3z；
其中，μ1、μ2、μ3为调节x、y、z三个维度相对坐标编码值占总编码值比例的权重，有：
μ1＝μ2<μ3，μ1+μ2+μ3＝1
其中，x、y、z为图像裁切时中心点坐标x＝[x1,x2,x3]T在图像整体中的相对坐标，即:
其中，X、Y、Z分别为图像在三个维度的大小。
如图4所示，所述生成模型训练S102包括：
所述自编码器训练包括：
基于血管原始三维图像，根据编解码操作，通过均方误差MSE函数和潜在空间编码与正态分布之间的KL散度函数，生成潜在空间的潜变量自编码器网络；
所述均方误差MSE函数为：
所述n为输出三维图像所含的体素数；
所述Yi代表第i个体素的目标值，即输入图像在第i个体素的值；
所述代表自编码器输出的对第i个体素的预测值；
所述潜在空间编码与正态分布之间的KL散度函数为：
所述p(x)为编码器编码分布；
所述q(x)为标准正态分布。
由于采用生成模型训练处理，主要包括两个处理，第一个处理是自编码器训练，第二个处理是噪声估计训练，其中，自编码器训练包括基于血管原始三维图像，根据编解码操作，通过均方误差MSE函数和潜在空间编码与正态分布之间的KL散度函数，生成潜在空间的潜变量自编码器网络，以及均方误差MSE函数；由于潜在扩散模型的训练过程与采样过程相对独立，其原理是：深度生成模型是利用已有的离散数据点学习到一个数据集的整体分布，目前有基于对抗的生成对抗网络和基于扩散的生成扩散模型等主流深度学习生成方法，本发明采用基于生成扩散模型的方法；图像空间指的是将图像作为一个高维向量来看待时其所处的高维空间，潜在空间是一种对图像空间的降维特征表示空间，图像空间分布上的图像向量在潜在空间中有其相对应的潜变量表示；在潜在空间进行生成扩散模型的操作，之后将生成的潜变量解码至原始空间的生成扩散模型称为潜在扩散模型，本发明使用潜在扩散模型的架构，网络的主体结构包括图像空间与潜在空间之间进行转换的编、解码器，基于编解码器和跳跃连接的噪声估计模型，本文所用潜在扩散模型中所有的卷积操作均为三维卷积操作，接受三维输入进行训练和采样，实现端到端的三维血管图像生成，其中，训练自编码器具体为：
自编码器是用来进行三维图像和低维潜在空间的潜变量之间的转换的网络；其网络结构分为两个部分：编码器和解码器。训练时采用自监督训练方法，输入图像经过编码器后输出潜变量，潜变量经过解码器输出三维图像，输出的图像应与输入图像尽可能保持一致，通过计算输出图像与输入图像之间的均方误差MSE(Mean Square Error)和潜变量分布与正态分布之间的KL散度(KL-Divergence)作为损失函数进行梯度下降，训练整个自编码器网络；
MSE公式：
所述n为输出三维图像所含的体素数，Yi代表第i个体素的目标值，即输入图像在第i个体素的值，代表自编码器输出的对第i个体素的预测值；
KL散度公式：
其中，p(x)为编码器所编码的潜变量的分布，q(x)为标准正态分布；
通过自编码器训练，即基于第一方面所述之图像裁切方法，可以获取数据来训练第二方面所述之潜在扩散模型，其包含一对编码器和解码器，编码器部分可用于将图像编码至低维潜变量，解码器部分可将潜变量解码回图像，潜在扩散模型所含第一部分结构为自编码器，其作用是实现图像与低维潜在空间变量之间的转换，降低计算量与显存占用。
如图5所示，所述生成模型训练S102包括：
所述噪声估计训练包括：
基于潜变量自编码器网络，通过前向扩散函数和网络预测的噪声函数，生成潜在空间的噪声估计网络；
所述前向扩散函数为：
所述βt为随时间步t线性增长的步长参数；
所述前向扩散函数可以简化为：
所述与所述前向扩散函数中的βt有/>
所述∈t为标准正态分布中随机采样的噪声。
所述网络预测噪声的损失函数为：
所述t为时间步；
所述∈θ代表噪声估计网络；
所述x0为未加入噪声的初始数据；
所述与所述前向扩散函数中的βt有/>
所述∈t为第t个时间步添加的噪声,
所述p为图像块相对位置编码。
由于采用噪声估计训练，其中，噪声估计训练包括基于潜变量自编码器网络，通过前向扩散函数和网络预测的噪声函数，生成潜在空间的噪声估计网络，以及前向扩散函数、前向扩散函数简化模式，以及网络预测噪声的损失函数；由于噪声估计训练具体为：
训练噪声估计网络：
噪声估计网络的结构基于3D U-Net，包含编码器、解码器和跳跃连接，训练时，需要使用到1)中所训练完成的自编码器，输入的真实图像经过自编码器编码至潜在空间，记为X0，根据输入的时间步t向X0中逐渐加入噪声得到Xt，从X0开始逐渐加入噪声的过程为前向扩散过程：
其中βt为随时间步t线性增长的步长参数。
该逐步加噪的前向扩散过程可以简化为一步：
其中与所述前向扩散函数中的βt有/>
其中∈t为标准正态分布中随机采样的噪声。
将Xt输入噪声预测网络，同时输入图像块的相对位置编码信息p和时间步t，噪声预测网络输出对前向扩散过程中所加入的噪声∈t的预测，以网络预测的噪声与所加入的噪声之间的MSE作为损失函数训练该网络：
其中∈θ代表噪声估计网络，与前向扩散过程中的βt有关，/>∈t为第t个时间步添加的随机噪声,p为图像块相对位置编码；
通过所述潜在扩散模型采用三维图像块作为训练之输入，训练完成的潜在扩散模型可以直接生成三维图像块。所述潜在扩散模型的卷积层均为三维卷积，潜在扩散模型所含第二部分结构为噪声估计网络，其作用是预测输入的噪声图像在前向扩散过程中所添加的噪声，用于反向扩散过程之去噪，整个潜在扩散模型的作用是能够在训练完成后，从随机噪声中逐步去噪，最终生成一个三维血管图像块。
如图6所示，所述控制分支生成包括：
基于血管二值标注图，通过连接至图像生成模型并计算噪声估计损失函数，形成可控图像生成模型；
所述噪声估计损失函数包括：
所述t为时间步；
所述∈θ代表控制分支与噪声估计网络之组合；
所述x0为未加入噪声的初始数据；
所述与所述前向扩散函数中的βt有/>
所述∈t为第t个时间步添加的噪声；
所述p为图像块相对位置编码。
由于采用控制分支训练，还包括基于血管二值标注图，通过连接至图像生成模型并计算噪声估计损失函数，形成可控图像生成模型，以及噪声估计损失函数；由于其原理是：在潜在扩散模型结构之外加入控制分支，其结构与潜在扩散模型中的噪声估计模型的编码器结构相同，其各层输出通过跳跃连接接入潜在扩散模型的噪声估计网络的解码器对应层。该控制分支的输入为与图像对应的控制条件，以此实现可控的图像生成。该模型的训练需在潜在扩散模型训练完成之后，训练该模型时将已训练好的潜在扩散模型的参数冻结，仅训练该控制分支；其具体包括：
训练过程需要结合第二方面所训练完成的潜在扩散模型，将其中的参数冻结，并将该控制分支连接到第二方面所述的噪声估计网络的解码器中。训练时，输入分为两部分，第一部分为输入的三维血管图像块，第二部分为与输入图像对应的血管二值分割图。输入的二值分割图只需要经过控制分支的编码器结构，将编码结果与噪声估计网络的解码器中各层的特征图进行拼接；输入的图像需要经过和第二方面相同的流程，首先利用自编码器进行编码，之后根据随机的时间步t加入噪声，然后利用噪声估计网络预测噪声，预测出的噪声仍然需要和加入的噪声计算损失函数：
其中，∈θ代表加入了控制分支的噪声估计网络，与前向扩散过程中的βt有关，∈t为第t个时间步添加的随机噪声，p为图像块相对位置编码；
通过上述控制分支采用三维二值分割图作为输入，可以直接生成与输入的二值分割图大小相同的血管图像块；所述控制分支的卷积层均为三维卷积，基于第二方面所述之潜在扩散模型，其训练完成后可以实现从噪声到图像的采样过程，但生成的图像中血管的位置具有随机性，无法用于训练有监督的深度学习血管分割模型；第三方面所述之控制分支为额外的深度学习网络结构，其作用是将二值分割图作为控制信息进行编码并输入到第二方面所述之潜在扩散模型中，使其生成的图像中血管的位置可控，这样输入的二值分割图就可以作为生成的血管图像块的标注用于有监督深度学习的训练。
如图7所示，所述控制图像生成S104：
控制图像生成S104包括：
控制条件获取：基于二值血管分割图，通过三维形变场函数，获取控制条件；
所述v为三维向量，表示坐标点x处的图像位移向量；
所述x′为x经位移向量位移之后的新坐标。
由于采用控制图像生成的控制条件获取：基于二值血管分割图，通过三维形变场函数，获取控制条件，以及采样过程函数；由于其原理是：在采样阶段，输入数据为随机噪声和二值分割图控制条件。二值分割控制图可以使用传统分割方法从没有标注的真实图像数据中获取，包括相同模态的真实图像数据和不同模态的真实图像数据，或使用生成三维随机变形场的方式从真实图像的二值分割图中变换得到，输入的控制条件和生成的图像数据构成一个标注-图像对，其具体的说：
采样流程：前三方面的训练流程结束后，由潜在扩散模型和控制分支网络共同组成的完整网络结构可以进行可控图像生成，具体流程如下：
获取控制条件：
可控图像生成可以根据输入的控制条件输出对应的图像，输入的控制条件应为二值血管分割图C(x)：
其中，V为应属于血管的坐标的集合，x＝[x1,x2,x3]T为三维坐标；
为了获得具有合理血管结构的生成图像，C(x)控制图可以从真实血管图像通过粗分割获取。由于分割结果与图像的模态无关，因此可以从多种血管成像模态如MRA中获取；
考虑到真实数据的数量有限，可以采用随机三维形变的方式扩增控制图，三维形变场可以表示为：
F(x)＝v，v＝[v0,v1,v2]T；
C(x)经过公式：
x′＝x+F(x)＝x+v；
v为三维位移向量，x点的体素点经过v的位移获得新的图像位置x′，获得变形后的控制图C(x)′,可以用作可控生成的控制条件。
通过从真实血管图像中通过粗分割或者随机三维形变的方式获得二值血管分割图作为控制条件，可以保证得到的血管分割图具有真实的血管解剖形态，从而可以控制生成模型生成解剖结构上较为合理的血管区域，也能够产生多样的血管图像用于增加数据集的多样性。
所述控制图像生成S104：
采样迭代过程：基于潜变量自编码器网络和噪声估计网络组成图像生成模型，通过采样过程函数，生成三维血管采样图像；
所述采样过程函数为：
所述
所述αt与所述前向扩散函数中的βt有αt＝1-βt；
所述与αt有/>
所述t为采样时间步；
所述T为设定最大时间步；
所述z为标准正态分布中的随机采样；
所述p为图像块相对位置编码。
由于采用采样迭代过程：基于潜变量自编码器网络和噪声估计网络组成图像生成模型，通过采样过程函数，生成三维血管采样图像，其具体为：
采样过程：
采样过程的输入可分为三部分：
(1)随机潜变量XT。获取一个潜在空间下的多维高斯随机变量XT，可通过程序随机获取。该变量为噪声估计网络的初始输入。
(2)控制条件C(x)。经由1)获取的二值控制图C(x)输入到控制分支的编码器中。
(3)采样参数。控制采样过程的参数需要提前确定，主要包括采样迭代次数T，采样图像块的相对位置编码p,迭代步长信息αt。
采样过程需要利用噪声估计网络对Xt进行多次迭代，输入迭代次数T，则采样过程为：
其中， 与αt有/>所述αt与所述前向扩散函数中的βt有αt＝1-βt；所述t为采样时间步；所述z为标准正态分布中的随机采样,p为图像块相对位置编码。
当t＝1时，最终输出的x0即为采样出的图像的潜在空间编码，将其作为输入通过第二方面中所训练的自编码器的解码器部分，输出结果为最终采样出的三维血管图像；
上述自编码器模型与噪声估计模型共同组成图像生成模型，其功能为从噪声输入生成真实图像，控制分支模型为独立于图像生成模型之外的网络结构，其功能为输入二值分割图作为控制条件，引导图像生成模型生成与控制条件对应的图像；其训练过程具有先后顺序，需要首先训练自编码器模型实现图像与潜变量的转换，之后借助自编码器训练潜在空间下的噪声估计网络，训练完成后将二者组合为图像生成模型，再将控制分支模型接入到图像生成模型中进行训练，实现图像生成模型的可控；自编码器和噪声估计模型强关联，可以组成一个独立的图像生成模型，只不过生成的功能不受控制；控制分支模型相对独立，属于附属部分，可以加入它使生成可控，不加入它也可以生成图像只不过不可控；
通过采用对真实血管图像的标注进行随机三维形变的方式扩增二值控制图，保证二值分割图中血管的解剖结构合理性，结合第二方面和第三方面所述之潜在扩散模型和控制分支，可以实现输入二值分割图，输出模型生成的对应三维血管图像块之功能。第四方面所述之获取控制条件方法的作用是：得到解剖结构接近真实血管结构的二值分割图作为控制条件输入模型，进而生成与控制条件对应的血管结构合理的图像块。
基于可控生成扩散模型的脑血管三维图像生成系统，包括：实现上述脑血管三维图像生成方法的脑血管三维图像生成平台，所述脑血管三维图像生成平台包括图像裁切处理模块、生成模型训练模块、控制分支训练模块、控制图像生成模块；
所述图像裁切处理模块用于：基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图S2001；
所述生成模型训练模块用于：基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型S2002；
所述控制分支训练模块用于：基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练S103，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型S2003；
所述控制图像生成模块用于：基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像S2004。
同时，本发明还提供脑血管三维图像生成系统，其包括脑血管三维图像生成平台、图像裁切处理模块、生成模型训练模块、控制分支训练模块、控制图像生成模块，通过上述平台和模块，为脑血管三维图像生成方法的实现，提高了实用性和应用的可能性。
实施例一：
如图8所示，在NVIDIARTXTITAN 24G显卡平台上，自编码器模型经过16000轮次迭代训练后，模型收敛，得到自编码器模型权重，其从原始图像到潜变量再到原始图像的重建结果与原始图像之间的SSIM(Structural Similarity，结构相似性)达到0.9993，可以用于图像与潜变量的转换。噪声估计模型经过10000轮次迭代训练后，模型收敛，得到噪声估计网络模型权重，其与自编码器结合后，从噪声中经150步去噪过程生成一例96*96*96大小的血管图像块需要约30秒。加入控制分支后，训练控制分支300000轮次后模型收敛，得到控制分支模型权重，将控制分支模型结合到自编码器模型以及噪声估计网络模型后，从噪声中经150步去噪过程生成一例96*96*96大小的血管图像块需要约70秒。
如图9所示，通过上述实施例进行总结：首先，通过图像裁切处理的粗分割，将血管的原始三维图像通过粗分割，形成粗分割的二值图，通过图像裁切处理的裁切，将粗分割的二值图，形成二值控制条件，同时，通过生成模型训练，形成自编码器网络和噪声估计网络组成图像生成模型，通过控制分支训练，将图像生成模型与控制分支模型合并，生成可控图像生成模型，通过上述数据和模型的处理，在图像采样阶段，通过可控图像生成模型和二值控制条件，将随机噪声图经过反复迭代，生成最终的可用于后续处理的三维血管图像。
工作原理：
本方案通过采用包括如图像裁切处理、生成模型训练、控制分支训练、控制图像生成等处理，由于基于现有的实际问题，即基于有监督深度学习的血管分割方法往往需要大量的图像和其对应的标注数据来进行拟合学习，三维图像的标注方法一般是将其视为二维切片图像的堆叠，之后在每一个二维切片上进行标注后再将标注结果堆叠为三维，以获得三维标注结果；但是三维医学图像尤其是血管图像存在切片数量多、血管结构分布分散、血管轮廓尺度变化大，对切片间连续性要求较高等特点，导致其标注难度大、标注耗时长，基于上述实际问题，本案在进入监督深度学习的血管分割之前，使用潜在扩散模型与控制分支网络结合的方式实现对潜在扩散模型生成结果的可控；潜在扩散模型的原理是将图像编码至潜在空间，在潜在空间进行扩散模型的前向扩散和反向扩散过程，最后得到的结果再解码至图像；前向扩散过程按照设定的分布逐步加入噪声，反向扩散过程则基于深度学习网络预测的噪声进行逐步的去噪；潜在扩散模型的网络结构主要包含两部分，第一部分是实现图像空间和潜在空间相互转换的自编码器网络，第二部分则是在反向扩散过程中预测噪声的噪声估计网络；控制分支网络的原理是在潜在扩散模型的结构之外额外添加一个新的深度学习网络分支，该分支接受控制信息作为输入，将编码后的控制信息连接到潜在扩散模型中实现控制信息的引入，实现对潜在扩散模型所生成的图像结果的控制，本发明解决现有技术存在由于医学图像的隐私性，大量图像数据的获取也是十分困难，从而很难获取到大量的图像标注，而且由于图像标注成本过高，进而影响监督深度学习的血管分割的分割效果的问题，具有获取大量的图像-标注对，用于下游的有监督深度学习分割任务的技术效果。
利用本发明的技术方案，或本领域的技术人员在本发明技术方案的启发下，设计出类似的技术方案，而达到上述技术效果的，均视为落入本发明的保护范围。

Claims (10)

1.基于可控生成扩散模型的脑血管三维图像生成方法，其特征在于，包括：
图像裁切处理：基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图；
生成模型训练：基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型；
控制分支训练：基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型；
控制图像生成：基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像。
2.根据权利要求1所述脑血管三维图像生成方法，其特征在于：
所述粗外分割处理包括：
基于无标注的血管原始三维图像，根据管状滤波器和区域生长的方法，通过血管概率估算函数，提取血管粗分割图；
所述精内裁切处理包括：
基于骨架化处理后的血管中心线图，以血管中心线的随机坐标点为中心，裁切相应大小的图像块。
3.根据权利要求2所述脑血管三维图像生成方法，其特征在于：
所述血管概率估算函数为：
所述λd为一个D维图像在x＝[x1,…,xD]T，s尺度下I(x)对应的Hessian矩阵Hij(x,s)的特征值；
所述i,j分别为Hessian矩阵的行和列；
所述d为特征值按照绝对值从小到大的编号；
所述SI为三个特征值的平方和之平方根，代表图像的结构信息；
所述RA为第二与第三特征值之比值，用于区分管状结构与平板结构；
所述α为调节RA占血管概率估算函数v之权重的参数；
所述k为调节S占血管概率估算函数v之权重的参数；
所述e为自然数。
4.根据权利要求2所述脑血管三维图像生成方法，其特征在于：
所述图像裁切处理还包括：
血管中心点图像块编码：基于血管中心点图像块图在血管原始三维图像上的相对位置，根据增加Z轴位置的权重并保持X和Y轴位置相同的权重的编码规则，通过位置编码函数，生成相应编码的血管中心点图像块图；
所述位置编码函数为：
所述μ1、μ2、μ3分别为调节x、y、z三个维度编码值占总编码值比例的权重；
所述x、y、z为图像裁切时中心点坐标x＝[x1,x2,x3]T在图像整体中的相对坐标；
所述X、Y、Z分别为图像在三个维度的大小。
5.根据权利要求1所述脑血管三维图像生成方法，其特征在于：
所述生成模型训练包括：
所述自编码器训练包括：
基于血管原始三维图像，根据编解码操作，通过均方误差MSE函数和潜在空间编码与正态分布之间的KL散度函数，生成潜在空间的潜变量自编码器网络；
所述均方误差MSE函数为：
所述n为输出三维图像所含的体素数；
所述Yi代表第i个体素的目标值，即输入图像在第i个体素的值；
所述代表自编码器输出的对第i个体素的预测值；
所述潜在空间编码与正态分布之间的KL散度函数为：
所述p(x)为编码器编码分布；
所述q(x)为标准正态分布。
6.根据权利要求1所述脑血管三维图像生成方法，其特征在于：
所述生成模型训练包括：
所述噪声估计训练包括：
基于潜变量自编码器网络，通过前向扩散函数和网络预测的噪声函数，生成潜在空间的噪声估计网络；
所述前向扩散函数为：
所述βt为随时间步t线性增长的步长参数；
所述前向扩散函数可以简化为：
所述与所述前向扩散函数中的βt有/>
所述∈t为标准正态分布中随机采样的噪声；
所述网络预测噪声的损失函数为：
所述t为时间步；
所述∈θ代表噪声估计网络；
所述x0为未加入噪声的初始数据；
所述与所述前向扩散函数中的βt有/>
所述∈t为第t个时间步添加的噪声,
所述p为图像块相对位置编码。
7.根据权利要求1所述脑血管三维图像生成方法，其特征在于：
所述控制分支生成包括：
基于血管二值标注图，通过连接至图像生成模型并计算噪声估计损失函数，形成可控图像生成模型；
所述噪声估计损失函数包括：
所述t为时间步；
所述∈θ代表控制分支与噪声估计网络之组合；
所述x0为未加入噪声的初始数据；
所述与所述前向扩散函数中的βt有/>
所述∈t为第t个时间步添加的噪声；
所述p为图像块相对位置编码。
8.根据权利要求1所述脑血管三维图像生成方法，其特征在于：
所述控制图像生成：
控制图像生成包括：
控制条件获取：基于二值血管分割图，通过三维形变场函数，获取控制条件；
所述v为三维向量，表示坐标点x处的图像位移向量；
所述x′为x经位移向量位移之后的新坐标。
9.根据权利要求8所述脑血管三维图像生成方法，其特征在于：
所述控制图像生成：
采样迭代过程：基于潜变量自编码器网络和噪声估计网络组成图像生成模型，通过采样过程函数，生成三维血管采样图像；
所述采样过程函数为：
所述
所述αt与所述前向扩散函数中的βt有αt＝1-βt；
所述与αt有/>
所述t为采样时间步；
所述T为设定最大时间步；
所述z为标准正态分布中的随机采样；
所述p为图像块相对位置编码。
10.基于可控生成扩散模型的脑血管三维图像生成系统，其特征在于，包括：实现如权利要求1-权利要求9任一所述的脑血管三维图像生成方法的脑血管三维图像生成平台，所述脑血管三维图像生成平台包括图像裁切处理模块、生成模型训练模块、控制分支训练模块、控制图像生成模块；
所述图像裁切处理模块用于：基于血管原始三维图像，通过粗外分割处理或人工标注处理，生成相应的血管粗分割图或人工标注图，基于血管粗分割图或人工标注图，通过图像骨架化处理，生成血管中心线图，基于血管中心线图，通过精内裁切处理，生成血管中心点图像块图，并编码血管中心点图像块图；
所述生成模型训练模块用于：基于编码的血管中心点图像块图，通过自编码器训练，生成潜在空间的潜变量自编码器网络，基于冻结的潜变量自编码器网络，通过噪声估计训练，生成潜在空间的噪声估计网络，并由潜变量自编码器网络和噪声估计网络组成图像生成模型；
所述控制分支训练模块用于：基于编码的血管中心点图像块图，根据冻结的图像生成模型，通过控制分支训练，生成控制分支模型，并将其连接至图像生成模型，形成可控图像生成模型；
所述控制图像生成模块用于：基于随机三维形变场，获得二值血管分割图，基于二值血管分割图，根据可控图像生成模型，通过逐步迭代的采样处理，生成三维血管图像。
CN202310849254.XA 2023-07-12 2023-07-12 基于可控生成扩散模型的脑血管三维图像生成方法及系统 Pending CN116934965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310849254.XA CN116934965A (zh) 2023-07-12 2023-07-12 基于可控生成扩散模型的脑血管三维图像生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310849254.XA CN116934965A (zh) 2023-07-12 2023-07-12 基于可控生成扩散模型的脑血管三维图像生成方法及系统

Publications (1)

Publication Number Publication Date
CN116934965A true CN116934965A (zh) 2023-10-24

Family

ID=88393439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310849254.XA Pending CN116934965A (zh) 2023-07-12 2023-07-12 基于可控生成扩散模型的脑血管三维图像生成方法及系统

Country Status (1)

Country Link
CN (1) CN116934965A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422732A (zh) * 2023-12-18 2024-01-19 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422732A (zh) * 2023-12-18 2024-01-19 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置
CN117422732B (zh) * 2023-12-18 2024-02-23 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置

Similar Documents

Publication Publication Date Title
US11514573B2 (en) Estimating object thickness with neural networks
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN109584244B (zh) 一种基于序列学习的海马体分割方法
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN112927255A (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN110853038A (zh) 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
CN111798458B (zh) 一种基于不确定性引导的交互式医学图像分割方法
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN116934965A (zh) 基于可控生成扩散模型的脑血管三维图像生成方法及系统
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN117036386A (zh) 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN116188452A (zh) 医学图像层间插值及三维重建方法
CN114782384A (zh) 一种基于半监督方法的心脏腔室图像分割方法及装置
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Cui et al. Automatic Segmentation of Kidney Volume Using Multi-Module Hybrid Based U-Shape in Polycystic Kidney Disease
CN115375560B (zh) 一种3d-dsa图像的重建方法及系统
CN112419283B (zh) 估计厚度的神经网络及其方法
CN115691770A (zh) 基于条件分数的跨模态医学影像补全方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination