CN115170912A - 图像处理模型训练的方法、生成图像的方法及相关产品 - Google Patents

图像处理模型训练的方法、生成图像的方法及相关产品 Download PDF

Info

Publication number
CN115170912A
CN115170912A CN202211096927.0A CN202211096927A CN115170912A CN 115170912 A CN115170912 A CN 115170912A CN 202211096927 A CN202211096927 A CN 202211096927A CN 115170912 A CN115170912 A CN 115170912A
Authority
CN
China
Prior art keywords
image
blood vessel
map
medical
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211096927.0A
Other languages
English (en)
Other versions
CN115170912B (zh
Inventor
朴皓玮
熊健皓
付萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202211096927.0A priority Critical patent/CN115170912B/zh
Publication of CN115170912A publication Critical patent/CN115170912A/zh
Application granted granted Critical
Publication of CN115170912B publication Critical patent/CN115170912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理模型训练的方法、图像生成的方法及相关产品。其中，图像处理模型训练的方法包括获取原始医学图的血管分割图；对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图；基于所述中间医学图和所述血管分割图生成训练图；以及利用所述训练图对图像处理模型进行训练，以实现将所述训练图恢复为所述原始医学图。通过本发明的方案，可以使得图像处理模型具有调整医学图中血管形态的功能，从而实现对医学图的微小特征的改变，以满足对医学图的处理需求。另外，本发明还提出了一种利用图像处理模型生成图像的方法、设备以及计算机可读存储介质。

Description

图像处理模型训练的方法、生成图像的方法及相关产品
技术领域
本发明一般地涉及图像处理技术领域。更具体地，本发明涉及一种图像处理模型训练的方法、一种利用图像处理模型生成图像的方法，以及执行前述方法的设备和计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
监督深度学习是目前许多计算机视觉和医学图像分析任务中的先进技术。通常，深度学习技术所涉及的模型训练需要大量的标签数据支持，有着极高的人工成本，同时不同相机、不同拍摄角度以及不同呈现质量会带来图像特征空间的偏移，从而极大的影响模型的预测性能。可以看出，依赖于大量带注释的训练数据成为监督深度学习技术的主要限制因素。为此，在模型训练时，通常会采取传统的数据增广方式来扩增训练数据。
传统的数据扩增方式包括训练过程中的图像翻转、镜像、剪切等手段，或者通过对相近领域（domain）甚至于非相近领域的图像赋予伪标签来进行数据集扩充，以解决数据稀缺的问题。但是，由于模型会尽力拟合训练样本，导致外部样本在模型上的输出值偏差较大，当使用模型输出值作为外部样本的伪标签时，扩增数据很难对模型产生正向作用，尤其是当扩增数据来自于不同domain时，数据扩增会有更大的难度。可以看出，这种经传统的剪切、镜像或增加不同领域图像等处理手段所得到样本图像之间往往会存在较大差异，其仅适用于对一般图像的处理，并不适用一些对样本间差异有严格要求的图像的处理。例如，在医学领域中，若采用传统的图像处理手段来处理样本医学图像，会使得样本医学图像之间存在差异较大，严重影响依据医学图像的一些诊断结果或训练结果。
发明内容
为了至少解决上述背景技术部分所描述的技术问题，本发明提出了一图像处理模型训练的方案。利用本发明的方案，可以结合原始医学图和其血管分割图训练得到具有调整血管形态功能的图像处理模型，从而实现对医学图的微小特征的改变，以满足对医学图的处理需求。
另外，本发明还提出了一种利用图像处理模型生成图像的方案，可以利用图像处理模型来生成与原始医学图血管形态不同的新图像，从而实现对医学图像的有效扩增。
鉴于此，本发明在如下的多个方面提供解决方案。
本发明的第一方面提供了一种图像处理模型训练的方法，包括：获取原始医学图的血管分割图；对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图；基于所述中间医学图和所述血管分割图生成训练图；以及利用所述训练图对图像处理模型进行训练，以实现将所述训练图恢复为所述原始医学图。
在一个实施例中，对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图包括：获取所述原始医学图中待处理的血管区域；对所述原始医学图中待处理的血管区域中的血管形态进行调整；以及将调整前后的原始医学图进行叠加，以得到所述中间医学图。
在一个实施例中，其中所述血管分割图和所述原始医学图中的血管形态一致，基于所述血管分割图确定所述原始医学图中待处理的血管区域包括：利用所述血管分割图中的血管区域定位查找所述原始医学图中待处理的血管区域。
在一个实施例中，利用所述血管分割图中的血管区域定位查找所述原始医学图中待处理的血管区域包括：利用所述血管分割图内像素点的值，确定所述血管分割图中的血管区域；以及利用所确定的血管区域定位查找所述原始医学图中待处理的血管区域。
在一个实施例中，对所述原始医学图中待处理的血管区域中的血管形态进行调整包括：对所述原始医学图中待处理的血管区域进行扭曲处理，以实现对血管形态的调整。
在一个实施例中，对所述原始医学图中待处理的血管区域进行扭曲处理包括：利用正弦函数或余弦函数对所述原始医学图中待处理的血管区域进行扭曲处理。
在一个实施例中，基于所述中间医学图和所述血管分割图生成训练图包括：将所述中间医学图和所述血管分割图进行加权求和，以得到所述训练图，其中所述中间医学图的权重值与所述血管分割图的权重值之和为1，所述血管分割图覆盖在所述中间医学图上。
在一个实施例中，利用所述训练图对图像处理模型进行训练包括：对所述训练图中经所述血管分割图的血管区域所覆盖的区域进行保留；以及对所述训练图中经所述血管分割图的非血管区域所覆盖的区域进行剔除，并填充与所述原始医学图相同的背景。
本发明的第二方面提供了一种利用图像处理模型生成图像的方法，其中所述图像处理模型是根据本发明的前文第一方面以及在下文多个实施例中所述的方法所训练的，利用图像处理模型生成图像的方法包括根据原始医学图生成待处理图像，其中所述待处理图像中的血管形态与所述原始医学图不一致；利用所述图像处理模型对所述待处理图像进行处理，以得到新的医学图。
在一个实施例中，根据原始医学图生成待处理图像包括：获取原始医学图的血管分割图；对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图；对所述血管分割图中的血管形态进行调整处理；以及基于所述中间医学图和调整后的血管分割图生成所述待处理图像。
在一个实施例中，对所述原始医学图进行预处理包括：获取所述原始医学图中待处理的血管区域；对所述原始医学图中待处理的血管区域中的血管形态进行调整；以及将调整前后的原始医学图进行叠加，以得到所述中间医学图，其中调整后的原始医学图和调整后的血管分割图中的血管形态一致。
在一个实施例中，利用所述图像处理模型对所述待处理图像进行处理，以得到新的医学图包括：对所述待处理图像中经调整后血管分割图的血管区域所覆盖的区域进行保留；以及对所述待处理图像中经调整后血管分割图的非血管区域所覆盖的区域进行剔除，并填充与所述原始医学图相同的背景。
在一个实施例中，所述原始医学图包括原始眼底图，所述方法还包括：将所述原始眼底图和基于所述图像处理模型生成的新的眼底图作为训练样本，以基于所述训练样本训练与眼底图像相关的深度学习模型。
在一个实施例中，所述方法还包括：利用所述图像处理模型生成的新的医学图演示血管形态的变化过程。
本发明的第三方面提供了一种设备，包括：处理器；以及存储器，其存储有图像处理模型训练的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据前文第一方面以及在下文多个实施例中所述的方法，和/或存储有利用图像处理模型生成图像的计算机指令，当所述计算机指令由所述处理器运行时，执行前文第二方面以及下文多个实施例中所述的方法。
本发明的第四方面提供了一种计算机可读存储介质，包括图像处理模型训练的计算机指令，当所述程序指令由所述处理器运行时，使得实现根据前文第一方面以及在下文多个实施例中所述的方法，和/或存储有利用图像处理模型生成图像的计算机指令，当所述程序指令由所述处理器运行时，使得实现根据前文第二方面以及下文多个实施例中所述的方法。
利用本发明所提供的方案，可以基于原始医学图的血管分割图和经预处理后得到的中间医学图来训练图像处理模型，使得图像处理模型具有调整医学图中血管形态的功能，从而实现对医学图的微小特征的改变，以满足对医学图的处理需求。另外，整个训练过程所涉及的图像均来自于原始医学图，不需要额外引入外来数据，大大减少了对外来数据的需求。
此外，本发明还提供了利用训练好的图像处理模型生成图像的方案，通过利用图像处理模型和改变了血管形态的待处理图像来生成新的医学图，新的医学图相对原始医学图存在微小特征的改动，且领域相似，从而实现对医学图像的有效扩增。
在一些实施例中，新生成的医学图可以包括眼底图，可以利用新生成的眼底图作为训练样本来训练模型。由于血管形态的变化是原始图像中微小特征的改变，可以极大避免样本差异带来的伪标签质量不高等问题。同时，血管形态的变化是多样的，可以实现对样本集的有效扩增，从而能够提升模型的性能以及增加其泛化能力。
在另一些实施例中，新生成的医学图还可以用来演示血管形态的变化过程，以便能够直观了解到引起血管形态变化的病灶的走势等。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出根据本发明一个实施例的图像处理模型训练的方法流程图；
图2是示出根据本发明另一个实施例的图像处理模型训练的方法流程图；
图3是示出根据本发明实施例的图像处理模型的训练阶段的框架图；
图4是示出根据本发明实施例的图像处理模型训练过程所涉及的血管分割图和中间医学图；
图5是示出根据本发明实施例的图像处理模型的训练结果的示意图；
图6是示出根据本发明一个实施例的利用图像处理模型生成图像的方法流程图；
图7是示出根据本发明另一个实施例的利用图像处理模型生成图像的方法流程图；
图8是示出根据本发明实施例的图像处理模型的推理阶段的框架图；
图9是示出根据本发明实施例的图像处理模型推理过程所涉及的血管分割图和中间医学图；
图10是示出根据本发明实施例的利用图像处理模型生成图像的前后对比图；以及
图11是示出根据本发明实施例的设备的结构图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施方式的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
发明人发现，深度学习模型训练过程常遇到数据标签不足的现象，尤其是对于医学图像，由于标注需要相关方面专家的认证，标注成本过高，很容易出现许多疾病、病灶、风险的标签不足现象。而传统的包括图像翻转、镜像、剪切等通过图像层面的改变实现特征空间的变化方式或者通过为相近领域或非相近领域图像赋值伪标签进行数据集扩充的方式均不适用于医学图像。具体地，这些传统的数据扩增方式所得到的图像之间存在较大差异，而扩增后的医学图像之间若差异较大会极大影响模型的性能。为此，发明人经研究发现，一些疾病（例如高血压、糖尿病以及动脉硬化等）会导致中央静脉阻塞，以及伴随视网膜出血的血管迂曲扩张等形变。而血管形态的变化是医学图像中微小特征的改变，且血管形态的变化是多样的，能够起到数据扩增的作用。因此，可以通过调整图像中血管形态来实现对医学图像的有效处理。
下面结合附图来详细描述本发明的具体实施方式。
图1是示出根据本发明一个实施例的图像处理模型训练的方法100流程图。
如图1所示，在步骤S101处，可以获取原始医学图的血管分割图。需要说明的是，前述的原始医学图可以包括已有数据库中的医学图，或者实时采集到的医学图等。而血管分割图可以包括黑白或者三色血管分割图。在实际应用中，可以通过多种方式从原始医学图中提取出其血管形态脉络，以形成血管分割图。例如，在一些实施例中，可以通过一些常见的分割模型（例如Unet卷积神经网络模型）对原始医学图进行血管分割处理，以得到血管分割图。可以理解的是，这里对血管分割图获取过程的细节性描述仅是举例说明，本发明的方案并不受此限制。
接着，在步骤S102处，可以对前述的原始医学图进行预处理，以得到血管形态与原始医学图不一致的中间医学图。如前文所述，血管形态的变化是图像中微小特征的改变，可以通过对原始医学图进行预处理生成血管形态不同的中间医学图，以便后续能够结合中间医学图来为模型提供多样化的训练数据。
接着，在步骤S103处，可以基于前述的中间医学图和血管分割图生成训练图。其中，相较于原始医学图，血管分割图的血管形态不变的，而中间医学图的血管形态发生改变。
最后，在步骤S104处，可以利用训练图对图像处理模型进行训练，以实现将训练图恢复为原始医学图。
在对图像处理模型进行训练时，以训练图作为输入以及将原始医学图作为目标，将训练图恢复至原始医学图，使得图像处理模型具有调整血管形态的功能。其中，在利用血管分割图和中间医学图得到训练图时，血管分割图的血管形态相对原始医学图保持不变，图像处理模型可以以血管分割图中的血管形态为目标血管形态将训练图恢复至原始医学图，也即经所训练的图像处理模型处理后的图像，其内的血管形态与血管分割图中的血管形态一致，且其他部分（包括背景和其他内容等）与原始医学图一致。
图2是示出根据本发明一个实施例的图像处理模型训练的方法200流程图。方法200可以理解的是对图1中方法100的进一步限定和扩展。因此，前文结合图1的相关细节性描述同样也适用于图2。
如图2所示，在步骤S201处，可以获取原始医学图的血管分割图。如前文所示，可以通过如Unet卷积神经网络模型等常见的分割模型对原始医学图进行血管分割，以得到其血管分割图。
接着，可以通过步骤S202~S204对原始医学图进行预处理以得到中间医学图。具体地，在步骤S202处，可以获取原始医学图中待处理的血管区域。在一些实施例中，可以利用血管分割图中的血管区域来定位原始医学图中待处理的血管区域。其中，血管分割图和原始医学图中的血管形态一致，可以同时在血管分割图和原始眼底图上对应选取1个或多个窗口。针对血管分割图中的每一个窗口，可以利用窗口内像素点的值来确定血管区域。例如，黑白血管分割图的血管区域的颜色为白色，非血管区域（也即背景区域）颜色为黑色，血管和背景对应的像素值不同。在一些实施场景中，假设血管对应的像素值为0，而背景对应的像素值为1，可以根据窗口内像素点的均值（例如均值为1或0）来实现血管定位。需要说明的是，这里仅以黑白血管分割图为例来说明血管分割图中的血管区域确定过程。
在完成血管分割图中的血管区域确定之后，由于血管分割图中的血管形态和原始眼底图中的血管形态一致，可以利用血管分割图中血管区域来定位查找原始医学图中待处理的血管区域。
在获取到原始医学图中待处理的血管区域之后，接着，在步骤S203处可以执行对该原始医学图中待处理的血管区域中的血管形态进行调整。这里对血管形态的调整具体可以包括形状、数量等调整。在一些实施例中，具体可以通过扭曲函数对原始医学图中待处理的血管区域进行扭曲处理，来实现对血管形态的调整。进一步地，可以采用余弦函数或正弦函数来对血管区域进行扭曲处理，使得血管形态的改变更自然和真实。需要说明的是，这里对扭曲处理过程的细节性描述仅是示例性说明，本发明的方案并不受此限制，具体可以根据实际应用需求采用不同方式来调整血管形态。
接着，在步骤S204处，可以将调整前后的原始医学图进行叠加，以得到前述的中间医学图。在实际应用中，可以通过多种方式来对调整前后的原始医学图进行叠加处理。例如，可以保持原始医学图不动，将扭曲调整后的原始医学图覆盖于调整前的图中，使得原始医学图中的血管形态不变，其周围被画上了扭曲后的血管，以作为训练图中的添加的多余血管。
接着，在步骤S205处，可以基于前述的中间医学图和血管分割图生产训练图。具体地，可以将中间医学图和血管分割图进行加权求和以得到训练图，其中中间医学图的权重值与血管分割图的权重值之和为1，且血管分割图覆盖在中间医学图上。例如，将中间医学图和血管分割图分别乘以对应权重（例如0.5）后相加，则中间医学图中的原始血管位置被血管分割图中的血管区域覆盖，中间医学图中其他区域被血管分割图中的非血管区域覆盖，也即所得到的训练图保留了血管分割图的血管形态。
最后，在步骤S206处，可以利用前述的训练图对图像处理模型进行训练，以实现将训练图恢复为原始医学图。在一些实施例中，图像处理模型可以包括生成式对抗网络（Generative Adversarial Nets，简称GANs）模型（例如Pix2Pix模型）。其中，如pix2pix模型等生成式对抗网络模型主要是通过学习丰富的相似性度量来区分真假数据从理论上消除了对显式像素级目标函数建模的需要，这一特性可以被用于改进医学图像分割、图像增强以及使用基于GANs的图像到图像转换技术解决医学图像邻域偏移等问题。
这里以训练图为模型输入以及以原始医学图为目标来训练图像处理模型，以使训练好的图像处理模型具有使图像的血管形态与血管分割图中的血管形态一致，且其他部分（包括背景和其他内容等）与原始医学图一致的处理功能。
在实际应用中，具体可以对训练图中经血管分割图的血管区域所覆盖的区域进行保留，以及对训练图中经血管分割图的血管区域所覆盖的区域进行剔除，并填充与原始医学图相同的背景，从而实现将训练图恢复成原始医学图据图。
图1中的方法100和图2中的方法200在实际应用中可以有多种实现形式。其中，图3是示出根据本发明实施例的图像处理模型的训练阶段的一种可行性框架图，图3中涉及的各个步骤可以理解为是方法100和方法200在实际应用中的一种可行的技术实现方式。
如图3所示，在步骤
Figure 61915DEST_PATH_IMAGE001
处，可以通过卷积神经网络模型等常见的分割模型从原始眼底图中分割出血管分割图，然后分别对原始眼底图和血管分割图进行处理。其中血管分割图可以包括黑白血管分割图或三色血管分割图，后续以黑白血管分割图为例进行说明。对血管分割图的处理过程可以涉及步骤
Figure 992962DEST_PATH_IMAGE002
~
Figure 12871DEST_PATH_IMAGE003
。具体地，在步骤
Figure 405675DEST_PATH_IMAGE002
处，可以在血管分割图上通过随机取点或者滑动窗的形式随机选取1个或多个window。然后，在步骤
Figure 460218DEST_PATH_IMAGE004
处保持血管分割图中不变，并经过步骤
Figure 296587DEST_PATH_IMAGE003
可以对血管分割图进行叠加处理（例如设置相应权重，将血管分割图与权重值相乘等）。
对原始眼底图的处理过程可以涉及步骤
Figure 803792DEST_PATH_IMAGE005
~
Figure 501752DEST_PATH_IMAGE006
。具体在步骤
Figure 410802DEST_PATH_IMAGE005
处，可以在原始眼底图上对应的随机选取1个或多个window。需要说明的是，原始眼底图上所选取的窗口与分割图上所选取的窗口是像对应的。接着，在步骤
Figure 152493DEST_PATH_IMAGE007
处，可以对原始眼底图上窗口内的血管通过扭曲函数进行扭曲。具体地，针对每个窗口，血管分割图（例如黑白血管分割图）中窗口内血管颜色为白色，背景颜色为黑色（例如图4中的A2所示），可以通过对窗口内像素点取均值来实现血管定位。同时，由于血管分割图和原始眼底图（例如图4中的A1所示）的血管形态一致，可以利用血管分割图的颜色来定位原始眼底图对应窗口内的血管区域（也即白色为血管区域，黑色为非血管区域）。接着，可以利用正弦或余弦函数等对原始眼底图像中的血管区域进行扭曲。然后，在步骤
Figure 412573DEST_PATH_IMAGE006
处，保持原始眼底图不动，将扭曲后的血管覆盖于原始眼底图像中得到中间眼底图。也即，原始眼底图的血管形态不变，其周围被画上扭曲后的血管，以作为训练图中添加的多余血管（例如图4中A3所示）。接着，可以对中间眼底图进行叠加处理（例如设置相应权重，将中间眼底图与权重值相乘等）。中间眼底图和血管分割图乘以对应的权重后相加得到训练图，此时中间眼底图中的原始血管位置被血管分割图中的白色区域覆盖，多余血管和其他非血管区域被黑色区域覆盖。
然后，在步骤
Figure 756967DEST_PATH_IMAGE008
处，以原始眼底图（如图5中的B2所示）作为训练的目标，将训练图（如图5中的B1所示）通过GANs模型（例如Pix2Pix模型）恢复为原始眼底图，剔除掉多余血管并生成与原始眼底图一致的背景。至此，完成模型的训练。
需要说明的是，前述的步骤
Figure 910737DEST_PATH_IMAGE001
~
Figure 947963DEST_PATH_IMAGE008
的具体执行顺序和步骤间的划分并不限定，例如步骤
Figure 570705DEST_PATH_IMAGE002
和
Figure 984369DEST_PATH_IMAGE005
可同步执行，步骤
Figure 497039DEST_PATH_IMAGE004
和步骤
Figure 705167DEST_PATH_IMAGE003
可合并处理等。
图6是示出根据本发明一个实施例的利用图像处理模型生成图像的方法600流程图。可以理解的是，这里以及下文提及的图像处理模型均是通过图1~图3中的方法训练得到的。
如图6所示，在步骤S601处，可以根据原始医学图生成待处理图像。其中，该待处理图像中的血管形态与原始医学图不一致。如前文所述，原始医学图可以从已有的数据库中调取，或者也可以通过实时采集到得到。可以通过对原始医学图中的血管形态的改变等处理来得到待处理图像。另外，需要说明的是，本发明对原始医学图的具体类型并不进行限定，例如可以是眼底图或者其他因病灶等因素引起血管形态改变的部位的医学图。其中，这些医学图可以从已有的数据库或其他途径来获取。
然后，在步骤S602处，可以利用前述的图像处理模型对待处理图像进行处理，以得到新的医学图。由此，可以利用图像处理模型来生成与原始医学图血管形态不同的新图像，从而实现对医学图像的有效扩增。
图7是示出根据本发明另一个实施例的利用图像处理模型生成图像的方法700流程图。可以理解的是，方法700是对图6中方法600的进一步限定和拓展。因此，前文结合图6的相关细节性描述同样也适用于下文。
如图7所示，可以根据原始医学图生成待处理图像。具体地，在步骤S701处，可以获取原始医学图的血管分割图。以及在步骤S702处，可以对前述的原始医学图进行预处理，以得到血管形态与原始医学图不一致的中间医学图。其中，血管分割图的具体获取过程和原始医学图的预处理过程可以参考前文步骤S201~步骤S204的相关细节性描述，这里不再进行赘述。
接着，在步骤S703处，可以对前述的血管分割图中的血管形态进行调整处理。具体地，与对原始医学图中待处理的血管区域中的血管形态的调整过程类似，可以对血管分割图中每个窗口内的血管区域进行扭曲处理，以实现对血管形态的调整处理。例如，可以通过正弦或余弦函数等对血管区域进行扭曲处理。需要说明的是，调整后的原始医学图和调整后的血管分割图中的血管形态一致。
然后，在步骤S704处，基于前述的中间医学图和调整后的血管分割图生成待处理图像。具体地，可以将中间医学图和调整后的血管分割图进行加权求和以得到待处理图像。其中中间医学图的权重值与调整后的血管分割图的权重值之和为1，且调整后的血管分割图覆盖在中间医学图上。例如，将中间医学图和调整后的血管分割图分别乘以对应权重（例如0.5）后相加，则中间医学图中的原始血管位置被血管分割图中的非血管区域覆盖，中间医学图中扭曲后的血管被血管分割图中的血管区域覆盖，也即所得到的待处理图像保留了调整后的血管分割图中的血管形态。
最后，可以利用图像处理模型对待处理图像进行处理，以得到新的医学图。具体地，在步骤S705处，可以对待处理图像中经调整后血管分割图的血管区域所覆盖的区域进行保留，以及在步骤S706处，对待处理图像中经调整后血管分割图的非血管区域所覆盖的区域进行剔除，并填充与原始医学图相同的背景。
由此，可以利用原始医学图和其血管分割图共同来生成迂曲血管后的医学图。其中，原始医学图可以为生成图提供背景（包括背景颜色、病灶等内容），血管分割图用于提供目标血管形态。在实际应用中，通过改变血管分割图的血管形态，可以实现控制生成图像的血管形态，同时保持生成图像的其他位置形状和颜色等不变。也即，新生成的医学图与原始医学图相比，其血管形态发生改变，其他部分可以保持不变。
图6中的方法600和图7中的方法700在实际应用中可以有多种实现形式。其中，图8是示出根据本发明实施例的图像处理模型的推理阶段的一种可行性框架图，图8可以理解为是方法600和方法700在实际应用中的一种可行的技术实现方式。
如图8所示，在步骤
Figure 549626DEST_PATH_IMAGE001
处，可以通过卷积神经网络模型等常见的分割模型从原始眼底图中分割出血管分割图，然后分别对原始眼底图和血管分割图进行处理。其中血管分割图可以包括黑白血管分割图或三色血管分割图，后续以黑白血管分割图为例进行说明。对血管分割图的处理过程可以涉及步骤
Figure 235822DEST_PATH_IMAGE002
~
Figure 239551DEST_PATH_IMAGE003
。具体地，在步骤
Figure 743213DEST_PATH_IMAGE002
处，可以在血管分割图上通过随机取点或者滑动窗的形式随机选取1个或多个window。然后，在步骤
Figure 934023DEST_PATH_IMAGE004
处，可以对血管分割图上窗口内的血管通过扭曲函数进行扭曲。具体地，针对每个窗口，血管分割图（例如黑白血管分割图）中窗口内血管颜色为白色，背景颜色为黑色，可以通过对窗口内像素点取均值来实现血管定位。接着，可以利用正弦或余弦函数等对原始眼底图像中的血管区域进行扭曲（例如图9中的C2所示）。经过步骤
Figure 564856DEST_PATH_IMAGE003
，可以对调整后的血管分割图进行叠加处理（例如设置相应权重，将调整后的血管分割图与权重值相乘等）。
对原始眼底图的处理过程可以涉及步骤
Figure 423090DEST_PATH_IMAGE005
~
Figure 973020DEST_PATH_IMAGE006
。具体在步骤
Figure 542804DEST_PATH_IMAGE005
处，可以在原始眼底图上对应的随机选取1个或多个window。需要说明的是，原始眼底图上所选取的窗口与步骤
Figure 836382DEST_PATH_IMAGE002
中血管分割图上所选取的窗口是像对应的。接着，在步骤
Figure 158910DEST_PATH_IMAGE007
处，可以对原始眼底图上窗口内的血管通过扭曲函数进行扭曲。具体地，针对每个窗口，血管分割图（例如黑白血管分割图）中窗口内血管颜色为白色以及背景颜色为黑色，可以通过对窗口内像素点取均值来实现血管定位。同时，由于步骤
Figure 145321DEST_PATH_IMAGE002
中血管分割图和原始眼底图的血管形态一致，可以利用步骤
Figure 700936DEST_PATH_IMAGE002
中血管分割图的颜色来定位原始眼底图对应窗口内的血管区域（也即白色为血管区域，黑色为非血管区域）。接着，可以利用正弦或余弦函数等对原始眼底图像中的血管区域进行扭曲。其中，调整后的步骤
Figure 532626DEST_PATH_IMAGE007
中的原始眼底图和调整后的步骤
Figure 99873DEST_PATH_IMAGE004
中的血管分割图的血管形态一致。然后，在步骤
Figure 132551DEST_PATH_IMAGE006
处，保持原始眼底图（例如图9中的C1所示）不动，将步骤
Figure 785250DEST_PATH_IMAGE007
中扭曲后的血管覆盖于原始眼底图像中得到中间眼底图（例如图9中C3所示）。接着，可以对中间眼底图进行叠加处理（例如设置相应权重，将中间眼底图与权重值相乘等）。中间眼底图和调整后的血管分割图乘以对应的权重后相加得到待处理图像，此时中间眼底图中的原始血管位置和其他非血管区域被调整后的血管分割图中的黑色区域覆盖（例如被图9中C2所示的黑色区域覆盖），扭曲后的血管被白色区域覆盖（例如被图9中C2所示的白色区域覆盖）。
然后，在步骤
Figure 43799DEST_PATH_IMAGE008
处，将待处理图像输入至GANs模型（例如Pix2Pix模型）生成新的眼底图。这一过程中，Pix2Pix模型会剔除掉被黑色区域覆盖的血管，并生成与原始眼底图一致的背景。如图10所示，新生成的眼底图（如图10中的D2所示）与原始眼底图（如图10中的D1所示）相比差异较小，主要体现在血管形态的改变。至此，完成模型的推理。
需要说明的是，图8中的步骤
Figure 731132DEST_PATH_IMAGE001
~
Figure 793766DEST_PATH_IMAGE008
的具体执行顺序和步骤间的划分并不限定，例如步骤
Figure 809127DEST_PATH_IMAGE002
和
Figure 248199DEST_PATH_IMAGE005
可同步执行，步骤
Figure 914672DEST_PATH_IMAGE004
和步骤
Figure 413787DEST_PATH_IMAGE007
中所涉及的部分过程可交替处理等。
在实际应用中，新生成的医学图（例如眼底图等）可以用多种应用场景。在一些实施例中，将原始眼底图和基于图像处理模型生成的新的眼底图作为训练样本，以基于训练样本训练与眼底图像相关的深度学习模型（例如，病灶分割、血管分割、黄斑视盘分割、基于图像特征的年龄、性别检测等模型）。通过改变原始医学图上的微小特征来生成新的样本，其中所涉及的数据均来自于原始医学图，整个数据扩增过程减少了对外来数据的需求，并且由于生成样本领域相似，可以避免样本差异带来的伪标签质量不高问题，从而可有效提高扩增数据的有效性。例如，血管迂曲变化会带来心脑血管等风险数值的增加，可通过赋予新生成的医学图对应的伪标签，以作为扩增的训练样本。其中，由于样本集中的训练样本均来自于原始领域，不涉及领域的迁移，可以有效避免领域迁移最终导致扩增样本无效的问题。
同时，还能够为模型提供更多样的样本集，使得训练阶段模型能见到更多样的特征。尤其对于眼底图像，图像中血管形态的变化能够影响最终模型输出标签的预测结果，基于多样化的样本集的训练，能够很好的提升模型性能及泛化能力。
在另一些实施例中，还可以利用图像处理模型生成的新的医学图演示血管形态的变化过程。在一些实施例中，可以应用于辅助医生诊断、为病人讲解视网膜病灶发展趋势的病灶演化系统。例如，由于高血压、糖尿病等多因素导致的中央静脉阻塞，会导致视网膜出血，同时伴随血管迂曲扩张现象。通过结合新生成的医学图来演示血管形态的变化过程，从而通过血管的变化过程来直观地展示高血压或糖尿病等病灶的走势，以便更容易理解病因和以及不同眼底特征所表示的病情程度等。
图11是示出根据本发明实施例的设备1100的结构图。如图11所示，设备1100可以包括处理器1101和存储器1102。其中存储器1102存储有图像处理模型训练的计算机指令，当所述计算机指令由处理器1101运行时，使得设备1100执行根据前文结合图1至图3所描述的方法，和/或存储器1102存储有利用图像处理模型生成图像的计算机指令，当所述计算机指令由处理器1101运行时，使得设备1100执行根据前文结合图6至图8所描述的方法。例如，在一些实施例中，设备1100可以基于原始医学图和其血管分割图得到的训练图对图像处理模型进行训练和/或利用训练得到的图像模型对待处理图像的处理得到新的医学图等。基于此，通过设备1100可以实现对具有调整血管形态功能的图像处理模型的训练，和/或利用训练好的图像处理模型实现对图像的有效扩增。
还应当理解，本发明示例的执行操作的主体（例如设备、模块或组件等）可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有图像处理模型训练的方法和/或利用图像处理模型生成图像的方法的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现在前结合附图所描述的方法和操作。
虽然本说明书已经示出和描述了本发明的多个实施方式，但对于本领域技术人员显而易见的是，这样的实施方式是仅以示例的方式提供的。本领域技术人员在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解在实践本发明的过程中，可以采用本文所描述的本发明实施方式的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (16)

1.一种图像处理模型训练的方法，其特征在于，包括：
获取原始医学图的血管分割图；
对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图；
基于所述中间医学图和所述血管分割图生成训练图；以及
利用所述训练图对图像处理模型进行训练，以实现将所述训练图恢复为所述原始医学图。
2.根据权利要求1所述的方法，其特征在于，对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图包括：
获取所述原始医学图中待处理的血管区域；
对所述原始医学图中待处理的血管区域中的血管形态进行调整；以及
将调整前后的原始医学图进行叠加，以得到所述中间医学图。
3.根据权利要求2所述的方法，其特征在于，其中所述血管分割图和所述原始医学图中的血管形态一致，基于所述血管分割图确定所述原始医学图中待处理的血管区域包括：
利用所述血管分割图中的血管区域定位查找所述原始医学图中待处理的血管区域。
4.根据权利要求3所述的方法，其特征在于，利用所述血管分割图中的血管区域定位查找所述原始医学图中待处理的血管区域包括：
利用所述血管分割图内像素点的值，确定所述血管分割图中的血管区域；以及
利用所确定的血管区域定位查找所述原始医学图中待处理的血管区域。
5.根据权利要求4所述的方法，其特征在于，对所述原始医学图中待处理的血管区域中的血管形态进行调整包括：
对所述原始医学图中待处理的血管区域进行扭曲处理，以实现对血管形态的调整。
6.根据权利要求5所述的方法，其特征在于，对所述原始医学图中待处理的血管区域进行扭曲处理包括：
利用正弦函数或余弦函数对所述原始医学图中待处理的血管区域进行扭曲处理。
7.根据权利要求1至6的任意一项所述的方法，其特征在于，基于所述中间医学图和所述血管分割图生成训练图包括：
将所述中间医学图和所述血管分割图进行加权求和，以得到所述训练图，其中所述中间医学图的权重值与所述血管分割图的权重值之和为1，所述血管分割图覆盖在所述中间医学图上。
8.根据权利要求7所述的方法，其特征在于，利用所述训练图对图像处理模型进行训练包括：
对所述训练图中经所述血管分割图的血管区域所覆盖的区域进行保留；以及
对所述训练图中经所述血管分割图的非血管区域所覆盖的区域进行剔除，并填充与所述原始医学图相同的背景。
9.一种利用图像处理模型生成图像的方法，其中所述图像处理模型是根据权利要求1至8的任意一项所述的方法所训练的，其特征在于，包括：
根据原始医学图生成待处理图像，其中所述待处理图像中的血管形态与所述原始医学图不一致；
利用所述图像处理模型对所述待处理图像进行处理，以得到新的医学图。
10.根据权利要求9所述的方法，其特征在于，根据原始医学图生成待处理图像包括：
获取原始医学图的血管分割图；
对所述原始医学图进行预处理，以得到血管形态与所述原始医学图不一致的中间医学图；
对所述血管分割图中的血管形态进行调整处理；以及
基于所述中间医学图和调整后的血管分割图生成所述待处理图像。
11.根据权利要求10所述的方法，其特征在于，对所述原始医学图进行预处理包括：
获取所述原始医学图中待处理的血管区域；
对所述原始医学图中待处理的血管区域中的血管形态进行调整；以及
将调整前后的原始医学图进行叠加，以得到所述中间医学图，其中调整后的原始医学图和调整后的血管分割图中的血管形态一致。
12. 根据权利要求10所述的方法，其特征在于，利用所述图像处理模型对所述待处理图像进行处理，以得到新的医学图包括：
对所述待处理图像中经调整后血管分割图的血管区域所覆盖的区域进行保留；以及
对所述待处理图像中经调整后血管分割图的非血管区域所覆盖的区域进行剔除，并填充与所述原始医学图相同的背景。
13.根据权利要求9至12中的任意一项所述的方法，其特征在于，所述原始医学图包括原始眼底图，所述方法还包括：
将所述原始眼底图和基于所述图像处理模型生成的新的眼底图作为训练样本，以基于所述训练样本训练与眼底图像相关的深度学习模型。
14.根据权利要求9至12中的任意一项所述的方法，其特征在于，所述方法还包括：
利用所述图像处理模型生成的新的医学图演示血管形态的变化过程。
15.一种设备，其特征在于，包括：
处理器；以及
存储器，其存储有图像处理模型训练的计算机指令和/或利用图像处理模型生成图像的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据权利要求1-8的任意一项所述的方法和/或根据权利要求9-14的任意一项所述的方法。
16.一种计算机可读存储介质，其特征在于，包含图像处理模型训练的计算机指令和/或利用图像处理模型生成图像的计算机指令，当所述程序指令由处理器执行时，使得实现根据权利要求1-8的任意一项所述的方法和/或根据权利要求9-14的任意一项所述的方法。
CN202211096927.0A 2022-09-08 2022-09-08 图像处理模型训练的方法、生成图像的方法及相关产品 Active CN115170912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211096927.0A CN115170912B (zh) 2022-09-08 2022-09-08 图像处理模型训练的方法、生成图像的方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211096927.0A CN115170912B (zh) 2022-09-08 2022-09-08 图像处理模型训练的方法、生成图像的方法及相关产品

Publications (2)

Publication Number Publication Date
CN115170912A true CN115170912A (zh) 2022-10-11
CN115170912B CN115170912B (zh) 2023-01-17

Family

ID=83482326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211096927.0A Active CN115170912B (zh) 2022-09-08 2022-09-08 图像处理模型训练的方法、生成图像的方法及相关产品

Country Status (1)

Country Link
CN (1) CN115170912B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
CN109087306A (zh) * 2018-06-28 2018-12-25 众安信息技术服务有限公司 动脉血管图像模型训练方法、分割方法、装置及电子设备
CN110197493A (zh) * 2019-05-24 2019-09-03 清华大学深圳研究生院 眼底图像血管分割方法
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN111739008A (zh) * 2020-06-23 2020-10-02 北京百度网讯科技有限公司 图像处理方法、装置、设备及可读存储介质
CN112419271A (zh) * 2020-10-27 2021-02-26 深圳市深光粟科技有限公司 一种图像分割方法、装置及计算机可读存储介质
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112907577A (zh) * 2021-03-25 2021-06-04 上海志御软件信息有限公司 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质
CN113177928A (zh) * 2021-05-18 2021-07-27 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
US20210312685A1 (en) * 2020-09-14 2021-10-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for synthesizing figure of virtual object, electronic device, and storage medium
CN113989293A (zh) * 2021-10-29 2022-01-28 上海商汤智能科技有限公司 图像分割方法及相关模型的训练方法和装置、设备
US20220036561A1 (en) * 2020-07-30 2022-02-03 Infervision Medical Technology Co., Ltd. Method for image segmentation, method for training image segmentation model
US20220198784A1 (en) * 2020-12-23 2022-06-23 Koninklijke Philips N.V. System and methods for augmenting x-ray images for training of deep neural networks

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934141A (zh) * 2010-06-17 2013-02-13 微软公司 通过用户反馈增强和修正基于位置的数据
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
CN109087306A (zh) * 2018-06-28 2018-12-25 众安信息技术服务有限公司 动脉血管图像模型训练方法、分割方法、装置及电子设备
CN110197493A (zh) * 2019-05-24 2019-09-03 清华大学深圳研究生院 眼底图像血管分割方法
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN111739008A (zh) * 2020-06-23 2020-10-02 北京百度网讯科技有限公司 图像处理方法、装置、设备及可读存储介质
US20220036561A1 (en) * 2020-07-30 2022-02-03 Infervision Medical Technology Co., Ltd. Method for image segmentation, method for training image segmentation model
US20210312685A1 (en) * 2020-09-14 2021-10-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for synthesizing figure of virtual object, electronic device, and storage medium
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112419271A (zh) * 2020-10-27 2021-02-26 深圳市深光粟科技有限公司 一种图像分割方法、装置及计算机可读存储介质
US20220198784A1 (en) * 2020-12-23 2022-06-23 Koninklijke Philips N.V. System and methods for augmenting x-ray images for training of deep neural networks
CN112907577A (zh) * 2021-03-25 2021-06-04 上海志御软件信息有限公司 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质
CN113177928A (zh) * 2021-05-18 2021-07-27 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN113989293A (zh) * 2021-10-29 2022-01-28 上海商汤智能科技有限公司 图像分割方法及相关模型的训练方法和装置、设备

Also Published As

Publication number Publication date
CN115170912B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
Demir et al. Patch-based image inpainting with generative adversarial networks
CN112465828B (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN111696110B (zh) 场景分割方法及系统
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112116543B (zh) 基于检测式生成框架的图像修复方法、系统及装置
CN112991365A (zh) 一种冠状动脉分割方法、系统及存储介质
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN113554665A (zh) 一种血管分割方法及装置
CN112348883B (zh) 血管介入手术中介入器械端点实时定位系统、方法、装置
CN110992370A (zh) 一种胰腺组织的分割方法、装置及终端设备
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN112085717A (zh) 一种用于腹腔镜手术的视频预测方法及其系统
CN117351487A (zh) 一种邻近区域与边缘信息融合的医学图像分割方法、系统
Zhang et al. Feature decomposition and enhancement for unsupervised medical ultrasound image denoising and instance segmentation
CN114372962A (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
CN116894943B (zh) 一种双约束的伪装目标检测方法及系统
CN115170912B (zh) 图像处理模型训练的方法、生成图像的方法及相关产品
CN115359046B (zh) 一种脏器血管分割方法、装置、存储介质及电子设备
CN113807354A (zh) 图像语义分割方法、装置、设备和存储介质
CN111626972B (zh) Ct图像重构方法、模型训练方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant