CN110599421B - 模型训练方法、视频模糊帧转换方法、设备及存储介质 - Google Patents

模型训练方法、视频模糊帧转换方法、设备及存储介质 Download PDF

Info

Publication number
CN110599421B
CN110599421B CN201910865820.XA CN201910865820A CN110599421B CN 110599421 B CN110599421 B CN 110599421B CN 201910865820 A CN201910865820 A CN 201910865820A CN 110599421 B CN110599421 B CN 110599421B
Authority
CN
China
Prior art keywords
sample
frame
video
generator
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910865820.XA
Other languages
English (en)
Other versions
CN110599421A (zh
Inventor
陈思宏
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910865820.XA priority Critical patent/CN110599421B/zh
Publication of CN110599421A publication Critical patent/CN110599421A/zh
Application granted granted Critical
Publication of CN110599421B publication Critical patent/CN110599421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种模型训练方法、视频模糊帧转换方法、设备及存储介质，涉及人工智能领域。方法包括：获取样本视频；从样本视频中提取训练数据对，训练数据对中包含样本清晰帧和样本模糊帧，样本清晰帧和样本模糊帧属于同一视频帧间隔；将训练数据对输入图像生成模型的生成器，得到生成器输出的样本生成帧和样本光流信息；将样本生成帧输入图像生成模型的判别器，得到判别器输出的判别结果；根据训练数据对、样本生成帧、样本光流信息和判别结果训练图像生成模型。利用本申请实施例训练得到的图像生成模型对视频中的模糊视频帧进行转化，能够保持视频帧之间的时序一致性，提高模糊视频帧转换为清晰视频帧的转换效果，进而提高转化后视频的质量。

Description

模型训练方法、视频模糊帧转换方法、设备及存储介质
技术领域
本申请实施例涉及人工智能领域，特别涉及一种模型训练方法、视频模糊帧转换方法、设备及存储介质。
背景技术
医学成像是一种通过非侵入方式对人体或人体指定部位进行成像的技术，常见的医学成像方式包括超声(Ultrasound)成像、计算机断层扫描(Computerized Tomography，CT)成像、核磁共振(Nuclear Magnetic Resonance，NMR)成像等等。
受到多方面因素的影响，采用医学成像方式得到的医学影像中可能存在大量伪影，导致医学成像的质量较差；并且，医学影像的对比度较低，病灶边缘模糊，对后续的病灶分割以及诊断造成不利影响。相关技术中，通常采用预训练的图像生成模型进行清晰度转换，将模糊的医学影像转换为清晰的医学影像，以此提高医学影像的质量，进而提高后续病灶分割以及诊断的准确性。其中，图像生成模型通常基于循环生成对抗网络(CycleGenerative Adversarial Networks，Cycle-GAN)训练得到。
然而，对于包含模糊视频帧和清晰视频帧(均为医学成像得到的医学影像)的医学视频而言，由于Cycle-GAN并非专为视频类数据设计，因此利用相关技术中的图像生成模型，将模糊视频帧转换为清晰视频帧的转换效果不佳，无法保证转换后医学视频的质量。
发明内容
本申请实施例提供了一种模型训练方法、视频模糊帧转换方法、设备及存储介质，可以解决利用相关技术中的图像生成模型，将模糊视频帧转换为清晰视频帧的转换效果不佳，无法保证转换后医学视频的质量的问题。技术方案如下：
一方面，本申请实施例提供了一种模型训练方法，所述方法包括：
获取样本视频，所述样本视频通过医学成像得到；
从所述样本视频中提取训练数据对，所述训练数据对中包含样本清晰帧和样本模糊帧，所述样本清晰帧和所述样本模糊帧属于同一视频帧间隔；
将所述训练数据对输入图像生成模型的生成器，得到所述生成器输出的样本生成帧和样本光流信息，所述样本生成帧是对所述样本清晰帧和所述样本模糊帧进行风格转换后得到的，所述样本光流信息用于指示风格转换过程中的光流变换情况；
将所述样本生成帧输入所述图像生成模型的判别器，得到所述判别器输出的判别结果；
根据所述训练数据对、所述样本生成帧、所述样本光流信息和所述判别结果训练所述图像生成模型。
另一方面，本申请实施例提供了一种视频模糊帧转换方法，所述方法包括：
获取目标视频，所述目标视频通过医学成像得到；
确定所述目标视频中的模糊帧；
将所述模糊帧输入图像生成模型的生成器，得到所述生成器输出的清晰生成帧，所述图像生成器包括所述生成器和判别器，所述图像生成器根据训练数据对、样本生成帧、样本光流信息和判别结果训练得到，所述训练数据对包括样本视频中属于同一视频帧间隔的样本清晰帧和样本模糊帧，所述样本生成帧是由所述生成器对所述样本清晰帧和所述样本模糊帧进行风格转换后得到，所述样本光流信息由所述生成器进行风格转换时输出，用于指示风格转换过程中的光流变换情况，所述判别结果由所述判别器对所述样本生成帧进行判别得到。
另一方面，本申请实施例提供了一种模型训练装置，所述装置包括：
第一获取模块，获取样本视频，所述样本视频通过医学成像得到；
提取模块，用于从所述样本视频中提取训练数据对，所述训练数据对中包含样本清晰帧和样本模糊帧，所述样本清晰帧和所述样本模糊帧属于同一视频帧间隔；
第一生成模块，用于将所述训练数据对输入图像生成模型的生成器，得到所述生成器输出的样本生成帧和样本光流信息，所述样本生成帧是对所述样本清晰帧和所述样本模糊帧进行风格转换后得到的，所述样本光流信息用于指示风格转换过程中的光流变换情况；
判别模块，用于将所述样本生成帧输入所述图像生成模型的判别器，得到所述判别器输出的判别结果；
训练模块，用于根据所述训练数据对、所述样本生成帧、所述样本光流信息和所述判别结果训练所述图像生成模型。
另一方面，本申请实施例提供了一种视频模糊帧转换装置，所述装置包括：
第二获取模块，用于获取目标视频，所述目标视频通过医学成像得到；
确定模块，用于确定所述目标视频中的模糊帧；
第二生成模块，用于将所述模糊帧输入图像生成模型的生成器，得到所述生成器输出的清晰生成帧，所述图像生成器包括所述生成器和判别器，所述图像生成器根据训练数据对、样本生成帧、样本光流信息和判别结果训练得到，所述训练数据对包括样本视频中属于同一视频帧间隔的样本清晰帧和样本模糊帧，所述样本生成帧是由所述生成器对所述样本清晰帧和所述样本模糊帧进行风格转换后得到，所述样本光流信息由所述生成器进行风格转换时输出，用于指示风格转换过程中的光流变换情况，所述判别结果由所述判别器对所述样本生成帧进行判别得到。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的模型训练方法，或者，实现如上述方面所述的视频模糊帧转换方法。
另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的模型训练方法，或者，实现如上述方面所述的视频模糊帧转换方法。
另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述方面所述的模型训练方法，或者，执行如上述方面所述的视频模糊帧转换方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例中，从样本视频中提取包含样本清晰帧和样本模糊帧的训练数据对后，将训练数据对输入图像生成模型的生成器，得到生成器输出的样本生成帧和样本光流信息，并进一步将样本生成帧输入图像生成模型的判别器，得到判别器输出的判别结果，从而根据训练数据对、样本生成帧、样本光流信息和判别结果对图像生成模型进行训练；通过将具备时序关系的样本模糊帧和样本清晰帧作为训练数据对，并加入光流信息对图像生成模型的训练过程进行约束，使得后续利用训练得到的图像生成模型对视频中的模糊视频帧进行转化时，能够保持视频帧之间的时序一致性，提高模糊视频帧转换为清晰视频帧的转换效果，进而提高转化后视频的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的模型训练方法的原理示意图；
图2是利用图像生成模型对医学视频进行模糊帧还原过程的实施示意图；
图3示出了本申请一个示例性实施例提供的实施环境的示意图；
图4示出了本申请一个示例性实施例提供的模型训练方法的流程图；
图5示出了本申请另一个示例性实施例提供的模型训练方法的流程图；
图6是一个示例性实施例提供的视频帧间隔的示意图；
图7是图5所示模型训练方法中提取训练数据对过程的流程图；
图8是图5所示模型训练方法实施过程的原理示意图；
图9是一个示例性实施例提供的残差块的结构图；
图10示出了本申请一个示例性实施例提供的视频模糊帧转换方法的流程图；
图11是本申请一个示例性实施例提供的模型训练装置的结构框图；
图12是本申请一个示例性实施例提供的视频模糊帧转换装置的结构框图；
图13示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
Cycle-GAN是一种用于对图像进行风格转换的网络模型，相关技术中，为了实现将视频中的模糊视频帧转换为清晰视频帧，从而提高视频质量，通常采用Cycle-GAN对模糊视频帧进行风格转换，生成相应的清晰视频帧，并使用生成的清晰视频帧替换模糊视频帧，以此提高视频质量。
然而，Cycle-GAN并非专为视频类数据设计，在训练Cycle-GAN的过程中仅以图像风格作为约束，导致使用Cycle-GAN对模糊视频帧进行风格转换时，Cycle-GAN仅关注图像风格变化。而对于通过医学成像得到的视频来说，由于同一视频中两个视频帧之间的图像风格相似，且存在时序上的连续性，因此直接利用相关技术中提供的Cycle-GAN将视频中的模糊视频帧转换为清晰视频帧时，无法保持转换后清晰视频帧的时序连续性，容易出现转换前后视频帧中病灶的位置发生偏移等情况，最终影响转换后视频的质量。
为了解决相关技术中存在的问题，本申请实施例提供了一种模型训练方法，该方法的模型训练原理如图1所示。对于通过医学成像得到的样本视频11，为了使模型能够在训练过程中学习到视频帧之间的时序信息，首先从样本视频帧11中提取属于同一视频帧间隔的样本视频帧，并对样本视频帧中的样本清晰帧121和样本模糊帧122配对生成样本训练对12。进一步的，将样本训练对12输入待训练的图像生成模型13(基于Cycle-GAN)中，由生成器131对样本清晰帧121或样本模糊帧122进行风格转换，得到样本生成帧14。
不同于相关技术中的生成器仅能进行风格转换，本申请实施例中的生成器131在进行风格转换的同时，还能够对风格转换过程中光流信息进行预测，从而输出样本生成帧14对应的样本光流信息15。
对于生成器131输出的样本生成帧14，图像生成模型13通过判别器132对样本生成帧14进行判别(即判别样本生成帧14是真实视频帧还是风格转换后的生成视频帧)，得到相应的判别结果16。
为了使图像生成模型13能够学习到视频帧之间的时序信息，在训练图像生成模型13的过程中加入样本光流信息15，即在训练生成器的过程中加入光流信息进行时序约束，保证生成器输出的视频帧保持时序连续性，避免出现转换前后视频帧中病灶的位置发生较大偏移的情况。
本申请实施例提供的模型训练方法所训练出的图像生成模型，可以用于模糊视频帧还原场景。在一种可能的实施方式中，图像生成模型可以实现成为视频处理应用程序的全部或一部分，该视频处理应用程序可以安装在医学成像设备上，从而直接利用视频处理应用程序对医学成像设备输出的医学视频进行处理，或者，该视频处理应用程序可以安装在医务人员使用的终端上，以便医务人员有选择地使用视频处理应用程序对视频进行处理。
示意性的，如图2所示，当医务人员使用的终端上安装有视频处理应用程序时，视频处理应用程序的用户界面21上显示各个患者对应的医学视频，医务人员可以选择对其中的某一医学视频，甚至某一医学视频中的指定视频片段进行模糊还原处理。当医务人员选择对患者D对应的医学视频进行模糊还原处理后，该医学视频即被输入图像生成模型，由图像生成模型将医学视频中的模糊帧转换为清晰帧。完成模糊还原处理后，终端对处理后的医学视频22进行显示，以便医务人员进行查看。
进一步的，医务人员可以使用处理后的医学视频进行病灶分类、病灶图像分割、病灶检测等后续诊断。由于医学视频中的模糊帧被还原为清晰帧，因此基于处理后的医学视频进行诊断有助于提高诊断准确性。
当然，除了应用于上述场景外，本申请实施例提供方法还可以应用于其他需要对视频中的模糊帧进行还原的场景，本申请实施例并不对具体的应用场景进行限定。
本申请实施例提供的模型训练方法可以应用于具有较强数据处理能力的计算机设备中，该计算机设备可以是个人计算机或服务器。并且，通过该模型训练方法训练得到的图像生成模型可以实现成为应用程序或应用程序的一部分，并被安装到终端中，使终端具备将视频中的模糊帧还原为清晰帧的功能；或者，可以应用于应用程序的后台服务器中，从而由服务器为终端中应用程序提供的视频进行模糊帧还原。
请参考图3，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端310和服务器320，其中，终端310与服务器320之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端310中安装有具有视频模糊帧还原需求的应用程序。该应用程序可以是医学视频处理应用程序、基于视频的病灶检测应用程序等等，本申请实施例对此不作限定。可选的，终端310可以是手机、平板电脑、膝上便携式笔记本电脑，也可以是台式电脑、投影式电脑等终端，本申请实施例对此不做限定。
服务器320可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器320是终端310中应用程序的后台服务器。
如图3所示，本申请实施例中，服务器520中设置模型帧提取模块321和预先训练的图像生成模型322。在一种可能的应用场景下，终端310将待处理视频上传至服务器320，对于接收到的待处理视频，服务器320首先通过模糊帧提取模块321，从待处理视频中提取出模糊视频帧，然后将提取出的模糊视频帧输入图像生成模型322，由图像生成模型322将模糊视频帧转化为清晰视频帧。将待处理视频中的各个模糊视频帧转化为清晰视频帧后，服务器320生成模糊还原后的视频，并将该视频发送至终端310，供终端310进行播放。
在其他可能的实施方式中，上述模糊帧提取模块321和图像生成模型322也可以实现成为应用程序的部分或全部，相应的，终端310可以在本地进行模糊帧还原处理，而无需借助服务器320，本实施例对此不作限定。
为了方便表述，下述各个实施例以模型训练方法由计算机设备执行为例进行说明。
请参考图4，其示出了本申请一个示例性实施例提供的模型训练方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤401，获取样本视频，样本视频通过医学成像得到。
其中，该样本视频可以是通过医学成像得到的视频，且样本视频不包含标注信息。比如，该样本视频可以是通过超声成像得到的超声视频、通过CT成像得到的CT视频或者通过NMR成像得到的NMR视频等等。为了方便表述，下述各个实施例仅以样本视频为超声视频为例进行说明，但并不对此构成限定。
步骤402，从样本视频中提取训练数据对，训练数据对中包含样本清晰帧和样本模糊帧，样本清晰帧和样本模糊帧属于同一视频帧间隔。
为了使图像生成模型能够学习到视频帧之间的时序信息，计算机设备首先需要从样本视频帧中提取时序具有连续性的样本清晰帧和样本模糊帧，从而根据两者配对生成训练数据对。
在一种可能的实施方式中，由于视频中同一视频帧间隔内视频帧的时序变化范围较小且连续，因此计算机设备从同一视频帧间隔内连续的视频帧中提取样本清晰帧和样本图像帧。
比如，该视频帧间隔为7帧，即样本清晰帧和样本模糊帧为连续7个视频帧中的两个视频帧。
步骤403，将训练数据对输入图像生成模型的生成器，得到生成器输出的样本生成帧和样本光流信息，样本生成帧是对样本清晰帧和样本模糊帧进行风格转换后得到的，样本光流信息用于指示风格转换过程中的光流变换情况。
本申请实施例中的图像生成模型采用Cycle-GAN，其中包含生成器和判别器。其中，生成器用于对输入视频帧进行风格转换，该生成器可以包括用于将输入的样本模糊帧转换为清晰帧的第一生成器，以及用于将输入的样本清晰帧转换为模糊帧的第二生成器。
不同于相关技术中，Cycle-GAN中的生成器仅能够输出风格转换后的图像，本申请实施例中的生成器除了能够对视频帧进行风格转换外，还可以预测风格转换过程中视频帧的光流变换情况，从而通过光流变换情况反映出视频帧的时序变化情况。
在一种可能的实施方式中，计算机设备将样本模糊帧输入第一生成器，得到第一生成器输出的样本清晰生成帧和第一样本光流信息；将样本清晰帧输入第二生成器，得到第二生成器输出的样本模糊生成帧和第二样本光流信息。其中，样本光流信息可以采用光流变换位移图的形式，本实施例对此不作限定。
步骤404，将样本生成帧输入图像生成模型的判别器，得到判别器输出的判别结果。
其中，判别器用于判别输入的视频帧为真实(groundtruth)帧或生成帧的概率，该判别器可以包括用于判别模糊帧的第一判别器(即判别输入的模糊帧是真实帧还是生成帧)，以及用于判别样本清晰帧的(即判别输入的清晰帧是真实帧还是生成帧)。
在一种可能的实施方式中，计算机设备将第一生成器输出的样本清晰生成帧输入第二判别器，得到第二判别器输出的判别结果；将第二生成器输出的样本模糊生成帧输入第一判别器，得到第一判别器输出的判别结果。
步骤405，根据训练数据对、样本生成帧、样本光流信息和判别结果训练图像生成模型。
为了使图像生成模型能够在训练过程中学习到视频帧的时序变化，在训练数据对、样本生成帧和判别结果的基础上，计算机设备加入样本光流信息对训练过程进行约束。
在一种可能的实施方式中，计算机设备将样本模糊帧作为样本生成帧中样本模糊生成帧的监督信息，将样本清晰帧作为样本生成帧中样本清晰生成帧的监督信息；将样本模糊帧和样本清晰帧的标记作为判别结果的监督信息；将样本清晰帧与样本模糊帧之间的光流信息作为样本光流信息的监督信息，对图像生成模型中的生成器和判别器进行训练。其中，对生成器和判别器进行训练时可以采用梯度下降算法或反向传播算法，本申请实施例对此不作限定。
可选的，使用训练完成的图像生成模型过程中，即将目标视频中的模糊帧输入生成器中，由(第一)生成器根据模糊帧生成清晰生成帧，从而实现模糊帧还原。
综上所述，本申请实施例中，从样本视频中提取包含样本清晰帧和样本模糊帧的训练数据对后，将训练数据对输入图像生成模型的生成器，得到生成器输出的样本生成帧和样本光流信息，并进一步将样本生成帧输入图像生成模型的判别器，得到判别器输出的判别结果，从而根据训练数据对、样本生成帧、样本光流信息和判别结果对图像生成模型进行训练；通过将具备时序关系的样本模糊帧和样本清晰帧作为训练数据对，并加入光流信息对图像生成模型的训练过程进行约束，使得后续利用训练得到的图像生成模型对视频中的模糊视频帧进行转化时，能够保持视频帧之间的时序一致性，提高模糊视频帧转换为清晰视频帧的转换效果，进而提高转化后视频的质量。
在一种可能的实施方式中，由于图像生成模型中的生成器同时输出样本生成帧和样本光流信息，因此计算机设备在训练图像生成模型过程中，除了将风格变换损失作为生成器的循环一致性损失外，还需要将光流变换损失作为循环一致性损失的一部分，使生成器能够学习到视频帧的时序变换情况。下面采用示意性的实施例进行说明。
请参考图5，其示出了本申请另一个示例性实施例提供的模型训练方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤501，获取样本视频，样本视频通过医学成像得到。
本步骤的实施方式可以参考上述步骤401，本实施例在此不再赘述。
步骤502，获取样本视频中属于同一视频帧间隔的n个样本视频帧。
在一种可能的实施方式中，计算机设备按照预定帧数将样本视频划分为不同视频帧间隔，其中每个视频帧间隔中包含n个连续的样本视频帧，比如，n的取值可以为7、10、15等等。
在一个示意性的例子中，如图6所示，计算机设备获取到视频帧间隔中包含7个样本视频帧。
步骤503，对于n个样本视频帧中的各个样本视频帧，将样本视频帧输入病灶检测模型，得到病灶检测模型输出的病灶预测结果。
当样本视频帧为清晰帧时，该样本视频帧中各个病灶的轮廓清晰，相应的，对该样本视频帧进行病灶检测时，检测出的病灶完整度以及准确度较高；而当样本视频帧为模糊帧时，对该样本视频帧进行病灶检测时，存在病灶缺失以及病灶准确度较低的问题。因此在一种可能的实施方式中，计算机设备通过预先训练得到的病灶检测模型，对各个样本视频帧中进行病灶预测，从而根据病灶预测结果确定视频帧间隔中的样本清晰帧和样本模糊帧。
针对病灶检测模型的训练方式，在一种可能的实施方式中，计算机设备使用包含标注信息(用于标记出病灶在图片中的位置)的图片作为样本数据，对病灶检测模型进行训练，该病灶检测模型采用卷积神经网络。
在一个示意性的例子中，计算机设备获取5000张包含标注信息的乳腺超声肿瘤图片作为样本数据，训练乳腺肿瘤检测模型，该乳腺肿瘤检测模型用于预测图片中乳腺肿瘤的位置以及概率。
步骤504，根据n个样本视频帧各自对应的病灶预测结果，确定n个样本视频帧中的样本清晰帧和样本模糊帧。
在一种可能的实施方式中，病灶预测结果中包含预测病灶的病灶数量以及各个预测病灶对应的预测概率，计算机设备即根据病灶数量和预测概率确定样本视频帧中的样本清晰帧和样本模糊帧。如图7所示，本步骤可以包括如下步骤。
步骤504A，根据n个样本视频帧各自对应的病灶数量，确定病灶数量阈值，病灶数量阈值为病灶数量的平均值或中位数。
可选的，计算机设备根据各个样本视频帧对应的病灶预测结果，确定各个样本视频帧对应的病灶数量，并通过求和平均或取中位数的方式，确定病灶数量阈值。其中，当样本视频帧对应的病灶数量小于病灶数量阈值时，确定该样本视频帧为样本模糊帧；当样本视频帧对应的病灶数量大于病灶数量阈值时，需要进一步根据各个预测病灶的预测概率，确定该样本视频帧是否为样本清晰帧。
示意性的，如图6所示，计算机设备获取到7个视频帧各自对应的病灶数量(图6中白色虚线框内即为预测病灶)分别为2、1、1、2、1、2、2，并通过取中位数确定病灶数量阈值为2。
步骤504B，若样本视频帧对应的病灶数量小于病灶数量阈值，则将样本视频帧确定为样本模糊帧。
当样本视频帧为模糊帧时，由于病灶检测模型无法检测出边缘模糊的病灶，因此预测出的病灶数量较少，相应的，计算机设备可以将病灶数量小于病灶数量阈值的样本视频帧确定为样本模糊帧。
示意性的，如图6所示，计算机设备根据病灶数量阈值2，将第2帧、第3帧以及第5帧视频帧确定样本模糊帧。
步骤504C，若样本视频帧对应的病灶数量大于病灶数量阈值，则获取样本视频帧中各个预测病灶对应的预测概率。
当样本视频帧的模糊程度较低时，利用病灶检测模型也能够预测出所有病灶，但是预测病灶对应的预测概率较低(即置信度较低)，因此，在对于病灶数量大于病灶数量阈值的样本视频帧，计算机设备进一步获取各个预测病灶对应的预测概率。
示意性的，如图6所示，计算机设备获取第1帧样本视频帧中预测病灶对应的预测概率86.3％和91.1％，获取到第4帧样本视频帧中预测病灶对应的预测概率75.3％和70.1％，获取到第6帧样本视频帧中预测病灶对应的预测概率72.5％和77.4％，获取到第7帧样本视频帧中预测病灶对应的预测概率74.1％和70.5％。
步骤504D，若样本视频帧中各个预测病灶对应的预测概率均大于概率阈值，则将确定为样本清晰帧。
在一种可能的实施方式中，计算机设备中预设有概率阈值，若样本视频帧中各个预测病灶对应的预测概率均大于概率阈值，计算机设备则确定该样本视频帧为样本清晰帧。比如，该概率阈值为85％、90％等等。
步骤504E，若样本视频帧中存在预测病灶对应的预测概率小于概率阈值，则将确定为样本模糊帧。
与步骤504D相反的，若样本视频帧中存在预测病灶对应的预测概率小于概率阈值，计算机设备则确定该样本视频帧为样本模糊帧。
示意性的，如图6所示，由于第4、第6以及第7帧样本视频帧中均存在预测概率小于概率阈值(85％)的预测病灶，因此计算机设备将第1帧样本视频帧确定为样本清晰帧，将第2至第7帧样本视频帧确定为样本模糊帧。
当然，除了通过上述方式确定出样本模糊帧和样本清晰帧外，也可以通过人工标注的方式，为样本视频中的样本模糊帧和样本清晰帧进行标记，相应的，计算机设备无需逐帧进行清晰模糊判断，本实施例对此不做限定。
步骤505，对样本清晰帧和样本模糊帧进行配对，生成训练数据对。
确定出同一视频帧间隔中的样本清晰帧和样本模糊帧后，计算机设备对样本清晰帧和样本模糊帧进行两两配对，生成若干个训练数据对。
示意性的，如图6所示，计算机设备生成的训练数据对包括：(第1帧，第2帧)，(第1帧，第3帧)，(第1帧，第4帧)，(第1帧，第5帧)，(第1帧，第6帧)和(第1帧，第7帧)。
步骤506，将训练数据对输入图像生成模型的生成器，得到生成器输出的样本生成帧和样本光流信息。
在一种可能的实施方式中，图像生成模型中包括第一生成器和第二生成器，相应的，计算机设备将样本模糊帧输入第一生成器后，第一生成器输出样本生成清晰帧以及第一样本光流信息；将样本清晰帧输入第二生成器后，第二生成器输出样本生成模糊帧以及第二样本光流信息。
示意性的，如图8所示，计算机设备将样本模糊帧XGT输入生成器G后，得到生成器G输出的样本生成清晰帧YG和第一样本光流信息YOF，将样本清晰帧YGT输入生成器F后，得到生成器F输出的样本生成模糊帧XG和第二样本光流信息XOF。
针对上述实施例中生成器所采用的网络结构，在一种可能的实施方式中，生成器采用U形网络(UNet)。本申请实施例并不对生成器所采用的网络结构进行限定。
步骤507，将样本生成帧输入图像生成模型的判别器，得到判别器输出的判别结果。
在一种可能的实施方式中，图像生成模型中包括第一判别器和第二判别器，相应的，第一生成器输出的样本生成清晰帧输入第二判别器，由第二判别器输出判别结果；第二生成器输出的样本生成模糊帧输入第一判别器，由第一判别器输出判别结果。
示意性的，如图8所示，计算机设备将样本生成清晰帧YG输入判别器DY，得到判别器DY输出的判别结果，将样本生成模糊帧XG输入判别器DX，得到判别器DX输出的判别结果。
针对上述实施例中判别器所采用的网络结构，在一种可能的实施方式中，判别器采用残差网络(ResNet)。在一个示意性的例子中，判别器采用ResNet-50，其网络结构如表一所示。
表一
Figure BDA0002201234680000131
Figure BDA0002201234680000141
其中，卷积层3和卷积层4第一层的步长均为2，且每个卷积层之后都接有激活(ReLU)层和批归一化(Batch Normalization，BN)层，且残差块的结构如图9所示。该残差块的输入(256维向量)依次经过64个1×1卷积核、64个3×3卷积核以及256个1×1卷积核的卷积处理后，与原始输入经过拼接后输出。
当然，判别器还可以采用其他的网络结构，本申请实施例仅以Resnet-50进行示意性说明，但并不对此构成限定。
需要说明的是，对于第一生成器输出的样本生成清晰帧还会被输入第二生成器，由第二生成器对其进行反变换，并通过第一判别器对反变换后的样本生成清晰帧进行判别；对于第二生成器输出的样本生成模糊帧还会被输入第一生成器，由第一生成器对其进行反变换，并通过第二判别器对反变换后的样本生成模糊帧进行判别，本申请实施例在此不再赘述。
通过上述步骤得到样本生成帧、样本光流信息和判别结果后，计算机设备即根据损失函数，对生成器和判别器进行对抗训练。其中，下述步骤508与步骤509之间并不存在严格的先后时序，即步骤508和509可以同时执行，本实施例对此不做限定。
步骤508，根据训练数据对、样本生成帧和样本光流信息确定生成器的循环一致性损失。
图像生成模型的损失函数包括两部分，分别为生成器的循环一致性损失(cycleconsistency loss)函数和判别器的判别损失函数。在一种可能的实施方式中，计算机设备训练数据对、样本生成帧和样本光流信息，通过循环一致性损失函数计算生成器的循环一致性损失。
相关技术中，由于生成器仅用于进行风格变换，因此计算机设备仅将风格变换损失作为循环一致性损失；而本申请实施例中，生成器还能够对风格变换过程中的光流信息预测，因此，计算机设备需要将光流变换损失加入循环一致性损失中。在一种可能的实施方式中，本步骤可以包括如下步骤：
一、根据训练数据对和样本生成帧确定生成器的风格变换损失。
在一种可能的实施方式中，经过生成器风格变换得到的样本生成帧还需要经过另一个生成器进行风格反变换，得到与原始样本视频帧风格视频帧。为了防止变换到反变换的过程中产生畸变，计算机设备通过计算训练数据对中原始样本视频帧(包括样本清晰帧和样本模糊帧)与样本生成帧(对原始视频帧进行变换和反变换后的得到)的差异，确定生成器的风格变换损失。其中，这部分风格变换损失可以表示为：||F(G(XGT))-XGT||1+||G(F(YGT))-YGT||1，XGT为样本模糊帧，YGT为样本清晰帧，G表示利用第一生成器进行风格转换(模糊帧转换为清晰帧)，F表示利用第二生成器进行风格转换(清晰帧转化为模糊帧)。
二、根据训练数据对和样本光流信息确定生成器的光流变换损失。
在一种可能的实施方式中，为了使生成器能够学习到视频帧风格转换前后的时序信息，计算机设备将训练数据对中样本清晰帧与样本模糊帧之间的光流信息作为(生成器输出的)样本光流信息的监督信息，计算光流变换损失。
可选的，本步骤可以包括如下步骤：
1、计算样本模糊帧变换到样本清晰帧的第一光流信息。
在模糊帧变换为清晰帧这一方向上，在一种可能的实施方式中，计算机设备通过光流算法，计算由样本模糊帧XGT变换为样本清晰帧YGT时的光流变换位移图，从而将该光流变换位移图确定为第一光流信息。其中，该光流变换位移图可以表示为：
Figure BDA0002201234680000151
和/>
Figure BDA0002201234680000152
Figure BDA0002201234680000153
表示像素在x轴方向上的位移，/>
Figure BDA0002201234680000154
表示像素在y轴方向上的位移。
2、根据第一光流信息和第一样本光流信息确定第一光流变换损失。
可选的，第一生成器根据样本模糊帧生成样本清晰生成帧的同时输出第一样本光流信息，进一步的，计算机设备通过计算第一光流信息与第一样本光流信息之间的差异，确定第一光流变换损失。
3、计算样本清晰帧变换到样本模糊帧的第二光流信息。
在清晰帧变换为模糊帧这一方向上，在一种可能的实施方式中，计算机设备通过光流算法，计算由样本清晰帧YGT变换为样本模糊帧XGT时的光流变换位移图，从而将该光流变换位移图确定为第二光流信息。其中，该光流变换位移图可以表示为：
Figure BDA0002201234680000155
和/>
Figure BDA0002201234680000156
Figure BDA0002201234680000157
表示像素在x轴方向上的位移，/>
Figure BDA0002201234680000158
表示像素在y轴方向上的位移。
4、根据第二光流信息和第二样本光流信息确定第二光流变换损失。
可选的，第二生成器根据样本清晰帧生成样本模糊生成帧的同时输出第二样本光流信息，进一步的，计算机设备通过计算第二光流信息与第二样本光流信息之间的差异，确定第二光流变换损失。
除了以样本清晰帧与样本模糊帧之间的光流信息为监督信息外，在另一种可能的实施方式中，计算机设备还可以根据样本光流信息对训练数据对中相应的样本视频帧进行光流变换，从而以训练数据对中的另一样本视频帧作为监督信息，计算两者之间的光流变换损失。
可选的，本步骤可以包括如下步骤。
1、通过第一样本光流信息对样本模糊帧进行光流变换，得到第一光流生成帧。
在一种可能的实施方式中，计算机设备根据第一样本光流信息，对样本模糊帧中的像素进行位移变换，得到第一光流生成帧，由于在训练过程中以样本模糊帧到样本清晰帧之间的光流信息作为监督信息进行训练，因此，该第一光流生成帧光流生成模糊帧。
示意性的，如图8所示，计算机设备根据第一样本光流信息YOF和样本视频帧XGT，生成第一光流生成帧YG OF。
2、根据第一光流生成帧和样本清晰帧确定第三光流变换损失。
进一步的，计算机设备以样本清晰帧为第一光流生成帧的监督信息，通过计算两者之间的差异，确定第三光流变换损失，其中，计算机设备可以通过计算各个像素点的差异得到第三光流变换损失。
3、通过第二样本光流信息对样本清晰帧进行光流变换，得到第二光流生成帧。
在一种可能的实施方式中，计算机设备根据第二样本光流信息，对样本清晰帧中的像素进行位移变换，得到第二光流生成帧，由于在训练过程中以样本清晰帧到样本模糊帧之间的光流信息作为监督信息进行训练，因此，该第二光流生成帧光流生成模糊帧。
示意性的，如图8所示，计算机设备根据第二样本光流信息XOF和样本视频帧YGT，生成第一光流生成帧XG OF。
4、根据第二光流生成帧和样本模糊帧确定第四光流变换损失。
进一步的，计算机设备以样本模糊帧为第二光流生成帧的监督信息，通过计算两者之间的差异，确定第四光流变换损失，其中，第四光流变换损失与第三光流变换损失的计算方法相同，本实施例在此不再赘述。
三、根据风格变换损失和光流变换损失，确定生成器的循环一致性损失。
通过上述步骤确定出风格变换损失和光流变换损失，计算机设备进一步确定生成的循环一致性损失。在一个示意性的例子中，生成器的循环一致性损失函数如下：
LcOn＝||F(G(XGT))-XGT||1+||fOF(gOF(XGT))-XGT||1+||G(F(YGT))-YGT||1+||gOF(fOF(YGT))-YGT||1
其中，XGT为样本模糊帧，YGT为样本清晰帧，G表示利用第一生成器进行风格转换，F表示利用第二生成器进行风格转换，goF表示使用样本模糊帧与其对应的样本光流信息进行光流变换，foF表示使用样本清晰帧与其对应的样本光流信息进行光流变换。
步骤509，根据判别结果确定判别器的判别器损失。
与相关技术中确定判别器损失过程相似的，计算机设备计算判别结果与标记(用于标识视频帧为真实帧还是生成帧)之间的差异，从而根据该差异确定判别器损失。
在一个示意性的例子中个，第一判别器的判别器损失函数如下：
Figure BDA0002201234680000171
其中，XGT为样本模糊帧，YGT为样本清晰帧，DX表示对输入的视频帧进行判别。
第二判别器的判别器损失函数如下：
Figure BDA0002201234680000172
其中，CGT为样本模糊帧，YGT为样本清晰帧，DY表示对输入的视频帧进行判别。
步骤510，根据循环一致性损失和判别器损失训练图像生成模型。
进一步的，计算机设备利用循环一致性损失和判别器损失，对图像生成模型进行共同训练，直至图像生成模型的损失达到收敛条件。达到收敛条件时，生成器生成的视频帧接近真实的视频帧，判别器无法判别真实视频帧和生成视频帧(即判别概率为50％)。
可选的，为了进一步保证生成的变换独特性，防止变换畸变，计算机设备还可以结合如下变换独特性损失函数训练图像生成模型。
Lspe＝||G(XGT)-YGT||1+||gOF(XGT)-YGT||1+||F(YGT)-XGT||1+||/fOF(YGT)-XGT1
其中，各个参数的含义可以参考上述循环一致性损失函数，本实施例在此不再赘述。
本实施例中，计算机设备根据训练数据对和样本光流信息确定生成器的光流变换损失，并将光流变换损失融入循环一致性损失中，使生成器在训练过程中能够学习到视频帧之间的时序变化信息，提高了生成器输出的生成视频帧的时序连贯性。
此外，本实施例中，计算机设备利用病灶检测模型对样本视频帧进行病灶预测，从而根据病灶预测结果，自动标记出样本视频帧中的样本清晰帧和样本模糊帧，避免进行人工手动标注，有助于提高模型的训练速度。
在一种可能的实施方式中，为了提高鲁棒性，计算机设备从样本视频中提取训练数据对后，还可以对训练数据对中的样本模糊帧和样本清晰帧进行数据增强，其中，数据增强的方式包括如下至少一种：像素随机偏移、视频帧随机比例缩放或视频帧随机角度旋转。
比如，计算机设备可以对训练数据对中的样本视频帧进行15个像素内的随机偏移，可以对样本视频帧进行0.9至1.1倍的随机缩放，可以对样本视频帧进行10°以内的随机旋转，从而得到数据增强后的训练数据对，进而利用数据增强后的训练数据对进行模型训练。
请参考图10，其示出了本申请一个示例性实施例提供的视频模糊帧转换方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤1001，获取目标视频，目标视频通过医学成像得到。
采用上述实施例提供的模型训练方法训练得到图像生成模型后，计算机设备可以利用该图像生成模型将目标视频中的模糊帧转化为清晰帧，从而提高后续诊断的准确度。其中，该目标视频可以是超声视频、CT视频或NMR视频等等(与模型训练时所使用样本视频的类型一致即可)，本实施例对此不做限定。
步骤1002，确定目标视频中的模糊帧。
在一种可能的实施方式中，目标视频中的模糊帧可以由人工标记，也可以利用病灶检测模型对各个视频帧进行病灶预测，从而根据病灶预测结果确定得到(可以参考训练过程中确定样本清晰帧和样本模糊帧的过程)，本实施例对此不做限定。
步骤1003，将模糊帧输入图像生成模型的生成器，得到生成器输出的清晰生成帧，图像生成器包括生成器和判别器，图像生成器根据训练数据对、样本生成帧、样本光流信息和判别结果训练得到，训练数据对包括样本视频中属于同一视频帧间隔的样本清晰帧和样本模糊帧，样本生成帧是由生成器对样本清晰帧和样本模糊帧进行风格转换后得到，样本光流信息由生成器进行风格转换时输出，用于指示风格转换过程中的光流变换情况，判别结果由判别器对样本生成帧进行判别得到。
利用训练得到的图像生成模型进行视频模糊帧复原时，将模糊帧输入图像生成模型的生成器(用于将模糊帧转换为清晰帧，比如上述实施例中的第一生成器)，由生成器对模糊帧进行风格转换，得到清晰生成帧。
可选的，计算机设备将目标视频中的模糊帧替换为生成器输出的清晰生成帧，从而得到清晰的目标视频，以便后续基于清晰的目标视频进行医学诊断。
在一个示意性的应用场景下，当需要对乳腺超声视频中的模糊帧进行复原时，计算机设备首先根据大量(比如5000张)包含肿瘤标记信息的乳腺超声图片(清晰图片)训练乳腺肿瘤检测模型，从而利用该乳腺肿瘤检测模型和大量(比如90段视频)不含标注的样本乳腺超声视频训练乳腺超声图像生成模型。
其中，在训练乳腺超声图像生成模型时，计算机设备首先将样本乳腺超声视频划分为不同的视频帧间隔，并将同一视频帧间隔内的样本视频帧输入乳腺肿瘤检测模型，从而根据乳腺肿瘤检测模型输出的乳腺肿瘤预测结果，确定出样本视频帧中的样本清晰帧和样本模糊帧。
进一步的，计算机对确定出的样本清晰帧和样本模糊帧进行配对，生成若干训练数据对。对于每一个训练数据对，计算机设备将其输入乳腺超声图像生成模型，从而根据乳腺超声图像生成模型输出的样本生成帧、样本光流信息以及判别结果，对乳腺超声图像生成模型的生成器和判别器进行训练，直至达到训练收敛条件。
通过上述过程训练得到乳腺超声图像生成模型后，计算机设备即可利用该模型对实际超声成像得到的乳腺超声视频进行模糊帧复原，得到清晰的乳腺超声视频，以便医务人员基于清晰的乳腺超声视频进行诊断。
当然，上述实施例仅以乳腺超声视频为例进行示意性说明，在其他可能的应用场景下，上述方法还可以对其它人体器官(比如肺部、胃部等等)的超声视频进行模糊帧复原，本实施例并不对此构成限定。
图11是本申请一个示例性实施例提供的模型训练装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图11所示，该装置包括：
第一获取模块1110，获取样本视频，所述样本视频通过医学成像得到；
提取模块1120，用于从所述样本视频中提取训练数据对，所述训练数据对中包含样本清晰帧和样本模糊帧，所述样本清晰帧和所述样本模糊帧属于同一视频帧间隔；
第二生成模块1130，用于将所述训练数据对输入图像生成模型的生成器，得到所述生成器输出的样本生成帧和样本光流信息，所述样本生成帧是对所述样本清晰帧和所述样本模糊帧进行风格转换后得到的，所述样本光流信息用于指示风格转换过程中的光流变换情况；
判别模块1140，用于将所述样本生成帧输入所述图像生成模型的判别器，得到所述判别器输出的判别结果；
训练模块1150，用于根据所述训练数据对、所述样本生成帧、所述样本光流信息和所述判别结果训练所述图像生成模型。
可选的，所述训练模块1150，包括：
第一确定单元，用于根据所述训练数据对、所述样本生成帧和所述样本光流信息确定所述生成器的循环一致性损失；
第二确定单元，用于根据所述判别结果确定所述判别器的判别器损失；
训练单元，用于根据所述循环一致性损失和所述判别器损失训练所述图像生成模型。
可选的，所述第一确定单元，用于：
根据所述训练数据对和所述样本生成帧确定所述生成器的风格变换损失；
根据所述训练数据对和所述样本光流信息确定所述生成器的光流变换损失；
根据所述风格变换损失和所述光流变换损失，确定所述生成器的所述循环一致性损失。
可选的，所述样本光流信息中包括第一样本光流信息和第二样本光流信息，所述第一样本光流信息由第一生成器根据所述样本模糊帧生成样本清晰生成帧时输出，所述第二样本光流信息由第二生成器根据所述样本清晰帧生成样本模糊生成帧时输出；
所述第一确定单元，用于：
计算所述样本模糊帧变换到所述样本清晰帧的第一光流信息；
根据所述第一光流信息和所述第一样本光流信息确定第一光流变换损失；
计算所述样本清晰帧变换到所述样本模糊帧的第二光流信息；
根据所述第二光流信息和所述第二样本光流信息确定第二光流变换损失。
可选的，所述第一确定单元，还用于：
通过所述第一样本光流信息对所述样本模糊帧进行光流变换，得到第一光流生成帧；
根据所述第一光流生成帧和所述样本清晰帧确定第三光流变换损失；
通过所述第二样本光流信息对所述样本清晰帧进行光流变换，得到第二光流生成帧；
根据所述第二光流生成帧和所述样本模糊帧确定第四光流变换损失。
可选的，所述提取模块1120，包括：
获取单元，用于获取所述样本视频中属于同一视频帧间隔的n个样本视频帧；
预测单元，用于对于所述n个样本视频帧中的各个样本视频帧，将样本视频帧输入病灶检测模型，得到所述病灶检测模型输出的病灶预测结果；
第三确定单元，用于根据所述n个样本视频帧各自对应的所述病灶预测结果，确定所述n个样本视频帧中的所述样本清晰帧和所述样本模糊帧；
生成单元，用于对所述样本清晰帧和所述样本模糊帧进行配对，生成所述训练数据对。
可选的，所述病灶预测结果中包含预测病灶的病灶数量以及各个预测病灶对应的预测概率；
所述第三确定单元，用于：
根据所述n个样本视频帧各自对应的所述病灶数量，确定病灶数量阈值，所述病灶数量阈值为所述病灶数量的平均值或中位数；
若样本视频帧对应的所述病灶数量小于所述病灶数量阈值，则将所述样本视频帧确定为所述样本模糊帧；
若所述样本视频帧对应的所述病灶数量大于所述病灶数量阈值，则获取所述样本视频帧中各个预测病灶对应的所述预测概率；
若所述样本视频帧中各个预测病灶对应的所述预测概率均大于概率阈值，则将所述确定为所述样本清晰帧。
可选的，所述装置还包括：
数据增强模块，用于对所述训练数据对中的所述样本模糊帧和所述样本清晰帧进行数据增强，其中，数据增强的方式包括如下至少一种：像素随机偏移、视频帧随机比例缩放或视频帧随机角度旋转。
可选的，所述生成器采用UNet，所述判别器采用ResNet。
可选的，所述样本视频为超声视频。
综上所述，本申请实施例中，从样本视频中提取包含样本清晰帧和样本模糊帧的训练数据对后，将训练数据对输入图像生成模型的生成器，得到生成器输出的样本生成帧和样本光流信息，并进一步将样本生成帧输入图像生成模型的判别器，得到判别器输出的判别结果，从而根据训练数据对、样本生成帧、样本光流信息和判别结果对图像生成模型进行训练；通过将具备时序关系的样本模糊帧和样本清晰帧作为训练数据对，并加入光流信息对图像生成模型的训练过程进行约束，使得后续利用训练得到的图像生成模型对视频中的模糊视频帧进行转化时，能够保持视频帧之间的时序一致性，提高模糊视频帧转换为清晰视频帧的转换效果，进而提高转化后视频的质量。
本实施例中，计算机设备根据训练数据对和样本光流信息确定生成器的光流变换损失，并将光流变换损失融入循环一致性损失中，使生成器在训练过程中能够学习到视频帧之间的时序变化信息，提高了生成器输出的生成视频帧的时序连贯性。
此外，本实施例中，计算机设备利用病灶检测模型对样本视频帧进行病灶预测，从而根据病灶预测结果，自动标记出样本视频帧中的样本清晰帧和样本模糊帧，避免进行人工手动标注，有助于提高模型的训练速度。
图12是本申请一个示例性实施例提供的视频模糊帧转换装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图12所示，该装置包括：
第二获取模块1210，用于获取目标视频，所述目标视频通过医学成像得到；
确定模块1220，用于确定所述目标视频中的模糊帧；
第二生成模块1230，用于将所述模糊帧输入图像生成模型的生成器，得到所述生成器输出的清晰生成帧，所述图像生成器包括所述生成器和判别器，所述图像生成器根据训练数据对、样本生成帧、样本光流信息和判别结果训练得到，所述训练数据对包括样本视频中属于同一视频帧间隔的样本清晰帧和样本模糊帧，所述样本生成帧是由所述生成器对所述样本清晰帧和所述样本模糊帧进行风格转换后得到，所述样本光流信息由所述生成器进行风格转换时输出，用于指示风格转换过程中的光流变换情况，所述判别结果由所述判别器对所述样本生成帧进行判别得到。
需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，上述实施例提供的视频模糊帧转换装置与视频模糊帧转换方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图13，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1300包括中央处理单元(CPU)1301、包括随机存取存储器(RAM)1302和只读存储器(ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1301执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1301执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一实施例所述的模型训练方法，或者实现上述任一实施例所述的视频模糊帧转换方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的模型训练方法，或者执行上述各个实施例所述的视频模糊帧转换方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方法实施例所述的方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种模型训练方法，其特征在于，所述方法包括：
获取样本视频，所述样本视频通过医学成像得到；
从所述样本视频中提取训练数据对，所述训练数据对中包含样本清晰帧和样本模糊帧，所述样本清晰帧和所述样本模糊帧属于同一视频帧间隔；
将所述训练数据对输入图像生成模型的生成器，得到所述生成器输出的样本生成帧和样本光流信息，所述样本生成帧是对所述样本清晰帧和所述样本模糊帧进行风格转换后得到的，所述样本光流信息用于指示风格转换过程中的光流变换情况；
将所述样本生成帧输入所述图像生成模型的判别器，得到所述判别器输出的判别结果；
根据所述训练数据对、所述样本生成帧、所述样本光流信息和所述判别结果训练所述图像生成模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据对、所述样本生成帧、所述样本光流信息和所述判别结果训练所述图像生成模型，包括：
根据所述训练数据对、所述样本生成帧和所述样本光流信息确定所述生成器的循环一致性损失；
根据所述判别结果确定所述判别器的判别器损失；
根据所述循环一致性损失和所述判别器损失训练所述图像生成模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述训练数据对、所述样本生成帧和所述样本光流信息确定所述生成器的循环一致性损失，包括：
根据所述训练数据对和所述样本生成帧确定所述生成器的风格变换损失；
根据所述训练数据对和所述样本光流信息确定所述生成器的光流变换损失；
根据所述风格变换损失和所述光流变换损失，确定所述生成器的所述循环一致性损失。
4.根据权利要求3所述的方法，其特征在于，所述样本光流信息中包括第一样本光流信息和第二样本光流信息，所述第一样本光流信息由第一生成器根据所述样本模糊帧生成样本清晰生成帧时输出，所述第二样本光流信息由第二生成器根据所述样本清晰帧生成样本模糊生成帧时输出；
所述根据所述训练数据对和所述样本光流信息确定所述生成器的光流变换损失，包括：
计算所述样本模糊帧变换到所述样本清晰帧的第一光流信息；
根据所述第一光流信息和所述第一样本光流信息确定第一光流变换损失；
计算所述样本清晰帧变换到所述样本模糊帧的第二光流信息；
根据所述第二光流信息和所述第二样本光流信息确定第二光流变换损失。
5.根据权利要求4所述的方法，其特征在于，所述根据所述训练数据对和所述样本光流信息确定所述生成器的光流变换损失，还包括：
通过所述第一样本光流信息对所述样本模糊帧进行光流变换，得到第一光流生成帧；
根据所述第一光流生成帧和所述样本清晰帧确定第三光流变换损失；
通过所述第二样本光流信息对所述样本清晰帧进行光流变换，得到第二光流生成帧；
根据所述第二光流生成帧和所述样本模糊帧确定第四光流变换损失。
6.根据权利要求1至5任一所述的方法，其特征在于，所述从所述样本视频中提取训练数据对，包括：
获取所述样本视频中属于同一视频帧间隔的n个样本视频帧；
对于所述n个样本视频帧中的各个样本视频帧，将样本视频帧输入病灶检测模型，得到所述病灶检测模型输出的病灶预测结果；
根据所述n个样本视频帧各自对应的所述病灶预测结果，确定所述n个样本视频帧中的所述样本清晰帧和所述样本模糊帧；
对所述样本清晰帧和所述样本模糊帧进行配对，生成所述训练数据对。
7.根据权利要求6所述的方法，其特征在于，所述病灶预测结果中包含预测病灶的病灶数量以及各个预测病灶对应的预测概率；
所述根据所述n个样本视频帧各自对应的所述病灶预测结果，确定所述n个样本视频帧中的所述样本清晰帧和所述样本模糊帧，包括：
根据所述n个样本视频帧各自对应的所述病灶数量，确定病灶数量阈值，所述病灶数量阈值为所述病灶数量的平均值或中位数；
若样本视频帧对应的所述病灶数量小于所述病灶数量阈值，则将所述样本视频帧确定为所述样本模糊帧；
若所述样本视频帧对应的所述病灶数量大于所述病灶数量阈值，则获取所述样本视频帧中各个预测病灶对应的所述预测概率；
若所述样本视频帧中各个预测病灶对应的所述预测概率均大于概率阈值，则将所述确定为所述样本清晰帧。
8.根据权利要求1至5任一所述的方法，其特征在于，所述从所述样本视频中提取训练数据对之后，所述方法还包括：
对所述训练数据对中的所述样本模糊帧和所述样本清晰帧进行数据增强，其中，数据增强的方式包括如下至少一种：像素随机偏移、视频帧随机比例缩放或视频帧随机角度旋转。
9.根据权利要求1至5任一所述的方法，其特征在于，所述生成器采用U形网络UNet，所述判别器采用残差网络ResNet。
10.根据权利要求1至5任一所述的方法，其特征在于，所述样本视频为超声视频。
11.一种视频模糊帧转换方法，其特征在于，所述方法包括：
获取目标视频，所述目标视频通过医学成像得到；
确定所述目标视频中的模糊帧；
将所述模糊帧输入图像生成模型的生成器，得到所述生成器输出的清晰生成帧，所述图像生成模型包括所述生成器和判别器，所述图像生成模型根据训练数据对、样本生成帧、样本光流信息和判别结果训练得到，所述训练数据对包括样本视频中属于同一视频帧间隔的样本清晰帧和样本模糊帧，所述样本生成帧是由所述生成器对所述样本清晰帧和所述样本模糊帧进行风格转换后得到，所述样本光流信息由所述生成器进行风格转换时输出，用于指示风格转换过程中的光流变换情况，所述判别结果由所述判别器对所述样本生成帧进行判别得到。
12.一种模型训练装置，其特征在于，所述装置包括：
第一获取模块，获取样本视频，所述样本视频通过医学成像得到；
提取模块，用于从所述样本视频中提取训练数据对，所述训练数据对中包含样本清晰帧和样本模糊帧，所述样本清晰帧和所述样本模糊帧属于同一视频帧间隔；
第一生成模块，用于将所述训练数据对输入图像生成模型的生成器，得到所述生成器输出的样本生成帧和样本光流信息，所述样本生成帧是对所述样本清晰帧和所述样本模糊帧进行风格转换后得到的，所述样本光流信息用于指示风格转换过程中的光流变换情况；
判别模块，用于将所述样本生成帧输入所述图像生成模型的判别器，得到所述判别器输出的判别结果；
训练模块，用于根据所述训练数据对、所述样本生成帧、所述样本光流信息和所述判别结果训练所述图像生成模型。
13.一种视频模糊帧转换装置，其特征在于，所述装置包括：
第二获取模块，用于获取目标视频，所述目标视频通过医学成像得到；
确定模块，用于确定所述目标视频中的模糊帧；
第二生成模块，用于将所述模糊帧输入图像生成模型的生成器，得到所述生成器输出的清晰生成帧，所述图像生成模型包括所述生成器和判别器，所述图像生成模型根据训练数据对、样本生成帧、样本光流信息和判别结果训练得到，所述训练数据对包括样本视频中属于同一视频帧间隔的样本清晰帧和样本模糊帧，所述样本生成帧是由所述生成器对所述样本清晰帧和所述样本模糊帧进行风格转换后得到，所述样本光流信息由所述生成器进行风格转换时输出，用于指示风格转换过程中的光流变换情况，所述判别结果由所述判别器对所述样本生成帧进行判别得到。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的模型训练方法，或者，实现如权利要求11所述的视频模糊帧转换方法。
15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的模型训练方法，或者，实现如权利要求11所述的视频模糊帧转换方法。
CN201910865820.XA 2019-09-12 2019-09-12 模型训练方法、视频模糊帧转换方法、设备及存储介质 Active CN110599421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865820.XA CN110599421B (zh) 2019-09-12 2019-09-12 模型训练方法、视频模糊帧转换方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865820.XA CN110599421B (zh) 2019-09-12 2019-09-12 模型训练方法、视频模糊帧转换方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110599421A CN110599421A (zh) 2019-12-20
CN110599421B true CN110599421B (zh) 2023-06-09

Family

ID=68859228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865820.XA Active CN110599421B (zh) 2019-09-12 2019-09-12 模型训练方法、视频模糊帧转换方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110599421B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402121A (zh) * 2020-03-20 2020-07-10 上海眼控科技股份有限公司 图像风格的转换方法、装置、计算机设备和存储介质
CN111726621B (zh) * 2020-04-24 2022-12-30 中国科学院微电子研究所 一种视频转换方法及装置
CN111402302B (zh) * 2020-04-28 2023-06-06 上海依图网络科技有限公司 光流生成装置和方法
CN112508097B (zh) * 2020-12-08 2024-01-19 深圳市优必选科技股份有限公司 图像转换模型训练方法、装置、终端设备及存储介质
CN113159108A (zh) * 2021-02-26 2021-07-23 华为技术有限公司 生成样本图像的方法、装置、设备、存储介质和程序产品
CN113269682B (zh) * 2021-04-21 2023-03-24 海纳云物联科技有限公司 一种结合帧间信息的非均匀运动模糊视频复原方法
CN113361510B (zh) * 2021-08-11 2021-11-19 腾讯科技（深圳）有限公司 超分网络模型训练方法、装置、电子设备以及存储介质
CN113610713B (zh) * 2021-08-13 2023-11-28 北京达佳互联信息技术有限公司 视频超分辨模型的训练方法、视频超分辨方法及装置
CN113706414B (zh) * 2021-08-26 2022-09-09 荣耀终端有限公司 视频优化模型的训练方法和电子设备
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质
CN114936998B (zh) * 2022-03-17 2024-10-18 腾讯科技（深圳）有限公司 模型优化方法、装置、设备、存储介质及计算机程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765029A (en) * 1996-05-08 1998-06-09 Xerox Corporation Method and system for fuzzy image classification
CN103460248A (zh) * 2011-04-07 2013-12-18 富士胶片株式会社 图像处理方法和装置
CN107493477A (zh) * 2016-06-10 2017-12-19 Arm有限公司 视频数据处理系统
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN108304755A (zh) * 2017-03-08 2018-07-20 腾讯科技（深圳）有限公司 用于图像处理的神经网络模型的训练方法和装置
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN109359687A (zh) * 2018-10-19 2019-02-19 百度在线网络技术（北京）有限公司 视频风格转换处理方法和装置
CN110163809A (zh) * 2019-03-31 2019-08-23 东南大学 基于U-net生成对抗网络DSA成像方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
US10621695B2 (en) * 2017-10-31 2020-04-14 Disney Enterprises, Inc. Video super-resolution using an artificial neural network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765029A (en) * 1996-05-08 1998-06-09 Xerox Corporation Method and system for fuzzy image classification
CN103460248A (zh) * 2011-04-07 2013-12-18 富士胶片株式会社 图像处理方法和装置
CN107493477A (zh) * 2016-06-10 2017-12-19 Arm有限公司 视频数据处理系统
CN108304755A (zh) * 2017-03-08 2018-07-20 腾讯科技（深圳）有限公司 用于图像处理的神经网络模型的训练方法和装置
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN109359687A (zh) * 2018-10-19 2019-02-19 百度在线网络技术（北京）有限公司 视频风格转换处理方法和装置
CN110163809A (zh) * 2019-03-31 2019-08-23 东南大学 基于U-net生成对抗网络DSA成像方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tan: temporal affine network for real-time left ventricle anatomical structure analysis based on 2d ultrasound videos;Chen S 等;arXiv;1-11 *
基于条件生成对抗网络的图像去雾算法;梁毓明;张路遥;卢明建;杨国亮;;光子学报(05);120-128 *

Also Published As

Publication number Publication date
CN110599421A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110599421B (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
US10664979B2 (en) Method and system for deep motion model learning in medical images
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
US10810735B2 (en) Method and apparatus for analyzing medical image
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
US12067659B2 (en) Generating animated digital videos utilizing a character animation neural network informed by pose and motion embeddings
CN110276411A (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
US20220262105A1 (en) Systems, methods, and apparatuses for the generation of source models for transfer learning to application specific models used in the processing of medical imaging
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备
CN111325739A (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN111445457B (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
CN112435341A (zh) 三维重建网络的训练方法及装置、三维重建方法及装置
EP4260295A1 (en) Self-supervised machine learning for medical image analysis
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN113822792A (zh) 图像配准方法、装置、设备及存储介质
JP2023515367A (ja) モデルへの入力インスタンスの分布外検出
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN113822845A (zh) 医学图像中组织结构的层级分割方法、装置、设备及介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
WO2023216720A1 (zh) 图像重建模型的训练方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019498

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant