CN111182219A - 一种图像处理方法、装置、服务器及存储介质 - Google Patents

一种图像处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111182219A
CN111182219A CN202010020875.3A CN202010020875A CN111182219A CN 111182219 A CN111182219 A CN 111182219A CN 202010020875 A CN202010020875 A CN 202010020875A CN 111182219 A CN111182219 A CN 111182219A
Authority
CN
China
Prior art keywords
image
time
predicted
component
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010020875.3A
Other languages
English (en)
Other versions
CN111182219B (zh
Inventor
熊俊峰
伍健荣
朱艳春
李仁�
常佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010020875.3A priority Critical patent/CN111182219B/zh
Publication of CN111182219A publication Critical patent/CN111182219A/zh
Application granted granted Critical
Publication of CN111182219B publication Critical patent/CN111182219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明实施例公开了一种图像处理方法、装置、服务器及存储介质，其中方法包括：获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像，可提升图像预测的精确度。

Description

一种图像处理方法、装置、服务器及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、服务器及存储介质。
背景技术
随着计算机技术的不断深入发展，采用计算机技术辅助用户日常的生产和生活成为了当前的发展趋势，可提升用户的日常工作效率，如可采用图像预测技术，对采集到的图像进行预测处理，从而可提早确定出采集对象在未来时刻的状态，可有效缩短图像采集时间，从而提升图像采集效率，因此，如何提升图像预测的准确度成为了当前的研究热点。
发明内容
本发明实施例提供了一种图像处理方法、装置、服务器及存储介质，可提升图像预测的精确度。
一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；
调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；
根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像；
其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同。
另一方面，本发明实施例提供了一种图像处理装置，所述装置包括：
获取单元，用于获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；
预测单元，用于调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；
确定单元，用于根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像；
其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同。
再一方面，本发明实施例提供了一种服务器，包括处理器、存储器和通信接口，所述处理器、所述存储器和所述通信接口相互连接，其中，所述存储器用于存储计算机程序指令，所述处理器被配置用于执行所述计算机程序指令，执行如第一方面所述的图像处理方法。
再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的图像处理方法。
在本发明实施例中，服务器在采集到第一图像和第二图像后，可调用目标预测模型对该第一图像和第二图像进行预测，得到第三图像的预测图像，从而可有效缩减图像采集时间，提升了对目标对象进行图像采集时的采集效率，以及对采集到的图像进行处理的处理效率。在目标对象为人体部位时，可有效缩短对人体部位进行检测的时间，可按照前序时间序列采集的图像的特征信息，实现对未来时间序列的图像的预测过程，可有效缩短像采集时间，有助于提升图像采集效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种初始预测模型的结构示意图；
图2是本发明实施例提供的一种图像处理方法的示意流程图；
图3是本发明实施例提供的一种图像预测的示意图；
图4是本发明实施例提供的一种图像处理方法的示意流程图；
图5a是本发明实施例提供的一种生成网络的结构示意图；
图5b是本发明实施例提供的一种判别网络的结构示意图；
图6a是本发明实施例提供的一种预测得到延迟期图像的示意图；
图6b是本发明实施例提供的一种延迟期图像的采集图像和预测图像的对照图；
图7是本发明实施例提供的一种图像处理装置的示意性框图；
图8是本发明实施例提供的一种服务器的示意性框图。
具体实施方式
本发明实施例提出了一种图像处理方法，可基于在两个不同时间序列采集的图像，对未来时间序列对应的图像进行预测，可在缩短图像采集时间的同时，也可保证图像预测精度。具体地，服务器可先获取对目标对象在不同时间序列下进行采集得到的第一图像和第二图像，从而可调用目标预测模型对第一图像和第二图像进行图像预测处理，得到目标对象在目标时间序列对应的预测图像，其中，该目标对象包括人体或者动物体等，进一步地，所述目标对象可以为人体部位或者动物部位等，该目标时间序列和该第一图像对应的时间序列，以及该第二图像对应的时间序列不同，可以理解的是，若所述第一图像对应的时间序列为第一时间序列，第二图像对应的时间序列为第二时间序列，则该预测图像对应的目标时间序列则为第三时间序列。
在一个实施例中，若所述第一图像对应于第一时间序列，所述第二图像对应于第二时间序列，该目标时间序列为第三时间序列，则所述服务器在调用目标预测模型对第一图像和第二图像进行图像预测处理，得到目标对象在目标时间序列对应的预测图像时，可先调用所述目标预测模型对所述第一图像进行基于时间的图像预测处理，得到第三时间序列对应预测图像的第一分量，以及第二时间序列对应的中间图像，并可调用所述目标预测模型对所述中间图像进行基于时间的图像预测处理，得到第三时间序列对应预测图像的第二分量，以及可调用所述目标预测模型对所述第二图像进行基于时间的图像预测处理，得到第三时间对应预测图像的第三分量，从而可基于该第三时间序列对应预测图像的第一分量，第二分量和第三分量，确定出第三时间序列对应的预测图像。
在一个实施例中，所述目标对象可以为人体对象的部分或者全部，该第一图像和第二图像则为对人体对象的部分或者全部进行采集得到的图像，其中，所述人体对象例如可以是肝脏或者肺部等，即所述目标预测模型可应用于人体部位的图像预测，得到人体部位在不同时期所呈现的图像，可以理解的是，可采用目标预测模型对进行人体部位检测得到的图像进行预测，以确定出该人体部位在未来时刻对应的图像，节省对人体部位的检测时间。在一个实施例中，以人体部位为肝脏为例，对采用目标预测模型进行肝脏检测得到的图像的预测过程进行详细说明，具体地，在所述目标对象为人体部位的肝脏时，检测设备可对肝脏进行检测，从而可得到肝脏的动脉期图像和静脉期图像，若该动脉期图像即为上述的第一图像，该静脉期图像即为上述的第二图像，则可调用目标预测模型，并基于得到的动脉期图像和静脉期图像进行预测，得到肝脏的延迟期图像，该延迟期图像即是上述的预测图像。由于对肝脏进行扫描，得到动脉期图像和静脉期图像的时间间隔在1分钟左右，但是在得到静脉期图像和延迟期图像的扫描间隔大于10分钟，所以，采用目标预测模型，并基于静脉期图像和动脉期图像对肝脏的延迟期图像进行预测的方法，可有效缩短进行肝脏扫描的时间，从而可提升对目标对象(如肝脏)的图像获取效率，也提升了检测设备的图像获取效率和设备利用率。
在一个实施例中，在所述目标对象为人体对象的肝脏时，对肝脏进行扫描，从而得到肝脏的第一图像和第二图像的检测设备例如可以是电子计算机断层扫描(ComputedTomography，CT)设备，或者磁共振成像(Magnetic Resonance Imaging，MRI)造影扫描设备，其中，CT或者MRI设备等进行肝脏扫描的检测设备，可以是接于所述进行图像处理的服务器的设备，则所述CT或者MRI设备可基于建立的通信连接，从检测设备中获取对肝脏进行检测得到的静脉期图像和动脉期图像，或者，所述检测设备也可以是内置于服务器的检测设备。其中，基于CT或者MRI对肝脏进行检测得到的静脉期图像和动脉期图像可增强扫描能提供血流和组织代谢的功能信息，有利于对该人体部位的结构描述和性质判别。
在一个实施例中，所述服务器获取的第一图像和第二图像还可以从视频图像中获取的两帧图像，同样的，所述服务器可基于获取的两帧图像，斌调用所述目标预测模型进行图像预测处理，得到所述视频图像在未来时刻的预测图像，以提升对视频图像的采集效率。
在一个实施例中，所述目标预测模型可以是基于三个不同时间序列下的样本图像生成的多循环的生成对抗网络(Multi-Cycle GAN)，其中，所述多循环的生成对抗网络是基于生成对抗网络(Generative Adversarial Network，GAN)生成的，所述生成对抗网络是采用的一种非监督式学习的方法，通过让两个神经网络相互博弈的方式进行学习，其中，生成对抗网络由一个生成网络与一个判别网络组成，该生成网络可从采集的样本图像样本中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本；该判别网络的输入则为真实样本或生成网络的输出，以判别生成网络生成的预测图像的真实性，对抗性训练的目的则是不断调整生成网络和判别网络的网络参数，以使得判别网络不能将生成网络的输出的预测图像从真实样本中区分出来。也就是说，两个网络通过相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果(即预测图像)是否真实。
在一个实施例中，基于生成网络可进一步训练生成循环生成对抗网络(CycleGAN)，该循环生成对抗网络是指一种无监督生成对抗网络，可以将两个域的图像进行相互转化，在Cycle GAN中，有两个生成器(或生成网络)，如，GAB和GBA，其中，GAB用于将图像从域A传输到B，GBA用于执行相反的转换。此外，该网络还包括两个判别器(或判别网络)DA和DB，所述判别器用于判别基于生成器生成的预测图像是否属于该域。而本申请提出的多循环的生成对抗网络用于三个不同时间序列下采集到的图像之间进行相互转换，如该多循环生成对抗网络可实现将肝脏扫描静脉器和动脉期扫描图像转化得到延迟期的图像，可大幅度降低对肝脏的扫描时间。
在一个实施例中，在训练得到目标预测模型时，可先获取对同一目标对象在不同时间序列下进行采集得到的第一样本图像，第二样本图像和第三样本图像，从而可将该样本图像输入该目标预测模型对应的初始预测模型，得到对应的预测图像，进一步地，服务器则可基于该样本图像和预测图像之间的差异，对该初始预测模型进行训练得到目标预测模型。其中，该第一样本图像可以是对应于第一时间序列的样本图像，所述第二样本图像可以是对应于第二时间序列的样本图像，则所述第三样本图像可以是对应于第三时间序列的样本图像。所述服务器在获取到该第一样本图像，该第二样本图像以及该第三样本图像后，进一步地，可调用初始预测模型预测确定该样本图像对应的预测图像。其中，所述初始预测模型包括六个初始生成网络和三个初始判别网络，所述初始预测模型的网络结构可如图1所示，若用A表示在第一时间序列采集的样本图像(如第一样本图像)，B表示在第二时间序列采集的样本图像(如第二样本图像)，C表示在第三时间序列采集的样本图像(如第三样本图像)，则该初始预测模型包括的六个生成网络可分别表示为GAB，GBA，GAC，GCA，GBC和GCB，包括的三个判别网络可分别表示为DA，DB，DC。
在一个实施例中，GAB用于根据在第一时间序列采集的样本图像，生成在第二时间序列的预测图像，GBA用于根据在第二时间序列采集的样本图像生成在第一时间序列的预测图像，GAC用于根据在第一时间序列采集的样本图像，生成在第三时间序列的预测图像，GCA用于根据在第三时间序列采集的样本图像生成在第一时间序列的预测图像，GBC用于根据在第二时间序列采集的样本图像生成在第三时间序列的预测图像和GCB用于根据在第三时间序列采集的样本图像生成在第二时间序列的预测图像，DA用于判别生成的第一时间序列的预测图像和第一时间序列的真实图像(如第一样本图像)之间的差异，DB用于判别生成的第二时间序列的预测图像和第二时间序列的真实图像(如第二样本图像)之间的差异，DC用于判别生成的第三时间序列的预测图像和第三时间序列的真实图像(如第三样本图像)之间的差异。
在一个实施例中，服务器在调用所述初始预测模型确定该样本图像对应的预测图像时，可基于第一时间序列采集的第一样本图像，以及第二时间序列采集的第二样本图像，对第三时间序列采集的图像进行预测。具体地，如图1所示，可先将该第一样本图像(如由A标示的样本图像)输入初始生成网络GAB，以使得初始生成网络GAB可基于样本图像A生成第二时间序列的预测图像，即由Fake B1表示的中间图像，同时可将该样本图像A输入初始生成网络GAC，以使得初始生成网络GAC可生成第三时间序列的预测图像的第一分量，即由FakeC1表示的预测图像的第一分量；在得到中间图像Fake B1后，可将中间图像Fake B1输入初始生成网络GBC，以生成第三时间序列的预测图像的第二分量，即由Fake C2表示的预测图像的第二分量，所述服务器还可将第二样本图像(如由B标示的样本图像)输入初始生成网络GBC，以使得初始生成网络GBC可基于样本图像B生成第三时间序列的预测图像的第三分量Fake C3。
可以理解的是，在第一样本图像为第二时间序列采集的样本图像，第三样本图像为三时间序列采集的样本图像时，可基于该第一样本图像和第二样本图像预测在第一时间序列采集的图像；在该第一样本图像为第一时间序列采集的样本图像，第二样本图像为第三时间序列采集的样本图像时，可基于该第一样本图像和第二样本图像预测在第二时间序列采集的图像，具体的预测流程可参见上述的基于该第一样本图像和第二样本图像对第三时间序列采集的图像进行预测的过程，在此不再进行赘述。
服务器在确定出预测图像的第一分量，第二分量和第三分量后，可基于该第一分量、第二分量和第三分量确定出预测图像，在一个实施例中，服务器可对该预测图像的第一分量、第二分量和第三分量进行卷积运算，以确定出该预测图像，在所述第一样本图像和第二样本图像分别对应于第一时间序列和第二时间序列时，基于该初始预测模型预测生成的第三样本图像则对应于第三时间序列，服务器还可基于第一样本图像和第三样本图像进行预测，还可基于第二样本图像和第三样本图像进行预测，以实现基于初始预测模型循环预测各个时间序列的图像。
在服务器确定预测图像后，可确定该预测图像和该第三样本图像之间的差异，从而可基于该差异训练该初始预测模型得到目标预测模型，其中，所述服务器可先基于该预测图像和第三样本图像计算出损失函数对应的损失值，从而可按照减小该损失值的方向，不断调整该初始预测模型中的初始生成网络和初始判别网络的模型参数，以实现对该初始预测模型的调整，得到对应的目标预测模型，得到的目标预测模型中的目标判别网络将不能区分由目标生成网络生成的预测图像和真实样本图像之间的差异，也就是说，基于对初始预测模型的训练，可有效提升生成网络进行图像预测的精度。
请参见图2，是本发明实施例提出的一种模型训练方法的示意流程图，如图2所示，该方法可包括：
S201，获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的。
在一个实施例中，服务器获取的待处理的图像集是为对同一目标对象在不同时间时间序列下进行采集得到的，也就是说，所述第一图像、所述第二图像是对目标对象在不同时间序列下进行采集得到的，所述目标对象包括人体部位，如肺部，肝脏等部位，也可以是动物的部位等，所述服务器可获取检测设备对该目标对象进行检测时采集的不同时期的图像作为第一图像和第二图像，从而可调用目标预测模型，并基于获取到的第一图像和第二图像进行图像预测，即可转而执行步骤S202。
在一个实施例中，所述服务器可和用于采集目标部位的图像的检测设备，或者图像采集设备提前建立通信连接，以便于该服务器可获取到目标部位在不同时间序列对应的图像，其中，该图像集中包括的第一图像和第二图像对应的时间序列可以是连续的时间序列，也可以是不连续的时间序列，连续的时间序列是指：第一时间序列对应的最晚时间结点为第二时间序列对应的最早时间结点；不连续的时间序列是指：所述第一时间序列和所述第二时间序列只需要满足该第一时间序列中的最晚时间结点早于第二时间序列的最早时间结点即可。
S202，调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量。
在服务器获取到对同一目标对象在不同时间序列采集得到的图像后，进一步地，可调用目标预测模型对该第一图像，该第二图像进行图像预测处理，得到对应的预测图像，其中，该目标预测模型的结构可如图1所示，该第一图像和第二图像，以及得到的预测图像对应于不同的时间序列，若第一图像对应于第一时间序列，该第二图像对应于第二时间序列，则预测得到的预测图像则对应于第三时间序列，在所述目标预测模型基于所述第一图像进行图像预测处理时，可基于所述第一图像进行基于时间的图像预测处理，所述预测图像的第一分量和中间图像。
在一个实施例中，若所述第一图像对应于第一时间序列，所述中间图像对应于第二图像序列，所述预测图像的第一分量对应于第三时间序列，则服务器可调用目标预测模型中的生成网络，并基于所述第一时间序列的第一图像和第二时间序列的第二图像，分别生成第三时间序列的预测图像对应的第一分量，第二分量，以及第三分量。在所述生成网络基于所述第一时间序列的第一图像，确定第二时间序列对应的中间图像时，可先确定在第一时间序列采集的图像和在第二时间序列采集的图像之间的转换关系，从而可调用所述生成网络提取所述第一图像的特征信息，进一步地，所述生成网络可基于所述特征信息和所述转换关系，将所述第一图像的特征信息映射到第二时间序列对应的中间图像，从而可生成所述中间图像。同样的，在所述服务器调用目标预测模型中的生成网络基于所述第一时间序列的第一图像，确定第三时间序列对应的预测图像的第一分量时，在所述生成网络确定所述第一图像的特征信息后，可在确定出该第一时间序列采集的图像和在第三时间序列采集的图像之间的映射关系后，根据所述特征信息生成所述第三时间序列对应的预测图像的第一分量。同理，服务器还可调用目标预测模型中的生成网络基于所述中间图像进行基于时间的图像预测处理，得到预测图像的第二分量，以及对所述第二图像进行基于时间的图像预测处理，得到所述预测图像的第三分量。
在一个实施例中，服务器在基于第一图像生成预测图像的第一分量和中间图像，基于中间图像生成预测图像的第二分量，以及基于第二图像生成预测图像的第三分量时，所述服务器所调用的生成网络不同。如图3所示，若所述第一图像为图像A，第二图像为图像B，该目标预测模型包括生成网络GAC，GAB和GBC，将第一图像A输入生成网络GAC，可得到第三时间序列的预测图像的第一分量Fack C1，将所述第一图像输入生成网络GAB，可得到第二时间序列的中间图像Fake B1，进一步地，将Fake B1输入生成网络GBC，可得到第三时间序列的预测图像的第二分量Fack C2，将第二图像B输入生成网络GBC，可得到第三时间序列的预测图像的第三分量Fack C3，从而可对第一分量Fack C1，第二分量Fack C2和第三Fack C3进行卷积运算，确定出第三时间序列的预测图像Fack C，即转而执行步骤S203，可实现对图像的预测，可有效缩短图像采集时间，提升图像处理效率。
S203，根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像。
在一个实施例中，服务器在调用目标预测模型得到预测图像的第一分量，第二分量和第三分量后，可对该第一分量，第二分量和第三分量进行卷积运算，得到预测图像，其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同，可以理解的是，若所述第一图像对应于第一时间序列，所述第二图像对应于第二时间序列，则所述预测图像可对应于第三时间序列，在所述目标对象为人体对象的肝脏部位时，所述第一图像为动脉期图像，所述第二图像为静脉期图像，则基于该目标预测模型生成的预测图像则为延迟期图像。
在一个实施例中，在所述第一图像为动脉期图像，第二图像为静脉器图像，生成的预测图像为延迟期图像时，所述第一图像对应的第一时间序列中的最晚时间节点早于所述第二图像对应的第二时间序列的最早时间节点，且所述第二时间序列中的最晚时间节点早于所述预测图像对应的目标时间序列的最早时间节点。
在本发明实施例中，服务器在采集到第一图像和第二图像后，可调用目标预测模型对该第一图像和第二图像进行预测，得到第三图像的预测图像，从而可有效缩减图像采集时间，提升了对目标对象进行图像采集时的采集效率，以及对采集到的图像进行处理的处理效率。在目标对象为人体部位时，可有效缩短对人体部位进行检测的时间，可按照前序时间序列采集的图像的特征信息，实现对未来时间序列的图像的预测过程，可有效缩短像采集时间，有助于提升图像采集效率。
请参见图4，是本发明另一实施例提出的一种模型训练方法的示意流程图，如图4所示，该方法可包括：
S401，获取样本图像集，所述样本图像集包括第一样本图像、第二样本图像和第三样本图像。
S402，调用初始预测模型对所述第一样本图像和所述第二样本图像进行基于时间的图像预测处理，得到预测图像。
在步骤S401和步骤S402中，服务器获取的样本图像为对目标对象在不同时间序列进行采集得到的，也就是说，所述第一样本图像、所述第二样本图像和所述第三样本图像是对目标对象在不同时间序列下进行采集得到的，所述目标对象包括人体对象，所述目标对象可以为所述人体对象的部分部位，如肝脏，肺部或心脏等，也可以为所述人体对象的整体，在本发明实施例中，对进行图像采集的目标对象不做限定。所述服务器在获取到第一样本图像，以及第二样本图像后，则可调用初始预测模型对该第一样本图像，第二样本图像进行图像预测处理，得到该第三样本图像对应的预测图像。
在一个实施例中，服务器在调用初始预测模型对所述第一样本图像和所述第二样本图像进行基于时间的图像预测处理，得到预测图像时，可先调用初始预测模型对所述第一样本图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二样本图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量。在一个实施例中，以服务器调用所述初始预测模型对所述第一样本图像进行基于时间的图像预测处理过程进行详细说明，具体的，服务器可先确定对所述目标对象在不同时间序列进行采集得到的样本图像之间的转换关系，从而可调用所述初始预测模型提取所述第一样本图像的特征信息，并根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像。在所述服务器在确定对所述目标对象在不同时间序列进行采集得到的样本图像之间的转换关系时，可先确定所述第一样本图像对应的第一时间序列，所述中间图像对应的第二时间序列，以及所述预测图像的第一分量对应的第三时间序列，从而可确定在所述第一时间序列采集的样本图像和在所述第二时间序列采集的样本图像之间的第一转换关系，并确定在所述第一时间序列采集的样本图像和在所述第三时间序列采集的样本图像之间的第二转换关系。
在所述服务器确定出所述第一时间序列采集的样本图像和在所述第二时间序列采集的样本图像之间的第一转换关系，并确定在所述第一时间序列采集的样本图像和在所述第三时间序列采集的样本图像之间的第二转换关系之后，可进一步地根据所述第一转换关系和所述特征信息，预测在第二时间序列采集的中间图像，以及根据所述第二转换关系和所述特征信息，预测在第三时间序列采集的预测图像的第一分量，在一个实施例中，所述第一转换关系和所述第二转换关系可以是上述的如将图像域1转换到图像域2的关系，服务器可调用该初始生成网络中的转换网络实现对特征信息的转换过程。基于输入到初始预测模型的第一样本图像和第二样本图像，在确定出预测图像对应的第一分量，第二分量和第三分量后，则可基于该第一分量，第二分量和第三分量确定出预测图像。
在一个实施例中，所述初始预测模型包括六个不同的初始生成网络，该初始生成网络可基于采集到的样本图像生成对应的预测图像，使得该初始预测模型可基于两个不同的时间序列对另一时间序列下的图像进行预测，从而可通过将两个不同时间序列的图像输入到该目标预测模型中，实现对其他时间序列图像的循环预测，使得服务器可基于预测结果对目标预测模型的参数进行调整，以优化该目标训练模型。
在一个实施例中，在第三样本图像为图像A时，如图1所示，对应的第一样本图像可以为图像C，第二样本图像可以为图像B，则服务器在调用初始预测模型，并基于图像B和图像C对图像A进行预测时，可执行如下步骤：
1)图像C经过生成网络GCA得到图像A的预测图像的第一分量Fake A1，即FakeA1＝GCA(C)；
2)图像B经过生成网络GBA得到图像A的预测图像的第三分量Fake A3，即Fake A3＝GBA(B)；
3)图像C还可连续经过生成网络GCB和GBA得到图像A的预测图像的第二分量FakeA2，即FakeA2＝GBA(GCB(C))；
4)使用一个卷积网络将上述A的预测图像的三个分量图像进行融合，可得到图像A对应的预测图像，即Fake A＝Conv(Fake A1，Fake A2，Fake A3)，其中，该卷积网络可以是一个1X1的卷积网络。
在一个实施例中，上述的生成网络结构可如图5a所示，该生成网络包括编码网络，转化网络和解码网络，其中，编码网络利用卷积网络对图像1进行预处理并提取高通量特征向量，该图像1即是上述的第一样本图像或者第二样本图像，转换网络则可编码网络提取得到的图像的高通量特征向量从图像域1转换到图像域2，在转换网络将该高通量特征向量从图像域1转换到图像域2时，可先确定该图像域1和图像域2之间的转换关系，从而可基于该转换关系实现对图像的转换，在一个实施例中，可采用6个残差模块(Resnet Block)实行转换过程，每个残差模块包含了3层卷积层和一个短连接，在转换网络实现对特征向量的转换后，解码图像则可利用2层反卷积层从转换后的特征向量中解码得到图像高通量特征，最后通过一个卷积层对高通量特征就行加权输出对应的预测图像。
在一个实施例中，在第三样本图像为C时，可基于图像A和图像B，并调用初始预测模型得到第三样本图像C的预测图像，而在第三样本图像为B时，可调用该初始预测模型，并基于图像A和图像C得到第三样本图像B的预测图像。由于服务器在确定第三样本的预测图像时，是先确定的该预测图像对应的三个分量，所以，所述服务器在得到预测图像的三个分量后，可进一步基于该三个分量确定出对应的预测图像。在所述服务器调用初始预测网络确定出第三样本图像对应的预测图像后，可基于该第三样本图像和对应的预测图像对该初始预测模型进行训练，以得到目标预测模型，即转而执行不S403。
S403，确定所述预测图像与所述第三样本图像之间的差异，并按照所述差异训练所述初始预测模型得到目标预测模型。
在一个实施例中，服务器可先调用该初始预测模型中的判别网络鉴别真实样本图像和对应预测图像之间的差异，其中，判别网络DA用于鉴别真实样本图像A和A的预测图像之间的差异，判别网络DC用于鉴别真实样本图像C和C的预测图像之间的差异，判别网络DB用于鉴别真实样本图像B和B的预测图像B1，以及预测图像B2之间的差异，所述判别网络的结构图如图5b所示，所述判别网络由4层简单的卷积层和1层输入维度为1的卷积层组成。其中，4层卷积层逐步提取浅层特征和抽象特征，最后一层卷积层将抽象特征加权得到最终预测鉴别结果，在该判别网络对预测图像进行鉴别时，若确定该预测图像和真实样本图像一致，该判别网络可输出结果0，而在确定该预测图像和真实样本图像不一致时，可输出结果1。
在一个实施例中，所述服务器可基于样本图像和该样本进行预测得到的预测图像，计算得到该样本图像对预测图像进行预测时的对抗误差，其中，样本图像A对图像B进行预测的对抗误差为：
Figure BDA0002359641430000131
样本图像C对图像B进行预测的对抗误差为：
Figure BDA0002359641430000132
样本图像A和样本图像B对图像C进行预测的对抗误差为：
Figure BDA0002359641430000141
样本图像C和样本图像B对图像A进行预测的对抗误差为：
Figure BDA0002359641430000142
其中，在式1.1～式1.4中的
Figure BDA0002359641430000145
函数为熵函数，用于表征图像的信息熵，信息熵可用于表征图像的信息量的大小，DA，DB和DC分别用于表示对图像A和对应预测图像进行判别的判别网络，对图像B和对应预测图像进行判别的判别网络，以及对图像C和对应预测图像进行判别的判别网络；fake a用于表示图像A对应的预测图像，fake b用于表示图像B对应的预测图像，fake c用于表示图像C对应的预测图像；GAB用于表示基于图像A生成图像B对应的预测图像的生成网络，GCB用于表示基于图像C生成图像B对应的预测图像的生成网络。
在一个实施例中，服务器在计算得到基于样本图像对图像进行预测时的对抗误差后，还可计算图像的循环一致性误差，其中，循环一致性误差是指：调用该初始预测模型对样本图像进行预测，得到对应的预测图像后，调用该初始预测模型对该预测图像进行预测，该预测图像对应的预测图像与该样本图像之间的误差，如该样本图像若为图像A，调用该初始预测模型对图像A进行预测，得到图像A的预测图像C，进一步地，可调用该初始预测模型对预测图像C进行预测，得到对应的预测图像A，循环一致性误差即是真实样本图像A和基于预测图像C得到的预测图像A之间的误差，其中，图像A的循环一致性误差为：
Figure BDA0002359641430000143
图像C的循环一致性误差为：
Figure BDA0002359641430000144
其中，‖‖1为1范数，用于计算向量元素的绝对值之和。
在一个实施例中，基于循环一致性误差对初始预测模型进行训练，可有效降低模型坍塌的风险，进一步地，基于该对抗误差和循环一致性误差，可确定出该初始预测模型进行图像预测时的总误差，从而可用计算得到的总误差确定出该预测图像与第三样本图像之间的差异，即：
L(GAB,GAC,GBA,GBC,GCA,GCB,DA,DB,DC,A,B,C)＝λ1LGAN(GAB,DB,A,B)+λ2LGAN(GCB,DB,C,B)+λ3LGAN(DC,C,FakeC)+λ4LGAN(DA,A,FakeA)+λ5LCYC(A,FakeA)+λ6LCYC(C,FakeC) 式1.7
在所述服务器确定出该初始预测模型进行图像预测时的总误差后，可按照该差异对该初始预测模型进行训练，得到目标预测模型，具体的，服务器对该初始预测模型进行优化训练的过程，即是不断调整该初始预测模型中初始生成网络和初始判别网络对应的参数，以使得基于生成网络生成的预测图像在输入到判别网络进行鉴别时，该判别网络无法区分由该生成网络生成预测图像和真实图像之间的差异。在一个实施例中，基于该初始预测模型进行图像预测时的总误差，可构建损失函数，即：
Figure BDA0002359641430000151
其中，max为进行最大化迭代训练，以对鉴别网络进行优化，min为进行最小化迭代训练，以优化生成网络。
在一个实施例中，在确定出损失函数后，服务器在确定预测图像和第三样本图像之间的差异时，则可将所述预测图像和所述第三样本图像代入所述损失函数，计算对应的损失值，所述损失值则用于反映所述预测图像和所述第三样本图像之间的差异，由于所述损失函数是由抗误差函数和循环一致性误差函数构成的，则将所述预测图像和所述第三样本图像代入所述损失函数，计算对应的损失值的过程，即是根据所述初始生成网络和所述初始判别网络之间的对抗训练，确定所述对抗误差函数值；以及对所述预测图像进行基于时间的图像预测处理，确定所述第一样本图像对应的循环预测图像，从而可根据所述第一样本图像对应的循环预测图像以及所述第一样本图像，确定所述循环一致性误差函数值的过程，基于得到的对抗误差函数值和循环一致性误差函数值，则可确定所述损失函数对应的损失值。
在基于该损失函数对该初始预测模型进行训练，得到目标预测模型的过程，即是调整所述损失值，以增大所述初始生成网络在所述初始预测模型中的参数，并减小所述初始判别网络在所述初始预测模型中的参数，具体地，该训练过程可执行如下步骤：
s11，初始化该初始预测模型中的6个生成网络和3个鉴别网络；
s12，固定初始生成网络的对应的参数，最大化迭代训练损失函数次，从而优化初始判别网络；
s13，固定初始判别网络对应的参数，最小化迭代训练损失函数次，从而优化初始生成网络；
s14，重复步骤s12和s13，直至由初始生成网络生成的预测图像能够骗过判别网络，即该判别网络无法优化，即可停止训练，此时即将初始预测模型训练得到目标预测模型，对应的将初始生成网络优化成为了模型所需的目标生成网络。
在一个实施例中，对所述初始预测模型的训练过程，即是不断调整初始生成网络和初始判别网络的过程，对该初始预测模型的训练可由服务器执行，也可由其他模型训练设备执行，该其他模型训练设备可将训练完成的目标预测模型配置到服务器上，以使得服务器可基于获得的第一图像和第二图像进行预测图像的生成，即转而执行步骤S404。
S404，获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的。
S405，调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量。
S406，根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像。
在步骤S404～步骤S406中，服务器在调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像时，服务器可先确定在不同时间序列对所述目标对象进行采集得到的图像之间的转换关系；从而可调用所述目标预测模型提取所述第一图像的特征信息，并根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像。具体地，若所述第一图像对应第一时间序列，所述中间图像对应第二时间序列，以及所述预测图像的第一分量对应于第三时间序列，则所述服务器确定的所述第一时间序列采集的图像和在所述第二时间序列采集的图像之间的转换关系可以为第一转换关系，所述第一时间序列采集的图像和所述第三时间序列采集的图像之间的转换关系则为第二转换关系，进一步地，服务器在根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像时，服务器则可根据所述第一转换关系和所述特征信息，预测在第二时间序列采集的中间图像，以及根据所述第二转换关系和所述特征信息，预测在第三时间序列采集的预测图像的第一分量。
在一个实施例中，所述目标对象包括人体部位，服务器可在接收到图像预测指令时，对人体部位进行图像采集，得到所述人体部位在第一时间序列对应的第一检测图像，以及在第二时间序列对应的第二检测图像，其中，所述第一时间序列的各时间节点早于所述第二时间序列的各时间节点，进一步地，可调用所述目标预测模型对所述第一检测图像和第二检测图像进行基于时间的图像预测处理，得到第三时间序列的第三检测图像，所述第三时间序列的各时间节点晚于所述第二时间序列的各时间节点，若所述第一时间序列对应的第一检测图像为动脉期图像，第二时间序列对应的第二检测图像为静脉期图像时，得到的第三时间序列的第三检测图像则为延迟期图像，请参见图6a，由60标记的图像为进行图像采集得到的动脉期图像，由61标记的图像为进行图像采集得到的静脉期图像，基于该动脉期图像和静脉期图像，可得到延迟期的预测图像62。如图6b所示，为采集得到的延迟期图像(由63标记)和预测得到的延迟期图像62的对比，由此可见，基于目标预测模型进行预测得到的延迟期图像和直接进行图像采集得到的延迟期图像的差异很小，也就是说，初始预测模型中的判别网络无法判别基于目标预测模型生成的预测图像62和采集得到的延迟图像之间的差异。
在本发明实施例中，为了训练得到用于进行图像预测的预测模型，以缩短图像采集时间，可先基于在不同时间序列获取的样本图像对初始预测模型进行训练，获取的所述样本图像可以是分别在三个时间序列下进行采集得到的第一样本图像，第二样本图像和第三样本图像，从而可基于该第一样本图像，第二样本图像和第三样本图像对初始预测模型进行训练，在训练过程中，可调用该初始预测模型对第一样本图像和第二样本图像进行基于时间的图像预测处理，得到第三样本图像对应的预测图像，从而可基于第三样本图像和对应的预测图像之间的差异，对该初始预测模型进行训练，得到目标预测模型，可实现对处于三个不同时间序列的图像的相互转换，而基于不同时间序列图像对初始预测模型的循环训练，可有效避免模型的坍塌的风险，从而提高了模型训练结果的准确度，而且由于采集的样本仅是基于时间序列差异的图像，降低了样本数据的难度，可使得模型训练效率的有效提升，在训练得到目标预测模型后，则可基于该目标预测模型对获取的第一图像和第二图像进行预测，可有效缩短图像采集时间，从而提升图像处理效率。
基于上述图像处理方法实施例的描述，本发明实施例还提出了一种图像处理装置，该图像处理装置可以是运行于上述服务器中的一个计算机程序(包括程序代码)。该图像处理装置可用于执行如图2和图4所述的图像处理方法，请参见图7，该图像处理装置可包括：获取单元701、预测单元702和确定单元703。
获取单元701，用于获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；
预测单元702，用于调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；
确定单元703，用于根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像；
其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同。
在一个实施例中，所述预测单元702，具体用于：
确定在不同时间序列对所述目标对象进行采集得到的图像之间的转换关系；
调用所述目标预测模型提取所述第一图像的特征信息，并根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像。
在一个实施例中，所述确定单元703，具体用于：
确定所述第一图像对应的第一时间序列，所述中间图像对应的第二时间序列，以及所述预测图像的第一分量对应的第三时间序列；
确定在所述第一时间序列采集的图像和在所述第二时间序列采集的图像之间的第一转换关系，并确定在所述第一时间序列采集的图像和在所述第三时间序列采集的图像之间的第二转换关系；
所述预测单元702，具体用于：
根据所述第一转换关系和所述特征信息，预测在第二时间序列采集的中间图像，以及根据所述第二转换关系和所述特征信息，预测在第三时间序列采集的预测图像的第一分量。
在一个实施例中，所述目标对象包括人体部位，所述装置还包括：采集单元704。
采集单元704，用于响应于图像预测指令，采集所述人体部位在第一时间序列进行检测得到的第一检测图像，以及在第二时间序列进行检测得到的第二检测图像，其中，所述第一时间序列的各时间节点早于所述第二时间序列的各时间节点；
所述预测单元702，还用于调用所述目标预测模型对所述第一检测图像和第二检测图像进行基于时间的图像预测处理，得到第三时间序列的第三检测图像，所述第三时间序列的各时间节点晚于所述第二时间序列的各时间节点。
在一个实施例中，所述装置还包括：训练单元705。
所述获取单元701，还用于获取样本图像集，所述样本图像集包括第一样本图像、第二样本图像和第三样本图像，所述第一样本图像、所述第二样本图像和所述第三样本图像是对所述目标对象在不同时间序列下进行采集得到的；
所述预测单元702，还用于调用初始预测模型对所述第一样本图像和所述第二样本图像进行基于时间的图像预测处理，得到预测图像；
训练单元705，用于确定所述预测图像与所述第三样本图像之间的差异，并按照所述差异训练所述初始预测模型得到目标预测模型。
在一个实施例中，所述初始预测模型包括初始生成网络，所述训练单元705，具体用于：
获取损失函数，并将所述预测图像和所述第三样本图像代入所述损失函数，计算对应的损失值；
其中，所述损失值用于反映所述预测图像和所述第三样本图像之间的差异。
在一个实施例中，所述初始预测模型还包括初始判别网络，所述损失函数包括对抗误差函数和循环一致性误差函数；
所述训练单元705，具体用于：
根据所述初始生成网络和所述初始判别网络之间的对抗训练，确定所述对抗误差函数值；以及，
调用所述初始预测模型对所述预测图像进行基于时间的图像预测处理，确定所述第一样本图像对应的循环预测图像；
根据所述第一样本图像对应的循环预测图像以及所述第一样本图像，确定所述循环一致性误差函数值；
根据所述对抗误差函数值和循环一致性误差函数值，确定所述损失函数对应的损失值。
在一个实施例中，所述初始预测模型包括初始生成网络，所述训练单元705，具体用于：
调整所述损失值，以增大所述初始生成网络在所述初始预测模型中的参数，并减小所述初始判别网络在所述初始预测模型中的参数。
在本发明实施例中，采集单元704在采集到第一图像和第二图像后，预测单元702可调用目标预测模型对该第一图像和第二图像进行预测，得到第三图像的预测图像，从而可有效缩减图像采集时间，提升了对目标对象进行图像采集时的采集效率，以及对采集到的图像进行处理的处理效率。在目标对象为人体部位时，可有效缩短对人体部位进行检测的时间，可按照前序时间序列采集的图像的特征信息，实现对未来时间序列的图像的预测过程，可有效缩短像采集时间，有助于提升图像采集效率。
请参见图8，是本发明实施例提供的一种服务器的结构示意性框图。如图8所示的本实施例中的服务器可包括：一个或多个处理器801；一个或多个输入设备802，一个或多个输出设备803和存储器804。上述处理器801、输入设备802、输出设备803和存储器804通过总线805连接。存储器804用于存储计算机程序，所述计算机程序包括程序指令，处理器801用于执行所述存储器804存储的程序指令。
所述存储器804可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器804也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器804还可以包括上述种类的存储器的组合。
所述处理器801可以是中央处理器(central processing unit，CPU)。所述处理器801还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器801也可以为上述结构的组合。
本发明实施例中，所述存储器804用于存储计算机程序，所述计算机程序包括程序指令，处理器801用于执行存储器804存储的程序指令，用来实现上述如图2和图4中相应方法的步骤。
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；
调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；
根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像；
其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同。
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
确定在不同时间序列对所述目标对象进行采集得到的图像之间的转换关系；
调用所述目标预测模型提取所述第一图像的特征信息，并根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像。
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
确定所述第一图像对应的第一时间序列，所述中间图像对应的第二时间序列，以及所述预测图像的第一分量对应的第三时间序列；
确定在所述第一时间序列采集的图像和在所述第二时间序列采集的图像之间的第一转换关系，并确定在所述第一时间序列采集的图像和在所述第三时间序列采集的图像之间的第二转换关系；
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
根据所述第一转换关系和所述特征信息，预测在第二时间序列采集的中间图像，以及根据所述第二转换关系和所述特征信息，预测在第三时间序列采集的预测图像的第一分量。
在一个实施例中，所述目标对象包括人体部位，所述处理器801被配置调用所述程序指令，用于执行：
响应于图像预测指令，采集所述人体部位在第一时间序列进行检测得到的第一检测图像，以及在第二时间序列进行检测得到的第二检测图像，其中，所述第一时间序列的各时间节点早于所述第二时间序列的各时间节点；
调用所述目标预测模型对所述第一检测图像和第二检测图像进行基于时间的图像预测处理，得到第三时间序列的第三检测图像，所述第三时间序列的各时间节点晚于所述第二时间序列的各时间节点。
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
获取样本图像集，所述样本图像集包括第一样本图像、第二样本图像和第三样本图像，所述第一样本图像、所述第二样本图像和所述第三样本图像是对所述目标对象在不同时间序列下进行采集得到的；
调用初始预测模型对所述第一样本图像和所述第二样本图像进行基于时间的图像预测处理，得到预测图像；
确定所述预测图像与所述第三样本图像之间的差异，并按照所述差异训练所述初始预测模型得到目标预测模型。
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
获取损失函数，并将所述预测图像和所述第三样本图像代入所述损失函数，计算对应的损失值；
其中，所述损失值用于反映所述预测图像和所述第三样本图像之间的差异。
在一个实施例中，所述初始预测模型还包括初始判别网络，所述损失函数包括对抗误差函数和循环一致性误差函数；
所述处理器801被配置调用所述程序指令，用于执行：
根据所述初始生成网络和所述初始判别网络之间的对抗训练，确定所述对抗误差函数值；以及，
调用所述初始预测模型对所述预测图像进行基于时间的图像预测处理，确定所述第一样本图像对应的循环预测图像；
根据所述第一样本图像对应的循环预测图像以及所述第一样本图像，确定所述循环一致性误差函数值；
根据所述对抗误差函数值和循环一致性误差函数值，确定所述损失函数对应的损失值。
在一个实施例中，所述处理器801被配置调用所述程序指令，用于执行：
调整所述损失值，以增大所述初始生成网络在所述初始预测模型中的参数，并减小所述初始判别网络在所述初始预测模型中的参数。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的局部实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；
调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；
根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像；
其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同。
2.根据权利要求1所述的方法，其特征在于，所述调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像，包括：
确定在不同时间序列对所述目标对象进行采集得到的图像之间的转换关系；
调用所述目标预测模型提取所述第一图像的特征信息，并根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像。
3.根据权利要求2所述的方法，其特征在于，所述确定在不同时间序列对所述目标对象进行采集得到的图像之间的转换关系，包括：
确定所述第一图像对应的第一时间序列，所述中间图像对应的第二时间序列，以及所述预测图像的第一分量对应的第三时间序列；
确定在所述第一时间序列采集的图像和在所述第二时间序列采集的图像之间的第一转换关系，并确定在所述第一时间序列采集的图像和在所述第三时间序列采集的图像之间的第二转换关系；
所述根据所述转换关系和所述特征信息，预测得到所述预测图像的第一分量和所述中间图像，包括：
根据所述第一转换关系和所述特征信息，预测在第二时间序列采集的中间图像，以及根据所述第二转换关系和所述特征信息，预测在第三时间序列采集的预测图像的第一分量。
4.根据权利要求1所述的方法，其特征在于，所述目标对象包括人体部位，所述方法还包括：
响应于图像预测指令，采集所述人体部位在第一时间序列进行检测得到的第一检测图像，以及在第二时间序列进行检测得到的第二检测图像，其中，所述第一时间序列的各时间节点早于所述第二时间序列的各时间节点；
调用所述目标预测模型对所述第一检测图像和第二检测图像进行基于时间的图像预测处理，得到第三时间序列的第三检测图像，所述第三时间序列的各时间节点晚于所述第二时间序列的各时间节点。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本图像集，所述样本图像集包括第一样本图像、第二样本图像和第三样本图像，所述第一样本图像、所述第二样本图像和所述第三样本图像是对所述目标对象在不同时间序列下进行采集得到的；
调用初始预测模型对所述第一样本图像和所述第二样本图像进行基于时间的图像预测处理，得到预测图像；
确定所述预测图像与所述第三样本图像之间的差异，并按照所述差异训练所述初始预测模型得到目标预测模型。
6.根据权利要求5所述的方法，其特征在于，所述初始预测模型包括初始生成网络，所述确定所述预测图像与所述第三样本图像之间的差异，包括：
获取损失函数，并将所述预测图像和所述第三样本图像代入所述损失函数，计算对应的损失值；
其中，所述损失值用于反映所述预测图像和所述第三样本图像之间的差异。
7.根据权利要求6所述的方法，其特征在于，所述初始预测模型还包括初始判别网络，所述损失函数包括对抗误差函数和循环一致性误差函数；
所述将所述预测图像和所述第三样本图像代入所述损失函数，计算对应的损失值，包括：
根据所述初始生成网络和所述初始判别网络之间的对抗训练，确定所述对抗误差函数值；以及，
调用所述初始预测模型对所述预测图像进行基于时间的图像预测处理，确定所述第一样本图像对应的循环预测图像；
根据所述第一样本图像对应的循环预测图像以及所述第一样本图像，确定所述循环一致性误差函数值；
根据所述对抗误差函数值和循环一致性误差函数值，确定所述损失函数对应的损失值。
8.根据权利要求6所述的方法，其特征在于，所述按照所述差异训练所述初始预测模型得到目标预测模型，包括：
调整所述损失值，以增大所述初始生成网络在所述初始预测模型中的参数，并减小所述初始判别网络在所述初始预测模型中的参数。
9.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理的图像集，所述图像集包括第一图像和第二图像，所述第一图像和所述第二图像是对目标对象在不同时间序列下进行采集得到的；
预测单元，用于调用目标预测模型对所述第一图像进行基于时间的图像预测处理得到预测图像的第一分量和中间图像；及对所述中间图像进行所述基于时间的图像预测处理得到所述预测图像的第二分量；以及对所述第二图像进行所述基于时间的图像预测处理得到所述预测图像的第三分量；
确定单元，用于根据所述预测图像的第一分量、所述第二分量和所述第三分量，确定所述预测图像；
其中，所述预测图像用于指示所述目标对象在目标时间序列的图像，所述目标时间序列和所述第一图像对应的时间序列不同，且和所述第二图像对应的时间序列不同。
10.一种服务器，其特征在于，包括处理器、存储器和通信接口，所述处理器、所述存储器和所述通信接口相互连接，其中，所述存储器用于存储计算机程序指令，所述处理器被配置用于执行所述程序指令，实现如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-8任一项所述的方法。
CN202010020875.3A 2020-01-08 2020-01-08 一种图像处理方法、装置、服务器及存储介质 Active CN111182219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020875.3A CN111182219B (zh) 2020-01-08 2020-01-08 一种图像处理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020875.3A CN111182219B (zh) 2020-01-08 2020-01-08 一种图像处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111182219A true CN111182219A (zh) 2020-05-19
CN111182219B CN111182219B (zh) 2023-04-07

Family

ID=70654588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020875.3A Active CN111182219B (zh) 2020-01-08 2020-01-08 一种图像处理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111182219B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853738A (zh) * 2019-10-12 2020-02-28 北京量健智能科技有限公司 一种造影剂作用下的成像方法与设备
EP4148679A1 (en) * 2021-09-09 2023-03-15 GE Precision Healthcare LLC Learning-based domain transformation for medical images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003656A (ja) * 2007-06-20 2009-01-08 Monolith Co Ltd 画像処理装置および画像処理方法
WO2012008217A1 (ja) * 2010-07-14 2012-01-19 株式会社日立メディコ 超音波画像の画像復元方法およびその装置並びに超音波診断装置
JP2018124639A (ja) * 2017-01-30 2018-08-09 日本電気株式会社 データ分析システム、データ分析方法およびプログラム
CN109003270A (zh) * 2018-07-23 2018-12-14 北京市商汤科技开发有限公司 一种图像处理方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003656A (ja) * 2007-06-20 2009-01-08 Monolith Co Ltd 画像処理装置および画像処理方法
WO2012008217A1 (ja) * 2010-07-14 2012-01-19 株式会社日立メディコ 超音波画像の画像復元方法およびその装置並びに超音波診断装置
JP2018124639A (ja) * 2017-01-30 2018-08-09 日本電気株式会社 データ分析システム、データ分析方法およびプログラム
CN109003270A (zh) * 2018-07-23 2018-12-14 北京市商汤科技开发有限公司 一种图像处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁帅;秦贵和;晏婕;: "应用残差生成对抗网络的路况视频帧预测模型" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853738A (zh) * 2019-10-12 2020-02-28 北京量健智能科技有限公司 一种造影剂作用下的成像方法与设备
CN110853738B (zh) * 2019-10-12 2023-08-18 拜耳股份有限公司 一种造影剂作用下的成像方法与设备
EP4148679A1 (en) * 2021-09-09 2023-03-15 GE Precision Healthcare LLC Learning-based domain transformation for medical images

Also Published As

Publication number Publication date
CN111182219B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110009640B (zh) 处理心脏视频的方法、设备和可读介质
CN110574077A (zh) 利用虚拟三维深层神经网络的影像分析装置及方法
CN111182219B (zh) 一种图像处理方法、装置、服务器及存储介质
KR20210005206A (ko) 이미지 처리 방법, 전자 기기 및 저장 매체
CN111626956B (zh) 图像去模糊方法和装置
CN111369522B (zh) 基于生成对抗卷积神经网络的光场显著性目标检测方法
WO2022179083A1 (zh) 图像检测方法、装置、设备、介质和程序
CN113361489B (zh) 基于解耦表示的人脸正面化模型构建方法和训练方法
CN110738103A (zh) 活体检测方法、装置、计算机设备和存储介质
CN113688804B (zh) 基于多角度视频的动作识别方法及相关设备
Wang et al. Segmentation of ultrasound brachial plexus based on U-Net
WO2021258284A1 (en) Edge processing data de-identification
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN110288668B (zh) 图像生成方法、装置、计算机设备及存储介质
LU500799B1 (en) Method and System for Calculating Quantitative Indicators for Evaluating Myocardial Involvement in Patients with SLE
CN112634224B (zh) 基于目标影像的病灶检测方法和装置
CN105476636A (zh) 一种实时磁共振成像数据采集分析方法及系统
Thakral et al. An innovative intelligent solution incorporating artificial neural networks for medical diagnostic application
CN116912264A (zh) 图像配准分割联合模型训练方法及装置
Xiao et al. Learning Motion Based Auxiliary Task for Cardiomyopathy Recognition with Cardiac Magnetic Resonance Images
CN114325523B (zh) T1值确定方法、装置、电子设备和存储介质
CN117828320B (zh) 一种虚拟数字人构建方法及其系统
US20240153089A1 (en) Systems and methods for processing real-time cardiac mri images
CN116563404B (zh) 单期扫描影像图像质量控制方法、装置、电子设备及存储介质
CN117274761B (zh) 图像生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant