CN111323775A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111323775A
CN111323775A CN202010061547.8A CN202010061547A CN111323775A CN 111323775 A CN111323775 A CN 111323775A CN 202010061547 A CN202010061547 A CN 202010061547A CN 111323775 A CN111323775 A CN 111323775A
Authority
CN
China
Prior art keywords
image
original image
frame
original
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010061547.8A
Other languages
English (en)
Inventor
周康明
何敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010061547.8A priority Critical patent/CN111323775A/zh
Publication of CN111323775A publication Critical patent/CN111323775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质，计算机设备获取按时间顺序排列的原始图像序列；其中，原始图像序列包括至少三张原始图像；然后，通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；最后，基于插帧图像以及替代图像，获得目标图像序列。采用上述方法可以避免插帧模型获得的图像与原始图像之间的像素跳跃，提升目标图像序列的连贯性。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
为了满足雷达图像的系统展示以及气象精细化分析需求，通常需要对采集获得的传统雷达图像进行插帧处理。传统雷达图像为6分钟一张，而在精细化地展现雷达回波的历史推演或未来趋势的需求下，需要提供的雷达图像频次约为1分钟一张。
传统技术中，计算机设备将雷达图像输入插帧模型，在相邻两张雷达图像之间补充额外的插帧图像，使得系统展示的雷达图像中包含的帧数更多。例如，计算机设备可以在相邻的两张原始雷达图像中，通过插帧模型获得3张插帧图像，使得原始雷达图像与插帧图像合成的图像频次约为1分钟一张。
但是，由于插帧模型对雷达图像中像素权重较低部分图像的损失计算比较困难，使得插帧模型获得的插帧图像与原始雷达图像对比，在边缘部分或弱雷达回波部分像素跳跃幅度较大，导致视频连贯性差。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，上述方法包括：
获取按时间顺序排列的原始图像序列；原始图像序列包括至少三张原始图像；
通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；
基于插帧图像以及替代图像，获得目标图像序列。
在其中一个实施例中，上述通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像，包括：
在原始图像序列中确定待替换的原始图像；
将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像。
在其中一个实施例中，上述基于插帧图像以及替代图像，获得目标图像序列，包括：
将插帧图像插入原始图像序列中，并将待替换的原始图像更新为替代图像，得到目标图像序列。
在其中一个实施例中，上述在原始图像序列中确定待替换的原始图像，包括：
在对第一原始图像和第二原始图像进行插帧的过程中，判断第一原始图像是否为原始图像序列中的第一张图像；第一原始图像和第二原始图像为原始图像序列中的相邻两张图像；
若否，则确定第一原始图像为待替换的原始图像。
在其中一个实施例中，上述将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像之前，包括：
通过插帧模型获得第一原始图像以及第二原始图像之间的第一插帧图像，并将第一插帧图像插入原始图像序列；
通过插帧模型获得第一原始图像以及第一插帧图像之间的第二插帧图像，并将第二插帧图像插入原始图像序列。
在其中一个实施例中，上述将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像，包括：
将当前图像序列中位于第一原始图像之前的插帧图像，以及第二插帧图像输入插帧模型，获得第一原始图像的替代图像。
在其中一个实施例中，上述在原始图像序列中确定待替换的原始图像，包括：
在确定完原始图像序列的所有插帧图像之后，基于原始图像对应的时间，确定原始图像是否为待替换的原始图像。
一种图像处理装置，上述装置包括：
第一获取模块，用于获取按时间顺序排列的原始图像序列；原始图像序列包括至少三张原始图像；
替代模块，用于通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；
第二获取模块，用于基于插帧图像以及替代图像，获得目标图像序列。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，上述处理器执行计算机程序时实现上述图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述图像处理方法的步骤。
上述图像处理方法、装置、计算机设备和存储介质，计算机设备获取按时间顺序排列的原始图像序列；其中，原始图像序列包括至少三张原始图像；然后，通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换原始图像对应的替代图像；最后，基于插帧图像以及替代图像，获得目标图像序列。由于计算机设备通过插帧模型获取原始图像序列的插帧图像，并通过插帧图像获得与待替换的原始图像对应的替代图像，使得获得的目标图像序列中连续多张图像均为插帧模型获得的，避免了插帧模型获得的图像与原始图像之间的像素跳跃，从而提升了目标图像序列的连贯性。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为另一个实施例中图像处理方法的流程示意图；
图4为另一个实施例中图像处理方法的流程示意图；
图4A为另一个实施例中图像处理方法的示意图；
图5为一个实施例中图像处理装置的结构框图；
图6为另一个实施例中图像处理装置的结构框图；
图7为另一个实施例中图像处理装置的结构框图；
图8为另一个实施例中图像处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，计算机设备100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。上述方法可以应用于雷达图像的平滑处理，也可以用于视频慢动作的实现，在此不做限定。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的计算机设备为例进行说明，包括：
S101、获取按时间顺序排列的原始图像序列；原始图像序列包括至少三张原始图像。
其中，上述原始图像序列包括至少三张原始图像，上述原始图像可以是视频中的图像，也可以是连续拍摄的图片，还可以是根据采集设备采集的数据生成的图像，例如气象云图或者雷达回波图等；对于上述原始图像的类型在此不做限定。
上述原始图像可以是像素密度为100的图像，也可以是像素密度为50的图像；可以是JPG格式的图像，也可以是RAW格式的图像，对于上述原始图像的参数和格式在此不做限定。
上述原始图像序列中，各原始图像按时间顺序排列；其中，相邻两张原始图像之间的时间间隔可以相同，也可以不同，在此不做限定。
具体地，计算机设备在获取原始图像序列时，可以在与计算机连接的数据库中调用原始图像序列，也可以接收与计算机设备连接的采集设备发送的原始图像；另外，还可以调用存储在计算机设备中的图像，对于上述原始图像序列的获取方式，在此不做限定。
其中，计算机设备在接收采集设备发送的原始图像时，可以同时接收原始图像序列中的所有原始图像，也可以分时接收原始图像然后在计算机设备中形成原始图像序列，在此不做限定。
S102、通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像。
其中，上述插帧模型可以是深度学习模型，也可以是插值算法模型，对于上述插帧模型的类型在此不做限定。计算机设备将相邻两张原始图像输入插帧模型之后，可以获得两张原始图像的中间变化特征的插帧图像。其中，上述两张原始图像之间的插帧图像的数量可以是一张，也可以是多张，在此不做限定。
具体地，计算机设备在通过预设的插帧模型获取原始图像序列的插帧图像时，可以将原始图像序列中的所有原始图像同时输入插帧模型，获得所有插帧图像，也可以将原始图像序列中的其中两张原始图像输入插帧模型，获得上述两张原始图像中的插帧图像；对于上述插帧图像的获取方式在此不做限定。
上述待替换的原始图像可以是按照预定规则选择的图像，也可以是基于用户选择携带相应标识的原始图像，在此不做限定。
具体地，计算机设备可以将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，通过插帧模型获得与待替换的原始图像对应的替代图像。
计算机设备获取替代图像时，可以在获得原始图像序列的所有插帧图像之后再获取原始图像的替代图像，也可以是遍历获取相邻两张原始图像的插帧图像的过程中，获取原始图像的替代图像，在此不做限定。
S103、基于插帧图像以及替代图像，获得目标图像序列。
在上述步骤的基础上，计算机设备获得目标图像序列时，可以是在获取了插帧图像以及替代图像的基础上，将插帧图像插入原始图像序列中，并将待替换的原始图像更新为替代图像，得到目标图像序列；可选地，计算机设备还可以在获取一张插帧图像或替代图像之后，直接插入原始图像序列中，待最后一张插帧图像或替代图像获取完成之后，可以得到目标图像序列；对于上述目标图像序列的获取方式在此不做限定。
上述图像处理方法，计算机设备获取按时间顺序排列的原始图像序列；其中，原始图像序列包括至少三张原始图像；然后，通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与原始图像时间相邻的两张插帧图像获得原始图像对应的替代图像；最后，基于插帧图像以及替代图像，获得目标图像序列。由于计算机设备通过插帧模型获取原始图像序列的插帧图像，并通过插帧图像获得与原始图像对应的替代图像，使得获得的目标图像序列中连续多张图像均为插帧模型获得的，避免了插帧模型获得的图像与原始图像之间的像素跳跃，从而提升了目标图像序列的连贯性。
图3为另一个实施例中图像处理方法的流程示意图，本实施例涉及计算机设备获取替代图像的一种方式，在上述实施例的基础上，如图3所示，上述S102包括：
S201、在原始图像序列中确定待替换的原始图像。
具体地，计算机设备可以根据原始图像与插帧图像的像素跳跃幅度，来确定哪些原始图像需要被替代；另外，计算机设备还可以在原始图像序列中随机挑选部分原始图像作为待替换的原始图像；对于上述确定方式在此不做限定。
S202、将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像。
计算机设备确定了待替换的原始图像之后，可以将与待替换的原始图像时间相邻的两张插帧图像输入插帧模型，得到替代图像。
上述图像处理方法，计算机设备在获取替换图像之前，先确定出待替换的原始图像，使得计算机设备在对原始图像序列进行处理的过程中，可以更明确地获取待替换的原始图像的替代图像，从而获得更流畅的目标图像序列。
图4为另一个实施例中图像处理方法的流程示意图，本实施例涉及计算机设备在原始图像序列中确定待替换的原始图像的一种方式，在上述实施例的基础上，如图4所示，上述S201包括：
S301、在对第一原始图像和第二原始图像进行插帧的过程中，判断第一原始图像是否为原始图像序列中的第一张图像；第一原始图像和第二原始图像为原始图像序列中的相邻两张图像。
计算机设备可以在遍历获取相邻两张原始图像的插帧图像的过程中，确定原始图像序列中的待替换的原始图像。在上述遍历过程中，计算机设备可以确定相邻的第一原始图像和第二原始图像中，第一原始图像是否为原始图像序列中的第一张图像。具体地，计算机设备可以根据第一原始图像携带的序列标识来确定，也可以根据第一原始图像携带的时间标识来确定，在此不做限定。
S302、若否，则确定第一原始图像为待替换的原始图像。
若第一原始图像不是原始图像序列中的第一张图像，那么计算机设备可以确定该第一原始图像为待替换的原始图像，可以在遍历获取相邻两张原始图像的插帧图像的过程中，获取该第一原始图像的替代图像；若第一原始图像为原始图像序列中的第一张图像，那么计算机设备可以确定该第一原始图像不可被替换。
在一个应用场景中，上述第一原始图像和第二原始图像之间的插帧图像可以为3张，计算机设备获取替代图像之前，可以通过插帧模型获得第一原始图像以及第二原始图像之间的第一插帧图像，并将第一插帧图像按时间顺序插入原始图像序列；然后，通过插帧模型获得第一原始图像以及第一插帧图像之间的第二插帧图像，并将第二插帧图像按时间顺序插入原始图像序列。
进一步地，计算机设备可以通过插帧模型获取第二原始图像与第一插帧图像之间的第三插帧图像，也就是说计算机设备一共获取了第一原始图像和第二原始图像之间的3张插帧图像。
若第一原始图像为待替换的原始图像，计算机已经获得了该第一原始图像，以及位于该第一原始图像之前的原始图像的插帧图像。计算机设备可以将当前图像序列中位于第一原始图像之前的插帧图像，以及第二插帧图像输入插帧模型，获得第一原始图像的替代图像。例如，将对当前第一原始图像与位于当前第一原始图像之前的原始图像之间，获得的第三插帧图像，与当前获取的第二插帧图像输入插帧模型，获取上述替代图像。
以4张原始雷达图像组成的原始图像序列为例，对上述步骤进行说明。上述原始图像序列中，4张雷达图像之间的时间间隔为6分钟，为了满足雷达图像的展示需求，需要在相邻两张原始雷达图像之间获得三张插帧图像，使得获得的目标图像序列中，相邻两张雷达图像的时间间隔为1.5分钟，可以满足雷达图像的展示需求。上述原始图像序列可以是{P0,P1,P2,P3}，在遍历过程中，计算机设备可以依次将P0、P1、P2标记为第一原始图像img-pre，同时将P1、P2、P3标记为第二原始图像img-after。当i＝0时，P0为img-pre，P1为img-after；当i＝1时，P1为img-pre，P2为img-after；当i＝2时，P2为img-pre，P3为img-after，其中，i表示遍历次数。
当i＝0时，计算机设备可以调用插帧模型insert(img-pre,img-after，insert2)，将获得的P0和P1的第一插帧图像标记为insert2；进一步地，计算机设备可以调用插帧模型insert(img-pre,insert2，insert1)，将获得的P0和P1的第二插帧图像标记为insert1；由于i＝0时，计算机设备判断第一原始图像P0为原始图像序列中的第一张图像，因此P0不可被替换，计算机设备可以调用插帧模型insert(insert2,img-after，insert3)，将获得P0和P1的第三插帧图像标记为insert3。
如图4A所示，当i＝1时，计算机设备可以调用插帧模型insert(img-pre,img-after，insert2)，将获得的P1和P2的第一插帧图像标记为inser2；进一步地，计算机设备可以调用插帧模型insert(img-pre,insert2，insert1)，将获得的P1和P2的第二插帧图像标记为insert1。当i＝1时，计算机设备判断第一原始图像P1为待替换的原始图像，计算机设备根据当前标记为insert3的P0和P1的第三插帧图像与当前标记的insert1，调用插帧模型insert(insert3,insert1，img-pre)，将获得的P1的替代图像标记为img-pre，替代当前的P1。最后，计算机设备可以调用插帧模型insert(insert2,img-after，insert3)，将获得的P1和P2的第三插帧图像标记为insert3。
当i＝2时的过程与i＝1时类似，依次调用insert(img-pre,img-after，insert2)、insert(img-pre,insert2，insert1)、insert(insert3,insert1，img-pre)以及insert(insert2,img-after，insert3)，获得三张插帧图像以及替代图像。在上述步骤的基础上，计算机设备可以获得的目标图像序列中，包含了原始图像P0和P3、9张插帧图像以及P1和P2的替代图像。
上述图像处理方法，计算机设备在遍历过程中及时获取待替换的原始图像的替代图像，使得计算机设备可以通过一次遍历获得原始图像之间的插帧图像，以及待替换的原始图像的替代图像，并在遍历结束后直接输出目标图像序列，提升了图像处理的效率。
在一个实施例中，涉及计算机设备确定待替换的原始图像的另一种方式，计算机设备可以在确定完原始图像序列的所有插帧图像之后，基于原始图像对应的时间，确定原始图像是否为待替换的原始图像。
计算机设备可以先获取原始图像序列的所有插帧图像，然后根据原始图像携带的时间信息，确定哪一个原始图像是可以被替换的。具体地，计算机设备可以根据各原始图像之间的时间间隔来确认哪一个原始图像可以被替换；还可以是根据原始图像的时间的先后顺序，确定哪一个图像是第一张原始图像以及最后一张原始图像，然后将原始图像序列中除第一张原始图像以及最后一张原始图像之外的其余图像，均确定为待替换的原始图像；另外，计算机设备还可以根据时间将某一时间段内的原始图像确定为待替换的原始图像，对于上述确定方式在此不做限定。
例如，上述原始图像为雷达图像，相邻原始图像之间的时间间隔为6分钟，计算机设备获取了所有插帧图像之后，可以将与第一张原始图像间隔为6的整数倍的图像确定为待替换的原始图像，然后再根据该原始图像的时间以及获得的插帧图像的时间，确定选择哪一组插帧图像去获取该原始图像的替代图像。
上述图像处理方法，计算机设备在确定完原始图像序列的所有插帧图像之后，基于原始图像对应的时间确定原始图像是否为待替换的原始图像，可以更灵活地将原始图像序列中需要替换的确定出来，从而使得计算机设备可以快速准确地获得替代图像，进而得到连续的目标图像序列。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种图像处理装置，包括：第一获取模块10、替代模块20和第二获取模块30，其中：
第一获取模块10，用于获取按时间顺序排列的原始图像序列；原始图像序列包括至少三张原始图像；
替代模块20，用于通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；
第二获取模块30，用于基于插帧图像以及替代图像，获得目标图像序列。
本申请实施例提供的图像处理装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，在上述实施例的基础上，如图6所示，上述替代模块20包括：
确定单元201，用于在原始图像序列中确定待替换的原始图像；
输入单元202，用于将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像。
在一个实施例中，在上述实施例的基础上，上述第二获取模块30具体用于：将插帧图像插入原始图像序列中，并将待替换的原始图像更新为替代图像，得到目标图像序列。
在一个实施例中，在上述实施例的基础上，如图7所示，上述确定单元201包括：
判断子单元2011，用于在对第一原始图像和第二原始图像进行插帧的过程中，判断第一原始图像是否为原始图像序列中的第一张图像；第一原始图像和第二原始图像为原始图像序列中的相邻两张图像；
确定子单元2012，用于在第一原始图像不是原始图像序列中的第一张图像时，确定第一原始图像为待替换的原始图像。
在一个实施例中，在上述实施例的基础上，如图8所示，上述替代模块20还包括：
第一获取单元203，用于通过插帧模型获得第一原始图像以及第二原始图像之间的第一插帧图像，并将第一插帧图像插入原始图像序列；
第二获取单元204，用于通过插帧模型获得第一原始图像以及第一插帧图像之间的第二插帧图像，并将第二插帧图像插入原始图像序列。
在一个实施例中，在上述实施例的基础上，输入单元202具体用于：将当前图像序列中位于第一原始图像之前的插帧图像，以及第二插帧图像输入插帧模型，获得第一原始图像的替代图像。
在一个实施例中，在上述实施例的基础上，上述确定单元201具体用于：在确定完原始图像序列的所有插帧图像之后，基于原始图像对应的时间，确定原始图像是否为待替换的原始图像。
本申请实施例提供的图像处理装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取按时间顺序排列的原始图像序列；原始图像序列包括至少三张原始图像；
通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；
基于插帧图像以及替代图像，获得目标图像序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在原始图像序列中确定待替换的原始图像；将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将插帧图像插入原始图像序列中，并将待替换的原始图像更新为替代图像，得到目标图像序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在对第一原始图像和第二原始图像进行插帧的过程中，判断第一原始图像是否为原始图像序列中的第一张图像；第一原始图像和第二原始图像为原始图像序列中的相邻两张图像；若否，则确定第一原始图像为待替换的原始图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过插帧模型获得第一原始图像以及第二原始图像之间的第一插帧图像，并将第一插帧图像插入原始图像序列；通过插帧模型获得第一原始图像以及第一插帧图像之间的第二插帧图像，并将第二插帧图像插入原始图像序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将当前图像序列中位于第一原始图像之前的插帧图像，以及第二插帧图像输入插帧模型，获得第一原始图像的替代图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在确定完原始图像序列的所有插帧图像之后，基于原始图像对应的时间，确定原始图像是否为待替换的原始图像。
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取按时间顺序排列的原始图像序列；原始图像序列包括至少三张原始图像；
通过预设的插帧模型获取原始图像序列的插帧图像，并通过插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；
基于插帧图像以及替代图像，获得目标图像序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在原始图像序列中确定待替换的原始图像；将与待替换的原始图像时间相邻的前后两张插帧图像输入插帧模型，得到替代图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将插帧图像插入原始图像序列中，并将待替换的原始图像更新为替代图像，得到目标图像序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在对第一原始图像和第二原始图像进行插帧的过程中，判断第一原始图像是否为原始图像序列中的第一张图像；第一原始图像和第二原始图像为原始图像序列中的相邻两张图像；若否，则确定第一原始图像为待替换的原始图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过插帧模型获得第一原始图像以及第二原始图像之间的第一插帧图像，并将第一插帧图像插入原始图像序列；通过插帧模型获得第一原始图像以及第一插帧图像之间的第二插帧图像，并将第二插帧图像原始图像序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将当前图像序列中位于第一原始图像之前的插帧图像，以及第二插帧图像输入插帧模型，获得第一原始图像的替代图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在确定完原始图像序列的所有插帧图像之后，基于原始图像对应的时间，确定原始图像是否为待替换的原始图像。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取按时间顺序排列的原始图像序列；所述原始图像序列包括至少三张原始图像；
通过预设的插帧模型获取原始图像序列的插帧图像，并通过所述插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得所述待替换的原始图像对应的替代图像；
基于所述插帧图像以及所述替代图像，获得目标图像序列。
2.根据权利要求1所述的图像处理方法，其特征在于，所述通过所述插帧模型以及与待替换的原始图像时间相邻的前后两张插帧图像获得所述待替换的原始图像对应的替代图像，包括：
在所述原始图像序列中确定所述待替换的原始图像；
将与所述待替换的原始图像时间相邻的前后两张插帧图像输入所述插帧模型，得到所述替代图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述插帧图像以及所述替代图像，获得目标图像序列，包括：
将所述插帧图像插入所述原始图像序列中，并将所述待替换的原始图像更新为所述替代图像，得到所述目标图像序列。
4.根据权利要求2所述的图像处理方法，其特征在于，所述在所述原始图像序列中确定所述待替换的原始图像，包括：
在对第一原始图像和第二原始图像进行插帧的过程中，判断所述第一原始图像是否为所述原始图像序列中的第一张图像；所述第一原始图像和所述第二原始图像为所述原始图像序列中的相邻两张图像；
若否，则确定所述第一原始图像为待替换的原始图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述将与所述待替换的原始图像时间相邻的前后两张插帧图像输入所述插帧模型，得到所述替代图像之前，包括：
通过所述插帧模型获得第一原始图像以及第二原始图像之间的第一插帧图像，并将所述第一插帧图像插入所述原始图像序列；
通过所述插帧模型获得所述第一原始图像以及所述第一插帧图像之间的第二插帧图像，并将所述第二插帧图像插入所述原始图像序列。
6.根据权利要求5所述的图像处理方法，其特征在于，所述将与所述待替换的原始图像时间相邻的前后两张插帧图像输入所述插帧模型，得到所述替代图像，包括：
将当前图像序列中位于所述第一原始图像之前的插帧图像，以及所述第二插帧图像输入所述插帧模型，获得所述第一原始图像的替代图像。
7.根据权利要求2所述的图像处理方法，其特征在于，所述在所述原始图像序列中确定待替换的原始图像，包括：
在确定完所述原始图像序列的所有插帧图像之后，基于所述原始图像对应的时间，确定所述原始图像是否为待替换的原始图像。
8.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取按时间顺序排列的原始图像序列；所述原始图像序列包括至少三张原始图像；
替代模块，用于通过预设的插帧模型获取原始图像序列的插帧图像，并通过所述插帧模型以及与所述原始图像时间相邻的前后两张插帧图像获得待替换的原始图像对应的替代图像；
第二获取模块，用于基于所述插帧图像以及所述替代图像，获得目标图像序列。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010061547.8A 2020-01-19 2020-01-19 图像处理方法、装置、计算机设备和存储介质 Pending CN111323775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010061547.8A CN111323775A (zh) 2020-01-19 2020-01-19 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010061547.8A CN111323775A (zh) 2020-01-19 2020-01-19 图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111323775A true CN111323775A (zh) 2020-06-23

Family

ID=71168762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010061547.8A Pending CN111323775A (zh) 2020-01-19 2020-01-19 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111323775A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596843A (zh) * 2020-12-29 2021-04-02 北京元心科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309823A (ja) * 2002-04-15 2003-10-31 Matsushita Electric Ind Co Ltd フレームレート変換方法
CN1832564A (zh) * 2005-03-09 2006-09-13 索尼株式会社 图像处理装置和方法
CN101662632A (zh) * 2008-08-26 2010-03-03 索尼株式会社 画面信号处理单元、图像显示单元以及画面信号处理方法
CN101924936A (zh) * 2009-06-12 2010-12-22 索尼公司 图像帧内插设备、图像帧内插方法和图像帧内插程序
CN102811331A (zh) * 2011-06-01 2012-12-05 索尼公司 图像处理装置、图像处理方法和程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309823A (ja) * 2002-04-15 2003-10-31 Matsushita Electric Ind Co Ltd フレームレート変換方法
CN1832564A (zh) * 2005-03-09 2006-09-13 索尼株式会社 图像处理装置和方法
CN101662632A (zh) * 2008-08-26 2010-03-03 索尼株式会社 画面信号处理单元、图像显示单元以及画面信号处理方法
CN101924936A (zh) * 2009-06-12 2010-12-22 索尼公司 图像帧内插设备、图像帧内插方法和图像帧内插程序
CN102811331A (zh) * 2011-06-01 2012-12-05 索尼公司 图像处理装置、图像处理方法和程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596843A (zh) * 2020-12-29 2021-04-02 北京元心科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112596843B (zh) * 2020-12-29 2023-07-25 北京元心科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3068137A1 (en) Method and device for image processing
US11025879B2 (en) Image processing apparatus, image processing method, and storage medium storing program
US20160112757A1 (en) Server, client and video processing method
CN107801093B (zh) 视频渲染方法、装置、计算机设备和可读存储介质
CN110378230A (zh) 失踪人脸识别方法、装置、计算机设备和存储介质
CN110913272A (zh) 视频播放方法、装置、计算机可读存储介质和计算机设备
CN111091146B (zh) 图片相似度获取方法、装置、计算机设备及存储介质
CN110457361B (zh) 特征数据获取方法、装置、计算机设备和存储介质
CN111323775A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111857803A (zh) 页面更新方法、装置、服务器及存储介质
CN114781653A (zh) 基于人工智能的模型训练方法、系统、设备及存储介质
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN110659373A (zh) 图像检索的方法、设备、计算机设备和存储介质
US20150379728A1 (en) Method for generating a motion field for a video sequence
JP4940024B2 (ja) 情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラム
US20180199019A1 (en) Digital image conversion method and apparatus, storage medium, and device
CN106570068B (zh) 信息推荐方法及装置
CN112561954B (zh) 目标对象跟踪轨迹的确定方法和装置、存储介质
CN111027469B (zh) 人体部位识别方法、计算机设备和可读存储介质
CN110825693A (zh) 医学数据存储方法、装置和可读存储介质
CN109871958B (zh) 训练模型的方法、装置及设备
CN114501117B (zh) 一种多平台消息同步合并方法、系统、电子设备和存储介质
WO2022242568A1 (zh) 防抖效果评估方法、装置、计算机设备和存储介质
CN114998814A (zh) 目标视频生成方法、装置、计算机设备和存储介质
CN110830848B (zh) 图像插值方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220920

AD01 Patent right deemed abandoned