CN112788235A - 图像处理方法、装置、终端设备及计算机可读取存储介质 - Google Patents

图像处理方法、装置、终端设备及计算机可读取存储介质 Download PDF

Info

Publication number
CN112788235A
CN112788235A CN202011632556.4A CN202011632556A CN112788235A CN 112788235 A CN112788235 A CN 112788235A CN 202011632556 A CN202011632556 A CN 202011632556A CN 112788235 A CN112788235 A CN 112788235A
Authority
CN
China
Prior art keywords
frame
video image
video
sequence
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011632556.4A
Other languages
English (en)
Other versions
CN112788235B (zh
Inventor
杨国基
陈泷翔
刘致远
刘炫鹏
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202011632556.4A priority Critical patent/CN112788235B/zh
Publication of CN112788235A publication Critical patent/CN112788235A/zh
Application granted granted Critical
Publication of CN112788235B publication Critical patent/CN112788235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种图像处理方法、装置、终端设备及计算机可读存储介质，涉及计算机视觉技术领域。该图像处理方法应用于终端设备，方法包括：获取待处理的视频图像序列，所述视频图像序列包括多帧视频图像；根据所述终端设备的性能状态，确定插帧策略；根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。本方法可以较为有效地实现视频插帧。

Description

图像处理方法、装置、终端设备及计算机可读取存储介质
技术领域
本申请涉及计算机视觉技术领域，更具体地，涉及一种图像处理方法、装置、终端设备及计算机可读取存储介质。
背景技术
随着计算机视觉技术的迅速发展，人们对于视频帧率的追求越来越高，高帧率视频能极大的提升人们的观看体验。人们为了观看到流畅度更高的视频，现有相机拍摄的视频帧率也从25FPS提升到60FPS，再到240FPS甚至更高，但仅靠相机的硬件迭代来提升帧率，成本较大，因此视频插帧技术应运而生。
视频插帧的目的是根据低帧率视频来生成高帧率视频，视频插帧的一般操作是给定当前帧图像和下一帧图像，生成中间帧。然而，插帧操作的过程需要消耗较多的运算资源，进而增加了系统负担，导致视频插帧的效率降低。因此，现有插帧技术存在不合理之处。
发明内容
本申请提出了一种图像处理方法、装置、终端设备及计算机可读取存储介质。
第一方面，本申请实施例提供了一种图像处理方法，应用于终端设备，该方法包括：获取待处理的视频图像序列，所述视频图像序列包括多帧视频图像；根据所述终端设备的性能状态，确定插帧策略；根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
可选的，根据所述终端设备的性能状态，确定插帧策略，包括：当所述终端设备的性能状态满足第一预设状态时，确定与所述第一预设状态对应的第一插帧策略；所述根据所述插帧策略，对所述视频图像序列进行插帧处理操作，包括：根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，其中，所述过渡帧图像根据所述视频图像预估生成；在所述视频图像序列中的其他部分相邻两帧视频图像之间插入所述第一预设数量的复制帧图像，其中，所述复制帧图像根据所述视频图像复制生成。
可选的，根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，包括：确定所述视频图像序列中的关键视频图像；获取所述关键视频图像的相邻视频图像；在所述关键视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
可选的，根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，还包括：将所述视频图像序列分离成奇数帧视频图像和偶数帧视频图像；获取指定帧视频图像的相邻视频图像，所述指定帧视频图像为所述奇数帧视频图像或所述偶数帧视频图像；在所述指定帧视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
可选的，根据所述终端设备的性能状态，确定插帧策略，还包括：当所述终端设备的性能状态满足第二预设状态时，确定与所述第二预设状态对应的第二插帧策略，其中，所述第二预设状态优于所述第一预设状态；所述根据所述插帧策略，对所述视频图像序列进行插帧处理操作，包括：根据所述第二插帧策略，在所述视频图像序列中的所有相邻两帧视频图像之间插入第二预设数量的过渡帧图像。
可选的，获取待处理的视频图像序列，包括：当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列，所述目标状态用于表征所述终端设备执行插帧处理操作时所需的最低性能状态。
可选的，在所述当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列之前，所述方法还包括：从所述服务器端获取帧数据量，所述帧数据量为待处理的视频图像序列的数据量；根据所述帧数据量，确定与所述帧数据量对应的目标状态，所述目标状态为所述终端设备对所述视频图像序列执行插帧处理操作时所需的最低性能状态；检测所述终端设备的性能状态是否满足所述目标状态。
可选的，当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列，包括：当检测到所述终端设备的性能状态满足目标状态时，发送指示指令至服务器，所述指示指令用于指示所述服务器发送待插帧处理的视频图像序列至终端设备；接收服务器根据所述指示指令发送的待插帧处理的视频图像序列。
可选的，在所述当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列之前，所述方法还包括：发送所述终端设备的性能数据至所述服务器，所述服务器用于根据所述性能数据确定所述终端设备的性能状态是否满足目标状态；当接收到所述服务器返回的目标指令时，确定检测到所述终端设备的性能状态满足目标状态，所述目标指令为所述服务器确定所述终端设备的性能状态满足目标状态时生成。
可选的，待处理的视频图像序列为所述服务器根据用户输入的交互信息生成的答复视频图像，所述答复视频图像中包含虚拟机器人，在所述根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列之后，所述方法还包括：根据所述目标视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
可选的，所述方法还包括：当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器端获取指定视频图像帧序列，所述指定视频图像帧序列为所述服务器对所述视频图像序列执行所述插帧处理操作后的图像序列；根据所述指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
可选的，所述方法还包括：当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器获取默认视频图像，所述默认视频图像为所述服务器根据用户输入的交互信息确定的默认答复图像；根据所述默认视频图像，生成并输出默认答复视频。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
获取模块，用于获取待处理的视频图像序列，所述视频图像序列包括多帧视频图像；
确定模块，用于根据所述终端设备的性能状态，确定插帧策略；
处理模块，用于根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
可选的，确定模块可以包括：
第一确定单元，用于当所述终端设备的性能状态满足第一预设状态时，确定与所述第一预设状态对应的第一插帧策略。
处理模块可以包括：
部分插帧单元，用于根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，其中，所述过渡帧图像根据所述视频图像预估生成；
复制单元，用于在所述视频图像序列中的其他部分相邻两帧视频图像之间插入所述第一预设数量的复制帧图像，其中，所述复制帧图像根据所述视频图像复制生成。
可选的，部分插帧单元可以具体用于：确定所述视频图像序列中的关键视频图像；获取所述关键视频图像的相邻视频图像；在所述关键视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
可选的，部分插帧单元也可以具体用于：将所述视频图像序列分离成奇数帧视频图像和偶数帧视频图像；获取指定帧视频图像的相邻视频图像，所述指定帧视频图像为所述奇数帧视频图像或所述偶数帧视频图像；在所述指定帧视频图像与所述相邻视频图像之间插入所述第一预设数量的过渡帧图像。
可选的，确定模块可以包括：
第二确定单元，用于当所述终端设备的性能状态满足第二预设状态时，确定与所述第二预设状态对应的第二插帧策略，其中，所述第二预设状态优于所述第一预设状态。
处理模块可以包括：全部插帧单元，用于根据所述第二插帧策略，在所述视频图像序列中的所有相邻两帧视频图像之间插入第二预设数量的过渡帧图像。
可选的，获取模块可以包括：
获取单元，用于当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列，所述目标状态用于表征所述终端设备执行插帧处理操作时所需的最低性能状态。
可选的，图像处理装置还可以包括：
帧数据量获取模块，用于从所述服务器端获取帧数据量，所述帧数据量为待处理的视频图像序列的数据量；
目标状态确定模块，用于根据所述帧数据量，确定与所述帧数据量对应的目标状态，所述目标状态为所述终端设备对所述视频图像序列执行插帧处理操作时所需的最低性能状态；
性能状态检测模块，用于检测所述终端设备的性能状态是否满足所述目标状态。
可选的，获取单元可以具体用于：当检测到所述终端设备的性能状态满足目标状态时，发送指示指令至服务器，所述指示指令用于指示所述服务器发送待插帧处理的视频图像序列至终端设备；接收服务器根据所述指示指令发送的待插帧处理的视频图像序列。
可选的，图像处理装置还可以包括：
性能数据发送模块，用于发送所述终端设备的性能数据至所述服务器，所述服务器用于根据所述性能数据确定所述终端设备的性能状态是否满足目标状态；
性能状态确定模块，用于当接收到所述服务器返回的目标指令时，确定检测到所述终端设备的性能状态满足目标状态，所述目标指令为所述服务器确定所述终端设备的性能状态满足目标状态时生成。
可选的，所述待处理的视频图像序列为所述服务器根据用户输入的交互信息生成的答复视频图像，所述答复视频图像中包含虚拟机器人，图像处理装置还可以包括：
应用模块：用于根据所述目标视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
可选的，图像处理装置还可以包括：
第一性能检测模块，用于当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器端获取指定视频图像帧序列，所述指定视频图像帧序列为所述服务器对所述视频图像序列执行所述插帧处理操作后的图像序列；
第一输出模块，用于根据所述指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
可选的，图像处理装置还可以包括：
第二性能检测模块，用于当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器获取默认视频图像，所述默认视频图像为所述服务器根据用户输入的交互信息确定的默认答复图像；
第二输出模块，用于根据所述默认视频图像，生成并输出默认答复视频。
第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的图像方法、装置、终端设备及存储介质，在获取待处理的视频图像序列之后，根据终端设备的性能状态，确定插帧策略，并根据该插帧策略，对该待处理的视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。由此，终端设备可以确定与自身性能状态适配的插帧策略，并通过该插帧策略执行对应的插帧操作，进而充分利用终端设备的计算资源，提高插帧操作的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例的图像处理方法流程图。
图2示出了本申请另一个实施例的图像处理方法流程图。
图3示出了本申请另一个实施例的图像处理方法中步骤S230的一种流程图。
图4示出了本申请另一个实施例的图像处理方法中步骤S230的另一种流程图。
图5示出了本申请又一个实施例的图像处理方法流程图。
图6示出了本申请再一个实施例的图像处理方法流程图。
图7示出了本申请还一个实施例的图像处理方法流程图。
图8示出了本申请又另一个实施例的图像处理方法流程图。
图9示出了本申请又再一个实施例的图像处理方法流程图。
图10示出了本申请又还一个实施例的图像处理方法流程图。
图11示出了本申请一个实施例的图像处理装置的一种框图。
图12是本申请实施例的用于执行根据本申请实施例的图像处理方法的终端设备的框图。
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在视频方面，目前终端生产商试图通过视频插帧技术来提升视频观看体验。例如，在观看体育赛事等节目时，经常会出现快速移动的物体，这个时候通过运动预估和运动补偿(Motion Estimate and Motion Compensation，MEMC)技术对视频进行优化，视频画面流畅度会有比较明显的提升，画面更加平滑流畅。
然而，发明人在研究中发现，在不同的应用场景中，视频插帧对运行相关插帧算法的系统性能都有一定的要求，由于视频插帧操作需要占用较多的计算资源以及内存资源，进而降低了系统进行插帧操作的效率。因此，为了克服上述缺陷，本申请实施例提供了一种图像处理方法，请参阅图1，图1示出了本申请实施例提供的一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S110至S130。
S110：获取待处理的视频图像序列。
考虑到视频插帧处理需要消耗大量的存储、运算资源，因此在本申请实施例中，终端设备进行视频插帧处理时，可以根据自身的性能状态决定插帧操作的策略，以达到根据适配当前系统性能状态的插帧策略，对获取的待处理的视频图像序列进行插帧的目的。
其中，待处理的视频图像序列是指终端设备进行插帧操作的对象，可以为多帧视频图像，可以理解的是，终端设备进行插帧操作的多帧视频图像，即为一个个连续的视频帧所组成的序列，在一些实施例中，多帧视频图像可以是用于生成数字人帧视频的连续的若干视频帧，每个视频帧对应该帧视频的一帧画面。
作为一种实施方式，上述待处理的视频图像序列可以是由服务器生成，也可以是由其他电子设备生成，此处不作限定。在一些实施例中，当服务器完成帧视频的生成后，终端设备可以通过应用程序接口(Application Programming Interface，API)从服务器调取生成的帧视频。其中，该服务器可以是针对不同应用场景，进行帧视频生成的特定服务器。终端设备可以包括智能手机、平板以及计算机等具有存储和运算功能的电子设备。例如，在使用虚拟数字人进行智能化妆的应用场景中，智能手机可以通过智能化妆应用软件提供的API获取存储于服务器中的数字人帧视频，进而对该数字人帧视频进行插帧操作。
在另一些实施例中，终端设备在获取待处理的多帧视频图像后，可以对该多帧视频图像进行分辨率调整和帧率转换，也可以首先对该多帧视频图像进行去噪处理，然后再对经过去噪处理后的该多个视频帧进行分辨率调整和帧率转换，从而为该多帧视频图像的插帧操作提供预处理，提高插帧操作的质量，降低实际插帧操作所需要的时间。本申请中对该多帧视频图像是否经过去噪等预处理不做限定，只要该多帧视频图像为待插帧的原始视频帧即可。
S120：根据所述终端设备的性能状态，确定插帧策略。
在本申请实施例中，终端设备获取待处理的视频图像序列之后，终端设备为了具备适配其执行插帧操作的运行能力，可以预先评估自身的性能状态，进一步地，根据自身的性能状态，确定插帧策略。其中，性能状态是指用于衡量终端设备系统性能的指标。具体地，该性能状态可以包括系统的算力、响应时间、中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)的运算时间、内存利用率等能够用于判断系统运行性能的指标，此处不做限定。插帧策略可以是指终端设备执行插帧操作的方法。具体地，该插帧策略可以包括全插帧方法以及部分插帧方法，全插帧方法是指在获取待插帧的多帧视频图像之后，对该多帧视频图像的所有视频帧执行插帧操作，部分插帧方法是指在获取待插帧的多帧视频图像之后，对该多帧视频图像的部分视频帧执行插帧操作。
作为一种实施方式，终端设备在获取待插帧的多帧视频图像之后，可以评估当前时刻下自身的性能状态，具体地，对于PC端计算机来说可以通过查询当前时刻下计算机的内存利用率以及GPU运算性能来进行性能状态的评估。例如，PC端计算机可以通过在GPU上运行通用矩阵乘(General Matrix Multiplication，GEMM)算法，测试当前时刻下GPU的计算性能，以此作为该计算机的性能状态。
在一些实施例中，终端设备完成自身性能状态的评估后，可以根据该性能状态进行插帧策略的确定，具体地，终端设备可以对自身的性能状态进行不同等级的划分，进一步地，为不同等级的性能状态匹配对应的插帧策略。例如，通过测试智能手机GPU的计算性能，得到当前时刻下该智能手机的性能状态处于超强状态等级时，可以为该智能手机匹配全插帧方法策略，同理，当前时刻下该智能手机的性能状态处于良好状态等级时，可以为该智能手机匹配部分插帧方法策略。
S130：根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
在本申请实施例中，确定插帧策略后，终端设备可以根据确定的不同插帧策略，对视频图像序列进行对应的插帧处理操作。其中，插帧操作是指基于插帧策略，对视频图像序列中指定的若干或全部视频帧序列进插入新的视频帧。具体地，终端设备根据不同的插帧策略，可以在给定的两个连续的视频帧In和视频帧In+1中插入新的视频帧
Figure BDA0002880400740000081
可选的，终端设备可以通过以下至少一种算法对待处理的视频图像序列进行插帧操作，生成目标视频图像帧序列：光流算法、有监督学习算法、无监督学习算法、深度学习算法。在终端设备完成插帧操作后，可以将插帧处理后的目标视频图像序列进行输出显示。
作为一种实施方式，终端设备可以在确定插帧策略为全插帧方法后，根据该插帧策略对待处理的视频图像序列进行全插帧操作。例如，智能手机在确定全插帧策略后，可以使用SuperSloMo神经网络，对待插帧的数字人帧视频中的所有视频帧进行插帧操作。
在本申请实施例中，终端设备获取待处理的视频图像序列之后，根据该终端设备的性能状态，确定插帧策略，然后根据该插帧策略，对视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。与传统的技术方案相比，终端设备可以确定与其性能状态适配的插帧策略，并通过该插帧策略执行对应的插帧操作，进而充分利用终端设备的计算资源，提高插帧操作的效率。
请参阅图2，图2示出了本申请实施例提供的另一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S210至S240。
S210：获取待处理的视频图像序列。
在本申请实施例中，步骤S210的具体描述可以参考前述实施例中的内容，在此不再赘述。
S220：当所述终端设备的性能状态满足第一预设状态时，确定与所述第一预设状态对应的第一插帧策略。
在本申请实施例中，终端设备获取待处理的视频图像序列之后，可以通过预先评估自身的性能状态，进一步地，根据自身的性能状态进行确定插帧策略。其中，第一预设状态可以是指，当前时刻下，终端设备的性能状态能够达到满足确定第一插帧策略的条件，也即终端设备拥有的计算能力可以用来进行第一插帧策略下的插帧操作，第一预设状态可以预先进行设置，例如，计算机预先设定自身的第一预设状态为内存利用率在30％至60％的范围，当检测到自身的内存利用率在该范围内时，就可以确定该第一预设状态对应的第一插帧策略。
在一些实施例中，终端设备在评估自身的性能状态后，可以判断当前时刻下，自身的性能状态是否满足第一预设状态，若满足，可以确定插帧策略为第一插帧策略，例如，PC端计算机在获取待处理的视频图像序列之后，通过查询当前CPU和内存的利用率来判断自身的性能状态是否满足第一预设状态，当性能状态满足进行简单插帧操作的条件，也即第一预设状态，确定与第一预设状态匹配的第一插帧策略。在另一些实施例中，终端设备若判断自身的性能状态不满足第一预设状态，则可以确定插帧策略不为第一插帧策略。
作为一种实施方式，终端设备若判断自身的性能状态不满足第一预设状态，可以是结束流程，终端设备不进行插帧处理。作为另一种实施方式，终端设备若判断自身的性能状态不满足第一预设状态，也可以进一步判断自身的性能状态是否满足第二预设状态，以确定终端设备的性能状态是否可以执行其他插帧策略。具体地，若满足第二预设状态，可以确定插帧操作策略为第二插帧策略。若终端设备的性能状态也不满足第二预设状态，则可以结束流程，终端设备不进行插帧处理。
S230：根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像。
在本申请实施例中，过渡帧图像是终端设备根据待处理的视频图像序列预估生成。第一预设数量为插入的过渡帧图像的数量，该第一预设数量可以根据终端设备行能状态进行预先设定。作为一种实施方式，待处理的视频图像序列可以是以时间为顺序构成的视频帧集合A。终端设备可以从该视频帧集合A中获取一段连续时间顺序的视频帧集合
Figure BDA0002880400740000101
进一步地，根据该视频帧集合B利用插帧算法生成过渡帧，插帧算法可以包括光流算法、深度学习算法。例如，Kaveri架构中AMD Fluid Motion(AFM)插帧技术，通过计算一段连续视频帧的差别与运动轨迹来产生过渡帧以此来消除慢动作、运动模糊等一系列低帧视频容易产生的问题。过渡帧的补充数量则由运行AFM算法的GPU性能来决定。
作为另一种实施方式，终端设备根据第一插帧策略，也即部分插帧方法，可以在获取视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，其中，部分相邻两帧视频图像可以为终端设备从待处理的视频图像序列中指定获取的多个视频图像序列集合：{I1，I2}，{I5，I6}，…，{In，In+1}，其中，n为自然数。例如，为了避免一段动画出现跳帧的感觉，可以对该动画的部分视频图像序列进行插帧操作，终端设备可以在该动画的部分视频图像序列中获取多个两两相邻的视频帧，然后依据该两两相邻的视频帧生成过渡视频帧。
在一些实施例中，终端设备可在视频图像序列中的部分相邻两帧视频图像之间插入一定预设数量的过渡帧图像，具体地，请参阅图3，步骤S230可以包括：
S231a：确定所述视频图像序列中的关键视频图像。
作为一种实施方式，终端设备可以在待插帧的视频图像序列中，确定关键视频图像，然后对该关键视频图像进行插帧，其中，关键视频图像是指视频图像序列中指定角色或者物体在运动或者变化中的关键动作所处的视频帧，关键帧可以通过动作脚本控制Flash影片和其中的影片剪辑，可以理解的是，关键视频图像是该视频图像序列中最重要的内容组成部分。关键视频图像可以由具体应用场景进行指定的标记获取。
S232a：获取所述关键视频图像的相邻视频图像。
作为一种实施方式，终端设备在获取关键视频图像后，可以从根据关键视频图像，获取与该关键视频图像相邻的视频图像。例如，关键视频图像集合{I1，I2，I3…，In}中的任意关键帧图像In，获取与In相邻的一帧视频图像In+1构成用于生成过渡帧的视频图像集合{In，In+1}，其中，n为自然数。
此外，In还可以与任意相邻的两个以上视频帧生成过渡帧的集合{In，In+1，In+2}或者{In-1，In，In+1，In+2}等，其中，n为自然数。
S233a：在所述关键视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
作为一种实施方式，在获取关键视频图像的相邻视频图像后，终端设备可以在该相邻视频图像中间插入指定帧数的过渡帧图像。具体的，可以利用光流算法或者深度学习算法实现。例如，关键视频图像集合{I1，I2，I3…，In}中的任意关键帧图像In。获取与In相邻的一帧视频图像In+1构成用于生成过渡帧的视频图像集合{In，In+1}，然后，终端设备可以利用深度学习算法，基于集合{In，In+1}生成过渡帧
Figure BDA0002880400740000111
构成新的图像序列。
在另一些实施例中，终端设备可在视频图像序列中的部分相邻两帧视频图像之间插入一定预设数量的过渡帧图像，具体地，请参阅图4，步骤S230还可以包括：
S231b：将所述视频图像序列分离成奇数帧视频图像和偶数帧视频图像。
作为一种实施方式，终端设备可以在待插帧的视频图像序列中，确定奇数帧视频图像和偶数帧视频图像，然后对奇数帧视频图像和偶数帧视频图像进行插帧，其中，奇数帧视频图像和偶数帧视频图像是指视频图像序列中处于奇数位置或偶数位置的视频帧。具体地，终端设备可以通过隔行扫描的方式进行分离奇数帧视频图像和偶数帧视频图像，可以理解的是，每一帧被分割为两场，每一场包含了一帧中所有的奇数扫描行或者偶数扫描行，通常是先扫描奇数行得到第一场，然后扫描偶数行得到第二场。
S232b：获取指定帧视频图像的相邻视频图像，所述指定帧视频图像为所述奇数帧视频图像或所述偶数帧视频图像。
作为一种实施方式，在获取分离成奇数帧视频图像或偶数帧视频图像后，从该关键视频图像中获取待插帧的两两相邻的的视频图像，具体地，以奇数帧视频图像为例，在获取奇数帧视频图像集合{I1，I3，I5…，I2n+1}，(n为自然数)之后，奇数帧视频图像集合中奇数视频图像可以与相邻的视频图像进行组合构成生成过渡帧图像的集合，同理，偶数帧视频图像也可按上述方法获取其相邻视频图像方法。
S233b：在所述指定帧视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
在本申请实施例中，步骤S233b的具体描述可以参考前述实施例中的内容，在此不再赘述。
S240：在所述视频图像序列中的其他部分相邻两帧视频图像之间插入第一预设数量的复制帧图像，得到该第一插帧策略下，插帧处理后的目标视频图像帧序列。
在一些实施例中，当终端设备根据第一插帧策略，在视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像之后，可以在该视频图像序列中的其他部分相邻两帧视频图像之间插入第一预设数量的复制帧图像，其中，复制帧图像根据该视频图像复制生成。作为一种实施方式，复制帧是基于除指定帧视频图像之外的其他部分的视频图像复制生成。
在本申请实施例中，终端设备获取待处理的视频图像序列之后，当自身的性能状态满足第一预设状态时，确定与该第一预设状态对应的第一插帧策略，然后根据第一插帧策略，在视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，在其他部分相邻两帧视频图像之间插入第一预设数量的复制帧图像。由此，终端设备可以在不同的性能状态下，进行不同策略的插帧操作，从而有效地利用了计算资源。
请参阅图5，图5示出了本申请实施例提供的又一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S310至S330。
S310：获取待处理的视频图像序列。
在本申请实施例中，步骤S310的具体描述可以参考前述实施例中的内容，在此不再赘述。
S320：当所述终端设备的性能状态满足第二预设状态时，确定与所述第二预设状态对应的第二插帧策略，其中，所述第二预设状态优于所述第一预设状态。
在本申请实施例中，终端设备获取待处理的视频图像序列之后，可以通过预先评估自身的性能状态，进一步地，根据自身的性能状态进行确定插帧策略。其中，其中，第二预设状态可以是指，当前时刻下，终端设备的性能状态能够达到满足确定第二插帧策略的条件，也即终端设备拥有的计算能力可以用来进行第二插帧策略下的插帧操作，第二预设状态可以预先进行设置，例如，计算机预先设定自身的第一预设状态为内存利用率在10％至30％的范围，当检测到自身的内存利用率在该范围内时，就可以确定该第二预设状态对应的第二插帧策略。
作为一种实施方式，终端设备在评估自身的性能状态后，可以判断当前时刻下，自身的性能状态是否满足第二预设状态，若满足，可以确定插帧策略为第二插帧策略。例如，PC端计算机在获取待处理的视频图像序列之后，通过查询当前CPU和内存的利用率来判断自身的性能状态是否满足第二预设状态，当性能状态满足进行复杂插帧操作的条件，也即第二预设状态，确定与第二预设状态匹配的第二插帧策略。
S330：根据所述第二插帧策略，在所述视频图像序列中的所有相邻两帧视频图像之间插入第二预设数量的过渡帧图像，得到插帧处理后的目标视频图像序列。
在本申请实施例中，终端设备可以在两个输入的相邻的视频帧之间的任意时间生成过渡帧图像，作为一种实施方式，终端设备根据第二插帧策略，也即全插帧方法，可以在获取视频图像序列中的全部相邻两帧视频图像之间插入第二预设数量的过渡帧图像，其中，第二预设数量为在相邻两帧视频图像之间插入的过渡帧图像的数量，该第二预设数量可以预先设定，也可以根据终端设备行能状态确定。例如由于计算机的GPU的利用率比较高，无法对待插帧的视频图像进行复杂的插帧操作或者对数据量较大的待插帧的视频图像进行插帧操作时，计算机可以按照当前的性能状态，匹配对应于当前想能状态适合的过渡帧图像的数量。
在本申请实施例中，终端设备获取待处理的视频图像序列之后，当自身的性能状态满足第二预设状态时，确定与该第二预设状态对应的第二插帧策略，然后根据第二插帧策略，在视频图像序列中的全部相邻两帧视频图像之间插入第二预设数量的过渡帧图像，由此，终端设备可以在不同的性能状态下，进行不同策略的插帧操作，从而有效地利用了计算资源。
请参阅图6，图6示出了本申请实施例提供的再一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S410至S470。
S410：从所述服务器端获取帧数据量。
终端设备进行插帧操作时，需要判断自身计算能力，进而确定插帧策略，本申请实施例中，终端设备可以从服务器端获取帧数据量进而确定自身的计算能力。其中，帧数据量为待处理的视频图像序列的数据量，需要理解的是，视频帧通常是YUV格式，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。例如十五分钟的电影，该电影分辨率为1080p，在YUV 4:2:0格式下的帧数据量为1920x1028x12x25x15x60/8/1024/1024/1024＝62.03GB。
作为一种实施方式，终端设备在获取待处理的视频图像序列之前，可以像服务器发送确认数据量指令，该确认数据量指令可以指示服务器对待处理的视频图像序列进行数据量大小的计算，当服务器对该待处理的视频图像序列计算完数据量大小后，可以将计算结果作为帧数据量返回给终端设备。
S420：根据所述帧数据量，确定与所述帧数据量对应的目标状态。
在本申请实施例中，终端设备在从服务器端获取帧数据量后，可以根据该帧数据量，确定与该帧数据量对应的目标状态。其中，目标状态为终端设备对待处理的视频图像序列执行插帧处理操作时所需的最低性能状态。
作为一种实施方式，终端设备可以预先设定执行插帧处理操作时所需的最低性的计算资源需求，具体地，终端设备可以判断对帧数据量为l的待插帧视频图像序列执行插帧操作时，所需的终端设备最低的性能状态是αl，并将此性能状态作为目标状态。例如，PC端计算机可以将帧数据量为2GB的视频图像序列的目标状态为CPU的利用率为30％。
S430：检测所述终端设备的性能状态是否满足所述目标状态。
在本申请实施例中，终端设备确定与帧数据量对应的目标状态之后，可以判断终端设备的性能状态是否满足所述目标状态。作为一种实施方式，终端设备将获取的目标状态与当前自身的性能状态进行匹配计算，若自身的性能状态优于该目标状态，则确定终端设备的性能状态是否满足所述目标状态。
例如，PC端计算机得到帧数据量为2GB的视频图像序列的目标状态为CPU的利用率为30％，此时，PC端计算机自身的利用率为小于或者等于30％时，可以得出具有执行插帧操作的能力。
S440：当检测到所述终端设备的性能状态满足目标状态时，发送指示指令至服务器。
在本实施例中，终端设备在获取到自身的性能状态之后，可以将自身的性能状态与目标状态进行匹配检测，如果检测到终端设备的性能状态满足目标状态时，可以通过可调用的应用程序接口，从服务器获取待插帧处理的视频图像序列，为此，终端设备可以向服务器发送指示指令，该指示指令可以指示服务器将待插帧处理的视频图像序列，通过可调用的应用程序接口发送至终端设备。如果检测到终端设备的性能状态不能满足目标状态时，也可以向服务器发送指示指令，此时，该指示指令用于终端设备指示服务器对待插帧的视频图像进行插帧操作，从而插帧操作结束后，服务器返回插帧操作的结果。
S450：接收服务器根据所述指示指令发送的待插帧处理的视频图像序列。
作为一种实施方式，终端设备将指示指令发送到服务器后，服务器可以根据该指示指令将待插帧处理的视频图像序列发送给终端设备，然后终端设备接收服务器发送来的待插帧处理的视频图像序列。具体地，终端设备可以通过应用程序的API接收待插帧处理的视频图像序列。
S460：根据所述终端设备的性能状态，确定插帧策略。
S470：根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
在本申请实施例中，步骤S460和步骤S470的具体描述可以参考前述实施例中的内容，在此不再赘述。
在本申请实施例中，终端设备获取待处理的视频图像序列之前，从服务器端获取帧数据量，根据该帧数据量，确定与该帧数据量对应的目标状态以确定终端设备对视频图像序列执行插帧处理操作时所需的最低性能状态，并检测终端设备的性能状态是否满足该目标状态。由此，终端设备可以判断自身是否能够进行插帧操作，从而便于终端设备为执行插帧操作做好预备。
请参阅图7，图7示出了本申请实施例提供的还一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S510至S550。
S510：发送所述终端设备的性能数据至所述服务器。
由于终端设备进行插帧操作时，需要判断自身计算能力，进而确定插帧策略，本申请实施例中，终端设备可以将自身的性能数据发送至所述服务器，进而服务器可以确定终端设备的计算能力。
作为一种实施方式，终端设备可以获取当前时刻下自身的性能数据，并将该性能数据传输给服务器，该性能数据可以包括CPU利用率，内存占用率，此处不做限定。终端设备确定了向服务器发送性能数据的类型后，可以通过API将该性能数据传送给服务器，进而服务器根据性能数据对检测终端设备是否到达目标状态。
S520：当接收到所述服务器返回的目标指令时，确定检测到所述终端设备的性能状态满足目标状态。
在本申请实施例中，终端设备将性能数据发送至服务器后，服务器可以根据该性能数据，判断终端设备的性能状态是否达到对视频图像序列执行插帧处理操作时所需的最低性能状态。其中，目标指令为服务器确定终端设备的性能状态满足目标状态时生成。
作为一种实施方式，服务器在确定终端设备的性能状态满足目标状态时生成目标指令，并将目标指令发送至终端设备，当终端设备接收到所述服务器返回的目标指令时，确定自身的性能状态满足目标状态。
S530：当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列。
S540：根据所述终端设备的性能状态，确定插帧策略。
S550：根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
在本申请实施例中，步骤S530至步骤S550的具体描述可以参考前述实施例中的内容，在此不再赘述。
在本申请实施例中，终端设备获取待处理的视频图像序列之前，发送终端设备的性能数据至服务器，服务器用于根据所述性能数据确定所述终端设备的性能状态是否满足目标状态，当接收到服务器返回的目标指令时，确定检测到终端设备的性能状态满足目标状态。由此，终端设备可以判断自身是否能够进行插帧操作，从而便于终端设备为执行插帧操作做好预备。
请参阅图8，图8示出了本申请实施例提供的又另一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S610至S640。
S610：获取待处理的视频图像序列，所述待处理的视频图像序列为所述服务器根据用户输入的交互信息生成的答复视频图像，所述答复视频图像中包含虚拟机器人。
S620：根据所述终端设备的性能状态，确定插帧策略。
S630：根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
在本申请实施例中，步骤S610和步骤S630的具体描述可以参考前述实施例中的内容，在此不再赘述。
S640：根据所述目标视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
在本申请实施例中，终端设备从服务器获取的待插帧的视频图像序列可以是服务器根据用户输入的交互信息生成的答复视频图像，具体的，用户输入的交互信息可以是用户表情图像，语音，文本等多模态数据，答复视频图像可以是服务器在不同应用场景下生成的应用视频图像。例如，在无接触智能教育的应用场景中，基于虚拟现场，结合AR/VR技术，让老师可以远程与学生进行实时直播与互动，其中，服务器可以获取老师的动作，表情以及语音，生成虚拟数字人老师。
作为一种实施方式，终端设备可以对服务器生成的虚拟数字人进行插帧操作，也可以直接从服务器获取已经完成插帧操作的虚拟数字人。例如，用于智能教育实时直播的智能手机，可以根据自身的性能状态，虚拟数字人老师进行插帧操作。若自身计算能力达到插帧操作的要求时，可以在智能手机上对虚拟数字人老师进行插帧操作。若自身计算能力未达到插帧操作的要求时，可以发送指令，指示服务器完成对虚拟数字人老师的插帧操作。然后再从服务器获取插帧后的虚拟数字人老师，用于直播显示。
其中，待插帧的虚拟数字人老师可以是服务器利用人工智能技术对直播老师的形态，表情和功能进行仿真后，输出的高度拟人化的虚拟形象。其中，人工智能技术可以包括图像，视频相关的推理引擎，三维重建、表情合成、唇语合成，动作匹配，在此不做限定。
在本申请实施例中，通过插帧处理，在得到目标视频图像帧序列之后，终端设备根据该目标视频图像帧序列，生成并输出包含虚拟机器人的答复视频，从而可以基于用户输入的交互信息，生成与交互内容匹配的个性化多模态的虚拟数字人形象，提高虚拟数字人生成的质量。
请参阅图9，图9示出了本申请实施例提供的又再一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S710至S770。
S710：检测所述终端设备的性能状态是否满足目标状态。若是，则执行步骤S720至步骤S750。若否，则执行步骤S760和步骤S770。
S720：获取待处理的视频图像序列。
S730：根据所述终端设备的性能状态，确定插帧策略。
S740：根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
在本申请实施例中，步骤S720至步骤S740的具体描述可以参考前述实施例中的内容，在此不再赘述。
S750：根据所述目标视频图像序列，生成并输出包含所述虚拟机器人的答复视频。
作为一种实施方式，终端设备在对获取的待处理的视频图像序列进行插帧操作之后，得到插帧处理过的目标视频图像帧序列，进而可以输出目标视频图像帧序列。例如，在数字人应用场景中，终端设备对待插帧的数字人帧视频进行插帧操作后，最终得到合成的数字人视频。
S760：从所述服务器端获取指定视频图像帧序列，所述指定视频图像帧序列为所述服务器对所述视频图像序列执行所述插帧处理操作后的图像序列。
其中，指定视频图像帧序列为服务器对视频图像序列执行插帧处理操作后的图像序列。由于不同的应用场景对插帧操作有不同的要求，所以当终端设备具有的性能状态无法满足插帧操作的要求时，可以通过服务器进行插帧操作。
作为一种实施方式，终端设备在检测到自身的计算能力无法满足插帧所需要的最低性能状态时，可以直接从服务器调取由服务器执行插帧操作后的到的目标视频图像帧序列。例如，智能手机检测到自身当前时刻下的计算能力无法对待插帧的视频图像序列进行插帧操作，智能手机可以发送插帧指令至服务器，进一步地，服务器根据插帧指令对视频图形序列进行插帧，从而终端设备可以从服务器接收插帧操作处理后的目标视频图像帧序列。
S770：根据所述指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
在本申请实施例中，终端设备可以从服务器获取目标视频图像帧序列，该目标视频图像帧序列由服务器进行插帧操作后生成，进步一地，终端设备可以基于该目标视频图像帧序列生成对应于不同应用场景的虚拟机器人的答复视频，并用于输出显示。其中，虚拟机器人的答复视频是根据具体的应用场景，按照终端设备的用户需求进行生成。
例如，3D智能政务应用场景中，智能显示屏可以基于服务器生成的视频图像帧序列生成并显示虚拟政务数字人，该虚拟政务数字人用于智能客服、政务服务回访功能。在本申请实施例中，终端设备当检测到自身的性能状态不满足目标状态时，从服务器端获取指定视频图像帧序列，根据指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。由此，避免了在自身算力不足的情况下无法进行插帧操作。此外，终端设备当检测到自身的性能状态不满足目标状态时，还可从服务器获取默认视频图像，从而有效应对了由自身性能状态无发进行插帧的情况。
请参阅图10，图10示出了本申请实施例提供的又还一个图像处理方法。该方法应用于终端设备，该终端设备可以是具有支持数据存储和计算能力的各种终端设备。具体地，该方法包括：S810至S870。
S810：检测所述终端设备的性能状态是否满足目标状态。若是，则执行步骤S820至步骤S850。若否，则执行S860和步骤S870。
S820：获取待处理的视频图像序列。
S830：根据所述终端设备的性能状态，确定插帧策略。
S840：根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
S850：根据所述目标视频图像序列，生成并输出包含所述虚拟机器人的答复视频。在本申请实施例中，步骤S820至步骤S850的具体描述可以参考前述实施例中的内容，在此不再赘述。
S860：从所述服务器获取默认视频图像，所述默认视频图像为所述服务器根据用户输入的交互信息确定的默认答复图像。
由于不同的终端设备具有不同的计算能力，同一应用场景下的插帧插帧操作，在不同终端设备进行插帧操作时会出现不同的情况，例如，在待插帧的视频图像序列的数据量很大时，智能手机可能无法进行插帧操作，而硬件配置较高的PC端计算机可以进行插帧操作。因此，当终端设备因计算能力无法进行插帧时，可以从服务器直接获取默认视频图像。其中，默认视频图像为服务器根据用户输入的交互信息确定的默认答复图像，包括不同应用场景下，常用的表情图像，短视频，文本。例如，服务器可以为智能手机通话场景，预先生成通话未接通时的默认提示图片。
S870：根据所述默认视频图像，生成并输出默认答复视频。
终端设备在无法进行插帧操作时，可显示基于默认的答复图像生成的默认答复视频，以便快速回复终端设备的用户，减少等待时间。例如，在银行大厅的智能业务办理机器上，用户在使用虚拟业务数字人进行查询业务办理时，该业务办理机器的性能状态无法对待插帧的数字人视频进行插帧操作时，可以从服务器获取常用的查询业务界面，以便快速回应用户。
在本申请实施例中，终端设备当检测到自身的性能状态不满足目标状态时，从服务器端获取指定视频图像帧序列，根据指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频，由此，避免了在自身算力不足的情况下无法进行插帧操作。此外，终端设备当检测到自身的性能状态不满足目标状态时，还可从服务器获取默认视频图像，从而有效应对了由自身性能状态无发进行插帧的情况。
请参阅图11，其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用于终端设备。该图像处理装置400包括：
获取模块410，用于获取待处理的视频图像序列，该视频图像序列包括多帧视频图像；
确定模块420，用于根据该终端设备的性能状态，确定插帧策略；
处理模块430，用于根据该插帧策略，对该视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
在一些实施例中，确定模块420可以包括：
第一确定单元，用于当所述终端设备的性能状态满足第一预设状态时，确定与所述第一预设状态对应的第一插帧策略；
处理模块430可以包括：
部分插帧单元，用于根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，其中，所述过渡帧图像根据所述视频图像预估生成；
复制单元，用于在所述视频图像序列中的其他部分相邻两帧视频图像之间插入所述第一预设数量的复制帧图像，其中，所述复制帧图像根据所述视频图像复制生成。
在一些实施例中，部分插帧单元可以具体用于确定所述视频图像序列中的关键视频图像；获取所述关键视频图像的相邻视频图像；在所述关键视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
在一些实施例中，部分插帧单元也可以具体用于将所述视频图像序列分离成奇数帧视频图像和偶数帧视频图像；获取指定帧视频图像的相邻视频图像，所述指定帧视频图像为所述奇数帧视频图像或所述偶数帧视频图像；在所述指定帧视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
在一些实施例中，确定模块420可以包括：
第二确定单元，用于当所述终端设备的性能状态满足第二预设状态时，确定与所述第二预设状态对应的第二插帧策略，其中，所述第二预设状态优于所述第一预设状态；
处理模块430可以包括：全部插帧单元，用于根据所述第二插帧策略，在所述视频图像序列中的所有相邻两帧视频图像之间插入第二预设数量的过渡帧图像。
在一些实施例中，获取模块410可以包括：
获取单元，用于当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列，所述目标状态用于表征所述终端设备执行插帧处理操作时所需的最低性能状态。
在一些实施例中，图像处理装置400还可以包括：
帧数据量获取模块，用于从所述服务器端获取帧数据量，所述帧数据量为待处理的视频图像序列的数据量；
目标状态确定模块，用于根据所述帧数据量，确定与所述帧数据量对应的目标状态，所述目标状态为所述终端设备对所述视频图像序列执行插帧处理操作时所需的最低性能状态；
性能状态检测模块，用于检测所述终端设备的性能状态是否满足所述目标状态。
获取单元可以具体用于：当检测到所述终端设备的性能状态满足目标状态时，发送指示指令至服务器，所述指示指令用于指示所述服务器发送待插帧处理的视频图像序列至终端设备；接收服务器根据所述指示指令发送的待插帧处理的视频图像序列。
在一些实施例中，图像处理装置400还可以包括：
性能数据发送模块，用于发送所述终端设备的性能数据至所述服务器，所述服务器用于根据所述性能数据确定所述终端设备的性能状态是否满足目标状态；
性能状态确定模块，用于当接收到所述服务器返回的目标指令时，确定检测到所述终端设备的性能状态满足目标状态，所述目标指令为所述服务器确定所述终端设备的性能状态满足目标状态时生成。
在一些实施例中，所述待处理的视频图像序列为所述服务器根据用户输入的交互信息生成的答复视频图像，所述答复视频图像中包含虚拟机器人，图像处理装置400还可以包括：
应用模块：用于根据所述目标视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
在一些实施例中，图像处理装置400还可以包括：
第一性能检测模块，用于当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器端获取指定视频图像帧序列，所述指定视频图像帧序列为所述服务器对所述视频图像序列执行所述插帧处理操作后的图像序列；
第一输出模块，用于根据所述指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
在一些实施例中，图像处理装置400还可以包括：
第二性能检测模块，用于当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器获取默认视频图像，所述默认视频图像为所述服务器根据用户输入的交互信息确定的默认答复图像；
第二输出模块，用于根据所述默认视频图像，生成并输出默认答复视频。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图12，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是PC电脑、移动终端等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种图像处理方法，其特征在于，应用于终端设备，所述方法包括：
获取待处理的视频图像序列，所述视频图像序列包括多帧视频图像；
根据所述终端设备的性能状态，确定插帧策略；
根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
2.根据权利要求1所述的方法，其特征在于，所述根据所述终端设备的性能状态，确定插帧策略，包括：
当所述终端设备的性能状态满足第一预设状态时，确定与所述第一预设状态对应的第一插帧策略；
所述根据所述插帧策略，对所述视频图像序列进行插帧处理操作，包括：
根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，其中，所述过渡帧图像根据所述视频图像预估生成；
在所述视频图像序列中的其他部分相邻两帧视频图像之间插入所述第一预设数量的复制帧图像，其中，所述复制帧图像根据所述视频图像复制生成。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，包括：
确定所述视频图像序列中的关键视频图像；
获取所述关键视频图像的相邻视频图像；
在所述关键视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一插帧策略，在所述视频图像序列中的部分相邻两帧视频图像之间插入第一预设数量的过渡帧图像，包括：
将所述视频图像序列分离成奇数帧视频图像和偶数帧视频图像；
获取指定帧视频图像的相邻视频图像，所述指定帧视频图像为所述奇数帧视频图像或所述偶数帧视频图像；
在所述指定帧视频图像与所述相邻视频图像之间插入第一预设数量的过渡帧图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述终端设备的性能状态，确定插帧策略，包括：
当所述终端设备的性能状态满足第二预设状态时，确定与所述第二预设状态对应的第二插帧策略，其中，所述第二预设状态优于所述第一预设状态；
所述根据所述插帧策略，对所述视频图像序列进行插帧处理操作，包括：
根据所述第二插帧策略，在所述视频图像序列中的所有相邻两帧视频图像之间插入第二预设数量的过渡帧图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取待处理的视频图像序列，包括：
当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列，所述目标状态用于表征所述终端设备执行插帧处理操作时所需的最低性能状态。
7.根据权利要求6所述的方法，其特征在于，在所述当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列之前，所述方法还包括：
从所述服务器端获取帧数据量，所述帧数据量为待处理的视频图像序列的数据量；
根据所述帧数据量，确定与所述帧数据量对应的目标状态，所述目标状态为所述终端设备对所述视频图像序列执行插帧处理操作时所需的最低性能状态；
检测所述终端设备的性能状态是否满足所述目标状态。
8.根据权利要求7所述的方法，其特征在于，所述当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列，包括：
当检测到所述终端设备的性能状态满足目标状态时，发送指示指令至服务器，所述指示指令用于指示所述服务器发送待插帧处理的视频图像序列至终端设备；
接收服务器根据所述指示指令发送的待插帧处理的视频图像序列。
9.根据权利要求6所述的方法，其特征在于，在所述当检测到所述终端设备的性能状态满足目标状态时，从服务器获取待处理的视频图像序列之前，所述方法还包括：
发送所述终端设备的性能数据至所述服务器，所述服务器用于根据所述性能数据确定所述终端设备的性能状态是否满足目标状态；
当接收到所述服务器返回的目标指令时，确定检测到所述终端设备的性能状态满足目标状态，所述目标指令为所述服务器确定所述终端设备的性能状态满足目标状态时生成。
10.根据权利要求6所述的方法，其特征在于，所述待处理的视频图像序列为所述服务器根据用户输入的交互信息生成的答复视频图像，所述答复视频图像中包含虚拟机器人，在所述根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列之后，所述方法还包括：
根据所述目标视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器端获取指定视频图像帧序列，所述指定视频图像帧序列为所述服务器对所述视频图像序列执行所述插帧处理操作后的图像序列；
根据所述指定视频图像帧序列，生成并输出包含所述虚拟机器人的答复视频。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
当检测到所述终端设备的性能状态不满足所述目标状态时，从所述服务器获取默认视频图像，所述默认视频图像为所述服务器根据用户输入的交互信息确定的默认答复图像；
根据所述默认视频图像，生成并输出默认答复视频。
13.一种图像处理装置，其特征在于，应用于终端设备，包括：
获取模块，用于获取待处理的视频图像序列，所述视频图像序列包括多帧视频图像；
确定模块，用于根据所述终端设备的性能状态，确定插帧策略；
处理模块，用于根据所述插帧策略，对所述视频图像序列进行插帧处理操作，得到插帧处理后的目标视频图像帧序列。
14.一种终端设备，其特征在于，包括：
存储器；
一个或多个处理器，与所述存储器耦接；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-12任一项所述的方法。
15.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-12任一项所述的方法。
CN202011632556.4A 2020-12-31 2020-12-31 图像处理方法、装置、终端设备及计算机可读取存储介质 Active CN112788235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011632556.4A CN112788235B (zh) 2020-12-31 2020-12-31 图像处理方法、装置、终端设备及计算机可读取存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011632556.4A CN112788235B (zh) 2020-12-31 2020-12-31 图像处理方法、装置、终端设备及计算机可读取存储介质

Publications (2)

Publication Number Publication Date
CN112788235A true CN112788235A (zh) 2021-05-11
CN112788235B CN112788235B (zh) 2022-01-28

Family

ID=75754756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011632556.4A Active CN112788235B (zh) 2020-12-31 2020-12-31 图像处理方法、装置、终端设备及计算机可读取存储介质

Country Status (1)

Country Link
CN (1) CN112788235B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747239A (zh) * 2021-09-08 2021-12-03 北京快来文化传播集团有限公司 视频剪辑方法及其装置
CN114205648A (zh) * 2021-12-07 2022-03-18 网易（杭州）网络有限公司 插帧方法及装置
CN114827663A (zh) * 2022-04-12 2022-07-29 咪咕文化科技有限公司 分布式直播插帧系统及方法
CN114827723A (zh) * 2022-04-25 2022-07-29 阿里巴巴（中国）有限公司 视频处理方法、装置、电子设备及存储介质
CN115278308A (zh) * 2022-07-28 2022-11-01 北京字跳网络技术有限公司 媒体流处理方法、装置、设备及存储介质
CN117956264A (zh) * 2024-03-26 2024-04-30 荣耀终端有限公司 拍摄方法、电子设备、存储介质和程序产品
CN114205648B (zh) * 2021-12-07 2024-06-04 网易（杭州）网络有限公司 插帧方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045312A (zh) * 2009-10-21 2011-05-04 三星电子（中国）研发中心 自适应转码方法和系统
CN104394486A (zh) * 2014-11-26 2015-03-04 中标软件有限公司 一种基于云桌面的视频流处理方法及装置
US9247243B1 (en) * 2012-01-02 2016-01-26 Marvell International Ltd. Interpolated video error concealment
CN110149555A (zh) * 2018-08-14 2019-08-20 腾讯科技（深圳）有限公司 视频处理方法和视频接收装置
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技（深圳）有限公司 视频帧率控制方法、装置、计算机设备及存储介质
CN111147787A (zh) * 2019-12-27 2020-05-12 Oppo广东移动通信有限公司 插帧处理方法及相关设备
CN112104879A (zh) * 2020-11-13 2020-12-18 腾讯科技（深圳）有限公司 一种视频编码方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045312A (zh) * 2009-10-21 2011-05-04 三星电子（中国）研发中心 自适应转码方法和系统
US9247243B1 (en) * 2012-01-02 2016-01-26 Marvell International Ltd. Interpolated video error concealment
CN104394486A (zh) * 2014-11-26 2015-03-04 中标软件有限公司 一种基于云桌面的视频流处理方法及装置
CN110149555A (zh) * 2018-08-14 2019-08-20 腾讯科技（深圳）有限公司 视频处理方法和视频接收装置
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技（深圳）有限公司 视频帧率控制方法、装置、计算机设备及存储介质
CN111147787A (zh) * 2019-12-27 2020-05-12 Oppo广东移动通信有限公司 插帧处理方法及相关设备
CN112104879A (zh) * 2020-11-13 2020-12-18 腾讯科技（深圳）有限公司 一种视频编码方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747239A (zh) * 2021-09-08 2021-12-03 北京快来文化传播集团有限公司 视频剪辑方法及其装置
CN113747239B (zh) * 2021-09-08 2023-05-05 北京快来文化传播集团有限公司 视频剪辑方法及其装置
CN114205648A (zh) * 2021-12-07 2022-03-18 网易（杭州）网络有限公司 插帧方法及装置
CN114205648B (zh) * 2021-12-07 2024-06-04 网易（杭州）网络有限公司 插帧方法及装置
CN114827663A (zh) * 2022-04-12 2022-07-29 咪咕文化科技有限公司 分布式直播插帧系统及方法
CN114827663B (zh) * 2022-04-12 2023-11-21 咪咕文化科技有限公司 分布式直播插帧系统及方法
CN114827723A (zh) * 2022-04-25 2022-07-29 阿里巴巴（中国）有限公司 视频处理方法、装置、电子设备及存储介质
CN114827723B (zh) * 2022-04-25 2024-04-09 阿里巴巴（中国）有限公司 视频处理方法、装置、电子设备及存储介质
CN115278308A (zh) * 2022-07-28 2022-11-01 北京字跳网络技术有限公司 媒体流处理方法、装置、设备及存储介质
CN115278308B (zh) * 2022-07-28 2023-12-01 北京字跳网络技术有限公司 媒体流处理方法、装置、设备及存储介质
CN117956264A (zh) * 2024-03-26 2024-04-30 荣耀终端有限公司 拍摄方法、电子设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN112788235B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN112788235B (zh) 图像处理方法、装置、终端设备及计算机可读取存储介质
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US20220014819A1 (en) Video image processing
US9210372B2 (en) Communication method and device for video simulation image
CN103281539A (zh) 一种图像编、解码处理的方法、装置及终端
CN112839184B (zh) 图像处理方法、装置、电子设备及存储介质
CN112633236A (zh) 图像处理方法、装置、电子设备及存储介质
CN113301355B (zh) 视频传输、直播与播放方法、设备及存储介质
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
CN113487524B (zh) 图像格式转换方法、装置、设备、存储介质及程序产品
Yang et al. A hardware-accelerated system for high resolution real-time screen sharing
CN113409203A (zh) 图像模糊程度确定方法、数据集构建方法与去模糊方法
CN113822803A (zh) 图像超分处理方法、装置、设备及计算机可读存储介质
JP2019149785A (ja) 映像変換装置及びプログラム
CN116524186A (zh) 图像处理方法及装置、电子设备、存储介质
CN113613024B (zh) 视频预处理方法及设备
US11895308B2 (en) Video encoding and decoding system using contextual video learning
CN114745555A (zh) 一种视频图像的运动估计方法及显示设备
CN114359100A (zh) 图像色彩增强方法、装置、存储介质与电子设备
CN114642002A (zh) 显示装置及其操作方法
US11037599B2 (en) Automatic slow motion video recording
Monteagudo et al. AI-based telepresence for broadcast applications
CN116193161A (zh) 一种视频插帧方法、装置和存储介质
CN116170636A (zh) 直播视频播放方法及其装置、设备、介质
CN109074631B (zh) 显示内容的处理方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant