CN114598876A - 动态图像的运动补偿方法、装置、终端设备以及存储介质 - Google Patents
动态图像的运动补偿方法、装置、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN114598876A CN114598876A CN202210214085.8A CN202210214085A CN114598876A CN 114598876 A CN114598876 A CN 114598876A CN 202210214085 A CN202210214085 A CN 202210214085A CN 114598876 A CN114598876 A CN 114598876A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- pixel point
- value
- gray value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003780 insertion Methods 0.000 claims description 21
- 230000037431 insertion Effects 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Abstract
本发明公开一种动态图像的运动补偿方法，包括：在目标动态图像中确定出目标帧和目标帧对应的参考帧；根据目标帧中目标像素点的第一灰度值和参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；在像素点差值大于第一预设阈值，且亮度差值大于第二预设阈值时，对目标帧进行复制操作，获得复制帧；将复制帧插入到目标帧和参考帧之间，以对目标动态图像进行运动补偿。本发明还公开一种动态图像的运动补偿装置、终端设备以及存储介质。利用本发明的方法，目标帧和对应的参考帧的像素点差值大于第一预设阈值，且亮度差值大于第二预设阈值时，利用对目标帧进行复制操作获得的复制帧进行运动补偿，复制帧不是错误的，动态图像播放不再异常。
Description
技术领域
本发明涉及动态图像的运动补偿技术领域，特别涉及一种动态图像的运动补偿方法、装置、终端设备以及存储介质。
背景技术
目前，终端设备通常会预置运动补偿功能(memc)，运动补偿功能能够大大的提升运动流畅度，提升了用户的观看体验。
运动补偿是根据相邻两帧画面内容进行运动侦测，根据侦测结果进行运动补偿(插帧)，即：利用相邻的两帧进行运动估计，获得插入帧，并将插入帧插入两帧之间，以实现运动补偿。
在按照现有的方法进行运动估计，来获得插入帧时，如果相邻两帧是两个截然不同场景，那么获得的插入帧便是错误的，导致动态图像播放出现异常。
发明内容
本发明的主要目的是提供一种动态图像的运动补偿方法、装置、终端设备以及存储介质，旨在解决现有技术中动态图像播放出现异常的技术问题。
为实现上述目的，本发明提出一种动态图像的运动补偿方法，所述方法包括以下步骤：
在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；
根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；
在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；
将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
可选的，所述第一灰度值包括多个所述目标像素点的多个第一灰度值，所述第二灰度值包括多个所述参考像素点的多个第二灰度值；所述根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值的步骤，包括：
根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集；
根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集；
根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值和亮度差值。
可选的，所述根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集的步骤，包括：
将第一灰度值属于同一个预设灰度值区间的目标像素点划分为一个目标像素点集，以获得多个目标像素点集；
所述根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集的步骤，包括：
将第二灰度值属于同一个预设灰度值区间的参考像素点划分为一个参考像素点集，以获得多个参考像素点集。
可选的，根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值的步骤，包括：
根据每个所述预设灰度值区间对应的第一数量和第二数量，获得每个所述预设灰度值区间对应的初始像素点差值，所述第一数量为每个所述预设灰度值区间对应的目标像素点集中目标像素点的数量，所述第二数量为每个所述预设灰度值区间对应的参考像素点集中参考像素点的数量；
根据多个所述预设灰度值区间对应的多个初始像素点差值，获得像素点差值。
可选的，根据多个所述目标像素点集和多个所述参照像素点集，获得亮度差值的步骤，包括：
根据每个所述目标像素点集中目标像素点的第一数量和每个所述目标像素点集对应的预设灰度值区间中的预设灰度值，获得所述目标帧的第一亮度值；
根据每个所述参考像素点集中参考像素点的第二数量和每个所述参考像素点集对应的预设灰度值区间中的预设灰度值，获得所述参考帧的第二亮度值；
根据所述第一亮度值和所述第二亮度值，获得亮度差值。
可选的，所述根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值的步骤之后，所述方法还包括：
在所述像素点差值小于或等于所述第一预设阈值，和/或，所述亮度差值小于或等于所述第二预设阈值时，在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域；
根据所述选定目标区域的第一位置信息和所述选定参考区域的第二位置信息，获得运动矢量；
根据所述运动矢量、所述目标帧和所述参考帧，获得插入帧；
将所述插入帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
可选的，所述在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域的步骤，包括：
用预设划分规则，将所述目标帧划分为多个目标区域；
利用所述预设划分规则，将所述参考帧划分为多个参考区域；
根据每个所述目标区域的灰度值和每个所述参考区域的灰度值，计算每个所述目标区域与每个所述参考区域的区域相似度，以获得多个区域相似度；
将多个所述区域相似度中最大区域相似度对应的目标区域确定为所述选定目标区域，并将最大区域相似度对应的参考区域确定为所述选定参考区域。
此外，为实现上述目的，本发明还提出了一种动态图像的运动补偿装置，所述装置包括：
确定模块，用于在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；
第一获得模块，用于根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；
第二获得模块，用于在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；
补偿模块，用于将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
此外，为实现上述目的，本发明还提出了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行动态图像的运动补偿程序，所述动态图像的运动补偿程序被所述处理器执行时实现如上述任一项所述的动态图像的运动补偿方法的步骤。
此外，为实现上述目的，本发明还提出了一种存储介质，所述存储介质上存储有动态图像的运动补偿程序，所述动态图像的运动补偿程序被处理器执行时实现如上述任一项所述的动态图像的运动补偿方法的步骤。
本发明技术方案提出了一种动态图像的运动补偿方法，通过在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
现有方法中，目标帧和对应的参考帧的像素点差值大于第一预设阈值，且亮度差值大于第二预设阈值时，依旧利用目标帧和对应的参考帧预估插入帧，以利用插入帧进行运动补偿，但此时目标帧和对应的参考帧是两个截然不同场景，因此，获得插入帧是错误的，导致动态图像播放出现异常。利用本发明的方法，目标帧和对应的参考帧的像素点差值大于第一预设阈值，且亮度差值大于第二预设阈值时，利用对目标帧进行复制操作获得的复制帧进行运动补偿，复制帧不是错误的，动态图像播放不再异常。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；
图2为本发明动态图像的运动补偿方法第一实施例的流程示意图；
图3为本发明运动矢量获得过程的示意图；
图4为本发明动态图像的运动补偿装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
终端设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。终端设备可能被称为用户终端、便携式终端、台式终端等。
通常，终端设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的动态图像的运动补偿程序，所述动态图像的运动补偿程序配置为实现如前所述的动态图像的运动补偿方法的步骤。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关动态图像的运动补偿方法操作，使得动态图像的运动补偿方法模型可以自主训练学习，提高效率和准确度。
存储器302可以包括一个或多个存储介质，该存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的动态图像的运动补偿方法。
在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、动态图像及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有动态图像的运动补偿程序，所述动态图像的运动补偿程序被处理器执行时实现如上文所述的动态图像的运动补偿方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个终端设备上执行，或者在位于一个地点的多个终端设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个终端设备备上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
实施例一：
参照图2，图2为本发明动态图像的运动补偿方法第一实施例的流程示意图，所述方法包括以下步骤：
步骤S11：在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像。
需要说明的是，本发明的执行主体是终端设备，终端设备安装有动态图像的运动补偿程序，终端设备执行动态图像的运动补偿程序时，实现本发明的动态图像的运动补偿的方法的步骤。在本发明中，目标动态图像可以是指终端设备当前正在播放的动态图像，动态图像可以是动图，也可以是指视频，本发明的动态图像即为任何动态的图像，包括视频和狭义的动图等，可以是任何类型和任何格式的动态图像，本发明不做限定。
具体应用中，目标帧即指目标动态图像中的任意一帧图像，参考帧则是目标动态图像中与目标帧相邻的前一帧图像，即，在目标动态图像中，目标帧和参考帧是相邻的两帧。
步骤S12：根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值。
目标帧中目标像素点可以是指目标帧中的全部像素点，同理，参考帧中参考像素点可以是指参考帧中的全部像素点，由于目标帧和参考帧均来自于目标动态图像，因此目标像素点的数量和参考像素点的数量相同，且目标帧与参考帧中像素点的行数和列数也相同。
第一灰度值包括各个目标像素点的灰度值，第二灰度值包括各个参考像素点的灰度值。
像素点差值可以是多种同类像素点差值之和，每一个同类像素点差值可以是指目标帧与参考帧中属于同一类像素点的数量差值，亮度差值即为目标帧的总量度值和参考帧的总亮度值的差值。
步骤S13：在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧。
第一预设阈值和第二预设阈值可以是用户基于需求设定的，本发明不做具体限定。复制帧即是指对目标帧进行复制操作，获得的与目标帧完全一样的帧。
步骤S14：将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
将复制帧插入到所述目标帧和所述参考帧之间，即实现对所述目标动态图像进行运动补偿。在一些实施例中，还可以对参考帧进行复制操作，获得复制帧，在本发明中，以对目标帧进行复制操作为优。
在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，复制帧不是利用现有方法进行运动估计获得，因此复制帧不是错误的，使得利用复制帧对所述目标动态图像进行运动补偿时，目标动态图像播放不会出现异常。
本发明技术方案提出了一种动态图像的运动补偿方法，通过在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
现有方法中，目标帧和对应的参考帧的像素点差值大于第一预设阈值，且亮度差值大于第二预设阈值时，依旧利用目标帧和对应的参考帧预估插入帧，以利用插入帧进行运动补偿，但此时目标帧和对应的参考帧是两个截然不同场景，因此，获得插入帧是错误的，导致动态图像播放出现异常。利用本发明的方法，目标帧和对应的参考帧的像素点差值大于第一预设阈值，且亮度差值大于第二预设阈值时，利用对目标帧进行复制操作获得的复制帧进行运动补偿，复制帧不是错误的，动态图像播放不再异常。
实施例二：
具体的，所述第一灰度值包括多个所述目标像素点的多个第一灰度值，所述第二灰度值包括多个所述参考像素点的多个第二灰度值；所述根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值的步骤，包括：根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集；根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集；根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值和亮度差值。
其中，所述根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集的步骤，包括：将第一灰度值属于同一个预设灰度值区间的目标像素点划分为一个目标像素点集，以获得多个目标像素点集；所述根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集的步骤，包括：将第二灰度值属于同一个预设灰度值区间的参考像素点划分为一个参考像素点集，以获得多个参考像素点集。
用户可以基于需求设定多个预设灰度值区间。在本发明中，可以将全部灰度值(图像处理领域涉及到的全部灰度值)进行等分，获得多个预设灰度值区间。例如，全部的灰度值涉及到10bit，此时，灰度值包括0-1023共计1024个值，可以将该1024个灰度值等分位32个区间，获得32个预设灰度值区间，每个预设灰度值区间包括32个灰度值，例如0-31和32-63等。
按照上述方式进行划分，获得多个目标像素点集和多个参考像素点集，一个目标像素点集对应一个预设灰度值区间，一个参考像素点集对应一个预设灰度值区间；有可能存在一个预设灰度值区间不存在对应的目标像素点集和参考像素点集，此时表明，目标帧中的全部第一灰度值并不存在属于该预设灰度值区间的第一灰度值，参考帧中全部的第二灰度值并不存在属于该预设灰度值区间的第二灰度值。
根据上述方式，获得多个所述目标像素点集和多个所述参照像素点集，然后根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值和亮度差值。
具体的，根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值的步骤，包括：根据每个所述预设灰度值区间对应的第一数量和第二数量，获得每个所述预设灰度值区间对应的初始像素点差值，所述第一数量为每个所述预设灰度值区间对应的目标像素点集中目标像素点的数量，所述第二数量为每个所述预设灰度值区间对应的参考像素点集中参考像素点的数量；根据多个所述预设灰度值区间对应的多个初始像素点差值，获得像素点差值。
对于一个预设灰度值区间对应的目标像素点集和参考像素点集，利用该目标像素点集的第一数量和该参考像素点集的第二数量，获得该预设灰度值区间对应的初始像素点差值。其中，一个预设灰度值区间对应的目标像素点集中的目标像素点和参考像素点集中的参考像素点即为上文所述的一组同类像素点。然后，根据多个所述预设灰度值区间对应的多个初始像素点差值，获得像素点差值。
具体的，上述运算过程参照公式一，公式一如下：
其中，HDIFF为像素点差值，||H(p)-Hpre(p)||为初始像素点差值，H(p)为第p个预设灰度值区间对应的第一数量，Hpre(p)为第p个预设灰度值区间对应的第二数量，在该实施例中，Q＝预设灰度值区间的总数-1，例如预设灰度值区间总数为32个，则Q＝31。
具体的，根据多个所述目标像素点集和多个所述参照像素点集，获得亮度差值的步骤，包括：根据每个所述目标像素点集中目标像素点的第一数量和每个所述目标像素点集对应的预设灰度值区间中的预设灰度值，获得所述目标帧的第一亮度值；根据每个所述参考像素点集中参考像素点的第二数量和每个所述参考像素点集对应的预设灰度值区间中的预设灰度值，获得所述参考帧的第二亮度值；根据所述第一亮度值和所述第二亮度值，获得亮度差值。
在本发明中，一个预设灰度值区间的预设灰度值可以是指该预设灰度值区间中的中位数。例如，预设灰度值区间为0-31，则预设灰度值取16(或15，通常取较大的一个)。
对于一个目标像素点集，利用该目标像素点集的第一数量F1与该目标像素点集对应的预设灰度值G1的乘积，即为一个初始第一亮度值，根据多个目标像素点集对应的多个初始第一亮度值，获得第一亮度值；同理，对于一个参考像素点集，利用该参考像素点集的第二数量F2与该参考像素点集对应的预设灰度值G2的乘积，即为一个初始第二亮度值，根据多个参考像素点集对应的多个初始第二亮度值，获得第二亮度值。然后将第一亮度值与第二亮度值作差，即为亮度差值。
上述运算步骤参照公式二，公式二如下：
DCDIFF＝DC-DCpre
其中，DC为第一亮度值，DCpre为第二亮度值，DCDIFf为亮度差值，I(p)为第p个预设灰度值区间对应的预设灰度值。
进一步的，所述根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值的步骤之后，所述方法还包括：在所述像素点差值小于或等于所述第一预设阈值，和/或，所述亮度差值小于或等于所述第二预设阈值时，在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域；根据所述选定目标区域的第一位置信息和所述选定参考区域的第二位置信息，获得运动矢量；根据所述运动矢量、所述目标帧和所述参考帧，获得插入帧；将所述插入帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
其中，所述在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域的步骤，包括：用预设划分规则，将所述目标帧划分为多个目标区域；利用所述预设划分规则，将所述参考帧划分为多个参考区域；根据每个所述目标区域的灰度值和每个所述参考区域的灰度值，计算每个所述目标区域与每个所述参考区域的区域相似度，以获得多个区域相似度；将多个所述区域相似度中最大区域相似度对应的目标区域确定为所述选定目标区域，并将最大区域相似度对应的参考区域确定为所述选定参考区域。
预设划分规则可以是任何形式的划分规则，例如将目标帧(或参考帧)划分为多个8×8的区域，或划分为16×16的区域，每个划分后的区域是相同尺寸的，例如8×8或16×16等。
对于每个目标区域，需要确定其与每个参考区域的相似度——区域相似度，例如，9个目标区域和9参考区域，共确定81个区域相似度。然后将最大区域相似度对应的目标区域确定为所述选定目标区域，最大区域相似度对应的参考区域确定为所述选定参考区域，此时，选定目标区域与选定参考区域是最匹配的两个区域。
具体的，按照公式三，求解区域相似度，公式三如下：
其中，a为其中一个目标区域与其中一个参考区域的水平距离差，b为该目标区域与该参考区域的竖直距离差，fk为该目标区域的灰度值，fk-1为该参考区域的灰度值，MAD(a,b)为该目标区域与该参考区域的区域相似度，M和N为每个区域的长和宽。
参照图3，图3为本发明运动矢量获得过程的示意图，图3中，P即为目标帧，Pr为参考帧，B为选定目标区域，Br为选定参考区域，B在所述目标帧的像素坐标(x，y)即为第一位置信息(通常是选定目标区域的一个标识点的坐标，例如图3中B的左上顶点)；Br在所述参考帧的像素坐标(x1，y1)即为第二位置信息(通常是选定参考目标区域中与选定目标区域的标识点对应的点的坐标，例如图3中Br的左上顶点)。
然后将选定目标区域映射到选定参考帧中同样的位置，获得B*，此时B*的位置信息也是第一位置信息(x，y)，则运动矢量则是指B*运动到B对应的运动矢量，图4中的矢量i和矢量j的和矢量即为运动矢量，其中，矢量i即为水平方向的矢量，j为竖直方向的矢量。可以理解的是，对于MAD(a,b)最大值对应的a和b的具体值即为i和j的数值。
然后根据运动矢量、所述目标帧和所述参考帧，获得插入帧，在插入帧中，与选定目标区域对应的区域，处于选定目标区域与选定参考区域之间，从而在利用插入帧插对所述目标动态图像进行运动补偿时，使得目标动态图像被播放时，目标动态图像中多了插入帧，使得目标动态图像看起来更连续，视觉体验更好。
参照图4，图4为本发明动态图像的运动补偿装置第一实施例的结构框图，所述装置用于终端设备，基于与前述实施例相同的发明构思，所述装置包括：
确定模块10，用于在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；
第一获得模块20，用于根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；
第二获得模块30，用于在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；
补偿模块40，用于将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
进一步的，所述第一灰度值包括多个所述目标像素点的多个第一灰度值，所述第二灰度值包括多个所述参考像素点的多个第二灰度值；
第一获得模块20，还用于根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集；根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集；根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值和亮度差值。
进一步的，
第一获得模块20，还用于将第一灰度值属于同一个预设灰度值区间的目标像素点划分为一个目标像素点集，以获得多个目标像素点集；将第二灰度值属于同一个预设灰度值区间的参考像素点划分为一个参考像素点集，以获得多个参考像素点集。
进一步的，
第一获得模块20，还用于根据每个所述预设灰度值区间对应的第一数量和第二数量，获得每个所述预设灰度值区间对应的初始像素点差值，所述第一数量为每个所述预设灰度值区间对应的目标像素点集中目标像素点的数量，所述第二数量为每个所述预设灰度值区间对应的参考像素点集中参考像素点的数量；根据多个所述预设灰度值区间对应的多个初始像素点差值，获得像素点差值。
进一步的，
第一获得模块20，还用于根据每个所述目标像素点集中目标像素点的第一数量和每个所述目标像素点集对应的预设灰度值区间中的预设灰度值，获得所述目标帧的第一亮度值；根据每个所述参考像素点集中参考像素点的第二数量和每个所述参考像素点集对应的预设灰度值区间中的预设灰度值，获得所述参考帧的第二亮度值；根据所述第一亮度值和所述第二亮度值，获得亮度差值。
进一步的，所述装置还包括：
常规补偿模块，用于在所述像素点差值小于或等于所述第一预设阈值，和/或，所述亮度差值小于或等于所述第二预设阈值时，在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域；根据所述选定目标区域的第一位置信息和所述选定参考区域的第二位置信息，获得运动矢量；根据所述运动矢量、所述目标帧和所述参考帧，获得插入帧；将所述插入帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
进一步的，
常规补偿模块，还用于用预设划分规则，将所述目标帧划分为多个目标区域；利用所述预设划分规则，将所述参考帧划分为多个参考区域；根据每个所述目标区域的灰度值和每个所述参考区域的灰度值，计算每个所述目标区域与每个所述参考区域的区域相似度，以获得多个区域相似度；将多个所述区域相似度中最大区域相似度对应的目标区域确定为所述选定目标区域，并将最大区域相似度对应的参考区域确定为所述选定参考区域。
需要说明的是，由于本实施例的装置所执行的步骤与前述方法实施例的步骤相同，其具体的实施方式以及可以达到的技术效果都可参照前述实施例，这里不再赘述。
以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种动态图像的运动补偿方法，其特征在于，所述方法包括以下步骤：
在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；
根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；
在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；
将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
2.如权利要求1所述的方法，其特征在于，所述第一灰度值包括多个所述目标像素点的多个第一灰度值，所述第二灰度值包括多个所述参考像素点的多个第二灰度值；所述根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值的步骤，包括：
根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集；
根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集；
根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值和亮度差值。
3.如权利要求2所述的方法，其特征在于，所述根据多个所述第一灰度值，将多个所述目标像素点划分为多个目标像素点集的步骤，包括：
将第一灰度值属于同一个预设灰度值区间的目标像素点划分为一个目标像素点集，以获得多个目标像素点集；
所述根据多个所述第二灰度值，将多个所述参照像素点划分为多个参照像素点集的步骤，包括：
将第二灰度值属于同一个预设灰度值区间的参考像素点划分为一个参考像素点集，以获得多个参考像素点集。
4.如权利要求3所述的方法，其特征在于，根据多个所述目标像素点集和多个所述参照像素点集，获得像素点差值的步骤，包括：
根据每个所述预设灰度值区间对应的第一数量和第二数量，获得每个所述预设灰度值区间对应的初始像素点差值，所述第一数量为每个所述预设灰度值区间对应的目标像素点集中目标像素点的数量，所述第二数量为每个所述预设灰度值区间对应的参考像素点集中参考像素点的数量；
根据多个所述预设灰度值区间对应的多个初始像素点差值，获得像素点差值。
5.如权利要求3所述的方法，其特征在于，根据多个所述目标像素点集和多个所述参照像素点集，获得亮度差值的步骤，包括：
根据每个所述目标像素点集中目标像素点的第一数量和每个所述目标像素点集对应的预设灰度值区间中的预设灰度值，获得所述目标帧的第一亮度值；
根据每个所述参考像素点集中参考像素点的第二数量和每个所述参考像素点集对应的预设灰度值区间中的预设灰度值，获得所述参考帧的第二亮度值；
根据所述第一亮度值和所述第二亮度值，获得亮度差值。
6.如权利要求1所述的方法，其特征在于，所述根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值的步骤之后，所述方法还包括：
在所述像素点差值小于或等于所述第一预设阈值，和/或，所述亮度差值小于或等于所述第二预设阈值时，在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域；
根据所述选定目标区域的第一位置信息和所述选定参考区域的第二位置信息，获得运动矢量；
根据所述运动矢量、所述目标帧和所述参考帧，获得插入帧；
将所述插入帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
7.如权利要求6所述的方法，其特征在于，所述在所述目标帧中确定出选定目标区域，并在所述参考帧中确定出选定参考区域的步骤，包括：
用预设划分规则，将所述目标帧划分为多个目标区域；
利用所述预设划分规则，将所述参考帧划分为多个参考区域；
根据每个所述目标区域的灰度值和每个所述参考区域的灰度值，计算每个所述目标区域与每个所述参考区域的区域相似度，以获得多个区域相似度；
将多个所述区域相似度中最大区域相似度对应的目标区域确定为所述选定目标区域，并将最大区域相似度对应的参考区域确定为所述选定参考区域。
8.一种动态图像的运动补偿装置，其特征在于，所述装置包括：
确定模块，用于在目标动态图像中确定出目标帧和所述目标帧对应的参考帧，所述参考帧是所述目标动态图像中与所述目标帧相邻的前一帧图像；
第一获得模块，用于根据所述目标帧中目标像素点的第一灰度值和所述参考帧中参考像素点的第二灰度值，获得像素点差值和亮度差值；
第二获得模块，用于在所述像素点差值大于第一预设阈值，且所述亮度差值大于第二预设阈值时，对所述目标帧进行复制操作，获得复制帧；
补偿模块，用于将所述复制帧插入到所述目标帧和所述参考帧之间，以对所述目标动态图像进行运动补偿。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行动态图像的运动补偿程序，所述动态图像的运动补偿程序被所述处理器执行时实现如权利要求1至7中任一项所述的动态图像的运动补偿方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有动态图像的运动补偿程序，所述动态图像的运动补偿程序被处理器执行时实现如权利要求1至7中任一项所述的动态图像的运动补偿方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210214085.8A CN114598876B (zh) | 2022-03-03 | 动态图像的运动补偿方法、装置、终端设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210214085.8A CN114598876B (zh) | 2022-03-03 | 动态图像的运动补偿方法、装置、终端设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114598876A true CN114598876A (zh) | 2022-06-07 |
| CN114598876B CN114598876B (zh) | 2024-05-14 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115297313A (zh) * | 2022-10-09 | 2022-11-04 | 南京芯视元电子有限公司 | 微显示动态补偿方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090059084A1 (en) * | 2007-08-27 | 2009-03-05 | Shintaro Okada | Image processing apparatus, method thereof, and program |
| CN101867759A (zh) * | 2010-05-19 | 2010-10-20 | 西安交通大学 | 基于场景检测的自适应运动补偿帧频提升方法 |
| CN102123235A (zh) * | 2011-03-24 | 2011-07-13 | 杭州海康威视软件有限公司 | 视频插值帧的生成方法及其装置 |
| CN102629460A (zh) * | 2011-10-27 | 2012-08-08 | 北京京东方光电科技有限公司 | 液晶显示器帧频控制方法和装置 |
| CN108933897A (zh) * | 2018-07-27 | 2018-12-04 | 南昌黑鲨科技有限公司 | 基于图像序列的运动检测方法及装置 |
| CN112911301A (zh) * | 2019-12-03 | 2021-06-04 | 咪咕文化科技有限公司 | 一种局部亮度补偿方法、装置及计算机可读存储介质 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090059084A1 (en) * | 2007-08-27 | 2009-03-05 | Shintaro Okada | Image processing apparatus, method thereof, and program |
| CN101867759A (zh) * | 2010-05-19 | 2010-10-20 | 西安交通大学 | 基于场景检测的自适应运动补偿帧频提升方法 |
| CN102123235A (zh) * | 2011-03-24 | 2011-07-13 | 杭州海康威视软件有限公司 | 视频插值帧的生成方法及其装置 |
| CN102629460A (zh) * | 2011-10-27 | 2012-08-08 | 北京京东方光电科技有限公司 | 液晶显示器帧频控制方法和装置 |
| CN108933897A (zh) * | 2018-07-27 | 2018-12-04 | 南昌黑鲨科技有限公司 | 基于图像序列的运动检测方法及装置 |
| CN112911301A (zh) * | 2019-12-03 | 2021-06-04 | 咪咕文化科技有限公司 | 一种局部亮度补偿方法、装置及计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115297313A (zh) * | 2022-10-09 | 2022-11-04 | 南京芯视元电子有限公司 | 微显示动态补偿方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106941563B (zh) | 一种移动终端刷新率的控制方法、装置及移动终端 | |
| CN106817753B (zh) | 一种切换背景灰阶进行省电的方法、装置及移动终端 | |
| US20230362328A1 (en) | Video frame insertion method and apparatus, and electronic device | |
| CN112215227B (zh) | 图像目标检测模型攻击方法、装置、终端设备及存储介质 | |
| CN113163141B (zh) | 显示控制方法、装置、电视机以及计算机可读存储介质 | |
| CN105469361A (zh) | 一种局部图像处理方法和装置 | |
| WO2020134789A1 (zh) | 移动终端及其屏幕亮灭的控制方法、计算机存储介质 | |
| WO2023160617A1 (zh) | 视频插帧处理方法、视频插帧处理装置和可读存储介质 | |
| KR20120011216A (ko) | 이동 단말기에서 영상 합성방법 | |
| CN113038232A (zh) | 视频播放方法、装置、设备、服务器及存储介质 | |
| CN113014830A (zh) | 视频虚化方法、装置、设备及存储介质 | |
| CN114598876B (zh) | 动态图像的运动补偿方法、装置、终端设备以及存储介质 | |
| CN111949187A (zh) | 电子白板内容编辑共享方法、系统、设备以及服务器 | |
| CN114598876A (zh) | 动态图像的运动补偿方法、装置、终端设备以及存储介质 | |
| CN114298895B (zh) | 图像真实感风格迁移方法、装置、设备及存储介质 | |
| CN113099300B (zh) | 节目播放方法、装置、显示终端以及存储介质 | |
| CN113393809A (zh) | 显示终端控制方法、装置、显示终端以及存储介质 | |
| CN113919852A (zh) | 产品侵权判定方法、装置、终端设备以及存储介质 | |
| CN112446846A (zh) | 融合帧获得方法、装置、slam系统以及存储介质 | |
| CN113160386A (zh) | 图像获得方法、装置、设备以及计算机可读存储介质 | |
| CN114495859B (zh) | 画面显示方法、装置、显示终端以及存储介质 | |
| CN112532971A (zh) | 影像处理方法、装置、显示终端以及计算机可读存储介质 | |
| CN112150396A (zh) | 高光谱图像降维方法、装置、终端设备及存储介质 | |
| CN112035036A (zh) | 电子白板共享方法、系统、终端设备及存储介质 | |
| CN112218119A (zh) | 视频流帧率转换方法、装置、终端设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |