CN110933496B - 图像数据插帧处理方法、装置、电子设备及存储介质 - Google Patents
图像数据插帧处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110933496B CN110933496B CN201911261083.9A CN201911261083A CN110933496B CN 110933496 B CN110933496 B CN 110933496B CN 201911261083 A CN201911261083 A CN 201911261083A CN 110933496 B CN110933496 B CN 110933496B
- Authority
- CN
- China
- Prior art keywords
- user interaction
- interaction interface
- interface
- motion vector
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000003780 insertion Methods 0.000 title abstract description 9
- 230000037431 insertion Effects 0.000 title abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 161
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000006073 displacement reaction Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000003068 static effect Effects 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 104
- 238000001514 detection method Methods 0.000 claims description 99
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种图像数据插帧处理方法、装置、电子设备及计算机存储介质，通过先检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。可以对整体的界面处于滑移状态的视频进行插帧处理，对视频界面处于静止的视频不进行插帧处理，灵活地检测用户交互界面的位移状态来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
Description
技术领域
本申请涉及视频插帧技术领域，特别是一种图像数据插帧处理方法、装置、电子设备及计算机存储介质。
背景技术
随着技术的发展，人们观看视频的方式也越来越便捷，短视频类应用层出不穷。由于目前的短视频类应用大多采用的是软解码，无法区分视频数据和电子设备本身的用户界面(User Interface，UI)，在对视频进行插帧处理的时候，可能会因为用户对电子设备的操作而产生显示异常。
举例来说，人们在观看短视频的时候，只需要手指划动屏幕即可切换到另一个视频，由于视频本身的帧率是固定的，而划动的显示效果的帧率与上述短视频的帧率并不相同，所以在对视频插帧处理时划动视频会产生卡顿或者拖影等显示异常，大大降低了用户的观看体验。
发明内容
基于上述问题，本申请提出了一种图像数据插帧处理方法，可以检测用户的划动操作来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
本申请实施例第一方面提供了一种图像数据插帧处理方法，包括：
检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；
若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；
若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
本申请实施例第二方面提供了一种图像数据插帧处理装置，所述装置包括处理单元，其中，
所述处理单元，用于检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
本申请实施例第三方面提供了一种电子设备，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面所描述的全部或部分方法的步骤。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面所描述的全部或部分方法的步骤。
本申请实施例第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施上述申请实施例，可以得到以下有益效果：
上述图像数据插帧处理方法、装置、电子设备及计算机存储介质，通过先检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。可以对整体的界面处于滑移状态的视频进行插帧处理，对视频界面处于静止的视频不进行插帧处理，灵活地检测用户交互界面的位移状态来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像数据插帧处理方法的系统构架图；
图2为本申请实施例提供的一种图像数据插帧处理方法的流程示意图；
图3为本申请实施例提供的一种运动检测点位置的示意图；
图4A为本申请实施例提供的另一种运动检测点位置的示意图；
图4B为本申请实施例提供的另一种运动检测点位置的示意图；
图4C为本申请实施例提供的另一种运动检测点位置的示意图；
图4D为本申请实施例提供的另一种运动检测点位置的示意图；
图4E为本申请实施例提供的另一种运动检测点位置的示意图；
图5为本申请实施例提供的另一种运动检测点位置的示意图；
图6为本申请实施例提供的一种运动检测边位置的示意图；
图7A为本申请实施例提供的另一种运动检测边位置的示意图；
图7B为本申请实施例提供的另一种运动检测边位置的示意图；
图7C为本申请实施例提供的另一种运动检测边位置的示意图；
图7D为本申请实施例提供的另一种运动检测边位置的示意图；
图7E为本申请实施例提供的另一种运动检测边位置的示意图；
图8为本申请实施例提供的一种电子设备的结构示意图；
图9为本申请实施例提供的一种图像数据插帧处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
本申请实施例中所提到的“插帧”，其原理为通过检测视频当前的播放画面，进行运动估算，计算出画面中物体的运动轨迹，生成新的帧来进行插补，起到提高视频播放流畅度的效果，“帧”即每秒传输帧数(Frames Per Second，FPS)，每秒钟帧数越多，所显示的动作就会越流畅，举例来说，上述“插帧”可以将30FPS的视频提高到60FPS，大大提高了用户的观看体验。
本申请实施例中所提到的“用户交互界面”，指电子设备的整体显示界面，包括了正在播放的视频、视频本身内容之外的虚拟按钮等，电子设备的全部显示界面即为本申请实施例中的“用户交互界面”。
下面对本申请实施例中图像数据插帧处理方法的系统构架进行详细介绍。
图1为本申请实施例提供的图像数据插帧处理方法的系统构架图，应用于电子设备100，该电子设备100在播放视频时，会将视频层和屏幕显示(On Screen Display，OSD)层同步显示，举例来说，上述OSD层即为电子设备的屏幕上显示的除了视频本身画面之外的其余显示内容，如暂停按钮、快进按钮、分享视频等虚拟交互按钮等等；上述系统架构可以包括解码单元110，判断单元120以及插帧单元130，上述解码单元110与判断单元120连接，用于对视频数据进行软解码，上述软解码即通过软件让CPU来对视频数据进行解码处理，软解码会将视频层和OSD层完全混合在一起输出用户交互界面，上述判断单元120在接收到解码单元110输出的用户交互界面后，可以根据上述用户交互界面是否处于位移状态来生成相应的插帧启动指令或插帧停止指令，上述插帧单元130与上述判断单元120连接，可以用于根据上述判断单元120输出的插帧启动指令或插帧停止指令来开始插帧处理或停止插帧处理。
通过上述系统架构，可以通过检测用户的划动操作来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
下面结合图2对本申请实施例中的一种图像数据插帧处理方法做详细说明，图2为本申请实施例提供的一种图像数据插帧处理方法的流程示意图，具体包括以下步骤：
步骤201，检测当前视频播放应用的用户交互界面的位移状态。
其中，上述当前视频播放应用为，播放视频与待播放视频之间可以通过划动用户交互界面来直接进行切换的视频播放应用，如用户在播放视频时可以输入用户交互界面划动指令来选择播放下一个视频或者上一个视频，任意一个视频播放完毕后切换到下一个视频进行播放时也会产生上述用户交互界面的划动效果。上述用户交互界面为整体的界面，显示全部内容。
其中，上述位移状态包括静止状态与滑移状态，上述静止状态即上述用户交互界面无整体位移的状态，上述滑移状态即上述用户交互界面存在整体位移的状态，上述用户交互界面整体位移的轨迹可以为线性的轨迹也可以为非线性的轨迹，在此不做具体限定。
具体的，可以获取上述用户交互界面的运动矢量；若上述运动矢量为零，则确定上述用户交互界面处于静止状态；若上述运动矢量不为零，则确定上述用户交互界面处于滑移状态。其中，上述运动矢量表示上述用户交互界面的整体位移，可以通过上述用户交互界面中多个区域的像素块的相对位移来计算，上述运动矢量的方向和大小可以反映用户交互界面整体位移的方向和快慢，需要说明的是，上述检测运动矢量的过程为实时检测，可以自由设定其检测的精度，如每两帧就检测一次或者每隔5帧检测一次，在此不做具体限定。
在一种可选的实施例中，可以先获取上述用户交互界面中N个预设运动检测点的图像数据的点运动矢量，上述N为正整数；若上述N个预设运动检测点的图像数据具有相同的点运动矢量，则将上述点运动矢量确定为上述用户交互界面的运动矢量；再根据上述运动检测点的点运动矢量确定上述用户交互界面的运动矢量。其中，上述运动检测点可以为一个或多个，设置在任意位置，当全部的运动检测点的点运动矢量都为同一路径同一大小时，即可确定上述点运动矢量即为上述用户交互界面的运动矢量。
具体的，上述N个预设运动检测点包括m个播放界面检测点和n个待播放界面检测点，上述m、n为自然数且m与n之和为N；可以先根据上述用户交互界面确定上述m个播放界面检测点和上述n个待播放界面检测点；再获取上述播放界面检测点的上述播放点运动矢量，以及，获取上述待播放界面检测点的上述待播放点运动矢量。
可选的，上述用户交互界面的播放界面中存在至少一个虚拟交互按钮时，可以选择任意一个虚拟交互按钮的区域中的任意一点作为播放界面检测点，如图3所示，图3为本申请实施例提供的一种运动检测点的位置示意图，此时运动检测点320的位置为播放界面右下角的代表“选项”的虚拟交互按钮310的位置，因为上述“选项”按钮的像素块一般不会随着播放界面的像素块变化而变化，所以当视频正常播放且上述用户交互界面无整体位移时该运动检测点320无运动矢量，当上述虚拟交互按钮310出现点运动矢量时，则认为该点运动矢量代表上述用户交互界面的运动矢量，需要说明的是，随着用户交互界面的整体位移，播放界面在上述用户交互界面的占比逐渐减小，待播放界面在上述用户交互界面的占比逐渐增大，当上述“选项”的运动检测点对应的像素块消失时，需要重新选择新的运动检测点，如可以选择待播放界面左上角的代表“返回”的虚拟交互按钮作为运动检测点，如此，可以保证实时检测用户交互界面的运动矢量，不会出现间断，只检测一个运动检测点的点运动矢量可以降低检测难度，提高检测效率。
可选的，如图4A所示，当播放界面在上述用户交互界面的占比为百分之百时，在播放界面的四个角落都设置一个播放界面检测点410，在上述播放界面的中心也设置一个播放界面检测点410；当用户交互界面存在竖直向上的整体位移时，如图4B所示，左上角的播放界面检测点410和右上角的播放界面检测点410对应的像素块消失，选择待播放界面的左上角和右上角的位置作为待播放界面检测点420，将两个待播放界面检测点420对应的待播放点运动矢量421和三个播放界面检测点410对应的播放点运动矢量411作为上述用户交互界面的运动矢量；当用户交互界面存在竖直向下的整体位移时，如图4C所示，左下角的播放界面检测点410和右下角的播放界面检测点410对应的像素块消失，选择待播放界面的右下角和左下角的位置作为待播放界面检测点420，将两个待播放界面检测点420对应的待播放点运动矢量421和三个播放界面检测点410对应的播放点运动矢量411作为上述用户交互界面的运动矢量；当用户交互界面存在水平向右的整体位移时，如图4D所示，右上角的播放界面检测点410和右下角的播放界面检测点410对应的像素块消失，选择待播放界面的右上角和右下角的位置作为待播放界面检测点420，将两个待播放界面检测点420对应的待播放点运动矢量421和三个播放界面检测点410对应的播放点运动矢量411作为上述用户交互界面的运动矢量；当用户交互界面存在水平向左的整体位移时，如图4E所示，左上角的播放界面检测点410和左下角的播放界面检测点410对应的像素块消失，选择待播放界面的左上角和左下角的位置作为待播放界面检测点420，将两个待播放界面检测点420对应的待播放点运动矢量421和三个播放界面检测点410对应的播放点运动矢量411作为上述用户交互界面的运动矢量。为便于理解，在此列出了四种用户交互界面可能的滑移方式，并不代表对滑移的轨迹的具体限定。
可选的，还可以根据播放界面和待播放界面的实际内容选择运动检测点，如图5所示，图5为本申请实施例提供的另一种运动检测点的位置示意图，可以先识别出播放界面的静止区域和动态区域，任意数量的运动检测点可以在上述静止区域的任意位置，将静止区域中的运动检测点的点运动矢量作为上述用户交互界面的运动矢量，可以根据不同的视频选择不同的运动检测点进行检测，提升了获取的运动矢量的准确性。
需要说明的是，上述例子只是可选的实施例，并不代表对本申请的限定，本申请实施例的运动检测点的位置可以随着显示内容的不同而改变位置，点位的分布可以取决于显示内容中规则图像的边缘，当显示内容边缘有比较长的直线时，可以分布两个点进行定位，有对比度较高的单点时，可以使用单独一个点进行定位，如此可以提升获取到更准确的界面运动矢量。
在一种可能的实施例中，可以先获取上述用户交互界面中至少一条运动检测边的图像数据的边运动矢量，上述运动检测边为上述用户交互界面中的虚拟边界或物理边界；之后，将上述边位移矢量确定为上述用户交互界面的位移矢量。其中，上述虚拟边界包括上述用户交互界面中不同功能分区形成的线性边界，或，上述用户交互界面中不同显示图像形成的非线性边界。
具体的，上述物理边界为电子设备显示的整体边界，上述虚拟边界包括了播放界面的边界和待播放界面的边界，以及播放界面中具体图像的边界和待播放界面中具体图像的边界。
具体的，如图6所示，图6为本申请实施例提供的一种物理边界的位置示意图，可以通过检测任意一条物理边界610来获取边运动矢量，边运动矢量为零，则用户交互界面的运动矢量为零，上述用户交互界面处于静止状态，若上述边运动矢量不为零，则上述用户交互界面的运动矢量不为零，上述用户交互界面处于滑移状态，滑移方向与上述边运动矢量方向相同。
可选的，结合图7A进行举例说明，当播放界面在上述用户交互界面的占比为百分之百时，此时虚拟边界710等同于上述物理边界，当用户交互界面存在竖直向上的整体位移时，如图7B所示，播放界面710的左右的虚拟边界变短，播放界面710的下虚拟边界平行上移，待播放界面720的左右的虚拟边界变长，待播放界面720的上虚拟边界平行上移，此时需要区分待播放界面720的虚拟边界和播放界面710的虚拟边界，待播放界面720的虚拟边界和播放界面710的虚拟边界可以为无缝衔接，也可以在中间部分显示其余内容如标题等等，通过待播放界面720上下虚拟边界对应的边运动矢量721和播放界面710上下虚拟边界对应的边运动矢量711来确定上述用户交互界面的运动矢量；当用户交互界面存在竖直向下的整体位移时，如图7C所示，播放界面710的左右的虚拟边界变短，播放界面710的上虚拟边界平行下移，待播放界面720的左右的虚拟边界变长，待播放界面720的下虚拟边界平行下移，通过待播放界面720上下虚拟边界对应的边运动矢量721和播放界面710上下虚拟边界对应的边运动矢量711来确定上述用户交互界面的运动矢量；当用户交互界面存在水平向右的整体位移时，如图7D所示，播放界面710的上下的虚拟边界变短，播放界面710的左虚拟边界平行右移，待播放界面720的上下的虚拟边界变长，待播放界面720的右虚拟边界平行右移，通过待播放界面720左右虚拟边界对应的边运动矢量721和播放界面710左右虚拟边界对应的边运动矢量711来确定上述用户交互界面的运动矢量；当用户交互界面存在水平向左的整体位移时，如图7E所示，播放界面710的上下的虚拟边界变短，播放界面710的右虚拟边界平行左移，待播放界面720的上下的虚拟边界变长，待播放界面720的左虚拟边界平行左移，通过待播放界面720左右虚拟边界对应的边运动矢量721和播放界面710左右虚拟边界对应的边运动矢量711来确定上述用户交互界面的运动矢量。
需要说明的是，上述例子只是可选的实施例，并不代表对本申请的限定，本申请实施例的运动检测边的位置可以随着位移路径方向的不同而改变位置，并且边的形状也可以为无规律的边界，还可以在界面位移状态时对播放中的视频和待播放视频的各一个边缘进行检测，提高准确性。
在一个可能的实施例中，可以先获取所述当前视频播放应用在所述用户交互界面中的占比信息；若所述占比信息小于预设占比阈值，则确定所述用户交互界面处于滑移状态；若所述占比信息大于或等于所述预设占比阈值，则确定所述用户交互界面处于静止状态。如此，可以简化检测的步骤，一般来说，当播放界面在用户交互界面的占比较小时，可以认为用户已经不需要继续观看该视频，将其认定为滑移状态可以提高检测的效率。
其中，若上述用户交互界面处于静止状态，则执行步骤202；若上述用户交互界面处于滑移状态，则执行步骤203。
通过检测用户交互界面的位移状态，可以灵活地当前播放的视频进行后续处理。
步骤202，对所述当前视频播放应用播放的图像数据进行插帧处理。
其中，上述用户交互界面处于静止状态时，对播放中的视频进行插帧处理，可以识别播放界面和待播放界面，只对播放界面进行插帧处理，提升其流畅性。
步骤203，暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
其中，上述用户交互界面处于滑移状态时，暂停对播放中的视频进行插帧处理。
通过上述步骤，可以对整体的界面处于滑移状态的视频进行插帧处理，对视频界面处于静止的视频不进行插帧处理，灵活地检测用户交互界面的位移状态来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
与上述图2所示的实施例一致的，请参阅图8，图8是本申请实施例提供的一种电子设备800的结构示意图。如图8所示，所述电子设备800包括应用处理器810、存储器820、通信接口830以及一个或多个程序821，其中，所述一个或多个程序821被存储在上述存储器820中，并且被配置由上述应用处理器810执行，所述一个或多个程序821包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的实施例中，所述程序821中包括用于执行以下步骤的指令：
检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；
若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；
若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
通过先检测当前视频播放应用的用户交互界面的位移状态；接着，若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。可以对整体的界面处于滑移状态的视频进行插帧处理，对视频界面处于静止的视频不进行插帧处理，灵活地检测用户交互界面的位移状态来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
在一个可能的实施例中，在所述检测当前视频播放应用的用户交互界面的位移状态方面，所述程序821中的指令具体用于执行以下操作：
获取所述用户交互界面的运动矢量；
若所述运动矢量为零，则确定所述用户交互界面处于静止状态；
若所述运动矢量不为零，则确定所述用户交互界面处于滑移状态。
在一个可能的实施例中，在所述获取所述用户交互界面的运动矢量方面，所述程序821中的指令具体用于执行以下操作：
获取所述用户交互界面中N个预设运动检测点的图像数据的点运动矢量，所述N为正整数；
若所述N个预设运动检测点的图像数据具有相同的点运动矢量，则将所述点运动矢量确定为所述用户交互界面的运动矢量。
在一个可能的实施例中，所述N个预设运动检测点包括m个播放界面检测点和n个待播放界面检测点，所述m、n为自然数且m与n之和为N；在所述获取所述用户交互界面中N个预设运动检测点的图像数据的点运动矢量方面，所述程序821中的指令具体用于执行以下操作：
根据所述用户交互界面确定所述m个播放界面检测点和所述n个待播放界面检测点；
获取所述播放界面检测点的播放点运动矢量，以及，获取所述待播放界面检测点的待播放点运动矢量。
在一个可能的实施例中，在所述获取所述用户交互界面的运动矢量方面，所述程序821中的指令具体用于执行以下操作：
获取所述用户交互界面中至少一条运动检测边的图像数据的边运动矢量，所述运动检测边为所述用户交互界面中的虚拟边界或物理边界；
将所述边运动矢量确定为所述用户交互界面的运动矢量。
在一个可能的实施例中，所述虚拟边界包括所述用户交互界面中不同功能分区形成的线性边界，或，所述用户交互界面中不同显示图像形成的非线性边界。
在一个可能的实施例中，在所述检测当前视频播放应用的用户交互界面的位移状态方面，所述程序821中的指令具体还用于执行以下操作：
获取所述当前视频播放应用在所述用户交互界面中的占比信息；
若所述占比信息小于预设占比阈值，则确定所述用户交互界面处于滑移状态；
若所述占比信息大于或等于所述预设占比阈值，则确定所述用户交互界面处于静止状态。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图9，图9是本申请实施例中所涉及的图像数据插帧处理装置900的功能单元组成框图。所述图像数据插帧处理装置900应用于电子设备，所述图像数据插帧处理装置900包括处理单元901、通信单元902和存储单元903，其中，所述处理单元901，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元902来完成相应操作。下面进行详细说明。
在一个可能的实施例中，上述处理单元901用于：
检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；
若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；
若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
通过先检测当前视频播放应用的用户交互界面的位移状态；接着，若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。可以对整体的界面处于滑移状态的视频进行插帧处理，对视频界面处于静止的视频不进行插帧处理，灵活地检测用户交互界面的位移状态来进行插帧与取消插帧的切换，防止产生显示异常，大大提升了用户的观看体验。
在一个可能的实施例中，在所述检测当前视频播放应用的用户交互界面的位移状态方面，上述处理单元901具体用于：
获取所述用户交互界面的运动矢量；
若所述运动矢量为零，则确定所述用户交互界面处于静止状态；
若所述运动矢量不为零，则确定所述用户交互界面处于滑移状态。
在一个可能的实施例中，在所述获取所述用户交互界面的运动矢量方面，上述处理单元901具体用于：
获取所述用户交互界面中N个预设运动检测点的图像数据的点运动矢量，所述N为正整数；
若所述N个预设运动检测点的图像数据具有相同的点运动矢量，则将所述点运动矢量确定为所述用户交互界面的运动矢量。
在一个可能的实施例中，所述N个预设运动检测点包括m个播放界面检测点和n个待播放界面检测点，所述m、n为自然数且m与n之和为N；在所述获取所述用户交互界面中N个预设运动检测点的图像数据的点运动矢量方面，上述处理单元901具体用于：
根据所述用户交互界面确定所述m个播放界面检测点和所述n个待播放界面检测点；
获取所述播放界面检测点的播放点运动矢量，以及，获取所述待播放界面检测点的待播放点运动矢量。
在一个可能的实施例中，在所述获取所述用户交互界面的运动矢量方面，上述处理单元901具体用于：
获取所述用户交互界面中至少一条运动检测边的图像数据的边运动矢量，所述运动检测边为所述用户交互界面中的虚拟边界或物理边界；
将所述边运动矢量确定为所述用户交互界面的运动矢量。
在一个可能的实施例中，所述虚拟边界包括所述用户交互界面中不同功能分区形成的线性边界，或，所述用户交互界面中不同显示图像形成的非线性边界。
在一个可能的实施例中，在所述检测当前视频播放应用的用户交互界面的位移状态方面，上述处理单元901具体用于：
获取所述当前视频播放应用在所述用户交互界面中的占比信息；
若所述占比信息小于预设占比阈值，则确定所述用户交互界面处于滑移状态；
若所述占比信息大于或等于所述预设占比阈值，则确定所述用户交互界面处于静止状态。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像数据插帧处理方法，其特征在于，所述方法包括：
检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；
若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；
若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
2.根据权利要求1所述的方法，其特征在于，所述检测当前视频播放应用的用户交互界面的位移状态，包括
获取所述用户交互界面的运动矢量；
若所述运动矢量为零，则确定所述用户交互界面处于静止状态；
若所述运动矢量不为零，则确定所述用户交互界面处于滑移状态。
3.根据权利要求2所述的方法，其特征在于，所述获取所述用户交互界面的运动矢量，包括：
获取所述用户交互界面中N个预设运动检测点的图像数据的点运动矢量，所述N为正整数；
若所述N个预设运动检测点的图像数据具有相同的点运动矢量，则将所述点运动矢量确定为所述用户交互界面的运动矢量。
4.根据权利要求3所述的方法，其特征在于，所述N个预设运动检测点包括m个播放界面检测点和n个待播放界面检测点，所述m、n为自然数且m与n之和为N；所述获取所述用户交互界面中N个预设运动检测点的图像数据的点运动矢量，包括：
根据所述用户交互界面确定所述m个播放界面检测点和所述n个待播放界面检测点；
获取所述播放界面检测点的播放点运动矢量，以及，获取所述待播放界面检测点的待播放点运动矢量。
5.根据权利要求2所述的方法，其特征在于，所述获取所述用户交互界面的运动矢量，包括：
获取所述用户交互界面中至少一条运动检测边的图像数据的边运动矢量，所述运动检测边为所述用户交互界面中的虚拟边界或物理边界；
将所述边运动矢量确定为所述用户交互界面的运动矢量。
6.根据权利要求5所述的方法，其特征在于，所述虚拟边界包括所述用户交互界面中不同功能分区形成的线性边界，或，所述用户交互界面中不同显示图像形成的非线性边界。
7.根据权利要求1所述的方法，其特征在于，所述检测当前视频播放应用的用户交互界面的位移状态，包括：
获取所述当前视频播放应用在所述用户交互界面中的占比信息；
若所述占比信息小于预设占比阈值，则确定所述用户交互界面处于滑移状态；
若所述占比信息大于或等于所述预设占比阈值，则确定所述用户交互界面处于静止状态。
8.一种图像数据插帧处理装置，其特征在于，所述装置包括处理单元，其中，
所述处理单元，用于检测当前视频播放应用的用户交互界面的位移状态，所述位移状态包括静止状态与滑移状态；若所述用户交互界面处于所述静止状态，则对所述当前视频播放应用播放的图像数据进行插帧处理；若所述用户交互界面处于所述滑移状态，则暂停对所述当前视频播放应用播放的图像数据进行插帧处理。
9.一种电子设备，其特征在于，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261083.9A CN110933496B (zh) | 2019-12-10 | 2019-12-10 | 图像数据插帧处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261083.9A CN110933496B (zh) | 2019-12-10 | 2019-12-10 | 图像数据插帧处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110933496A CN110933496A (zh) | 2020-03-27 |
| CN110933496B true CN110933496B (zh) | 2021-07-23 |
Family
ID=69859655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911261083.9A Active CN110933496B (zh) | 2019-12-10 | 2019-12-10 | 图像数据插帧处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110933496B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542623A (zh) * | 2020-04-20 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
| CN111813490A (zh) * | 2020-08-14 | 2020-10-23 | Oppo广东移动通信有限公司 | 插帧处理方法及装置 |
| CN111918099A (zh) * | 2020-09-16 | 2020-11-10 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111918098A (zh) * | 2020-09-16 | 2020-11-10 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备、服务器及存储介质 |
| CN112073735B (zh) * | 2020-11-16 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 视频信息处理方法、装置、电子设备及存储介质 |
| CN112738633B (zh) * | 2020-12-25 | 2023-06-23 | 广州繁星互娱信息科技有限公司 | 视频播放的方法、装置、设备及可读存储介质 |
| CN114764357B (zh) * | 2021-01-13 | 2024-05-03 | 华为技术有限公司 | 界面显示过程中的插帧方法及终端设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543065B (zh) * | 2007-02-20 | 2012-03-14 | 索尼株式会社 | 图像显示装置、视频信号处理器以及视频信号处理方法 |
| CN101207707A (zh) * | 2007-12-18 | 2008-06-25 | 上海广电集成电路有限公司 | 一种基于运动补偿的帧频提升系统和方法 |
| CN102045556B (zh) * | 2009-10-22 | 2012-10-31 | 杭州华三通信技术有限公司 | 一种在低带宽中场景切换视频图像的编码方法和装置 |
| KR101805622B1 (ko) * | 2011-06-08 | 2017-12-08 | 삼성전자주식회사 | 프레임율 제어 방법 및 장치 |
| CN102378010A (zh) * | 2011-11-15 | 2012-03-14 | 无锡港湾网络科技有限公司 | 一种视频数据还原的插帧方法 |
| CN106101823A (zh) * | 2016-07-08 | 2016-11-09 | 深圳天珑无线科技有限公司 | 一种视频显示数据的处理方法及显示装置 |
| US10003768B2 (en) * | 2016-09-28 | 2018-06-19 | Gopro, Inc. | Apparatus and methods for frame interpolation based on spatial considerations |
| US10489897B2 (en) * | 2017-05-01 | 2019-11-26 | Gopro, Inc. | Apparatus and methods for artifact detection and removal using frame interpolation techniques |
| CN108322685B (zh) * | 2018-01-12 | 2020-09-25 | 广州华多网络科技有限公司 | 视频插帧方法、存储介质以及终端 |
| CN108966015A (zh) * | 2018-08-27 | 2018-12-07 | 惠州Tcl移动通信有限公司 | 一种视频播放状态控制方法、移动终端及存储介质 |
| CN109803049A (zh) * | 2018-12-29 | 2019-05-24 | 努比亚技术有限公司 | 视频转移方法、装置和计算机可读存储介质 |
| CN109753336B (zh) * | 2019-01-15 | 2022-05-17 | Oppo广东移动通信有限公司 | 锁屏界面向桌面切换的方法、电子装置及计算机可读存储介质 |
| CN109922231A (zh) * | 2019-02-01 | 2019-06-21 | 重庆爱奇艺智能科技有限公司 | 一种用于生成视频的插帧图像的方法和装置 |
| CN110446072B (zh) * | 2019-08-14 | 2021-11-23 | 咪咕视讯科技有限公司 | 视频流切换方法、电子设备和存储介质 |
-
2019
- 2019-12-10 CN CN201911261083.9A patent/CN110933496B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110933496A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933496B (zh) | 图像数据插帧处理方法、装置、电子设备及存储介质 | |
| CN109640188B (zh) | 视频预览方法、装置、电子设备及计算机可读存储介质 | |
| KR101756044B1 (ko) | 비디오 특수 효과 처리 방법, 장치, 단말 기기, 프로그램 및 기록매체 | |
| CN111356026B (zh) | 图像数据处理方法及相关装置 | |
| JP7407289B2 (ja) | ビデオを表示するための方法、装置、電子機器及び媒体 | |
| US12114052B2 (en) | Methods, systems, and media for presenting interactive elements within video content | |
| US20170163958A1 (en) | Method and device for image rendering processing | |
| US20170324998A1 (en) | Method for playing video, client, and computer storage medium | |
| CN105635848A (zh) | 一种弹幕显示方法及终端 | |
| CN111327908B (zh) | 一种视频处理方法及相关装置 | |
| CN111064863B (zh) | 图像数据的处理方法及相关装置 | |
| CN110865753B (zh) | 应用消息的通知方法及装置 | |
| KR101656167B1 (ko) | 애니메이션 재생 방법, 장치, 기기, 프로그램 및 기록매체 | |
| US20130132889A1 (en) | Information processing apparatus and information processing method to achieve efficient screen scrolling | |
| CN113342248A (zh) | 直播显示方法、装置、存储介质及电子设备 | |
| CN111918099A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US20170161871A1 (en) | Method and electronic device for previewing picture on intelligent terminal | |
| CN110647286A (zh) | 屏幕元素控制方法、装置、设备、存储介质 | |
| CN114579030A (zh) | 信息流的显示方法、装置、设备、存储介质及程序 | |
| CN107231537B (zh) | 一种画中画切换方法和装置 | |
| CN110597432B (zh) | 界面控制方法、装置、计算机可读介质及电子设备 | |
| CN111726666A (zh) | 视频显示控制方法和装置 | |
| US11861157B2 (en) | Methods, systems, and media for presenting offset content | |
| KR101699909B1 (ko) | 삽입형 광고 디스플레이 방법 및 이를 수행하는 장치 | |
| CN112363787B (zh) | 图像处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |