CN111225150A - 插帧处理方法及相关产品 - Google Patents

插帧处理方法及相关产品 Download PDF

Info

Publication number
CN111225150A
CN111225150A CN202010065634.0A CN202010065634A CN111225150A CN 111225150 A CN111225150 A CN 111225150A CN 202010065634 A CN202010065634 A CN 202010065634A CN 111225150 A CN111225150 A CN 111225150A
Authority
CN
China
Prior art keywords
video data
video
frame
data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065634.0A
Other languages
English (en)
Other versions
CN111225150B (zh
Inventor
胡杰
林文真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010065634.0A priority Critical patent/CN111225150B/zh
Publication of CN111225150A publication Critical patent/CN111225150A/zh
Priority to PCT/CN2021/070143 priority patent/WO2021147657A1/zh
Priority to EP21744632.7A priority patent/EP4093016A4/en
Application granted granted Critical
Publication of CN111225150B publication Critical patent/CN111225150B/zh
Priority to US17/813,590 priority patent/US20220360736A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Abstract

本申请实施例公开了一种插帧处理方法及相关产品，应用于电子设备，电子设备包括摄像头，通过在摄像头开启的状态下，获取摄像头采集的第一视频数据和OSD数据；对第一视频数据进行插帧处理，得到插帧后的第二视频数据；将第二视频数据和OSD数据进行显示，如此，可通过对第一视频数据进行插帧，提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。

Description

插帧处理方法及相关产品
技术领域
本申请涉及电子技术领域，具体涉及一种插帧处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。
目前，电子设备上的相机功能开启时，会显示摄像头的拍摄画面，例如预览画面，或者视频直播画面，当摄像头随着电子设备进行移动时，可能会出现画面卡顿的现象，因此，如何避免摄像头拍摄画面卡顿的问题需要解决。
发明内容
本申请实施例提供了一种插帧处理方法及相关产品，能够提高视频画面的流畅度。
第一方面，本申请实施例提供一种插帧处理方法，应用于电子设备，所述电子设备包括摄像头，所述方法包括：
在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；
对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
将所述第二视频数据和OSD数据进行显示。
第二方面，本申请实施例提供了一种电子设备，所述电子设备包括摄像头、插帧处理芯片和显示屏，所述插帧处理芯片与所述摄像头连接，所述插帧处理芯片与所述显示屏连接，所述电子设备包括：
所述插帧处理芯片，用于在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；以及，对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
所述显示屏，用于将所述第二视频数据和所述OSD数据显示在视频窗口。
第三方面，本申请实施例提供了一种插帧处理装置，应用于电子设备，所述电子设备包括摄像头，所述装置包括：
获取单元，用于在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；
处理单元，用于对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
显示单元，用于将所述第二视频数据和所述OSD数据显示在视频窗口。
第四方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的插帧处理方法及相关产品，应用于电子设备，所述电子设备包括摄像头，通过在所述摄像头开启的状态下，获取摄像头采集的第一视频数据和OSD数据；对第一视频数据进行插帧处理，得到插帧后的第二视频数据；将第二视频数据和OSD数据显示在视频窗口，如此，可通过对第一视频数据进行插帧，提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图；
图1B是本申请实施例提供的一种插帧处理方法的流程示意图；
图1C是本申请实施例提供的一种获取第一视频数据和OSD数据的流程示意图；
图1D是本申请实施例提供的一种将第二视频数据和OSD数据进行显示的演示示意图；
图2是本申请实施例提供的一种插帧处理方法的流程示意图；
图3是本申请实施例提供的另一种插帧处理方法的流程示意图；
图4是本申请实施例提供的另一种电子设备的结构示意图；
图5是本申请实施例提供的一种插帧处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(智能手机、平板电脑等)、车载设备(导航仪、车载冰箱、车载吸尘器等等)、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
如图1A所示，图1A是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、信号处理器、通信接口、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、插帧处理芯片、摄像模组和传感器等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模组、传感器、插帧处理芯片与处理器连接，通信接口与信号处理器连接。
其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。
其中，该摄像模组可以包括普通摄像头、也可以包括红外摄像头，在此不作限定。该摄像头可以是前置摄像头或后置摄像头，在此不作限定。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外光(Infrared lightsource，IR)传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
其中，处理器可集成应用处理器(application processor，AP)和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，处理器包括中央处理器(Central Processing Unit，CPU)和图形处理器(Graphics Processing Unit，GPU)。CPU是电子计算机的主要设备之一，电脑中的核心配件。其功能主要是解释计算机指令以及处理计算机软件中的数据。CPU是计算机中负责读取指令，对指令译码并执行指令的核心部件。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。电子计算机三大核心部件就是CPU、内部存储器、输入/输出设备。中央处理器的功效主要为处理指令、执行操作、控制时间、处理数据。而GPU又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，插帧处理芯片用于在原有画面显示的每两帧画面中增加一帧或多帧，缩短每帧之间的显示时间，提高电子设备的视频显示的帧率，解决视频存在的闪烁、拖尾问题，消除快速运动画面的图像边缘模糊现象，修正人眼视觉暂留形成的“错觉”，从而有效提高画面稳定性。插帧处理芯片可以为显卡，例如，Iris芯片。
基于上述图1A所描述的电子设备，可以用于实现如下功能：
所述插帧处理芯片，用于在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；以及，对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
所述显示屏，用于将所述第二视频数据和OSD数据进行显示。
在一个可能的示例中，在所述获取所述摄像头采集的第一视频数据和OSD数据方面，所述插帧处理芯片具体用于：
通过第一视频数据管道获取所述摄像头采集的第一视频数据；
通过第二视频数据管道获取所述OSD数据。
在一个可能的示例中，所述插帧处理芯片还用于：
若所述第一视频数据的第一属性信息满足第一预设条件，执行所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据的操作；
若所述OSD数据的第二属性信息满足第二预设条件，由所述显示屏执行所述在视频窗口将所述第二视频数据和所述OSD数据显示在视频窗口的操作。
在一个可能的示例中，所述第一属性信息包括第一图层名称和第一图层格式，所述第二属性信息包括第二图层名称和第二图层格式，所述插帧处理芯片还用于：
若所述第一图层名称为视频层，或者，若所述第一图层格式为YUV格式，确定所述第一视频数据的第一属性信息满足第一预设条件；
若所述第二图层名称为OSD层，或者，若所述第二图层格式为RBG格式，确定所述OSD数据的第二属性信息满足第二预设条件。
在一个可能的示例中，在所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据方面，所述插帧处理芯片具体用于：
针对所述第一视频数据进行运动矢量运算，得到目标矢量；
根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述针对所述第一视频数据进行运动矢量运算，得到目标矢量方面，所述插帧处理芯片具体用于：
对所述第一视频数据进行运动检测，得到多个运动检测点；
获取所述多个运动检测点中每一运动检测点的点运动矢量，得到多个点运动矢量；
若所述多个点运动矢量相同，则将任一所述点运动矢量确定为所述目标矢量。
在一个可能的示例中，在所述根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧处理芯片具体用于：
确定所述第一视频数据中任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率；
根据预设的视频帧率与插帧数量之间的对应关系确定与所述目标视频帧率对应的目标插帧数量n，n为正整数；
根据所述目标矢量进行运动补偿，得到n帧插帧图像；
将所述n帧插帧图像插入所述任意相邻两帧视频图像之间，得到所述第二视频数据。
在一个可能的示例中，所述插帧处理芯片还用于：
将所述第一视频数据划分为多个视频段；
确定所述多个视频段中每一视频段对应的视频帧率，得到多个视频帧率；
若所述多个视频帧率中的最大视频帧率和最小视频帧率之间的差值小于预设阈值，执行所述对所述第一视频数据进行插帧处理的操作。
在一个可能的示例中，所述插帧处理芯片还用于：
检测所述视频窗口是否存在弹框；
若否，执行所述对所述第一视频数据进行插帧处理的操作。
可以看出，本申请实施例中所描述的电子设备，在所述摄像头开启的状态下，通过插帧处理芯片获取摄像头采集的第一视频数据和OSD数据；然后插帧处理芯片对第一视频数据进行插帧处理，得到插帧后的第二视频数据；最后，将所述第二视频数据和所述OSD数据显示在显示屏的视频窗口，如此，可通过对第一视频数据进行插帧，提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。
请参阅图1B，图1B是本申请实施例提供的一种插帧处理方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括摄像头，本插帧处理方法包括：
101、在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据。
本申请实施例的应用场景为特定的拍摄场景，具体地，该特定的拍摄场景可以是摄像头拍摄时显示动态的预览画面的场景，在该场景中，视频窗口显示的预览画面会出现对焦框等屏幕显示(On Screen Display，OSD)数据。或者，该特定的拍摄场景还可以是直播视频的拍摄场景，在该场景中，视频窗口显示的直播画面会出现图形、图标、控键等OSD数据。在本实施例的拍摄场景下，摄像头处于开启状态，同时显示屏需要对摄像头采集的第一视频数据进行显示，当镜头产生晃动时，可能会导致预览画面或者直播视频等拍摄画面卡顿，因此，可获取摄像头采集的第一视频数据和OSD数据，通过视频插帧的方式避免预览画面或者直播视频卡顿。
其中，OSD数据，是指在视频窗口进行显示的特定字形或图形，在不同的应用场景下，OSD数据具体包括的内容不同，例如，OSD数据可以为以下至少一种：暂停按钮、快进按钮、视频播放场景下的电视台台标、直播视频场景中的用户图标、拍摄预览画面中的对焦框、特效组件。本方案中，上述OSD数据可包括以下至少一种：拍摄预览画面中的对焦框、直播场景下，拍摄画面中的特效组件、暂停按钮等等，此处不作限制。
在本方案中，电子设备在视频界面显示第一视频数据时，除了显示第一视频数据，还会显示除了第一视频数据本身画面之外的其余显示内容，即将视频层和OSD层都显示在视频窗口。
可选地，上述步骤101中，获取所述摄像头采集的第一视频数据和OSD数据，可以包括如下步骤：
11、通过第一视频数据管道获取所述摄像头采集的第一视频数据；
12、通过第二视频数据管道获取所述OSD数据。
其中，上述第一视频数据管道可以为视觉界面组(vision interface group，VIG)数据管道，VIG数据管道是指为YUV格式的视频数据提供的数据管道，VIG数据管道可用于传输第一视频数据，还可用于传输RGB格式的图像数据。上述第二视频数据管道可以为VIG数据管道或者空分复用接入(space division multiple access，SDMA)数据管道，SDMA数据管道是指为RGB格式的图像数据提供的数据管道，SDMA数据管道可用于RGB格式的图像数据。
具体实现中，插帧处理芯片可分别通过第一视频数据管道获取第一视频数据，通过第二视频数据管道获取OSD数据，例如，第一视频数据可通过第一VIG数据管道传输至第一图层混合器(Layer Mixer，LM)，进而，传输至第一局部色调映射层(local tonemapping，LTM)，然后传输至第一显示图层后处理(display post processing，DSPP)单元，接着传输至第一显示压缩器(display stream compression，DSC)，最后通过第一显示串行接口(display serial interface，DSI)和第一移动产业处理器接口(mobile industryprocessor interface，MIPI)总线传输至插帧处理芯片。OSD数据可通过第二VIG数据管道传输至第二LM，进而，传输至第二LTM，然后传输至第二DSPP单元，接着传输至第二DSC，通过第二DSI和第二MIPI总线传输至插帧处理芯片。或者，OSD数据还可通过SDMA数据管道传输至第三图层混合器，然后从第三图层混合器传输至插帧处理芯片。
举例说明，请参阅图1C，图1C为本申请实施例提供的一种获取第一视频数据和OSD数据的流程示意图，如图1C所示，第一视频数据通过第一VIG数据管道传输至第一LM，进而，传输至第一LTM，然后传输至第一DSPP单元，接着传输至第一DSC，通过第一DSI传输至插帧处理芯片，最后，由插帧处理芯片对第一视频数据进行插帧处理，得到第二视频数据，并将插帧处理后的第二视频数据发送至显示屏。OSD数据通过第二VIG数据管道传输至第二LM，进而，将OSD数据的透明度信息进行编码，具体地，将OSD数据的透明度信息转换成RGB信息，传输至第二LTM，然后传输至第二DSPP单元，接着传输至第二DSC，最后通过第二DSI传输至插帧处理芯片，最后由插帧处理芯片对RGB信息进行解码，得到OSD数据的透明度信息和原始RGB信息，将透明度信息和原始RGB信息传输至显示屏，从而，可根据透明度信息将OSD数据显示在视频窗口。从而，可分别将第一视频数据和OSD数据分别通过两个数据管道传输至插帧处理芯片。
102、对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据。
具体实施中，在摄像头进行移动时，摄像头的视频画面可能发生卡顿，影响视频画面的显示效果，若对包括第一视频数据和OSD数据的视频画面都进行插帧处理，则对OSD数据的插帧处理会产生负面效果，因此，可仅对第一视频数据进行插帧处理，消除运动场景下第一视频数据中的运动抖动、运动拖尾等现象，得到插帧后的第二视频数据，从而增强视频画面的清晰度。
可选地，上述步骤102之前，所述方法还可包括以下步骤：
1201、若所述第一视频数据的第一属性信息满足第一预设条件，执行所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据的操作；
1202、若所述OSD数据的第二属性信息满足第二预设条件，执行所述在视频窗口将所述第二视频数据和所述OSD数据显示在视频窗口的操作。
其中，上述第一属性信息可包括第一图层名称和第一图层格式，第二属性信息包括第二图层名称和第二图层格式。
本申请实施例中，在对所述第一视频数据进行插帧处理之前，可先对第一视频数据进行识别，若第一视频数据的第一属性信息满足第一预设条件，可确定第一视频数据为需要进行插帧处理的视频数据。还可对OSD数据进行识别，若OSD数据的第二属性信息满足第二预设条件，可确定OSD数据为不需要进行插帧处理，只需要直接传输至显示屏进行显示的数据。本实施例中，通过对第一视频数据携带的第一属性信息和OSD数据携带的第二属性信息进行识别，可将第一视频数据和OSD数据进行区分，从而分别做不同的处理。
可选地，上述步骤102之前，所述方法还可包括以下步骤：
1203、若所述第一图层名称为视频层，或者，若所述第一图层格式为YUV格式，确定所述第一视频数据的第一属性信息满足第一预设条件；
1204、若所述第二图层名称为OSD层，或者，若所述第二图层格式为RBG格式，确定所述OSD数据的第二属性信息满足第二预设条件。
其中，第一属性信息可包括第一图层名称和第一图层格式，第二属性信息可包括第二图层名称和第二图层格式，若第一图层名称为视频层，或者，若第一图层格式为YUV格式，例如，YCBCR_420格式，可确定第一视频数据为需要进行插帧处理的视频数据，若所述第二图层名称为OSD层，或者，若所述第二图层格式为RBG格式，例如摄像头拍摄时，拍摄画面的对焦框的格式为RGBA8888，可确定OSD数据为不需要进行插帧处理，只需要直接传输至显示屏进行显示的数据。
可选地，上述步骤102中，对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据，可包括以下步骤：
21、针对所述第一视频数据进行运动矢量运算，得到目标矢量；
22、根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
其中，上述目标矢量可以是第一视频数据中运动目标的运动位移，进而，可确定该运动目标的目标矢量，然后根据目标矢量对第一视频数据进行插帧操作，得到第二视频数据，例如，第一视频数据中包括运动的足球，可确定该运动的足球的目标矢量，然后根据目标矢量对第一视频数据进行插帧操作，得到第二视频数据。
可选地，上述步骤21中，针对所述第一视频数据进行运动矢量运算，得到目标矢量，可包括以下步骤：
2101、对所述第一视频数据进行运动检测，得到多个运动检测点；
2102、获取所述多个运动检测点中每一运动检测点的点运动矢量，得到多个点运动矢量；
2103、若所述多个点运动矢量相同，则将任一所述点运动矢量确定为所述目标矢量。
具体实施中，可对第一视频数据进行运动检测得到多个运动检测点，多个运动检测点可以为第一视频数据中运动目标的多个特征点，然后获取多个运动检测点中每一运动检测点的点运动矢量，得到多个点运动矢量，若多个点运动矢量相同，则将任一点运动矢量确定为目标矢量。
可选地，上述步骤22中，根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据，可包括以下步骤：
2201、确定所述第一视频数据中任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率；
2202、根据预设的视频帧率与插帧数量之间的对应关系确定与所述目标视频帧率对应的目标插帧数量n，n为正整数；
2203、根据所述目标矢量进行运动补偿，得到n帧插帧图像；
2204、将所述n帧插帧图像插入所述任意相邻两帧视频图像之间，得到所述第二视频数据。
其中，运动补偿是指一种描述相邻帧(相邻表示在编码关系上相邻)差别的方法，具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去。该方法可被视频压缩/视频编解码器用来减少视频序列中的空域冗余。也可以用来进行运动插值(motioninterpolation)操作。
具体实施中，第一视频数据可包括多帧视频图像，可将第一视频数据划分为多个视频段，针对每一个视频段可确定该视频段的视频帧率，因此，本方案中，可确定任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率，考虑到视频帧率越大，视频越清晰，视频帧率越小，视频清晰度越低，因此，可预先设置视频帧率与插帧数量之间的对应关系，从而，可根据该对应关系确定与所述目标视频帧率对应的目标插帧数量n，然后，可根据所述目标矢量进行运动补偿，得到n帧插帧图像，具体地，可根据目标插帧数量n将目标矢量划分为(n+1)个偏移矢量，然后根据(n+1)个偏移矢量和相邻两帧视频图像确定n帧插帧图像，最后，将n帧插帧图像插入该任意相邻两帧视频图像之间，得到第二视频数据。如此，可根据帧率更加准确地进行插帧，提高视频窗口中视频数据的流畅度。
可选地，本申请实施例中，还可包括以下步骤：
1021、将所述第一视频数据划分为多个视频段；
1022、确定所述多个视频段中每一视频段对应的视频帧率，得到多个视频帧率；
1023、若所述多个视频帧率中的最大视频帧率和最小视频帧率之间的差值小于预设阈值，执行所述对所述第一视频数据进行插帧处理的操作。
本申请实施例中，考虑到帧率的稳定性对插帧效果有影响，若帧率变化大，则进行插帧可能导致画面模糊，因此，可在对所述第一视频数据进行插帧处理之前，检测第一视频数据的视频帧率稳定性，具体地，可将第一视频数据划分为多个视频段，然后，确定多个视频段中每一视频段对应的视频帧率，得到多个视频帧率，若多个视频帧率中的最大视频帧率和最小视频帧率之间的差值小于预设阈值，表明多个视频帧率之间差距较小，第一视频数据的帧率较为稳定，进而，可执行所述对所述第一视频数据进行插帧处理的操作；若多个视频帧率中的最大视频帧率和最小视频帧率之间的差值大于或等于预设阈值，表明第一视频数据的帧率不够稳定，可暂停对第一视频数据进行插帧处理的操作。
可选地，本申请实施例中，还可包括以下步骤：
1024、检测所述视频窗口是否存在弹框；
1025、若否，执行所述对所述第一视频数据进行插帧处理的操作。
本申请实施例中，考虑到视频窗口存在弹框时，若对第一视频数据进行插帧，可能会影响弹框的显示效果，因此，可在对所述第一视频数据进行插帧处理之前，检测视频窗口是否存在弹框，若存在弹框，则可暂停对第一视频数据进行插帧处理的操作，若不存在弹框，则可对所述第一视频数据进行插帧处理。
103、将所述第二视频数据和所述OSD数据显示在视频窗口。
其中，将插帧处理后的第二视频数据和OSD数据通过显示屏进行显示，插帧后的第二视频数据相比第一视频数据更加流畅，且对焦框在视频窗口中的显示不会影响第二视频数据的显示效果。
请参阅图1D，图1D为本申请实施例提供的一种将第二视频数据和OSD数据进行显示的演示示意图，其中，摄像头进行拍摄时，预览画面中包括插帧后的第二视频数据和OSD数据(对焦框，图标等)，其中，对焦框会随着用户的对焦操作在视频窗口中变动，或者，对焦框会随着电子设备进行目标检测得到运动目标的位置进行变动，插帧后的第二视频数据相比第一视频数据更加流畅，且对焦框在视频窗口中的显示不会影响第二视频数据的显示效果。
可以看出，本申请实施例中所描述的插帧处理方法，应用于电子设备，电子设备包括摄像头，通过在摄像头开启的状态下，获取摄像头采集的第一视频数据和OSD数据；对第一视频数据进行插帧处理，得到插帧后的第二视频数据；将所述第二视频数据和所述OSD数据显示在视频窗口，如此，可通过对第一视频数据进行插帧，提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。
与上述图1B所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种插帧处理方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括摄像头，本插帧处理方法包括：
201、在所述摄像头开启的状态下，通过第一视频数据管道获取所述摄像头采集的第一视频数据。
202、通过第二视频数据管道获取所述OSD数据。
203、针对所述第一视频数据进行运动矢量运算，得到目标矢量。
204、确定所述第一视频数据中任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率。
205、根据预设的视频帧率与插帧数量之间的对应关系确定与所述目标视频帧率对应的目标插帧数量n，n为正整数。
206、根据所述目标矢量进行运动补偿，得到n帧插帧图像。
207、将所述n帧插帧图像插入所述任意相邻两帧视频图像之间，得到第二视频数据。
208、将所述第二视频数据和所述OSD数据显示在视频窗口。
其中，上述步骤201-步骤208的具体描述可以参照如图1B所描述的插帧处理方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的插帧处理方法，一方面能够通过两个视频数据管道分别获取第一视频数据和OSD数据，另一方面，可仅针对第一视频数据进行插帧处理，从而，可提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。
与上述图1B所示的实施例一致地，请参阅图3，图3是本申请实施例提供的一种插帧处理方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括摄像头，本插帧处理方法包括：
301、在所述摄像头开启的状态下，通过第一视频数据管道获取所述摄像头采集的第一视频数据。
302、通过第二视频数据管道获取所述OSD数据。
303、针对所述第一视频数据进行运动矢量运算，得到目标矢量。
304、将所述第一视频数据划分为多个视频段。
305、确定所述多个视频段中每一视频段对应的视频帧率，得到多个视频帧率。
306、检测所述多个视频帧率中的最大视频帧率和最小视频帧率之间的差值是否小于预设阈值。
307、若是，检测所述视频窗口是否存在弹框。
308、若否，对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据。
309、将所述第二视频数据和所述OSD数据显示在视频窗口。
其中，上述步骤301-步骤309的具体描述可以参照如图1B所描述的插帧处理方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的插帧处理方法，可先对第一视频数据的视频帧率进行检测，若视频帧率稳定，进一步检测是否出现弹框，若未出现弹框，则进行视频插帧处理，从而，可保证视频插帧的效果，提高视频画面的流畅度，且保证视频的插帧处理效果不受弹框、OSD数据或视频帧率的影响。
与上述实施例一致地，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、摄像头、存储器、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：
在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；
对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
将所述第二视频数据和所述OSD数据显示在视频窗口。
可以看出，本申请实施例中所描述的电子设备，该电子设备包括摄像头，通过在摄像头开启的状态下，获取摄像头采集的第一视频数据和OSD数据；对第一视频数据进行插帧处理，得到插帧后的第二视频数据；将第二视频数据和OSD数据进行显示，如此，可通过对第一视频数据进行插帧，提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。
在一个可能的示例中，在所述获取所述摄像头采集的第一视频数据和OSD数据方面，上述程序包括用于执行以下步骤的指令：
通过第一视频数据管道获取所述摄像头采集的第一视频数据；
通过第二视频数据管道获取所述OSD数据。
在一个可能的示例中，上述程序还包括用于执行以下步骤的指令：
若所述第一视频数据的第一属性信息满足第一预设条件，执行所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据的操作；
若所述OSD数据的第二属性信息满足第二预设条件，执行所述在视频窗口将所述第二视频数据和所述OSD数据显示在视频窗口的操作。
在一个可能的示例中，上述程序还包括用于执行以下步骤的指令：
若所述第一图层名称为视频层，或者，若所述第一图层格式为YUV格式，确定所述第一视频数据的第一属性信息满足第一预设条件；
若所述第二图层名称为OSD层，或者，若所述第二图层格式为RBG格式，确定所述OSD数据的第二属性信息满足第二预设条件。
在一个可能的示例中，在所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据方面，上述程序包括用于执行以下步骤的指令：
针对所述第一视频数据进行运动矢量运算，得到目标矢量；
根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述针对所述第一视频数据进行运动矢量运算，得到目标矢量方面，上述程序包括用于执行以下步骤的指令：
对所述第一视频数据进行运动检测，得到多个运动检测点；
获取所述多个运动检测点中每一运动检测点的点运动矢量，得到多个点运动矢量；
若所述多个点运动矢量相同，则将任一所述点运动矢量确定为所述目标矢量。
在一个可能的示例中，在所述根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据方面，上述程序包括用于执行以下步骤的指令：
确定所述第一视频数据中任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率；
根据预设的视频帧率与插帧数量之间的对应关系确定与所述目标视频帧率对应的目标插帧数量n，n为正整数；
根据所述目标矢量进行运动补偿，得到n帧插帧图像；
将所述n帧插帧图像插入所述任意相邻两帧视频图像之间，得到所述第二视频数据。
在一个可能的示例中，上述程序还包括用于执行以下步骤的指令：
将所述第一视频数据划分为多个视频段；
确定所述多个视频段中每一视频段对应的视频帧率，得到多个视频帧率；
若所述多个视频帧率中的最大视频帧率和最小视频帧率之间的差值小于预设阈值，执行所述对所述第一视频数据进行插帧处理的操作。
在一个可能的示例中，上述程序还包括用于执行以下步骤的指令：
检测所述视频窗口是否存在弹框；
若否，执行所述对所述第一视频数据进行插帧处理的操作。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图5是本申请实施例中所涉及的插帧处理装置500的功能单元组成框图。该插帧处理装置500，应用于电子设备，所述电子设备包括摄像头，所述装置500包括：获取单元501、处理单元502和显示单元503，其中，
所述获取单元501，用于在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；
所述处理单元502，用于对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
所述显示单元503，用于将所述第二视频数据和所述OSD数据显示在视频窗口。
可以看出，本申请实施例中所描述的插帧处理装置，应用于电子设备，电子设备包括摄像头，通过在摄像头开启的状态下，获取摄像头采集的第一视频数据和OSD数据；对第一视频数据进行插帧处理，得到插帧后的第二视频数据；将第二视频数据和OSD数据进行显示，如此，可通过对第一视频数据进行插帧，提高视频画面的流畅度，且可避免OSD数据引入负面显示效果。
在一个可能的示例中，在所述获取所述摄像头采集的第一视频数据和OSD数据方面，所述获取单元501具体用于：
通过第一视频数据管道获取所述摄像头采集的第一视频数据；
通过第二视频数据管道获取所述OSD数据。
在一个可能的示例中，所述处理单元502还用于：
若所述第一视频数据的第一属性信息满足第一预设条件，执行所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据的操作；
若所述OSD数据的第二属性信息满足第二预设条件，由所述显示单元503执行所述在视频窗口将所述第二视频数据和所述OSD数据显示在视频窗口的操作。
在一个可能的示例中，所述第一属性信息包括第一图层名称和第一图层格式，所述第二属性信息包括第二图层名称和第二图层格式，所述处理单元502还用于：
若所述第一图层名称为视频层，或者，若所述第一图层格式为YUV格式，确定所述第一视频数据的第一属性信息满足第一预设条件；
若所述第二图层名称为OSD层，或者，若所述第二图层格式为RBG格式，确定所述OSD数据的第二属性信息满足第二预设条件。
在一个可能的示例中，在所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据方面，所述处理单元502具体用于：
针对所述第一视频数据进行运动矢量运算，得到目标矢量；
根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述针对所述第一视频数据进行运动矢量运算，得到目标矢量方面，所述处理单元502具体用于：
对所述第一视频数据进行运动检测，得到多个运动检测点；
获取所述多个运动检测点中每一运动检测点的点运动矢量，得到多个点运动矢量；
若所述多个点运动矢量相同，则将任一所述点运动矢量确定为所述目标矢量。
在一个可能的示例中，在所述根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述处理单元502具体用于：
确定所述第一视频数据中任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率；
根据预设的视频帧率与插帧数量之间的对应关系确定与所述目标视频帧率对应的目标插帧数量n，n为正整数；
根据所述目标矢量进行运动补偿，得到n帧插帧图像；
将所述n帧插帧图像插入所述任意相邻两帧视频图像之间，得到所述第二视频数据。
在一个可能的示例中，所述处理单元502还用于：
将所述第一视频数据划分为多个视频段；
确定所述多个视频段中每一视频段对应的视频帧率，得到多个视频帧率；
若所述多个视频帧率中的最大视频帧率和最小视频帧率之间的差值小于预设阈值，执行所述对所述第一视频数据进行插帧处理的操作。
在一个可能的示例中，所述处理单元502还用于：
检测所述视频窗口是否存在弹框；
若否，执行所述对所述第一视频数据进行插帧处理的操作。
可以理解的是，本实施例的插帧处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种插帧处理方法，其特征在于，应用于电子设备，所述电子设备包括摄像头，所述方法包括：
在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和屏幕显示OSD数据；
对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
将所述第二视频数据和所述OSD数据显示在视频窗口。
2.根据权利要求1所述的方法，其特征在于，所述获取所述摄像头采集的第一视频数据和OSD数据，包括：
通过第一视频数据管道获取所述摄像头采集的第一视频数据；
通过第二视频数据管道获取所述OSD数据。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
若所述第一视频数据的第一属性信息满足第一预设条件，执行所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据的操作；
若所述OSD数据的第二属性信息满足第二预设条件，执行所述在视频窗口将所述第二视频数据和所述OSD数据显示在视频窗口的操作。
4.根据权利要求3所述的方法，其特征在于，所述第一属性信息包括第一图层名称和第一图层格式，所述第二属性信息包括第二图层名称和第二图层格式，所述方法还包括：
若所述第一图层名称为视频层，或者，若所述第一图层格式为YUV格式，确定所述第一视频数据的第一属性信息满足第一预设条件；
若所述第二图层名称为OSD层，或者，若所述第二图层格式为RBG格式，确定所述OSD数据的第二属性信息满足第二预设条件。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据，包括：
针对所述第一视频数据进行运动矢量运算，得到目标矢量；
根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
6.根据权利要求5所述的方法，其特征在于，所述针对所述第一视频数据进行运动矢量运算，得到目标矢量，包括：
对所述第一视频数据进行运动检测，得到多个运动检测点；
获取所述多个运动检测点中每一运动检测点的点运动矢量，得到多个点运动矢量；
若所述多个点运动矢量相同，则将任一所述点运动矢量确定为所述目标矢量。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据，包括：
确定所述第一视频数据中任意相邻两帧视频图像所在的目标视频段对应的目标视频帧率；
根据预设的视频帧率与插帧数量之间的对应关系确定与所述目标视频帧率对应的目标插帧数量n，n为正整数；
根据所述目标矢量进行运动补偿，得到n帧插帧图像；
将所述n帧插帧图像插入所述任意相邻两帧视频图像之间，得到所述第二视频数据。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
将所述第一视频数据划分为多个视频段；
确定所述多个视频段中每一视频段对应的视频帧率，得到多个视频帧率；
若所述多个视频帧率中的最大视频帧率和最小视频帧率之间的差值小于预设阈值，执行所述对所述第一视频数据进行插帧处理的操作。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
检测所述视频窗口是否存在弹框；
若否，执行所述对所述第一视频数据进行插帧处理的操作。
10.一种电子设备，其特征在于，所述电子设备包括摄像头、插帧处理芯片和显示屏，所述插帧处理芯片与所述摄像头连接，所述插帧处理芯片与所述显示屏连接，所述电子设备包括：
所述插帧处理芯片，用于在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；以及，对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
所述显示屏，用于将所述第二视频数据和所述OSD数据显示在视频窗口。
11.一种插帧处理装置，其特征在于，应用于电子设备，所述电子设备包括摄像头，所述装置包括：
获取单元，用于在所述摄像头开启的状态下，获取所述摄像头采集的第一视频数据和OSD数据；
处理单元，用于对所述第一视频数据进行插帧处理，得到插帧后的第二视频数据；
显示单元，用于将所述第二视频数据和所述OSD数据显示在视频窗口。
12.一种电子设备，其特征在于，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如权利要求1～9任一项所述的方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～9任一项所述的方法。
CN202010065634.0A 2020-01-20 2020-01-20 插帧处理方法及相关产品 Active CN111225150B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010065634.0A CN111225150B (zh) 2020-01-20 2020-01-20 插帧处理方法及相关产品
PCT/CN2021/070143 WO2021147657A1 (zh) 2020-01-20 2021-01-04 插帧处理方法及相关产品
EP21744632.7A EP4093016A4 (en) 2020-01-20 2021-01-04 IMAGE INTERPOLATION PROCESSING METHOD AND RELEVANT PRODUCT
US17/813,590 US20220360736A1 (en) 2020-01-20 2022-07-19 Method for frame interpolation and related products

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065634.0A CN111225150B (zh) 2020-01-20 2020-01-20 插帧处理方法及相关产品

Publications (2)

Publication Number Publication Date
CN111225150A true CN111225150A (zh) 2020-06-02
CN111225150B CN111225150B (zh) 2021-08-10

Family

ID=70831284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065634.0A Active CN111225150B (zh) 2020-01-20 2020-01-20 插帧处理方法及相关产品

Country Status (4)

Country Link
US (1) US20220360736A1 (zh)
EP (1) EP4093016A4 (zh)
CN (1) CN111225150B (zh)
WO (1) WO2021147657A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813490A (zh) * 2020-08-14 2020-10-23 Oppo广东移动通信有限公司 插帧处理方法及装置
CN111918098A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备、服务器及存储介质
CN112004086A (zh) * 2020-08-21 2020-11-27 Oppo广东移动通信有限公司 视频数据处理方法及装置
CN112532880A (zh) * 2020-11-26 2021-03-19 展讯通信（上海）有限公司 视频处理方法、装置、终端设备及存储介质
CN113015007A (zh) * 2021-01-28 2021-06-22 维沃移动通信有限公司 视频插帧方法、装置及电子设备
WO2021147657A1 (zh) * 2020-01-20 2021-07-29 Oppo广东移动通信有限公司 插帧处理方法及相关产品
CN113709301A (zh) * 2021-08-25 2021-11-26 Oppo广东移动通信有限公司 图像处理方法及装置、存储器、电子设备
CN113835657A (zh) * 2021-09-08 2021-12-24 维沃移动通信有限公司 显示方法及电子设备
CN114285956A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 视频分享电路、方法、装置及电子设备
CN114286007A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、图像处理方法、电子设备和可读存储介质
CN114339411A (zh) * 2021-12-30 2022-04-12 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN114666458A (zh) * 2020-12-22 2022-06-24 富泰华工业（深圳）有限公司 图像融合方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207183A1 (en) * 2008-02-19 2009-08-20 Sony Corporation Image processing apparatus and image processing method, and program
CN103248950A (zh) * 2013-04-28 2013-08-14 天脉聚源(北京)传媒科技有限公司 一种视频帧率定制的系统及方法
CN203313319U (zh) * 2013-06-09 2013-11-27 深圳创维－Rgb电子有限公司 一种显示系统
US20180315174A1 (en) * 2017-05-01 2018-11-01 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN109275011A (zh) * 2018-09-03 2019-01-25 青岛海信传媒网络技术有限公司 智能电视运动模式切换的处理方法及装置、用户设备
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN110072135A (zh) * 2019-05-29 2019-07-30 深圳创维－Rgb电子有限公司 5g电视、基于5g电视的视频播放方法及可读存储介质
CN110121071A (zh) * 2018-02-05 2019-08-13 广东欧珀移动通信有限公司 视频编码方法及相关产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242850B2 (en) * 2001-02-23 2007-07-10 Eastman Kodak Company Frame-interpolated variable-rate motion imaging system
JP5023893B2 (ja) * 2007-08-31 2012-09-12 ソニー株式会社 表示装置
CN108632666B (zh) * 2017-03-15 2021-03-05 华为技术有限公司 一种视频检测方法及视频检测设备
CN108322650B (zh) * 2018-02-08 2020-03-27 Oppo广东移动通信有限公司 视频拍摄方法和装置、电子设备、计算机可读存储介质
US10404923B1 (en) * 2018-10-29 2019-09-03 Henry M. Pena Real time video special effects system and method
CN111225150B (zh) * 2020-01-20 2021-08-10 Oppo广东移动通信有限公司 插帧处理方法及相关产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207183A1 (en) * 2008-02-19 2009-08-20 Sony Corporation Image processing apparatus and image processing method, and program
CN103248950A (zh) * 2013-04-28 2013-08-14 天脉聚源(北京)传媒科技有限公司 一种视频帧率定制的系统及方法
CN203313319U (zh) * 2013-06-09 2013-11-27 深圳创维－Rgb电子有限公司 一种显示系统
US20180315174A1 (en) * 2017-05-01 2018-11-01 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN110121071A (zh) * 2018-02-05 2019-08-13 广东欧珀移动通信有限公司 视频编码方法及相关产品
CN109275011A (zh) * 2018-09-03 2019-01-25 青岛海信传媒网络技术有限公司 智能电视运动模式切换的处理方法及装置、用户设备
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN110072135A (zh) * 2019-05-29 2019-07-30 深圳创维－Rgb电子有限公司 5g电视、基于5g电视的视频播放方法及可读存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147657A1 (zh) * 2020-01-20 2021-07-29 Oppo广东移动通信有限公司 插帧处理方法及相关产品
CN111813490A (zh) * 2020-08-14 2020-10-23 Oppo广东移动通信有限公司 插帧处理方法及装置
CN112004086A (zh) * 2020-08-21 2020-11-27 Oppo广东移动通信有限公司 视频数据处理方法及装置
CN111918098A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备、服务器及存储介质
CN112532880B (zh) * 2020-11-26 2022-03-11 展讯通信（上海）有限公司 视频处理方法、装置、终端设备及存储介质
CN112532880A (zh) * 2020-11-26 2021-03-19 展讯通信（上海）有限公司 视频处理方法、装置、终端设备及存储介质
CN114666458A (zh) * 2020-12-22 2022-06-24 富泰华工业（深圳）有限公司 图像融合方法、装置、电子设备及存储介质
CN114666458B (zh) * 2020-12-22 2024-07-02 富泰华工业（深圳）有限公司 图像融合方法、装置、电子设备及存储介质
CN113015007A (zh) * 2021-01-28 2021-06-22 维沃移动通信有限公司 视频插帧方法、装置及电子设备
CN113015007B (zh) * 2021-01-28 2023-05-26 维沃移动通信有限公司 视频插帧方法、装置及电子设备
CN113709301A (zh) * 2021-08-25 2021-11-26 Oppo广东移动通信有限公司 图像处理方法及装置、存储器、电子设备
CN113835657A (zh) * 2021-09-08 2021-12-24 维沃移动通信有限公司 显示方法及电子设备
CN114285956A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 视频分享电路、方法、装置及电子设备
CN114286007A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、图像处理方法、电子设备和可读存储介质
CN114339411A (zh) * 2021-12-30 2022-04-12 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN114339411B (zh) * 2021-12-30 2023-12-26 西安紫光展锐科技有限公司 视频处理方法、装置及设备

Also Published As

Publication number Publication date
WO2021147657A1 (zh) 2021-07-29
EP4093016A4 (en) 2023-09-20
US20220360736A1 (en) 2022-11-10
EP4093016A1 (en) 2022-11-23
CN111225150B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN111225150B (zh) 插帧处理方法及相关产品
JP7504953B2 (ja) 画像を合成するための方法及び装置
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
CN110996170B (zh) 视频文件播放方法及相关设备
CN112449120B (zh) 高动态范围视频生成方法及装置
CN107507160B (zh) 一种图像融合方法、终端及计算机可读存储介质
WO2020140758A1 (zh) 图像显示方法、图像处理方法和相关设备
US20170366731A1 (en) Imaging apparatus, flicker detection method, and flicker detection program
EP3664445B1 (en) Image processing method and device therefor
US10602077B2 (en) Image processing method and system for eye-gaze correction
CN109068063B (zh) 一种三维图像数据的处理、显示方法、装置及移动终端
CN114640783B (zh) 一种拍照方法及相关设备
CN113126937A (zh) 一种显示终端调整方法及显示终端
JP6564859B2 (ja) 色域マッピング方法および装置
WO2022218042A1 (zh) 视频处理方法、装置、视频播放器、电子设备及可读介质
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
EP3293960A1 (en) Information processing device, information processing method, and program
CN105094614B (zh) 图像显示方法及装置
US9286655B2 (en) Content aware video resizing
CN113393391B (zh) 图像增强方法、图像增强装置、电子设备和存储介质
US20230245326A1 (en) Methods and systems for dual channel transfer of game
CN110225177B (zh) 一种界面调节方法、计算机存储介质及终端设备
CN117853377B (zh) 图像处理方法、电子设备及计算机可读存储介质
WO2018173445A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
CN114302209B (zh) 视频处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant