CN111083417A - 图像处理方法及相关产品 - Google Patents
图像处理方法及相关产品 Download PDFInfo
- Publication number
- CN111083417A CN111083417A CN201911262123.1A CN201911262123A CN111083417A CN 111083417 A CN111083417 A CN 111083417A CN 201911262123 A CN201911262123 A CN 201911262123A CN 111083417 A CN111083417 A CN 111083417A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- video data
- frame interpolation
- touch parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Abstract
本申请实施例公开了一种图像处理方法及相关产品，应用于电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，其中方法包括：获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；获取触摸屏TP报点信息，所述TP报点信息携带目标触控参数；依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。采用本申请实施例，能够通过触控操作，实现动态插帧操作，有助于提升插帧效果。
Description
技术领域
本申请涉及电子技术领域，具体涉及一种图像处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。
目前来看，大多数插帧实现主要是通过重复每一帧图像或者通过相邻两幅图像的像素取平均来作为插帧图像，这种插帧方面简单粗暴，并不能提升插帧效果。
发明内容
本申请实施例提供了一种图像处理方法及相关产品，能够提升插帧效果。
第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，所述方法包括：
获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
获取TP报点信息，所述TP报点信息携带目标触控参数；
依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
第二方面，本申请实施例提供了一种电子设备，所述电子设备包括图形处理器GPU、插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，其中，
所述GPU，用于获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
所述TP，用于获取TP报点信息，所述TP报点信息携带目标触控参数；
所述插帧处理芯片，用于依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
第三方面，本申请实施例提供了一种图像处理装置，应用于电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，所述装置包括：第一获取单元、第二获取单元和插帧单元，其中，
所述第一获取单元，用于获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
所述第二获取单元，用于获取TP报点信息，所述TP报点信息携带目标触控参数；
所述插帧单元，用于依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
第四方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的图像处理方法及相关产品，应用于电子设备，电子设备包括插帧处理芯片和触摸屏TP，插帧处理芯片包括串行外设接口SPI模块，插帧处理芯片通过SPI模块连接TP，获取第一视频数据，第一视频数据的视频源频率小于显示屏频率，获取TP报点信息，TP报点信息携带目标触控参数，依据目标触控参数对第一视频数据进行插帧操作，得到第二视频数据，能够通过触控操作，实现动态插帧操作，有助于提升插帧效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图；
图1B是本申请实施例提供的一种图像处理方法的流程示意图；
图1C是本申请实施例提供的插帧处理芯片与TP之间的连接示意图；
图1D是本申请实施例提供的插帧演示示意图；
图1E是本申请实施例提供的界面演示示意图；
图1F是本申请实施例提供的另一插帧演示示意图；；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的另一种电子设备的结构示意图；
图4A是本申请实施例提供的一种图像处理装置的功能单元组成框图；
图4B是本申请实施例提供的另一种图像处理装置的功能单元组成框图；
图4C是本申请实施例提供的另一种图像处理装置的功能单元组成框图；
图4D是本申请实施例提供的另一种图像处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(智能手机、平板电脑等)、车载设备(导航仪、车载冰箱、车载吸尘器等等)、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
如图1A所示，图1A是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、信号处理器、通信接口、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、插帧处理芯片、TP、摄像模组和传感器等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模组、传感器、插帧处理芯片、TP与处理器连接，通信接口与信号处理器连接。
其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。
其中，该摄像模组可以包括普通摄像头、也可以包括红外摄像头，在此不作限定。该摄像头可以是前置摄像头或后置摄像头，在此不作限定。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外光(Infrared lightsource，IR)传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
其中，处理器可集成应用处理器(application processor，AP)和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，处理器包括中央处理器(Central Processing Unit，CPU)和图形处理器(Graphics Processing Unit，GPU)。CPU是电子计算机的主要设备之一，电脑中的核心配件。其功能主要是解释计算机指令以及处理计算机软件中的数据。CPU是计算机中负责读取指令，对指令译码并执行指令的核心部件。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。电子计算机三大核心部件就是CPU、内部存储器、输入/输出设备。中央处理器的功效主要为处理指令、执行操作、控制时间、处理数据。而GPU又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，插帧处理芯片用于在原有画面显示的每两帧画面中增加一帧或多帧，缩短每帧之间的显示时间，提高电子设备的视频显示的帧率，解决视频存在的闪烁、拖尾问题，消除快速运动画面的图像边缘模糊现象，修正人眼视觉暂留形成的“错觉”，从而有效提高画面稳定性。插帧处理芯片可以为显卡，例如，Iris芯片。
基于上述图1A所描述的电子设备，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，可以用于实现如下功能：
所述GPU，用于获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
所述TP，用于获取TP报点信息，所述TP报点信息携带目标触控参数；
所述插帧处理芯片，用于依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述目标触控参数包括目标触摸轨迹时，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧处理芯片具体用于：
依据所述目标触摸轨迹进行运动矢量运算，得到目标矢量；
依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述目标触控参数包括目标触摸手势时，所述插帧处理芯片还具体用于：
按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令；
在所述目标插帧控制指令为预设插帧控制指令时，执行所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据的步骤。
在一个可能的示例中，在所述第一视频数据应用于第三方应用且所述第三方应用的视频Video和屏幕菜单式调节方式OSD无法分层时，所述TP还具体用于：
将所述目标触控参数与预设触控参数进行比对；
由所述插帧处理芯片在所述目标触控参数与所述预设触控参数比对失败时，执行所述按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令的步骤。
在一个可能的示例中，所述AP具体用于：
在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令；
执行与所述目标第三方应用指令相应的操作。
在一个可能的示例中，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧处理芯片具体用于：
按照预设的点击频率与插帧等级之间的映射关系，确定所述目标点击频率对应的目标插帧等级；
按照预设的目标插帧等级，对所述第一视频数据进行插帧操作。
在一个可能的示例中，在所述按照所述目标插帧等级，对所第一视频数据进行插帧操作方面，所述插帧处理芯片具体用于：
确定所述目标插帧等级对应的目标插帧数量P，所述P为正整数；
确定目标帧与该目标帧的前一帧之间的目标偏移矢量，所述目标帧为所述第一视频数据中的任一中间帧；
依据所述目标偏移矢量进行运动估计，得到P个偏移矢量；
依据所述P个偏移矢量对所述目标帧进行运动补偿，得到P帧插帧图像；
将所述P帧插帧图像插入所述目标帧与所述目标帧之间。
可以看出，本申请实施例中所描述的电子设备，能够通过触控操作，实现动态插帧操作，有助于提升插帧效果，也提升了插帧灵活性。
请参阅图1B，图1B是本申请实施例提供的一种图像处理方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，本图像处理方法包括：
101、获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率。
其中，第一视频数据可以为第三方应用的视频数据，或者，本地视频数据，或者，网络视频数据。第一视频数据可以对应视频源频率，该视频源频率可以小于显示屏频率，该显示屏频率即显示屏刷新频率。第一视频数据可以为一帧图像或者多帧图像。
102、获取TP报点信息，所述TP报点信息携带目标触控参数。
其中，本申请实施例中，TP报点信息可以包括目标触控参数，还可以包括：报点时间、报点地理位置等等，在此不做限定，上述报点时间可以理解为接收到TP报点信息的时刻，上述报点地理位置可以理解为接收到TP报点信息的地理位置。
本申请实施例中，电子设备可以通过插帧处理芯片，接收TP的报点数据，并结合TP的滑动手势及矢量来判断是否需要进行插帧操作。具体实现中，电子设备可以利用插帧处理芯片内部的SPI模块，实现与TP进行互动，如图1C所示，插帧处理芯片通过串行外设接口(Serial Peripheral Interface，SPI)与TP之间实现通信连接，进而，插帧处理芯片可以接收TP报点相关信息，并通过接收到的TP报点信息，如手势、矢量位移、点击频率等，并以此对显示数据(视频数据)做相应的处理。
其中，SPI为主从双向传输接口，每个SPI接口共4路信号线；MOSI：即Master outSlave in，负责从Master处输出指令信号至Slave端；MISO：即Master in Slave out，负责从Slave处输入指令至Master端；SCK：即SPI Clock，负责生成时序信号；SS：即SlaveSelect，Slave选择信号线，SPI接口一个master可能对应很多Slave，因此，需要SS信号确认当前与Master通信的Slave是哪个。本申请实施例中，Master为插帧处理芯片，Slave为TP，MOSI一般输出TP Rest数据，MISO则是TP报点信息上报的通路，SCK为时序控制端，SS管脚为低电平有效。具体实现中，MOSI每隔预设时间间隔向TP发送指令，以指示TP进行TP上报，通过MISO可以接收TP报点信息，上述预设时间间隔可以由用户自行设置或者系统默认。
本申请实施例，TP可以实现触控检测，从而，可以得到手势、矢量信息(运动矢量)，插帧处理芯片可以通过SPI模块与TP进行互动，并通过TP的报点、手势、矢量信息，对输入芯片的显示内容数据进行处理，从而，达到提高外插准确性、防止插帧异常以及节省功耗的目的。
本申请实施例中，目标触控参数可以为以下至少一种：触摸TP的触摸轨迹、触摸TP的触摸力度、触摸TP的触摸面积、触摸TP的触摸位置、触摸TP的触摸次数、触摸TP的触摸时长、触摸TP的触摸手势、触摸TP的触摸温度、指纹图像、触摸TP的触摸方向等等，在此不做限定。触摸轨迹可以为一段时间内的触摸轨迹，或者，可以为触摸力度大于预设触摸力度对应的触摸轨迹；触摸TP的触摸力度可以为一段时间内的平均触摸力度、最大触摸力度或者最小触摸力度，或者，触摸面积处于预设范围对应的触摸力度；触摸位置可以为手指接触TP的任一位置，也可以为指定手指对应的触摸位置；触摸次数，可以为一段时间内的触摸次数，依据触摸次数可以确定点击频率；触摸手势，可以为手指在TP上滑动生成的一个手势图案；触摸温度可以为手指接触TP时的温度；指纹图像可以由手指接触TP时，由屏下指纹识别模组采集的指纹图像。
103、依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
其中，触控参数在一定程度上反映了用户的操作情况，以游戏应用为例，点击频率越高，则插帧程度越高，点击频率越低，则插帧程度越低。具体实现中，还可以依据目标触控参数确定一个运动矢量，估计该运动矢量估计图像中动态目标的运动趋势。
具体实现中，如图1D所示，针对游戏场景下，插帧操作使用在游戏场景会存在游戏的跟手性延迟的问题。因TP报点频率一般均高于显示屏的扫描频率，而插帧处理芯片的插帧运动矢量计算一般为通过显示画面进行，往往需要前后两帧进行运动矢量计算，在插帧处理芯片未通过SPI与TP连接时，则在只有一帧的情况下，无法实现运动矢量计算，本申请实施例中，电子设备可以将插帧处理芯片通过SPI接收TP信息后，可以第一时间接收到手指触控的矢量信息，并以此上报点位的移动量以及停止滑动信息，插帧处理芯片根据上报的点位矢量信息，进行运动矢量计算，而不必通过AP端写入的2帧显示画面，可以进行更好的预估外插，在游戏等及时性场景下可以预估得非常准确，即结合当前帧，以及运动矢量，便能够实现运动补偿，进而，实现插帧操作。
在一个可能的示例中，在所述目标触控参数包括目标触摸轨迹时，上述步骤103，依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据，可以包括如下步骤：
A31、依据所述目标触摸轨迹进行运动矢量运算，得到目标矢量；
A32、依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
其中，触摸轨迹在一定程度上反映了用户操作动态，因此，电子设备可以依据目标触摸轨迹进行运动矢量运算，得到运动矢量，例如，目标触摸轨迹的起点为A(x1，y1)，终点为B(x2，y2)，则运行矢量AB＝(x2-x1，y2-y1)，进而，可以依据目标矢量对第一视频数据进行插帧操作，得到第二视频数据，例如，可以依据目标矢量对第一视频数据进行运动估计，得到运动估计后的图像帧，将该图像帧插入到第一视频数据，得到第二视频数据。
举例说明下，在相关技术中，如图1D所示，插帧处理芯片可以通过写入的画面计算运动矢量，若GPU输入游戏内容为30hz，当GPU写入第一帧画面时，插帧处理芯片无法通过单帧输入计算运动矢量，在第二帧画面输入后，插帧处理芯片开始计算运动矢量，然后，写入插入帧，此时，距离TP报点已经过去约50ms，因此游戏整体跟手性较差。而本申请实施例中，插帧处理芯片可以通过SPI接收TP信号，运动矢量的计算无需通过GPU送入的显示数据，而是直接通过TP的报点位置矢量变化，直接反馈到插帧处理芯片，因此，无此延迟，从而提高了游戏模式下的跟手性。
在一个可能的示例中，上述步骤A32，依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据，可以包括如下步骤：
A321、确定所述目标矢量的目标模值；
A322、按照预设的目标模值与插帧数量之间的映射关系，确定所述目标模值对应的目标插帧数量M，所述M为正整数；
A323、依据所述目标矢量对当前帧进行运动补偿，得到预测帧，所述当前帧为所述第一视频数据中的任一帧；
A324、依据所述预测帧和所述当前帧，确定M个待插帧；
A325、将所述M个待插帧插入到所述当前帧与该当前帧的下一帧之间。
具体实现中，模值在一定程度上反映了用户操作的激烈程度，因此，电子设备中可以预先存储预设的目标模值与插帧数量之间的映射关系，进而，可以依据该映射关系确定目标模值对应的目标插帧数量M，进一步地，电子设备可以依据目标矢量对当前帧进行运动补偿，得到预测帧，当前帧为第一视频数据中的任一帧，进而，可以依据预测帧和当前帧，确定一个偏移矢量Q，将该偏移矢量划分为M个偏移矢量，例如，将目标偏移矢量Q划分为M份，M个偏移矢量可以为Q/M、2Q/M、3Q/M、…、(M-1)Q/M、Q，依据M个偏移矢量和当前帧确定M个待插帧，最后，可以将M个待插帧插入到当前帧与该当前帧的下一帧之间，如此，可以得到第二视频数据。
在一个可能的示例中，在所述目标触控参数包括目标触摸手势时，在步骤102-步骤103之间，还可以包括如下步骤：
B1、按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令；
B2、在所述目标插帧控制指令为预设插帧控制指令时，执行所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据的步骤。
其中，预设插帧控制指令可以预先保存在电子设备中，其可以由用户自行设置或者系统默认。本申请实施例中，插帧控制指令可以为以下至少一种：开始插帧指令、关闭插帧指令、暂停插帧指令、定时插帧指令等等，在此不做限定。电子设备中可以预先存储预设触摸手势与插帧控制指令之间的映射关系，进而，电子设备可以依据预设触摸手势与插帧控制指令之间的映射关系，确定目标触摸手势对应的目标插帧控制指令，进而，可以在目标插帧控制指令为预设插帧控制指令时，执行步骤103，例如，预设插帧控制指令可以为开始插帧指令，此时，则可以执行步骤103。
进一步地，在一个可能的示例中，在所述第一视频数据应用于第三方应用且所述第三方应用的视频Video和屏幕菜单式调节方式OSD无法分层时，还可以包括如下步骤：
C1、将所述目标触控参数与预设触控参数进行比对；
C2、在所述目标触控参数与所述预设触控参数比对失败时，执行所述按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令的步骤。
进一步地，在一个可能的示例中，上述步骤B1之后，还可以包括如下步骤：
C3、在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令；
C4、执行与所述目标第三方应用指令相应的操作。
具体实现中，视频Video和屏幕菜单式调节方式OSD是否分层具体由第三方应用决定，即第三方应用的功能设置决定了Video和OSD是否分层。预设触控参数可以为以下至少一种：触摸TP的触摸轨迹、触摸TP的触摸力度、触摸TP的触摸面积、触摸TP的触摸位置、触摸TP的触摸次数、触摸TP的触摸时长、触摸TP的触摸手势、触摸TP的触摸温度、指纹图像等等，在此不做限定。上述第三方应用指令可以包括以下至少一种：放大指令、缩小指令、编辑指令、跳转指令(例如，跳转到下一视频)、播放指令、暂停指令、转发指令、收藏指令，在此不做限定，第三方应用指令可以由第三发应用对应的开发商预先设置或者升级应用后进行修改。
其中，电子设备可以将目标触控参数与预设触控参数进行比对，在目标触控参数与预设触控参数比对失败时，执行步骤A1，反之，在目标触控参数与预设触控参数比对成功时，则可以执行第三方应用的相关操作指令，具体地，电子设备中可以预先存储预设的触控参数与第三方应用指令之间的映射关系，进而，可以按照预设的触控参数与第三方应用指令之间的映射关系，确定目标触控参数对应的目标第三方应用指令，进而，可以执行与目标第三方应用指令相应的操作。
具体实现中，针对因为第三方应用底层解码方式为软解码，导致Video和OSD无法分层的情况，本申请实施例中，可以结合手指滑动TP手势、矢量及位置，当滑动界面部分离开当前视频场景时，或点击下部虚拟按键时，例如：在抖音场景下划动屏幕或点击下侧虚拟按键，则停止插帧操作，并可以执行第三方应用的一些操作，如下图1E所示，不同的滑动手势可以对应不同的第三方应用指令，如下提供一种滑动手势与第三方应用指令之间的映射关系：
| 滑动手势 | 第三方应用指令 |
| 向上滑动 | 跳转到上一视频 |
| 向下滑动 | 跳转到下一视频 |
| 向左滑动 | 左跳转指令 |
| 向右滑动 | 右跳转指令 |
插帧处理芯片可以通过侦测TP手势的信息进行退出插帧处理，防止出现诸如OSD变形、撕裂等插帧异常。
具体实现中，除对应TP手势外，在特定点位，如屏幕下部虚拟按键位置，手指触摸虚拟按键位置，则表示进入当前应用列表、返回桌面、退出上一级；因此，当手指点击此位置时也退出插帧，具体退出插帧操作可以由第三方应用的功能设置决定。此外，对应退出显示界面的手势，及点位，均可以做退出插帧处理，此处不再赘述。总之，即当插帧处理芯片接收到TP的对应手势信息时，可以根据手势路径，分辨手势含义，若存在如视频跳转、退出视频等界面时，均可以做退出插帧处理。
在一个可能的示例中，上述步骤103，依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据，可以包括如下步骤：
D31、按照预设的点击频率与插帧等级之间的映射关系，确定所述目标点击频率对应的目标插帧等级；
D32、按照所述目标插帧等级，对所述第一视频数据进行插帧操作，得到第二视频数据。
具体实现中，电子设备中可以预先存储预设的点击频率与插帧等级之间的映射关系，进而，电子设备可以依据该映射关系确定目标点击频率对应的目标插帧等级，不同的插帧等级对应的插入的图像数量可以不一样，例如，插帧等级越高，则插入的图像数量越多，进而，电子设备可以按照预设的目标插帧等级，对第一视频数据进行插帧操作。以游戏为例，本申请实施例中，设置为插帧处理芯片通过SPI接收TP输入信息，通过结合TP接收到的手指点击频率，设置不同插帧等级，从而，在不影响游戏体验的前提下，起到节省功耗的作用。
具体实现中，在游戏模式下，默认对全场景进行插帧，往往会导致的功耗问题，本申请实施例中，在游戏模式下，本方案可以设置为插帧处理芯片通过SPI接收TP输入信息，通过结合TP报点，确认插帧等级的方法。由于在游戏模式下，游戏人物、画面的移动均有手指通过TP进行控制，因此，可以通过在一段时间内，TP接收到的手指点击频率，确认画面的物体的移动程度，设定不同的阈值等级，当点击频率较高时，提高插帧等级，以获得更流畅的游戏体验；当点击频率较低时，降低插帧等级，以降低功耗。
其中，可以探测游戏模式下，探测一段时间内的点击次数，对不同点击频率高低适配不同的插帧等级，由插帧处理芯片探测TP点击频率之后，判定需要的插帧等级，再由插帧处理芯片对AP写入的原始显示数据进行相应的处理。具体地，原始数据可以由MIPI-Rx输入插帧处理芯片，TP报点信息可以经由SPI送入插帧处理芯片。插帧处理芯片对应不同的点击频率设置不同的插帧等级，例如，可以根据TP报点的频率，在插帧处理芯片内部对显示原始数据做不同等级的插帧处理，然后通过MIPI-Tx将处理后的显示输出输出至显示屏。具体实现中，对应不同的游戏内容画面，无需全部做100％插帧，从而，达到在不影响游戏体验的情况下，降低功耗的目的。
进一步地，在一个可能的示例中，上述步骤D32，按照所述目标插帧等级，对所第一视频数据进行插帧操作，包括：
D321、确定所述目标插帧等级对应的目标插帧数量P，所述P为正整数；
D322、确定目标帧与该目标帧的前一帧之间的目标偏移矢量，所述目标帧为所述第一视频数据中的任一中间帧；
D323、依据所述目标偏移矢量进行运动估计，得到P个偏移矢量；
D324、依据所述P个偏移矢量对所述目标帧进行运动补偿，得到P帧插帧图像；
D325、将所述P帧插帧图像插入所述目标帧与所述目标帧之间。
具体实现中，电子设备可以预先存储插帧等级与插帧数量之间的映射关系，进而，可以依据该映射关系确定目标插帧等级对应的目标插帧数量P，P为正整数，还可以确定目标帧与该目标帧的前一帧之间的目标偏移矢量S，目标帧为第一视频数据中的任一中间帧，即目标帧不为第一视频数据的首帧和尾帧，前一帧为第一视频数据中目标帧的前面一帧，进而，电子设备依据目标偏移矢量S进行运动估计，得到P个偏移矢量，例如，将目标偏移矢量划分为P份，P个偏移矢量可以为S/P、2S/P、3S/P、…、(P-1)S/P、S。进而，电子设备可以依据P个偏移矢量对目标帧进行运动补偿，得到P帧插帧图像，最终，将P帧插帧图像插入目标帧与所述目标帧之间，如此，可以依据不同的插帧等级，实现相应的插帧操作，有助于提升插帧效果。
在一个可能的示例中，上述步骤103，依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据，可以包括如下步骤：
E31、按照预设的与插帧等级之间的映射关系，确定所述目标滑动速度对应的第一插帧等级；
E32、按照所述第一插帧等级，对所述第一视频数据进行插帧操作。
其中，本申请实施例中，上述滑动速度可以理解为用户手指在TP上进行滑动的滑动速度，电子设备中可以预先存储预设的与插帧等级之间的映射关系，进而，可以依据该映射关系确定目标滑动速度对应的第一插帧等级，进而，可以按照该第一插帧等级对第一视频数据进行插帧操作，其具体实现方式类似于步骤D321-步骤D325，在此不再赘述，如此，可以依据不同的插帧等级，实现相应的插帧操作，有助于提升插帧效果。
例如，如图1F所示，在滑动速度低于滑动速度S时，不插帧；在滑动速度处于滑动速度S和滑动速度M之间，50％插帧；在滑动速度处于滑动速度M和滑动速度L之间，70插帧；滑动速度大于滑动速度L，则100％插帧。
可以看出，本申请实施例中所描述的图像处理方法，应用于电子设备，电子设备包括插帧处理芯片和触摸屏TP，插帧处理芯片包括串行外设接口SPI模块，插帧处理芯片通过SPI模块连接TP，获取第一视频数据，第一视频数据的视频源频率小于显示屏频率，获取TP报点信息，TP报点信息携带目标触控参数，依据目标触控参数对第一视频数据进行插帧操作，得到第二视频数据，能够通过触控操作，实现动态插帧操作，有助于提升插帧效果。
与上述图1B所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图，如图所示，应用于如图1A所示的电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，本图像处理方法包括：
201、获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率。
202、获取TP报点信息，所述TP报点信息携带目标触控参数。
203、将所述目标触控参数与预设触控参数进行比对。
204、在所述目标触控参数与所述预设触控参数比对失败时，依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
205、在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令。
206、执行与所述目标第三方应用指令相应的操作。
其中，上述步骤201-步骤206的具体描述可以参照如图1B所描述的图像处理方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的图像处理方法，一方面能够通过触控操作，优先实现第三方应用功能，另一方面，还可以依据触控操作，实现动态插帧操作，有助于提升插帧效果。
与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、插帧处理芯片、TP、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，本申请实施例中，上述程序包括用于执行以下步骤的指令：
获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
获取TP报点信息，所述TP报点信息携带目标触控参数；
依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
可以看出，本申请实施例中所描述的电子设备，该电子设备包括插帧处理芯片和触摸屏TP，插帧处理芯片包括串行外设接口SPI模块，插帧处理芯片通过SPI模块连接TP，获取第一视频数据，第一视频数据的视频源频率小于显示屏频率，获取TP报点信息，TP报点信息携带目标触控参数，依据目标触控参数对第一视频数据进行插帧操作，得到第二视频数据，能够通过触控操作，实现动态插帧操作，有助于提升插帧效果。
在一个可能的示例中，在所述目标触控参数包括目标触摸轨迹时，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，上述程序包括用于执行以下步骤的指令：
依据所述目标触摸轨迹进行运动矢量运算，得到目标矢量；
依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述目标触控参数包括目标触摸手势时，上述程序还包括用于执行以下步骤的指令：
按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令；
在所述目标插帧控制指令为预设插帧控制指令时，执行所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据的步骤。
在一个可能的示例中，在所述第一视频数据应用于第三方应用且所述第三方应用的视频Video和屏幕菜单式调节方式OSD无法分层时，上述程序还包括用于执行以下步骤的指令：
将所述目标触控参数与预设触控参数进行比对；
在所述目标触控参数与所述预设触控参数比对失败时，执行所述按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令的步骤。
在一个可能的示例中，上述程序还包括用于执行以下步骤的指令：
在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令；
执行与所述目标第三方应用指令相应的操作。
在一个可能的示例中，在所述目标触控参数包括目标点击频率时，所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据，上述程序包括用于执行以下步骤的指令：
按照预设的点击频率与插帧等级之间的映射关系，确定所述目标点击频率对应的目标插帧等级；
按照所述目标插帧等级，对所第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述按照所述目标插帧等级，对所第一视频数据进行插帧操作方面，上述程序包括用于执行以下步骤的指令：
确定所述目标插帧等级对应的目标插帧数量P，所述P为正整数；
确定目标帧与该目标帧的前一帧之间的目标偏移矢量，所述目标帧为所述第一视频数据中的任一中间帧；
依据所述目标偏移矢量进行运动估计，得到P个偏移矢量；
依据所述P个偏移矢量对所述目标帧进行运动补偿，得到P帧插帧图像；
将所述P帧插帧图像插入所述目标帧与所述目标帧之间。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4A是本申请实施例中所涉及的图像处理装置400的功能单元组成框图。该图像处理装置400，应用于电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，所述装置400包括：第一获取单元401、第二获取单元402和插帧单元403，其中，
所述第一获取单元401，用于获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
所述第二获取单元402，用于获取TP报点信息，所述TP报点信息携带目标触控参数；
所述插帧单元403，用于依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
可以看出，本申请实施例中所描述的图像处理装置，应用于电子设备，电子设备包括插帧处理芯片和触摸屏TP，插帧处理芯片包括串行外设接口SPI模块，插帧处理芯片通过SPI模块连接TP，获取第一视频数据，第一视频数据的视频源频率小于显示屏频率，获取TP报点信息，TP报点信息携带目标触控参数，依据目标触控参数对第一视频数据进行插帧操作，得到第二视频数据，能够通过触控操作，实现动态插帧操作，有助于提升插帧效果。
在一个可能的示例中，在所述目标触控参数包括目标触摸轨迹时，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧单元403具体用于：
依据所述目标触摸轨迹进行运动矢量运算，得到目标矢量；
依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述目标触控参数包括目标触摸手势时，如图4B所示，图4B为图4A所示的图像处理装置的又一变型结构，其与图4A相比较，还可以包括：第一确定单元404，具体如下：
所述第一确定单元404，用于按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令；
由所述插帧单元403在所述目标插帧控制指令为预设插帧控制指令时，执行所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据的步骤。
进一步地，在一个可能的示例中，在所述第一视频数据应用于第三方应用且所述第三方应用的视频Video和屏幕菜单式调节方式OSD无法分层时，如图4C所示，图4C为图4B所示的图像处理装置的又一变型结构，其与图4B相比较，还可以包括：比对单元405，具体如下：
所述比对单元405，用于将所述目标触控参数与预设触控参数进行比对；
由所述第一确定单元404在所述目标触控参数与所述预设触控参数比对失败时，执行所述按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令的步骤。
进一步地，在一个可能的示例中，如图4D所示，图4D为图4C所示的图像处理装置的又一变型结构，其与图4C相比较，还可以包括：第二确定单元406和执行单元407，具体如下：
所述第二确定单元406，用于在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令；
所述执行单元407，用于执行与所述目标第三方应用指令相应的操作。
在一个可能的示例中，在所述目标触控参数包括目标点击频率时，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧单元403具体用于：
按照预设的点击频率与插帧等级之间的映射关系，确定所述目标点击频率对应的目标插帧等级；
按照所述目标插帧等级，对所第一视频数据进行插帧操作，得到第二视频数据。
在一个可能的示例中，在所述按照所述目标插帧等级，对所第一视频数据进行插帧操作方面，所述插帧单元403具体用于：
确定所述目标插帧等级对应的目标插帧数量P，所述P为正整数；
确定目标帧与该目标帧的前一帧之间的目标偏移矢量，所述目标帧为所述第一视频数据中的任一中间帧；
依据所述目标偏移矢量进行运动估计，得到P个偏移矢量；
依据所述P个偏移矢量对所述目标帧进行运动补偿，得到P帧插帧图像；
将所述P帧插帧图像插入所述目标帧与所述目标帧之间。
可以理解的是，本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (17)
1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，所述方法包括：
获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
获取TP报点信息，所述TP报点信息携带目标触控参数；
依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
2.根据权利要求1所述的方法，其特征在于，在所述目标触控参数包括目标触摸轨迹时，所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据，包括：
依据所述目标触摸轨迹进行运动矢量运算，得到目标矢量；
依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
3.根据权利要求1或2所述的方法，其特征在于，在所述目标触控参数包括目标触摸手势时，所述方法还包括：
按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令；
在所述目标插帧控制指令为预设插帧控制指令时，执行所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据的步骤。
4.根据权利要求3所述的方法，其特征在于，在所述第一视频数据应用于第三方应用且所述第三方应用的视频Video和屏幕菜单式调节方式OSD无法分层时，所述方法还包括：
将所述目标触控参数与预设触控参数进行比对；
在所述目标触控参数与所述预设触控参数比对失败时，执行所述按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令的步骤。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令；
执行与所述目标第三方应用指令相应的操作。
6.根据权利要求1所述的方法，其特征在于，在所述目标触控参数包括目标点击频率时，所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据，包括：
按照预设的点击频率与插帧等级之间的映射关系，确定所述目标点击频率对应的目标插帧等级；
按照所述目标插帧等级，对所第一视频数据进行插帧操作，得到第二视频数据。
7.根据权利要求6所述的方法，其特征在于，所述按照所述目标插帧等级，对所第一视频数据进行插帧操作，包括：
确定所述目标插帧等级对应的目标插帧数量P，所述P为正整数；
确定目标帧与该目标帧的前一帧之间的目标偏移矢量，所述目标帧为所述第一视频数据中的任一中间帧；
依据所述目标偏移矢量进行运动估计，得到P个偏移矢量；
依据所述P个偏移矢量对所述目标帧进行运动补偿，得到P帧插帧图像；
将所述P帧插帧图像插入所述目标帧与所述目标帧之间。
8.一种电子设备，其特征在于，所述电子设备包括图形处理器GPU、插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，其中，
所述GPU，用于获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
所述TP，用于获取TP报点信息，所述TP报点信息携带目标触控参数；
所述插帧处理芯片，用于依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
9.根据权利要求8所述的电子设备，其特征在于，在所述目标触控参数包括目标触摸轨迹时，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧处理芯片具体用于：
依据所述目标触摸轨迹进行运动矢量运算，得到目标矢量；
依据所述目标矢量对所述第一视频数据进行插帧操作，得到第二视频数据。
10.根据权利要求8或9所述的电子设备，其特征在于，在所述目标触控参数包括目标触摸手势时，所述插帧处理芯片还具体用于：
按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令；
在所述目标插帧控制指令为预设插帧控制指令时，执行所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据的步骤。
11.根据权利要求10所述的电子设备，其特征在于，在所述第一视频数据应用于第三方应用且所述第三方应用的视频Video和屏幕菜单式调节方式OSD无法分层时，所述TP还具体用于：
将所述目标触控参数与预设触控参数进行比对；
由所述插帧处理芯片在所述目标触控参数与所述预设触控参数比对失败时，执行所述按照预设触摸手势与插帧控制指令之间的映射关系，确定所述目标触摸手势对应的目标插帧控制指令的步骤。
12.根据权利要求11所述的电子设备，其特征在于，所述电子设备还包括AP，所述AP具体用于：
在所述目标触控参数与所述预设触控参数比对成功时，按照预设的触控参数与第三方应用指令之间的映射关系，确定所述目标触控参数对应的目标第三方应用指令；
执行与所述目标第三方应用指令相应的操作。
13.根据权利要求8所述的电子设备，其特征在于，在所述依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据方面，所述插帧处理芯片具体用于：
按照预设的点击频率与插帧等级之间的映射关系，确定所述目标点击频率对应的目标插帧等级；
按照预设的目标插帧等级，对所述第一视频数据进行插帧操作。
14.根据权利要求13所述的电子设备，其特征在于，在所述按照所述目标插帧等级，对所第一视频数据进行插帧操作方面，所述插帧处理芯片具体用于：
确定所述目标插帧等级对应的目标插帧数量P，所述P为正整数；
确定目标帧与该目标帧的前一帧之间的目标偏移矢量，所述目标帧为所述第一视频数据中的任一中间帧；
依据所述目标偏移矢量进行运动估计，得到P个偏移矢量；
依据所述P个偏移矢量对所述目标帧进行运动补偿，得到P帧插帧图像；
将所述P帧插帧图像插入所述目标帧与所述目标帧之间。
15.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备包括插帧处理芯片和触摸屏TP，所述插帧处理芯片包括串行外设接口SPI模块，所述插帧处理芯片通过所述SPI模块连接所述TP，所述装置包括：第一获取单元、第二获取单元和插帧单元，其中，
所述第一获取单元，用于获取第一视频数据，所述第一视频数据的视频源频率小于显示屏频率；
所述第二获取单元，用于获取TP报点信息，所述TP报点信息携带目标触控参数；
所述插帧单元，用于依据所述目标触控参数对所述第一视频数据进行插帧操作，得到第二视频数据。
16.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
17.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911262123.1A CN111083417B (zh) | 2019-12-10 | 2019-12-10 | 图像处理方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911262123.1A CN111083417B (zh) | 2019-12-10 | 2019-12-10 | 图像处理方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111083417A true CN111083417A (zh) | 2020-04-28 |
| CN111083417B CN111083417B (zh) | 2021-10-19 |
Family
ID=70313845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911262123.1A Active CN111083417B (zh) | 2019-12-10 | 2019-12-10 | 图像处理方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111083417B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654746A (zh) * | 2020-05-15 | 2020-09-11 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置、电子设备和存储介质 |
| CN111813490A (zh) * | 2020-08-14 | 2020-10-23 | Oppo广东移动通信有限公司 | 插帧处理方法及装置 |
| CN112057842A (zh) * | 2020-09-11 | 2020-12-11 | Oppo广东移动通信有限公司 | 帧率控制方法、装置以及电子设备 |
| CN112199140A (zh) * | 2020-09-09 | 2021-01-08 | Oppo广东移动通信有限公司 | 应用插帧方法及相关装置 |
| WO2022037251A1 (zh) * | 2020-08-21 | 2022-02-24 | Oppo广东移动通信有限公司 | 视频数据处理方法及装置 |
| CN114470750A (zh) * | 2021-07-06 | 2022-05-13 | 荣耀终端有限公司 | 图像帧流的显示方法、电子设备和存储介质 |
| WO2022116962A1 (zh) * | 2020-12-04 | 2022-06-09 | 维沃移动通信有限公司 | 视频播放方法、装置及电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080129862A1 (en) * | 2006-12-04 | 2008-06-05 | Koichi Hamada | Frame rate conversion apparatus for video signal and display apparatus |
| US20160198097A1 (en) * | 2015-01-05 | 2016-07-07 | GenMe, Inc. | System and method for inserting objects into an image or sequence of images |
| CN105828106A (zh) * | 2016-04-15 | 2016-08-03 | 山东大学苏州研究院 | 一种基于运动信息的非整数倍帧率提升方法 |
| CN105828183A (zh) * | 2015-01-04 | 2016-08-03 | 华为技术有限公司 | 处理视频帧的方法、视频处理芯片以及运动估计和运动补偿memc芯片 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| US9727185B2 (en) * | 2015-03-06 | 2017-08-08 | Apple Inc. | Dynamic artifact compensation systems and methods |
| CN107396111A (zh) * | 2017-07-13 | 2017-11-24 | 河北中科恒运软件科技股份有限公司 | 介导现实中自动视频插帧补偿方法及系统 |
| CN107436700A (zh) * | 2016-05-26 | 2017-12-05 | 华为终端（东莞）有限公司 | 数据处理方法及装置 |
| CN108519808A (zh) * | 2018-03-27 | 2018-09-11 | 广东欧珀移动通信有限公司 | 帧率调整方法、装置、终端设备及存储介质 |
| CN108693948A (zh) * | 2018-03-27 | 2018-10-23 | 广东欧珀移动通信有限公司 | 帧率调整方法、装置、终端设备及存储介质 |
| CN108762652A (zh) * | 2018-03-27 | 2018-11-06 | 广东欧珀移动通信有限公司 | 智能终端的显示控制方法、装置、存储介质及智能终端 |
| CN109656416A (zh) * | 2018-12-28 | 2019-04-19 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种基于多媒体数据的控制方法、装置以及相关设备 |
| CN110022495A (zh) * | 2019-03-28 | 2019-07-16 | 青岛海信电器股份有限公司 | 一种移动终端向显示设备推送媒体文件的方法及显示设备 |
-
2019
- 2019-12-10 CN CN201911262123.1A patent/CN111083417B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080129862A1 (en) * | 2006-12-04 | 2008-06-05 | Koichi Hamada | Frame rate conversion apparatus for video signal and display apparatus |
| CN105828183A (zh) * | 2015-01-04 | 2016-08-03 | 华为技术有限公司 | 处理视频帧的方法、视频处理芯片以及运动估计和运动补偿memc芯片 |
| US20160198097A1 (en) * | 2015-01-05 | 2016-07-07 | GenMe, Inc. | System and method for inserting objects into an image or sequence of images |
| US9727185B2 (en) * | 2015-03-06 | 2017-08-08 | Apple Inc. | Dynamic artifact compensation systems and methods |
| CN105828106A (zh) * | 2016-04-15 | 2016-08-03 | 山东大学苏州研究院 | 一种基于运动信息的非整数倍帧率提升方法 |
| CN107436700A (zh) * | 2016-05-26 | 2017-12-05 | 华为终端（东莞）有限公司 | 数据处理方法及装置 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| CN107396111A (zh) * | 2017-07-13 | 2017-11-24 | 河北中科恒运软件科技股份有限公司 | 介导现实中自动视频插帧补偿方法及系统 |
| CN108519808A (zh) * | 2018-03-27 | 2018-09-11 | 广东欧珀移动通信有限公司 | 帧率调整方法、装置、终端设备及存储介质 |
| CN108693948A (zh) * | 2018-03-27 | 2018-10-23 | 广东欧珀移动通信有限公司 | 帧率调整方法、装置、终端设备及存储介质 |
| CN108762652A (zh) * | 2018-03-27 | 2018-11-06 | 广东欧珀移动通信有限公司 | 智能终端的显示控制方法、装置、存储介质及智能终端 |
| CN109656416A (zh) * | 2018-12-28 | 2019-04-19 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种基于多媒体数据的控制方法、装置以及相关设备 |
| CN110022495A (zh) * | 2019-03-28 | 2019-07-16 | 青岛海信电器股份有限公司 | 一种移动终端向显示设备推送媒体文件的方法及显示设备 |
Non-Patent Citations (2)
| Title |
|---|
| A. GIRONI, ET AL.: "A video forensic technique for detecting frame deletion and insertion", 《2014 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| 武其达等.: "结合帧率变换与HEVC标准的新型视频压缩编码算法", 《自动化学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654746A (zh) * | 2020-05-15 | 2020-09-11 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置、电子设备和存储介质 |
| US11363271B2 (en) | 2020-05-15 | 2022-06-14 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for video frame interpolation, related electronic device and storage medium |
| CN111813490A (zh) * | 2020-08-14 | 2020-10-23 | Oppo广东移动通信有限公司 | 插帧处理方法及装置 |
| WO2022037251A1 (zh) * | 2020-08-21 | 2022-02-24 | Oppo广东移动通信有限公司 | 视频数据处理方法及装置 |
| CN112199140A (zh) * | 2020-09-09 | 2021-01-08 | Oppo广东移动通信有限公司 | 应用插帧方法及相关装置 |
| CN112057842A (zh) * | 2020-09-11 | 2020-12-11 | Oppo广东移动通信有限公司 | 帧率控制方法、装置以及电子设备 |
| CN112057842B (zh) * | 2020-09-11 | 2023-10-03 | Oppo广东移动通信有限公司 | 帧率控制方法、装置以及电子设备 |
| WO2022116962A1 (zh) * | 2020-12-04 | 2022-06-09 | 维沃移动通信有限公司 | 视频播放方法、装置及电子设备 |
| CN114470750A (zh) * | 2021-07-06 | 2022-05-13 | 荣耀终端有限公司 | 图像帧流的显示方法、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111083417B (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111083417B (zh) | 图像处理方法及相关产品 | |
| US11599154B2 (en) | Adaptive enclosure for a mobile computing device | |
| EP3531230B1 (en) | Electronic device including flexible display and method for controlling same | |
| US11069323B2 (en) | Apparatus and method for driving display based on frequency operation cycle set differently according to frequency | |
| CN110663018B (zh) | 多显示器设备中的应用启动 | |
| WO2020259651A1 (zh) | 一种控制用户界面的方法及电子设备 | |
| US9355585B2 (en) | Electronic devices with adaptive frame rate displays | |
| JP6166364B2 (ja) | 情報入力表示装置および情報入力表示方法 | |
| WO2019179493A1 (zh) | 应用处理器及移动终端 | |
| CN108390961B (zh) | 触摸响应方法、装置、可读存储介质及移动终端 | |
| CN108008804A (zh) | 智能设备的屏幕控制方法及装置 | |
| US10551960B2 (en) | Input processing method and device | |
| US11907290B2 (en) | Electronic device and control method thereof | |
| JP2021527901A (ja) | 音量表示方法、装置、端末装置および記憶媒体 | |
| CN111311494B (zh) | 眼球跟踪定位精度确定方法及相关产品 | |
| WO2022021432A1 (zh) | 手势控制方法及相关装置 | |
| KR101265296B1 (ko) | 카메라를 이용한 사용자 입력 인식 장치 및 방법 | |
| JP2019537118A (ja) | ページを表示するための方法および装置、グラフィカルユーザインターフェース、ならびにモバイル端末 | |
| CN110399086A (zh) | 游戏画面的显示控制方法、装置、存储介质和电子设备 | |
| TWI831166B (zh) | 影像處理方法及非暫態電腦可讀取紀錄媒體 | |
| US20150205372A1 (en) | Method and apparatus for providing input interface for mobile terminal | |
| CN113240779A (zh) | 文字特效的生成方法、装置、电子设备及存储介质 | |
| KR20210078148A (ko) | 비접촉 이벤트에 기반한 반응 시간 단축 방법 및 이를 지원하는 전자 장치 | |
| CN116204151A (zh) | 页面显示方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |