CN112954459A - 一种视频数据的处理方法和装置 - Google Patents
一种视频数据的处理方法和装置 Download PDFInfo
- Publication number
- CN112954459A CN112954459A CN202110242275.6A CN202110242275A CN112954459A CN 112954459 A CN112954459 A CN 112954459A CN 202110242275 A CN202110242275 A CN 202110242275A CN 112954459 A CN112954459 A CN 112954459A
- Authority
- CN
- China
- Prior art keywords
- video frame
- frame
- video
- target
- original video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 2
- 230000000694 effects Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000003860 storage Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 2
- 230000016776 visual perception Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明实施例提供了一种视频数据的处理方法及装置，通过获取视频流对象的播放对象数据与针对播放对象数据的视频编辑类，并获取视频流对象的原始视频帧，然后根据视频编辑类对原始视频帧进行滤镜处理，生成目标视频帧，实现了对视频帧添加可调的滤镜参数，接着按照预设回调频率将原始视频帧逐帧回调至第一预设播放图层，以及将目标视频帧逐帧回调至第二预设播放图层，通过回调视频帧的同时对视频帧进行滤镜处理，解决了终端性能开销大的问题，提高了视频数据处理的效率，并在第一预设播放图层输出与原始视频帧对应的目标视频，在第二预设播放图层输出目标视频帧，进而通过对视频帧添加对应的滤镜效果，为用户带来不同的视觉感知，提高用户体验。
Description
技术领域
本发明涉及视频数据处理技术领域，特别是涉及一种视频数据的处理方法和一种视频数据的处理装置。
背景技术
移动终端设备进行流媒体视频播放时，为了达到更好的用户体验会对视频进行二次加工，如增加滤镜、视频区域挂件以及画中画等。其中，在视频的播放过程中，当视频内容为多画面输出时，不同的输出图层输出不同的内容，从而为用户呈现不同效果的内容展示。
例如，在视频播放过程中，前置播放器正常输出播放内容，同时利用截屏接口对视频内容进行视频帧的获取，然后使用高斯模糊算法对所获取的图像数据重绘制并展示到对应的播放图层中；或利用通过不同播放图层同步播放，同时在相应的播放图层中添加模糊视图实现模糊效果。然而，在上述过程中，①利用逐帧图像截取和模糊算法的处理，容易给终端带来较大的系统开销，容易由于内存、CPU高占用等导致播放卡顿或应用闪退等，对终端的硬件设备要求高，并不能给用户带来较好的观看体验；②通过添加模糊视图实现模糊效果，模糊效果单一，无法进行个性化处理，并且当用户对终端的相关动画效果进行设置时，如减弱动画效果等，无法稳定对视频输出进行模糊展示，影响视频播放的效果。
发明内容
本发明实施例是提供一种视频数据的处理方法、装置、电子设备以及计算机可读存储介质，以解决或部分解决现有技术中视频播放过程中，尤其是多画面播放时，终端性能开销大以及无法对视频画面的滤镜效果进行调节的问题。
本发明实施例公开了一种视频数据的处理方法，包括：
获取视频流对象的播放对象数据，与针对播放对象数据的视频编辑类；
获取所述视频流对象的原始视频帧；
根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧；
按照预设回调频率将所述原始视频帧逐帧回调至第一预设播放图层，以及将所述目标视频帧逐帧回调至第二预设播放图层；
在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧。
可选地，所述播放对象数据包括视频元数据，所述根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧，包括：
采用所述视频编辑类对所述视频元数据进行类信息构建，生成针对所述视频流对象的滤镜处理类；
通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧。
可选地，所述通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧，包括：
获取目标终端的终端分辨率；
采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数；
对所述原始视频帧添加所述滤镜参数，生成目标视频帧。
可选地，所述采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数，包括：
获取所述原始视频帧的帧分辨率；
若所述原始视频帧的帧分辨率与所述终端分辨率匹配失败，则通过所述滤镜处理类配置针对所述原始视频帧的模糊半径以及滤镜效果声明；
所述对所述原始视频帧添加所述滤镜参数，生成目标视频帧，包括：
采用所述模糊半径与所述滤镜效果声明对所述原始视频帧进行模糊效果处理，生成目标视频帧。
可选地，所述第一预设播放图层为前置播放图层，所述第二预设播放图层为背景播放图层，所述在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧，包括：
按照所述回调频率对所述原始视频帧进行渲染，生成目标视频，并在所述前置播放图层播放所述目标视频；
获取与所述回调频率对应的更新频率，并按照所述更新频率对在所述背景播放图层逐帧展示所述目标视频帧。
本发明实施例还公开了一种视频数据的处理装置，包括：
数据获取模块，用于获取视频流对象的播放对象数据，与针对播放对象数据的视频编辑类；
原始视频帧获取模块，用于获取所述视频流对象的原始视频帧；
目标视频帧生成模块，用于根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧；
视频帧回调模块，用于按照预设回调频率将所述原始视频帧逐帧回调至第一预设播放图层，以及将所述目标视频帧逐帧回调至第二预设播放图层；
视频输出模块，用于在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧。
可选地，所述播放对象数据包括视频元数据，所述目标视频帧生成模块包括：
滤镜处理类生成子模块，用于采用所述视频编辑类对所述视频元数据进行类信息构建，生成针对所述视频流对象的滤镜处理类；
目标视频帧生成子模块，用于通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧。
可选地，所述目标视频帧生成子模块具体用于：
获取目标终端的终端分辨率；
采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数；
对所述原始视频帧添加所述滤镜参数，生成目标视频帧。
可选地，所述目标视频帧生成子模块具体用于：
获取所述原始视频帧的帧分辨率；
若所述原始视频帧的帧分辨率与所述终端分辨率匹配失败，则通过所述滤镜处理类配置针对所述原始视频帧的模糊半径以及滤镜效果声明；
采用所述模糊半径与所述滤镜效果声明对所述原始视频帧进行模糊效果处理，生成目标视频帧。
可选地，所述第一预设播放图层为前置播放图层，所述第二预设播放图层为背景播放图层，所述视频输出模块具体用于：
按照所述回调频率对所述原始视频帧进行渲染，生成目标视频，并在所述前置播放图层播放所述目标视频；
获取与所述回调频率对应的更新频率，并按照所述更新频率对在所述背景播放图层逐帧展示所述目标视频帧。
本发明实施例还公开了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一种计算机可读存储介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如上所述的方法。
本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如上所述的方法。
本发明实施例包括以下优点：
在本发明实施例中，可以通过获取视频流对象的播放对象数据与针对播放对象数据的视频编辑类，并获取视频流对象的原始视频帧，然后根据视频编辑类对原始视频帧进行滤镜处理，生成目标视频帧，实现了对视频帧添加可调的滤镜参数，接着按照预设回调频率将原始视频帧逐帧回调至第一预设播放图层，以及将目标视频帧逐帧回调至第二预设播放图层，通过回调视频帧的同时对视频帧进行滤镜处理，解决了终端性能开销大的问题，提高了视频数据处理的效率，并在第一预设播放图层输出与原始视频帧对应的目标视频，以及在第二预设播放图层输出目标视频帧，进而通过对视频帧添加对应的滤镜效果，为用户带来不同的视觉感知，提高用户体验。
附图说明
图1是本发明实施例提供的一种视频数据的处理方法的步骤流程图；
图2是本发明实施例提供的视频播放界面；
图3是本发明实施例提供的一种视频数据的处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种视频数据的处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，获取视频流对象的播放对象数据，与针对播放对象数据的视频编辑类；
作为一种示例，在视频播放过程中，为了达到更好的用户体验可以会视频进行二次加工，如增加滤镜、视频区域挂件以及画中画等。尤其是在当视频内容为多画面实时输出时，前置播放图层播放原视频内容，背景播放图层展示经过滤镜处理的视频内容，如实时高斯模糊效果的视频内容。
此外，在一些情况下，如视频流数据所对应的视频分辨率与终端的图像分辨率并不匹配，渲染的视频画面并不能完整地铺满整个终端的图形用户界面，在这种情况下，也可以通过进行视频数据的处理，在输出原始视频内容的同时，实时通过另一个播放图层对经过滤镜处理的视频内容进行展示，参考图2，示出了本发明实施例中提供的视频播放界面，其中，在终端的图形用户界面中展示的内容可以包括前置播放图层10以及背景播放图层20，前置播放图层10播放视频流的原始视频内容，背景播放图层20可以播放经过滤镜处理的目标视频内容，如高斯模糊效果的视频内容，从而在铺满界面的同时，通过相应的滤镜效果提高了用户的浏览体验。
其中，前置播放图层可以以视频播放的形式进行视频内容展示，背景播放图层的媒介数据为图像数据，其所展示的为一帧帧的图像，通过连续播放的图像，可以形成类似视频播放的效果。
需要说明的是，在本发明实施例中以终端中运行相应的客户端，且客户端可以为IOS客户端，同时滤镜效果为高斯模糊效果，播放图层包括前置播放图层以及背景播放图层为例进行示例性说明，可以理解的是，客户端所在的终端可以为原生操作系统能够提供滤镜处理和编辑支持、以及视频的逐帧回调支持等功能的终端，例如原生操作系统为IOS、IpadOS以及MacOS等操作系统，滤镜效果也可以为其他呈现效果的滤镜，播放图层可以包括3个图层以上等等，本发明对此不作限制。
在IOS客户端对视频流对象进行渲染播放之前，可以获取视频流对象的播放对象数据，以及针对播放对象数据的视频编辑类。其中，播放对象数据可以为AVPlayerItem类型，其可以为用于管理资源对象，提供播放数据源，旨在标识有Avplayer播放的资源的呈现状态，并允许观察该状态，可以用于控制视频从创建到销毁的诸多状态；视频编辑类可以为用于构造视频的裁剪编辑类，裁剪编辑类的作用效果最终可以呈现在播放数据上。
在具体实现中，AVPlayerItem类型可以提供高级编辑属性，即videoComposition属性，该属性是IOS原生系统提供的可用于构造视频的裁剪编辑类，称为AVVideoComposition，从而通过IOS客户端提供的框架，在该框架内可以对视频编辑类对视频流数据进行实时滤镜渲染，实现输出多画面的视频内容。
步骤102，获取所述视频流对象的原始视频帧；
在进行滤镜处理的过程中，需要获取视频流对象的原始视频帧，对于视频流对象，其可以由多帧原始视频帧组成，则可以通过对每帧原始视频帧进行滤镜处理以实现滤镜效果。具体的，AVPlayerItem类型可以提供一个图像数据访问类AVAsynchronousCIImageFilteringRequest，通过该图像数据访问类可以获取视频流对象的每一帧原始视频帧。
步骤103，根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧；
在通过图像数据访问类实时获取视频流对象的原始视频帧的同时，可以一边获取原始视频帧，一边通过视频编辑类对所获取的原始视频帧进行滤镜处理，实现了视频帧的滤镜参数添加。
在具体实现中，可以采用视频编辑类对视频元数据进行类信息构建，生成针对视频流对象的滤镜处理类，接着通过滤镜处理类对原始视频帧进行滤镜处理，生成目标视频帧。其中，视频元数据可以为视频流对象的媒体信息等基本数据的封装，例如，可以视频流对象的图像帧、声音等信息封装后生成的数据，则客户端从AVPlayerItem类型提取了元数据AVAsset后，可以通过AVVideoComposition的类方法videoCompositionWithAsset:applyingCIFiltersWithHandler对元数据进行处理，构建一个具备实现系统实时滤镜的编辑类(即滤镜处理类)，通过该过程可以利用系统内置的算法高效、节能地获取视频流对象的视频帧，同时进行相应的视频帧回调，解决了终端性能开销大的问题，提高了视频数据处理的效率，并且通过构建滤镜编辑类，可以对滤镜参数进行个性化配置，以便对视频帧添加不同的滤镜参数。
在一种示例中，客户端可以通过获取终端的终端分辨率，并采用滤镜处理类与终端分辨率，生成针对原始视频帧的滤镜参数，接着对原始视频帧添加滤镜参数，生成目标视频帧。具体的，可以先获取原始视频帧的帧分辨率，若原始视频帧的帧分辨率与终端分辨率匹配失败，则通过滤镜处理类配置针对原始视频帧的模糊半径以及滤镜效果声明，采用模糊半径与滤镜效果声明对原始视频帧进行模糊效果处理，生成目标视频帧。
例如，终端的终端分辨率可以为16:9对应的分辨率，当原始视频帧的帧分辨率满足16:9时，表示渲染后的视频画面可以铺满整个终端的图形用户界面，可以不需要进行滤镜处理；若原始视频帧的帧分辨率不满足16:9，表示渲染后的视频画面不能铺满整个终端的图形用户界面，可以对原始视频帧进行滤镜处理，输出多画面的视频内容，具体的，IOS客户端可以通过AVPlayerItem类型拿到元数据AVAsset，并通过视频编辑类对元数据进行处理，构建滤镜处理类，然后对图像数据访问类获取的原始视频帧配置模糊半径和叠加高斯模糊效果的滤镜处理，包括设置模糊效果所对应的模糊半径，实现对原始视频帧的滤镜处理，生成对应的目标视频帧，通过上述过程可以利用系统内置的算法高效、节能地获取视频流对象的视频帧，同时进行相应的视频帧回调，解决了终端性能开销大的问题，提高了视频数据处理的效率。
步骤104，按照预设回调频率将所述原始视频帧逐帧回调至第一预设播放图层，以及将所述目标视频帧逐帧回调至第二预设播放图层；
在具体实现中，可以配置与视频编辑类对应的回调频率，回调频率可以用于在对原始视频帧进行滤镜处理的过程中，实现视频帧的异步回调，其可以为视频流对象的播放频率，从而在利用系统实时滤镜的同时，既可以得到滤镜处理后的目标视频帧，还可以将原始视频帧返回给相应的接收者(即前置播放图层)。
可选地，第一预设播放图层可以为客户端的前置播放图层，前置播放图层可以为客户端的视频播放器，用于以视频播放的形式进行内容展示；第二预设播放图层可以为客户端的背景播放图层，背景播放图层的媒介数据为图像数据，其可以用于以连续的图像播放进行内容展示，从而通过不同的播放图层可以输出不同的视频内容，为用户带来不同的视觉体验。
步骤105，在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧。
在具体实现中，得到目标视频帧之后，可以通过回调形式将目标视频帧传输给背景播放图层，以及将原始视频帧以回调形式传输至前置播放图层，前置播放图层可以按照回调频率对原始视频帧进行渲染，生成目标视频，并在前置播放图层中播放该目标视频；而背景播放图层可以获取与回调频率对应的更新频率，并按照更新频率在背景播放图层逐帧展示对应的目标视频帧，进而通过对视频帧添加对应的滤镜效果，为用户带来不同的视觉感知，提高用户体验。
可选地，更新频率可以为背景播放图层的效果频率，其可以为与滤镜处理过程中回调频率相同的频率，也可以为自定义的频率，当两者相等时，则背景播放图层的图像帧更新频率与前置播放图层的视频帧播放频率相同，背景播放图层可以呈现出视频播放的展示效果；此外，对于背景播放图层的模糊效果，为了进一步节省资源可以在低端机型适当降低频率，则在背景播放图层展示的过程中，即使不完全同步也可以带来相同的高斯模糊效果，例如可以采用每3秒更新一次背景播放图层的图像数据，从而通过配置与终端性能对应的更新频率，可以有效对不同终端进行个性化的配置，提高视频播放的流畅性，以及视频数据处理的通用性。
在本发明实施例中，可以通过获取视频流对象的播放对象数据与针对播放对象数据的视频编辑类，并获取视频流对象的原始视频帧，然后根据视频编辑类对原始视频帧进行滤镜处理，生成目标视频帧，实现了对视频帧添加可调的滤镜参数，接着按照预设回调频率将原始视频帧逐帧回调至第一预设播放图层，以及将目标视频帧逐帧回调至第二预设播放图层，通过回调视频帧的同时对视频帧进行滤镜处理，解决了终端性能开销大的问题，提高了视频数据处理的效率，并在第一预设播放图层输出与原始视频帧对应的目标视频，以及在第二预设播放图层输出目标视频帧，进而通过对视频帧添加对应的滤镜效果，为用户带来不同的视觉感知，提高用户体验。
为了使本领域技术人员更好地理解本发明实施例的技术方案，下面通过一个示例进行说明。
具体的，从获取播放源数据到构造图像处理场景并最终输出为前置播放图层播放原视频，背景播放图层输出实时模糊视频效果的过程可以包括：
S201，在iOS客户端播放视频流数据前，能拿到具体的播放对象数据，为AVPlayerItem类型，该类型提供高级编辑属性，即videoComposition属性，该属性是系统支持的可用于构造视频的裁剪编辑类，称为AVVideoComposition，裁剪编辑类的作用效果最终都会呈现在播放数据上。
S202，从AVPlayerItem类型拿到元数据AVAsset后，可以通过AVVideoComposition属性中的类方法videoCompositionWithAsset:applyingCIFiltersWithHandler，构造一个具备实现系统实时滤镜的滤镜管理类，从而通过该步骤可以利用系统内置的算法高效节能的获取到原数据的帧图像回调。且在滤镜处理帧图像异步回调中，可以通过回调提供的图像数据访问类AVAsynchronousCIImageFilteringRequest拿到每一帧图像数据，以下简称request。
S203，将request中的图像通过滤镜管理类进行CIFilter声明与叠加高斯模糊效果的滤镜处理，对模糊效果设置效果参数，如模糊半径，从而既可以高效获取图像数据，还可以获取到可调参数的模糊图像数据。该图像数据构造完成后按照回调函数对应的帧回调频率逐一回调给背景播放图层做渲染展示，此构造过程是按照视频帧回调频率处理，故具体实施时可以增加自动释放池控制局部内存变量的及时释放，防止过高的内存峰值影响应用响应速度，另外滤镜处理后的图像数据可考虑利用CoreGraphies库重绘进一步降低系统提供的CIImage到UIImage类方法转化时的内存占用。
S204，同S203回调阶段，获取并持有request中的原始视频帧。
S205，S203处理得到的模糊图像数据通过数据回调形式传输给业务上层，即接收者为背景播放图层。
S206，在逐帧回调中从S204操作拿到的原始视频帧，直接写回request的结束函数，通知本次回调流程结束。
S207，背景播放图层作为数据接收者，可以按照滤镜的逐帧回调相同频率或针对帧回调频率设置的自定义频率依次获得对应时间的模糊处理后数据，并将图像数据渲染并展示在播放图层上。
S208，至此，上述S202构造的视频编辑类，即AVVideoComposition已经完成了逐帧回调和图像处理两个流程数据的构造，此时将该对象作用于S202的播放对象上。
S209，S208完成编辑效果赋值后得到的播放对象输出给播放器播放视频数据，展示出来的仍然是原视频内容。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种视频数据的处理装置实施例的结构框图，具体可以包括如下模块：
数据获取模块301，用于获取视频流对象的播放对象数据，与针对播放对象数据的视频编辑类；
原始视频帧获取模块302，用于获取所述视频流对象的原始视频帧；
目标视频帧生成模块303，用于根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧；
视频帧回调模块304，用于按照预设回调频率将所述原始视频帧逐帧回调至第一预设播放图层，以及将所述目标视频帧逐帧回调至第二预设播放图层；
视频输出模块305，用于在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧。
在本发明的一种可选实施例中，所述播放对象数据包括视频元数据，所述目标视频帧生成模块303包括：
滤镜处理类生成子模块，用于采用所述视频编辑类对所述视频元数据进行类信息构建，生成针对所述视频流对象的滤镜处理类；
目标视频帧生成子模块，用于通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧。
在本发明的一种可选实施例中，所述目标视频帧生成子模块具体用于：
获取目标终端的终端分辨率；
采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数；
对所述原始视频帧添加所述滤镜参数，生成目标视频帧。
在本发明的一种可选实施例中，所述目标视频帧生成子模块具体用于：
获取所述原始视频帧的帧分辨率；
若所述原始视频帧的帧分辨率与所述终端分辨率匹配失败，则通过所述滤镜处理类配置针对所述原始视频帧的模糊半径以及滤镜效果声明；
采用所述模糊半径与所述滤镜效果声明对所述原始视频帧进行模糊效果处理，生成目标视频帧。
在本发明的一种可选实施例中，所述第一预设播放图层为前置播放图层，所述第二预设播放图层为背景播放图层，所述视频输出模块305具体用于：
按照所述回调频率对所述原始视频帧进行渲染，生成目标视频，并在所述前置播放图层播放所述目标视频；
获取与所述回调频率对应的更新频率，并按照所述更新频率对在所述背景播放图层逐帧展示所述目标视频帧。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一种计算机可读存储介质，当由所述一个或多个处理器执行时，使得所述电子设备执行本发明实施例所述的方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种视频数据的处理方法和一种视频数据的处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种视频数据的处理方法，其特征在于，包括：
获取视频流对象的播放对象数据，与针对播放对象数据的视频编辑类；
获取所述视频流对象的原始视频帧；
根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧；
按照预设回调频率将所述原始视频帧逐帧回调至第一预设播放图层，以及将所述目标视频帧逐帧回调至第二预设播放图层；
在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧。
2.根据权利要求1所述的方法，其特征在于，所述播放对象数据包括视频元数据，所述根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧，包括：
采用所述视频编辑类对所述视频元数据进行类信息构建，生成针对所述视频流对象的滤镜处理类；
通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧。
3.根据权利要求2所述的方法，其特征在于，所述通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧，包括：
获取目标终端的终端分辨率；
采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数；
对所述原始视频帧添加所述滤镜参数，生成目标视频帧。
4.根据权利要求3所述的方法，其特征在于，所述采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数，包括：
获取所述原始视频帧的帧分辨率；
若所述原始视频帧的帧分辨率与所述终端分辨率匹配失败，则通过所述滤镜处理类配置针对所述原始视频帧的模糊半径以及滤镜效果声明；
所述对所述原始视频帧添加所述滤镜参数，生成目标视频帧，包括：
采用所述模糊半径与所述滤镜效果声明对所述原始视频帧进行模糊效果处理，生成目标视频帧。
5.根据权利要求1所述的方法，其特征在于，所述第一预设播放图层为前置播放图层，所述第二预设播放图层为背景播放图层，所述在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧，包括：
按照所述回调频率对所述原始视频帧进行渲染，生成目标视频，并在所述前置播放图层播放所述目标视频；
获取与所述回调频率对应的更新频率，并按照所述更新频率对在所述背景播放图层逐帧展示所述目标视频帧。
6.一种视频数据的处理装置，其特征在于，包括：
数据获取模块，用于获取视频流对象的播放对象数据，与针对播放对象数据的视频编辑类；
原始视频帧获取模块，用于获取所述视频流对象的原始视频帧；
目标视频帧生成模块，用于根据所述视频编辑类对所述原始视频帧进行滤镜处理，生成目标视频帧；
视频帧回调模块，用于按照预设回调频率将所述原始视频帧逐帧回调至第一预设播放图层，以及将所述目标视频帧逐帧回调至第二预设播放图层；
视频输出模块，用于在所述第一预设播放图层输出与所述原始视频帧对应的目标视频，以及在所述第二预设播放图层输出所述目标视频帧。
7.根据权利要求6所述的装置，其特征在于，所述播放对象数据包括视频元数据，所述目标视频帧生成模块包括：
滤镜处理类生成子模块，用于采用所述视频编辑类对所述视频元数据进行类信息构建，生成针对所述视频流对象的滤镜处理类；
目标视频帧生成子模块，用于通过所述滤镜处理类对所述原始视频帧进行滤镜处理，生成目标视频帧。
8.根据权利要求7所述的装置，其特征在于，所述目标视频帧生成子模块具体用于：
获取目标终端的终端分辨率；
采用所述滤镜处理类与所述终端分辨率，生成针对所述原始视频帧的滤镜参数；
对所述原始视频帧添加所述滤镜参数，生成目标视频帧。
9.根据权利要求8所述的装置，其特征在于，所述目标视频帧生成子模块具体用于：
获取所述原始视频帧的帧分辨率；
若所述原始视频帧的帧分辨率与所述终端分辨率匹配失败，则通过所述滤镜处理类配置针对所述原始视频帧的模糊半径以及滤镜效果声明；
采用所述模糊半径与所述滤镜效果声明对所述原始视频帧进行模糊效果处理，生成目标视频帧。
10.根据权利要求6所述的装置，其特征在于，所述第一预设播放图层为前置播放图层，所述第二预设播放图层为背景播放图层，所述视频输出模块具体用于：
按照所述回调频率对所述原始视频帧进行渲染，生成目标视频，并在所述前置播放图层播放所述目标视频；
获取与所述回调频率对应的更新频率，并按照所述更新频率对在所述背景播放图层逐帧展示所述目标视频帧。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一种计算机可读存储介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-5任一项所述的方法。
12.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242275.6A CN112954459A (zh) | 2021-03-04 | 2021-03-04 | 一种视频数据的处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242275.6A CN112954459A (zh) | 2021-03-04 | 2021-03-04 | 一种视频数据的处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112954459A true CN112954459A (zh) | 2021-06-11 |
Family
ID=76247789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110242275.6A Pending CN112954459A (zh) | 2021-03-04 | 2021-03-04 | 一种视频数据的处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112954459A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923486A (zh) * | 2021-11-12 | 2022-01-11 | 北京中联合超高清协同技术中心有限公司 | 一种预生成多流超高清视频播放系统及方法 |
| CN114598902A (zh) * | 2022-03-09 | 2022-06-07 | 安徽文香科技有限公司 | 一种视频帧处理方法、装置及电子设备 |
| CN115695889A (zh) * | 2022-09-30 | 2023-02-03 | 聚好看科技股份有限公司 | 显示设备及悬浮窗显示方法 |
| CN116095250A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 用于视频裁剪的方法和装置 |
| WO2023083064A1 (zh) * | 2021-11-15 | 2023-05-19 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104660872A (zh) * | 2015-02-14 | 2015-05-27 | 赵继业 | 一种虚拟场景合成系统及方法 |
| CN106161992A (zh) * | 2016-08-30 | 2016-11-23 | 厦门视诚科技有限公司 | 桌面式视频处理控台的窗口异形显示装置及显示方法 |
| US9620173B1 (en) * | 2016-04-15 | 2017-04-11 | Newblue Inc. | Automated intelligent visualization of data through text and graphics |
| CN106933587A (zh) * | 2017-03-10 | 2017-07-07 | 广东欧珀移动通信有限公司 | 一种图层绘制控制方法、装置及移动终端 |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播系统 |
| CN110809173A (zh) * | 2020-01-08 | 2020-02-18 | 成都索贝数码科技股份有限公司 | 基于智能手机ar增强现实的虚拟直播方法及系统 |
| CN112184856A (zh) * | 2020-09-30 | 2021-01-05 | 广州光锥元信息科技有限公司 | 支持多图层特效及动画混合的多媒体处理装置 |
-
2021
- 2021-03-04 CN CN202110242275.6A patent/CN112954459A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104660872A (zh) * | 2015-02-14 | 2015-05-27 | 赵继业 | 一种虚拟场景合成系统及方法 |
| US9620173B1 (en) * | 2016-04-15 | 2017-04-11 | Newblue Inc. | Automated intelligent visualization of data through text and graphics |
| CN106161992A (zh) * | 2016-08-30 | 2016-11-23 | 厦门视诚科技有限公司 | 桌面式视频处理控台的窗口异形显示装置及显示方法 |
| CN106933587A (zh) * | 2017-03-10 | 2017-07-07 | 广东欧珀移动通信有限公司 | 一种图层绘制控制方法、装置及移动终端 |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播系统 |
| CN110809173A (zh) * | 2020-01-08 | 2020-02-18 | 成都索贝数码科技股份有限公司 | 基于智能手机ar增强现实的虚拟直播方法及系统 |
| CN112184856A (zh) * | 2020-09-30 | 2021-01-05 | 广州光锥元信息科技有限公司 | 支持多图层特效及动画混合的多媒体处理装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923486A (zh) * | 2021-11-12 | 2022-01-11 | 北京中联合超高清协同技术中心有限公司 | 一种预生成多流超高清视频播放系统及方法 |
| CN113923486B (zh) * | 2021-11-12 | 2023-11-07 | 北京中联合超高清协同技术中心有限公司 | 一种预生成多流超高清视频播放系统及方法 |
| WO2023083064A1 (zh) * | 2021-11-15 | 2023-05-19 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备及可读存储介质 |
| CN114598902A (zh) * | 2022-03-09 | 2022-06-07 | 安徽文香科技有限公司 | 一种视频帧处理方法、装置及电子设备 |
| CN114598902B (zh) * | 2022-03-09 | 2023-12-22 | 安徽文香科技股份有限公司 | 一种视频帧处理方法、装置及电子设备 |
| CN116095250A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 用于视频裁剪的方法和装置 |
| CN116095250B (zh) * | 2022-05-30 | 2023-10-31 | 荣耀终端有限公司 | 用于视频裁剪的方法和装置 |
| CN115695889A (zh) * | 2022-09-30 | 2023-02-03 | 聚好看科技股份有限公司 | 显示设备及悬浮窗显示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112954459A (zh) | 一种视频数据的处理方法和装置 | |
| WO2020107297A1 (zh) | 视频剪辑控制方法、终端设备和系统 | |
| US20140208355A1 (en) | Synchronizing video content with extrinsic data | |
| JP7224554B1 (ja) | インタラクション方法、装置、電子機器及びコンピュータ可読記録媒体 | |
| US11620784B2 (en) | Virtual scene display method and apparatus, and storage medium | |
| CN108427589B (zh) | 一种数据处理方法及电子设备 | |
| CN110996150A (zh) | 视频融合方法、电子设备及存储介质 | |
| CN111107415A (zh) | 一种直播间画中画播放方法、存储介质、电子设备及系统 | |
| US20180053531A1 (en) | Real time video performance instrument | |
| JP2023540753A (ja) | ビデオ処理方法、端末機器及び記憶媒体 | |
| CN114630057B (zh) | 确定特效视频的方法、装置、电子设备及存储介质 | |
| CN111756952A (zh) | 一种效果应用的预览方法、装置、设备及存储介质 | |
| CN114025185A (zh) | 一种视频回放方法、装置、电子设备及存储介质 | |
| CN113259705A (zh) | 录制与合成视频的方法和装置 | |
| CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
| CN107995538B (zh) | 视频批注方法及系统 | |
| JP2009246917A (ja) | 映像表示装置及び映像処理装置 | |
| CN108156512B (zh) | 一种视频播放控制方法及装置 | |
| CN108876866B (zh) | 一种媒体数据处理方法、装置及存储介质 | |
| CN115830224A (zh) | 多媒体数据的编辑方法、装置、电子设备及存储介质 | |
| CN115002359A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN116847147A (zh) | 特效视频确定方法、装置、电子设备及存储介质 | |
| CN114299089A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108810615A (zh) | 确定音视频中插播时段的方法和装置 | |
| CN112887623A (zh) | 图像生成方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |
|
| RJ01 | Rejection of invention patent application after publication |