CN112399126A - 视频处理方法、装置、终端设备和存储介质 - Google Patents

视频处理方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN112399126A
CN112399126A CN202011080453.1A CN202011080453A CN112399126A CN 112399126 A CN112399126 A CN 112399126A CN 202011080453 A CN202011080453 A CN 202011080453A CN 112399126 A CN112399126 A CN 112399126A
Authority
CN
China
Prior art keywords
video
filter
video data
server
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011080453.1A
Other languages
English (en)
Inventor
岳晓峰
韩强
周新海
杨春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionvera Information Technology Co Ltd
Original Assignee
Visionvera Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionvera Information Technology Co Ltd filed Critical Visionvera Information Technology Co Ltd
Priority to CN202011080453.1A priority Critical patent/CN112399126A/zh
Publication of CN112399126A publication Critical patent/CN112399126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明实施例提供了一种视频处理方法、装置、终端设备和存储介质，包括：视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。

Description

视频处理方法、装置、终端设备和存储介质
技术领域
本发明涉及视联网技术领域，特别是涉及一种视频处理方法、装置、终端设备和存储介质。
背景技术
现有的视联网会议系统或可视电话系统，都是视联网终端通过高清摄像头采集视频，并将视频进行编码后直接发送至其他的视联网设备，但是，在一些情况下，例如视频画面受环境因素影响效果较差，或者需要对输出视频做出特殊调整、增加特殊效果，视联网终端就需要对视频进行渲染、滤镜处理，而渲染处理需要大量的并行计算，处理效率较低，而且，对视联网终端的硬件配置要求较高；
若要同时对多个视联网终端的视频进行渲染、滤镜处理，目前视联网会议系统或可视电话系统无法实现。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频处理方法、装置、终端设备和存储介质。
第一个方面，本发明实施例提供一种视频处理方法，所述方法应用于视联网滤镜处理系统中的滤镜服务器，所述方法包括：
接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且所述滤镜控制指令是会议调度服务器发送的，所述第一视频数据是与所述目的视联网号码对应的至少两个目的视联网终端发送的；
根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
可选地，所述根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据，包括：
根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像；
根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，其中，所述预设解码规则和所述预设编码规则相对应。
可选地，若所述第一图像为红、绿、蓝色彩空间RGB格式的第一图像，所述根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像，包括：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第二图像。
可选地，若所述第一图像为红、绿、蓝色彩空间RGB格式的第一图像，所述根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像，包括：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第三图像；
将所述RGB格式的第三图像转换为亮度参量和色度参量分开表示的像素格式YUV格式的第二图像。
可选地，所述根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像，包括：
采用H264或H265解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
相对应地，所述根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，包括：
采用H264或H265编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据。
第二个方面，本发明实施例提供一种视频处理装置，所述装置应用于视联网滤镜处理系统中的滤镜服务器，所述装置包括：
接收模块，用于接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且所述滤镜控制指令是会议调度服务器发送的，所述第一视频数据是与所述目的视联网号码对应的至少两个目的视联网终端发送的；
滤镜模块，用于根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
发送模块，用于将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
可选地，所述滤镜模块，用于：
根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像；
根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，其中，所述预设解码规则和所述预设编码规则相对应。
可选地，所述滤镜模块，用于：
调用预先设置的开放图形库，采用所述滤镜参数，对RGB格式的第一图像进行滤镜处理，生成RGB格式的第二图像。
可选地，所述滤镜模块，用于：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第三图像；
将所述RGB格式的第三图像转换为亮度参量和色度参量分开表示的像素格式YUV格式的第二图像。
可选地，所述滤镜模块，用于：
采用H264或H265解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
可选地，所述滤镜模块，还用于：
采用H264或H265编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的视频处理方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的视频处理方法。
本发明实施例包括以下优点：
本发明实施例应用视联网的特性，视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
附图说明
图1是本发明的一种视频处理方法实施例的步骤流程图；
图2是本发明的另一种视频处理方法实施例的步骤流程图；
图3是本发明的一种滤镜处理系统实施例的结构示意图；
图4是本发明的又一种视频处理方法实施例的步骤流程图；
图5是本发明的一种视频处理装置实施例的结构框图；
图6是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。
视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。
基于视联网的上述特性，提出了本发明实施例的核心构思之一，遵循视联网的协议，视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
名词解释如下：
OpenGL：(Open Graphics Library，译名:开放图形库或者"开放式图形库")一种视频加速渲染技术，基于异构硬件桌面系统的3D图形库。
V2V:视联网协议，建立在视联网架构上的，支持大规模、低延迟、多层级视联网的指令、音视频通讯的协议。
视联网会议系统：视联网会议系统是基于视联网网络进行高清音视频传输为基础，通过相应的管理软件和客户端，构建的实时高清会议系统，支持多种专用终端，移动终端的接入。主要功能包括：组建会议，视频通话，发布直播，收看直播等
视联网终端：专用高清会议设备终端，用于会议的音视频采集及输出，包括极光、启明系列，及电视墙、监播、软终端等等系列产品。
视联网自治服务器：自治服务器用于管理一个自治云下的所有终端接入。
视频滤镜：是指对视频图像增加的特效和美化方法或算法的统称，例如色彩、色调调节、马赛克、边框、美白等效果。
视频渲染：是指将各种视频滤镜效果，通过一定的计算规则和步骤，应用和混合到原始视频，合成新视频的处理过程。通常这个渲染处理，需要耗费大量的计算性能，一般都是由显卡GPU(Graphics Processing Unit，图形处理器)等专用硬件完成，并不直接通过CPU计算。
本发明一实施例提供一种视频处理方法，用于滤镜服务器对视频进行渲染处理。本实施例的执行主体为视频处理装置，设置在视联网滤镜处理系统中的滤镜服务器上。
参照图1，示出了本发明的一种视频处理方法实施例的步骤流程图，该方法可以应用于视联网滤镜处理系统中的滤镜服务器，具体可以包括如下步骤：
S101、接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且所述滤镜控制指令是会议调度服务器发送的，所述第一视频数据是与所述目的视联网号码对应的至少两个目的视联网终端发送的；
具体地，通过视联网会议系统开启视频会议或可视电话会议，在进行会议的过程中，若出现视频画面受环境因素影响效果较差，或者需要对输出视频做出特殊调整、增加特殊效果，需要对视频进行一定的处理，为了提高视频处理效率，本发明实施例提供一种视频处理方法，应用于视联网滤镜处理系统中，该视联网滤镜处理系统包括滤镜服务器、视联网核心服务器、会议调度服务器。
视联网核心服务器接收各个视联网终端发送的视频数据，同时，还接收会议调度服务器发送的滤镜控制指令，该滤镜控制指令中包括要处理的视联网终端对应的视联网号码和滤镜参数，视联网核心服务器根据要处理的视联网终端对应的视联网号码，确定与该视联网号码对应的第一视频数据，然后将该第一视频数据和滤镜控制指令发送至滤镜服务器。
其中，滤镜参数包括过滤参数，该过滤参数包括FRC(FrameRate Control帧率控制)、Crop(裁剪)、NR(Noise Reduce降噪)、LDC(Lens Distortion Correction图像畸变矫正)、Rotate(旋转)、Cover/Overlay(覆盖/叠加)、Scale(缩放)、Mirror/Fl ip(镜像/翻转)、FishEye(鱼眼处理)、图像增强、滤波，该滤镜参数还包括渲染参数，例如增加浮雕、美颇、对视频中的人脸进行识别、敏感画面的马赛克处理，环境光线过亮、过暗时的亮度、对比度、饱和度调整，画面美化、增加特殊背景或边框等处理，但并不局限于此。例如在会议模式，当视频亮度不合适时可以调整亮度，在直播模式，可以增加浮雕、美颜等特效，也可以对视频中的人脸进行识别。
其中，各个视联网终端的视联网号码是唯一的。
S102、根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
具体地，滤镜服务器根据滤镜参数例如亮度调节，对至少两个第一视频数据进行滤镜渲染处理，得到滤镜渲染后的视频数据，即至少两个第二视频数据。
S103、将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
具体地，滤镜服务器将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器再根据目的视联网终端的目的视联网号码，将第二视频数据发送至对应的视联网终端，这样，可以集中对视频数据进行滤镜渲染处理，提供视频处理效率。
示例性地，本发明实施例可用于下列两种情况：
A、可视电话业务，拨打双方各自向对方发送一路视频流，滤镜服务器同时处理两路流，每一路流分别发送到对端的一路地址。
另外，滤镜服务器并行的处理多路流的渲染，对于多少路的过滤渲染是根据配置的显卡数量决定的。
B、会议业务，很多视联网终端参会，此时会议调度服务器会选择主席和发言方的两路视频流，发送到组播地址，组播地址内的所有终端(一般都是多个)都可以收到视频流。
本发明实施例提供的视频处理方法，通过视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
本发明又一实施例对上述实施例提供的视频处理方法做进一步补充说明。
如图2所示，示出了本发明的另一种视频处理方法实施例的步骤流程图，应用于视联网滤镜处理系统中的滤镜服务器，该视频处理方法包括：
S201、视联网核心服务器接收各个视联网终端发送的视频数据；
S202、视联网核心服务器接收会议调度服务器(会议调度服务端)发送的滤镜控制指令，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数；
具体的，会议调度服务器向视联网自治服务器发送滤镜控制指令，视联网自治服务器再见该滤镜控制指令发送至视联网核心服务器。
S203、视联网核心服务器根据滤镜控制指令中的目的视联网号码，从所有视联网终端发送的视频数据中确定第一视频数据；
具体地，可以根据实际进行的业务，选择对应的视频数据，然后发送至滤镜服务器进行处理。
在本发明实施例中不对视联网终端的视联网号码的个数限定。
S204、滤镜服务器根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
具体地，在该步骤中，具体包括：
步骤A1、根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
具体地，滤镜服务器中的GPU加速模块将第一视频数据进行处理，进而通过预设解码规则对第一视频数据进行解码处理，得到单帧图像，即第一图像。其中，GPU加速模块(Graphics Processing Unit，图形处理器)，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上进行图像运算工作的微处理器，能够利用硬件加速对图像进行处理。
采用预设解码规则即H264或H265解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
步骤A2、根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像；
具体地，滤镜服务器根据预先设置的开放图形库即OpenGL库和过滤参数，分别对单帧图像进行滤镜渲染处理，得到处理后的第二图像。
作为一种可选地实施方式，若所述第一图像为红、绿、蓝色彩空间RGB格式的第一图像，所述根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像，包括：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第二图像。
具体地，RGB格式(Red、Green、Blue，红、绿、蓝色彩空间)，是以红、绿、蓝色彩空间对一种颜色进行编码的方法。RGB的本质是将色度分解为R、G、B兰部分，然后记录下亮度数据，方便数字化表达，广泛用于数字化彩色显示器，计算机编程等领域。
作为另一种可选地实施方式，若所述第一图像为红、绿、蓝色彩空间RGB格式的第一图像，所述根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像，包括：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第三图像；
将所述RGB格式的第三图像转换为亮度参量和色度参量分开表示的像素格式YUV格式的第二图像。
具体地，YUV格式(Y:明亮度(灰度值)；UV:色彩及饱和度(指定像素的颜色值))，是亮度参量和色度参量分开表示的像素格式。YUV也是一种色彩空间，Y表示亮度，U和V表示色度。YUV和RGB的相同点是:都是用来表达颜色的数学方法:不同点是:对颜色的描述思路和方法不同。RGB将一个颜色拆解为3个纯色的亮度组合，YUV将一个颜色分解为一个亮度和2个色度的组合。
步骤A3、根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，其中，所述预设解码规则和所述预设编码规则相对应。
具体地，采用H264或H265编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据。
S205、将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
由于步骤S205与图1所示实施例中的步骤S103相同。在图1中已经对步骤S103进行了详细描述，因此，在此不再对步骤S205进行赘述。
图3是本发明的一种滤镜处理系统实施例的结构示意图，如图3所示，该滤镜处理系统包括视频滤镜服务器、视联网核心服务器、视联网自治服务器和会议调度服务端(会议调度服务器)和多个视联网终端。
在视联网结构上，本发明实施例提供一台专用视频滤镜服务器，并构建基于V2V通讯协议、OpenGL加速视频处理技术的软件模块，与会管服务器、自治服务器进行实时通讯，硬件上使用多显卡加速降低延迟，由会议系统进行控制，实现对会议、可视电话等实时视频进行渲染和特效处理。
此滤镜服务器作为一个独立可挂载设备，直接与视联网核心服务器连接，用于对视联网核心服务器的输出视频做选择性的渲染和滤镜处理。
视联网终端是各种会议视频的输入端和输出端，所有的视联网终端，都将音视频图像采集发送到视联网核心服务端进行汇聚。
视联网核心服务端根据会议调度服务器的指令，将汇聚的视频建立组播，并推送到所有终端。但并非推送所有的流，而是根据滤镜控制指令，按照一定规则，选择几路流进行推送，例如，一般是主席、发言人的视频流，在终端按照大小画面显示两路。
会议调度服务器是会议的控制核心，会议调度服务器将滤镜控制信令发送至视联网自治服务器。
视联网自治服务器对会议调度服务器的滤镜控制指令做协议转换，通过V2V协议，发送到视联网核心服务器，由视联网核心服务器建立组播，推送会议视频流。
如图3所示，新增视联网滤镜服务器,利用专用的多显卡硬件服务器，采用旁路工作模式，对视联网核心服务器输出的组播视频进行滤镜处理。当需要做视频滤镜处理时，视联网核心服务器将输出视频发送至滤镜服务器，滤镜服务器处理后，再经过视联网核心服务器交换推送至视联网终端。当不需要做滤镜处理时，视联网核心服务器按原有路径，直接推送至视联网终端。
图4是本发明的又一种视频处理方法实施例的步骤流程图，如图4所述，该视频处理方法包括：
1、视联网终端将采集的音视频图像发送到视联网核心服务端进行汇聚。
2、会议调度服务器将滤镜控制信令发送至视联网自治服务器，其中，滤镜控制信令包括目的视联网终端的视联网号码和滤镜参数。
3、自治服务器对会议调度服务器的滤镜控制指令做协议转换，通过V2V协议，发送到视联网核心服务器；
4、视联网核心服务端接收会议调度服务器发送的滤镜控制指令，将该滤镜控制指令和目的视联网终端发送的视频流发送至滤镜服务器；
5、滤镜服务器对该滤镜控制指令进行解析，获得滤镜参数；
6、滤镜服务器采用GPU解码模块对第一视频流数据进行解码，得到单帧图像，也就是第一图像，该单帧图像可以是YUV图像，也可以是RGB图像；
7、滤镜服务器采用OpenGL渲染模块和滤镜参数对该单帧图像进行渲染处理，得到第二图像；
8、滤镜服务器采用GPU编码模块对该第二图像进行编码，得到的处理后的视频流；
9、滤镜服务器将处理后的视频流发送至视联网核心服务器，以使视联网核心服务器将处理后的视频流发送至与目的视联网号码对应的视联网终端。
具体地，在滤镜服务器对第一视频数据进行处理的过程如下所示：
输入包括：来自核心服务器的V2V直连的视频流；经V2V网络，来自会议调度服务器的滤镜控制信令。滤镜控制信令用于控制启动滤镜渲染，及选择滤镜效果，配置滤镜参数等，实现不同的滤镜模式选择，具体包括：滤镜所渲染的效果(例如，美白、磨皮、红润、亮度、饱和度等)以及效果的参数(例如磨皮像素范围、亮度等级等，同一个效果设置不同的参数是为了让效果看起来从更明显，到更不明显之间进行调整。
视频流首先经过滤镜服务器GPU图形处理器(Graphics Processing Unit，GPU)解码，得到单帧图像，由滤镜配置选择模块指定的方法进行渲染。
渲染结果单帧图像重新进行编码，经过输出模块打包后推送至V2V网络；
整个处理流程上因为编解码、渲染计算量的问题肯定会存在延迟，但此延迟可以控制再有限的范围内。为了控制滤镜服务器的延迟，可以经由一下处理：
核心服务器输出视频通过千兆网卡直连滤镜服务器，保证最快的传递速度。
控制滤镜视频路数，一般会议中常用的视频输出路数大概2-4路，且并非每一路都需要渲染，因此可以控制视频路数降低计算量。
使用多显卡服务器，必须使用专用的多显卡服务器，利用显卡能力提高编解码、渲染能力，目前较新的显卡，单个显卡对于一般简单效果的渲染，都能达到每秒百帧以上，因此通过多显卡并行处理，延时也是完全可控的。
本发明实施例扩展了视联网的视频处理能力，可为用户提供更多的产品选择和更高的服务质量，并且可根据用户需要选择性配置，减少用户负担。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的视频处理方法，通过视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
本发明另一实施例提供一种视频处理装置，用于执行上述实施例提供的视频处理方法。
参照图5，示出了本发明的一种视频处理装置实施例的结构框图，该装置可以应用于视联网滤镜处理系统中的滤镜服务器，具体可以包括如下模块：接收模块501、滤镜模块502和发送模块503，其中：
接收模块501用于接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且所述滤镜控制指令是会议调度服务器发送的，所述第一视频数据是与所述目的视联网号码对应的至少两个目的视联网终端发送的；
滤镜模块502用于根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
发送模块503用于将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
本发明实施例提供的视频处理装置，通过视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
本发明又一实施例对上述实施例提供的视频处理装置做进一步补充说明。
可选地，所述滤镜模块502用于：
根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像；
根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，其中，所述预设解码规则和所述预设编码规则相对应。
可选地，所述滤镜模块502用于：
调用预先设置的开放图形库，采用所述滤镜参数，对RGB格式的第一图像进行滤镜处理，生成RGB格式的第二图像。
可选地，所述滤镜模块502用于：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第三图像；
将所述RGB格式的第三图像转换为亮度参量和色度参量分开表示的像素格式YUV格式的第二图像。
可选地，所述滤镜模块502用于：
采用H264或H265解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
可选地，所述滤镜模块502还用于：
采用H264或H265编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的视频处理装置，通过视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的视频处理方法。
图6是本发明的一种终端设备的结构示意图，如图6所示，该终端设备包括：至少一个处理器601和存储器602；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的视频处理方法。
本实施例提供的终端设备，通过视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的视频处理方法。
根据本实施例的计算机可读存储介质，通过视联网滤镜处理系统中的滤镜服务器接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且滤镜控制指令是会议调度服务器发送的，第一视频数据是与目的视联网号码对应的至少两个目的视联网终端发送的；根据滤镜参数对至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；将至少两个第二视频数据发送至视联网核心服务器，视联网核心服务器将至少两个第二视频数据分别发送至与目的视联网号码对应的至少两个目的视联网终端，通过提供的滤镜服务器，可以同时对多个视联网终端发送的视频进行渲染滤镜处理，提高了滤镜处理效率。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种视频处理方法和一种视频处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频处理方法，其特征在于，应用于视联网滤镜处理系统中的滤镜服务器，所述方法包括：
接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且所述滤镜控制指令是会议调度服务器发送的，所述第一视频数据是与所述目的视联网号码对应的至少两个目的视联网终端发送的；
根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
2.根据权利要求1所述的方法，其特征在于，所述根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据，包括：
根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像；
根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，其中，所述预设解码规则和所述预设编码规则相对应。
3.根据权利要求2所述的方法，其特征在于，若所述第一图像为红、绿、蓝色彩空间RGB格式的第一图像，所述根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像，包括：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第二图像。
4.根据权利要求2所述的方法，其特征在于，若所述第一图像为红、绿、蓝色彩空间RGB格式的第一图像，所述根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像，包括：
调用预先设置的开放图形库，采用所述滤镜参数，对所述RGB格式的第一图像进行滤镜处理，生成RGB格式的第三图像；
将所述RGB格式的第三图像转换为亮度参量和色度参量分开表示的像素格式YUV格式的第二图像。
5.根据权利要求2所述的方法，其特征在于，所述根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像，包括：
采用H264或H265解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
相对应地，所述根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，包括：
采用H264或H265编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据。
6.一种视频处理装置，其特征在于，应用于视联网滤镜处理系统中的滤镜服务器，所述装置包括：
接收模块，用于接收视联网核心服务器发送的至少两个第一视频数据和滤镜控制指令，其中，所述滤镜控制指令包括至少两个目的视联网终端的目的视联网号码和滤镜参数，且所述滤镜控制指令是会议调度服务器发送的，所述第一视频数据是与所述目的视联网号码对应的至少两个目的视联网终端发送的；
滤镜模块，用于根据所述滤镜参数对所述至少两个第一视频数据进行滤镜渲染处理，得到至少两个第二视频数据；
发送模块，用于将所述至少两个第二视频数据发送至所述视联网核心服务器，以使所述视联网核心服务器将所述至少两个第二视频数据分别发送至与所述目的视联网号码对应的至少两个目的视联网终端。
7.根据权利要求6所述的装置，其特征在于，所述滤镜模块，用于：
根据预设解码规则，分别对所述至少两个第一视频数据进行解码处理，得到至少两个第一图像；
根据预先设置的开放图形库和所述滤镜参数，分别对所述至少两个第一图像进行滤镜渲染处理，得到至少两个第二图像；
根据预设编码规则，分别对所述至少两个第二图像进行编码，得到至少两个第二视频数据，其中，所述预设解码规则和所述预设编码规则相对应。
8.根据权利要求7所述的装置，其特征在于，所述滤镜模块，用于：
调用预先设置的开放图形库，采用所述滤镜参数，对RGB格式的第一图像进行滤镜处理，生成RGB格式的第二图像。
9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-5中任一项所述的视频处理方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-5中任一项所述的视频处理方法。
CN202011080453.1A 2020-10-10 2020-10-10 视频处理方法、装置、终端设备和存储介质 Pending CN112399126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011080453.1A CN112399126A (zh) 2020-10-10 2020-10-10 视频处理方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011080453.1A CN112399126A (zh) 2020-10-10 2020-10-10 视频处理方法、装置、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN112399126A true CN112399126A (zh) 2021-02-23

Family

ID=74595835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011080453.1A Pending CN112399126A (zh) 2020-10-10 2020-10-10 视频处理方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN112399126A (zh)

Similar Documents

Publication Publication Date Title
US8947498B2 (en) Method and device for processing multi-picture video image
US8289371B2 (en) Smart cropping of video images in a videoconferencing session
US8456504B2 (en) Method and system for preparing video communication images for wide screen display
US8885014B2 (en) Appearance matching for videoconferencing
WO2019210822A1 (zh) 视频编解码方法、装置、系统及存储介质
WO2018151970A1 (en) Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
CN114073097A (zh) 通过边缘计算促进视频流式传输和处理
CN111901630A (zh) 一种数据传输方法、装置、终端设备和存储介质
CN111147801A (zh) 一种视联网终端的视频数据处理方法和装置
CN114600468A (zh) 将复合视频流中的视频流与元数据组合
US10674163B2 (en) Color space compression
JP6980054B2 (ja) 画像データを処理する方法および装置
CN110012336A (zh) 直播界面的图片配置方法、终端及装置
CN113542660A (zh) 一种实现会议多画面高清显示的方法、系统及存储介质
US20170279866A1 (en) Adaptation of streaming data based on the environment at a receiver
CN102082945A (zh) 实现多方视频通话的方法、视频终端及系统
CN114500914A (zh) 音视频转发方法、装置、终端与系统
CN112399126A (zh) 视频处理方法、装置、终端设备和存储介质
CN114827620A (zh) 图像处理方法、装置、设备与介质
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
CN112929703A (zh) 码流数据的处理方法和装置
CN117641062A (zh) 一种在视频通话中处理视频背景环境的系统
CN117859321A (zh) 在视频会议期间使用人工智能（ai）进行缩小和放大的方法和设备
WO2017045653A1 (zh) 视频会议的视频显示方法及装置、存储介质
CN112272281A (zh) 一种区域分布式视频会议系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination