CN115103082A - 一种视频处理方法、装置、服务器及终端 - Google Patents

一种视频处理方法、装置、服务器及终端 Download PDF

Info

Publication number
CN115103082A
CN115103082A CN202110244363.XA CN202110244363A CN115103082A CN 115103082 A CN115103082 A CN 115103082A CN 202110244363 A CN202110244363 A CN 202110244363A CN 115103082 A CN115103082 A CN 115103082A
Authority
CN
China
Prior art keywords
video
quality
quality level
group data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110244363.XA
Other languages
English (en)
Inventor
李雅茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110244363.XA priority Critical patent/CN115103082A/zh
Publication of CN115103082A publication Critical patent/CN115103082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种视频处理方法、装置、服务器及终端，方法包括：接收终端上传的对同一对象从不同视角拍摄的多路视频数据；对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。本发明的方案不仅实现减少传输的比特流，增加带宽的利用率；还提高低视频的质量，从而提高整个视频质量，满足用户的不同形式观看的需求，提高用户体验。

Description

一种视频处理方法、装置、服务器及终端
技术领域
本发明涉及视频处理技术领域，特别是指一种视频处理方法、装置、服务器及终端。
背景技术
多视角视频应用场景描述了用多个摄像头拍摄同一个活动事件，从而为线上用户提供不同视角的视频，用户可触发终端设备使视角连续变化，找到用户最想要的观看角度，满足了用户同时观看不同视角以及自主连续切换视角的需求。
现有的技术方案是将多个摄像头拍摄的视频独立编码后上传到服务器，服务器根据用户请求的视角对应的内容通过CDN(内容分发网络)分发给用户，或者是把所有视角的内容全部分发给用户。前者造成切换延迟大，后者大量的传输数据给带宽带来了压力。
现有技术中编码传输当前视角视频高清视频和所有视角的低清视频时，当用户切换视角时，先显示当前视角的低清画面，然后从服务器获取并切换到高清视频。高清视频切换到低清视频的质量落差给用户带来了不良好的体验，并且用户不能同时观看不同视角的高清视频，内容质量差，限制了用户的多样化体验，且网络的传输时延较大。
发明内容
本发明要解决的技术问题是如何提供一种视频处理方法、装置、服务器及终端。实现了减少传输的比特流，增加带宽的利用率，提高低视频的质量，从而提高整个视频质量，满足用户的不同形式观看的需求，提高用户体验。
为解决上述技术问题，本发明的技术方案如下：
本发明提供一种视频处理方法，应用于服务器，所述方法包括：
接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
可选的，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
可选的，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
可选的，所述神经网络模型通过以下过程进行训练：
将至少一路视频数据进行质量分级得到的第一质量级别的画面组数据以及第二质量级别的画面组数据输入到神经网络中；
第一质量级别的画面组数据以及第二质量级别的画面组数据分别与一参考视频帧进行比对，得到比对结果；
根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型。
可选的，根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉传输，则根据所述比对结果输出第一神经网络模型；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则根据所述比对结果输出第二神经网络模型。
本发明提供一种视频处理方法，应用于终端，所述方法包括：
对同一对象从不同视角进行拍摄，获得多路视频数据；
对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
将所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
可选的，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
可选的，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
可选的，所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
可选的，按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉排列，则输入到第一神经网络模型进行处理，得到处理后的视频流；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻帧，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则输入到第二神经网络模型进行处理，得到处理后的视频流。
本发明提供一种视频处理装置，应用于服务器，所述装置包括：
收发模块，用于接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
处理模块，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
所述收发模块还用于将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
本发明提供一种服务器，包括：
收发机，用于接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
处理器，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
所述收发机还用于将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
本发明提供一种视频处理装置，应用于终端，所述装置包括：
获得模块，用于对同一对象从不同视角进行拍摄，获得多路视频数据；
处理模块，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
本发明还提供一种终端，包括：
采集器，用于对同一对象从不同视角进行拍摄，获得多路视频数据；
处理器，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
本发明提供一种处理设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行上述的方法。
本发明提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行上述的方法。
本发明的上述方案至少包括以下有益效果：
通过接收终端上传的对同一对象从不同视角拍摄的多路视频数据；对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。本发明的方案不仅实现减少传输的比特流，增加带宽的利用率；还提高低视频的质量，从而提高整个视频质量，满足用户的不同形式观看的需求，提高用户体验。
附图说明
图1是本发明实施例的应用于服务器的视频处理方法的流程示意图；
图2是本发明实施例的视频处理方法的总流程示意图；
图3是本发明实施例的终端进行多视角现场拍摄的示意图；
图4是本发明实施例的视频处理方法中模型训练预处理的示意图；
图5是本发明实施例的视频处理方法中训练输出模型的示意图；
图6是本发明实施例的视频处理方法中第一神经网络模型的示意图；
图7是本发明实施例的视频处理方法中第二神经网络模型的示意图；
图8是本发明实施例的应用于终端的视频处理方法的流程示意图；
图9是本发明实施例的应用于服务器的视频处理装置的模块框示意图；
图10是本发明实施例的应用于终端的视频处理装置的模块框示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提供一种视频处理方法，应用于服务器，所述方法包括：
步骤11，接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
步骤12，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
步骤13，将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
该实施例，通过接收终端上传的对同一对象从不同视角拍摄的多路视频数据；对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。本发明的方案不仅实现减少传输的比特流，增加带宽的利用率；还提高低视频的质量，从而提高整个视频质量，满足用户的不同形式观看的需求，提高用户体验。
如图2所示，该实施例是应用于服务器侧的方法，通过接收终端上传的多视角现场拍摄的多路视频数据，无损无压传输至服务器，对其进行质量分级编码，得到至少一个质量级别的视频码流，对视频码流及其训练好的神经网络模型发送至终端，实现减少传输的比特流，增加带宽的利用率。
如图3所示，步骤11中的多路视频数据是由终端设置相机阵列成环状，每个相机聚焦同一对象拍摄，系统采集多路视频和音频数据并将每一路视频编号，设置多路视频数据同步并传输到服务器。
本发明一可选的实施例中，步骤12包括：
步骤121，根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
步骤122，根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
需要说明的是，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
本实施例中，对所接收到的多路视频数据进行质量分级，得到至少一个视频码流，其中，进行质量分级的依据是对每一路视频数据设置不同大小的质量阈值，编码成一个第一质量级别的画面组数据的版本和一个第二质量级别的画面组数据的版本。定义第一质量级别的画面组数据的质量阈值为0至30，第二质量级别的画面组数据的质量阈值为31至50。
本发明一可选是实施例中，步骤13中的所述神经网络模型通过以下过程进行训练：
步骤131，将至少一路视频数据进行质量分级得到的第一质量级别的画面组数据以及第二质量级别的画面组数据输入到神经网络中；
步骤132，第一质量级别的画面组数据以及第二质量级别的画面组数据分别与一参考视频帧进行比对，得到比对结果；
步骤133，根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型。
如图4所示，本实施例中，步骤131是对神经网络训练的预处理，以时间为单位分别取出多路视频数据中不同时间相同时间视频帧数据，图3中的视角1、视角2、视角3的视频数据依时间为单位划分成第一质量级别的画面组数据以及第二质量级别的画面组数据并输入至神经网络中，神经网络中Tn-1时刻的帧是第二质量级别的画面组数据帧，Tn时刻的帧是第一质量级别的画面组数据帧是近邻帧。
如图5所示，本实施例中，步骤132可以以无损视频的帧为参考视频帧，以第一质量级别的画面组数据帧(即近邻帧)作为辅助帧，第二质量级别的画面组数据帧为待提高帧输入神经网络，进行比对，并迭代进行训练测试，得到比对结果。
本发明一可选的实施例中，步骤133包括：
步骤1331，若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉传输，则根据所述比对结果输出第一神经网络模型；
步骤1332，若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则根据所述比对结果输出第二神经网络模型。
本实施例中，按照视频编号顺序，分别编码输出每个视角的视频数据帧，保证每段第二质量级别的画面组视频数据必有一个相邻第一质量级别的画面组视频数据帧(即近邻帧)，因此，会出现两种情况的网络模型，下面对这两种网络模型进行说明：
如图6所示，第一神经网络模型是步骤1331中将第一质量级别的画面组数据和第二质量级别的画面组数据以相同间隔交叉传输，最小单位是一个GOP(画面组；Group ofPictures)；
第一神经网络模型是步骤1332中将第一质量级别的画面组数据与第二质量级别的画面组数据相邻，部分第一质量级别的画面组数据对应的时间信息在第二质量级别的画面组数据对应的时间信息之前，部分第一质量级别的画面组数据的时间信息在第二质量级别的画面组数据对应的时间信息之后。
如图7所示，每个视角的视频数据先上传一端第一质量级别的画面组数据，时间最小单位是一个GOP，再传输两段视角相同的第二质量级别的画面组数据。
本发明还提供一种视频处理方法，应用于终端，所述方法包括：
步骤81，对同一对象从不同视角进行拍摄，获得多路视频数据；
步骤82，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
步骤83，将所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
该实施例是应用于终端侧的方法，通过对同一对象多视角的拍摄，得到多路视频数据，再进行质量分级得到至少一个级别的视频码流，输入至服务器并接收对应的训练好的神经网络模型处理，最终得到处理后的视频流。提高了低视频的质量，从而提高了整个视频质量，满足了用户的不同形式观看的需求，提高了用户体验。
本发明一可选的实施例中，步骤82包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
其中，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
本发明一可选的实施例中，步骤83包括：
步骤831，按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
本发明一可选的实施例中，步骤831包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉排列，则输入到第一神经网络模型进行处理，得到处理后的视频流；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻帧，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则输入到第二神经网络模型进行处理，得到处理后的视频流。
本实施例中，将服务器端训练输出的两个模型以及质量交叉编码的视频关联在一起，发给终端；终端侧接收到视频流以后检测低质量帧，提取最近邻的第一质量级别的画面组数据，然后使用与服务器端相同的神经网络结构，以第二质量级别的画面组数据帧为第一输入，以第一质量级别的画面组数据帧为第二输入，与接收到的模型计算得到这叫高真帧，且与第二质量级别的画面组数据帧一一对应，最后增强整个视频流的质量。
最终，终端应实现可提供多个视角同时观看、任意视角可以顺时针以及逆时针连续切换且画面连续、任意时间视点直接切换等功能，根据用户需求选择其中一种或多种显示视频内容。
一个具体的实施例中，如图2所示，假设一个多视角场景中有48个摄像头，每一路的视频流设置GOP的值为16编码，设置第一质量级别的画面组数据编码质量级别的值为22，第二质量级别的画面组数据编码质量级别值为36，每一路视频流数据的第一个GOP为第一质量级别的画面组数据，第二、三个GOP为第二质量级别的画面组数据，第四个GOP为第一质量级别的画面组数据，第五、六个GOP为第二质量级别的画面组数据，以此类推传输视频，低质量编码节省大量的码流。
服务器端也是以相同的质量级别值编码，然后使用ARCNN(Artifacts ReductionConvolutional Neural Network)神经网络训练输出两个模型传输给终端。
在终端，第二个GOP视频流以第一个GOP里的最后一帧图像为辅助帧，使用一个模型恢复质量；
第三个GOP视频流以第四个GOP里的首帧图像为辅助帧，使用另一个模型恢复质量；输入到ARCNN神经网络，最后整体增强视频的质量，提高用户体验。
本发明的实施例通过对多视角拍摄得到的多数据视频数据进行处理，实现提高低视频的质量，总而提高整个视频质量，满足用户的不同形式观看的需求，提高用户体验的技术效果。这里需要说明的是，终端进行视频处理的方法与服务器进行视频处理的方法的原理相同，在这里不再赘述。
如图9所示，本发明的实施例还提供一种视频处理装置90，应用于服务器，所述装置包括：
收发模块91，用于接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
处理模块92，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
所述收发模块91还用于将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
可选的，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
可选的，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
可选的，所述神经网络模型通过以下过程进行训练：
将至少一路视频数据进行质量分级得到的第一质量级别的画面组数据以及第二质量级别的画面组数据输入到神经网络中；
第一质量级别的画面组数据以及第二质量级别的画面组数据分别与一参考视频帧进行比对，得到比对结果；
根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型。
可选的，根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉传输，则根据所述比对结果输出第一神经网络模型；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则根据所述比对结果输出第二神经网络模型。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种服务器，包括：
收发机，用于接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
处理器，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
所述收发机还用于将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
可选的，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
可选的，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
可选的，所述神经网络模型通过以下过程进行训练：
将至少一路视频数据进行质量分级得到的第一质量级别的画面组数据以及第二质量级别的画面组数据输入到神经网络中；
第一质量级别的画面组数据以及第二质量级别的画面组数据分别与一参考视频帧进行比对，得到比对结果；
根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型。
可选的，根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉传输，则根据所述比对结果输出第一神经网络模型；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则根据所述比对结果输出第二神经网络模型。
需要说明的是，该服务器是与上述方法对应的服务器，上述方法实施例中的所有实现方式均适用于该服务器的实施例中，也能达到相同的技术效果。
如图10所示，本发明的实施例还提供一种视频处理装置100，应用于终端，所述装置包括：
获得模块101，用于对同一对象从不同视角进行拍摄，获得多路视频数据；
处理模块102，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
可选的，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
可选的，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
可选的，所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
可选的，按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉排列，则输入到第一神经网络模型进行处理，得到处理后的视频流；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻帧，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则输入到第二神经网络模型进行处理，得到处理后的视频流。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种终端，包括：
采集器，用于对同一对象从不同视角进行拍摄，获得多路视频数据；
处理器，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
可选的，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
可选的，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
可选的，所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
可选的，按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉排列，则输入到第一神经网络模型进行处理，得到处理后的视频流；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻帧，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则输入到第二神经网络模型进行处理，得到处理后的视频流。
需要说明的是，该终端是与上述方法对应的终端，上述方法实施例中的所有实现方式均适用于该终端的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种处理设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种视频处理方法，其特征在于，应用于服务器，所述方法包括：
接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
2.根据权利要求1所述的视频处理方法，其特征在于，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
3.根据权利要求2所述的视频处理方法，其特征在于，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
4.根据权利要求2所述的视频处理方法，其特征在于，所述神经网络模型通过以下过程进行训练：
将至少一路视频数据进行质量分级得到的第一质量级别的画面组数据以及第二质量级别的画面组数据输入到神经网络中；
第一质量级别的画面组数据以及第二质量级别的画面组数据分别与一参考视频帧进行比对，得到比对结果；
根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型。
5.根据权利要求4所述的视频处理方法，其特征在于，根据所述比对结果以及所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输出训练好的网络模型，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉传输，则根据所述比对结果输出第一神经网络模型；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则根据所述比对结果输出第二神经网络模型。
6.一种视频处理方法，其特征在于，应用于终端，所述方法包括：
对同一对象从不同视角进行拍摄，获得多路视频数据；
对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
将所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
7.根据权利要求6所述的视频处理方法，其特征在于，对多路视频数据进行质量分级，得到至少一个质量级别的视频码流，包括：
根据为每一路视频数据设置的第一质量阈值，将每一路视频数据分为多个第一质量级别的画面组数据，以及
根据为每一路视频数据设置的第二质量阈值，将每一路视频数据分为多个第二质量级别的画面组数据。
8.根据权利要求7所述的视频处理方法，其特征在于，所述第一质量阈值和第二质量阈值为质量量化参数，第一质量阈值的范围为0至30，第二质量阈值的范围为31至50。
9.根据权利要求7所述的视频处理方法，其特征在于，所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
10.根据权利要求9所述的视频处理方法，其特征在于，按照所述第一质量级别的画面组数据以及第二质量级别的画面组数据的排列顺序，输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流，包括：
若所述第一质量级别的画面组数据和所述第二质量级别的画面组数据以相同时间间隔交叉排列，则输入到第一神经网络模型进行处理，得到处理后的视频流；
若第一质量级别的画面组数据为所述第二质量级别的画面组数据相邻帧，且部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之前，另一部分所述第一质量级别的画面组数据对应的时间信息在所述第二质量级别的画面组数据对应的时间信息之后，则输入到第二神经网络模型进行处理，得到处理后的视频流。
11.一种视频处理装置，其特征在于，应用于服务器，所述装置包括：
收发模块，用于接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
处理模块，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
所述收发模块还用于将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
12.一种服务器，其特征在于，包括：
收发机，用于接收终端上传的对同一对象从不同视角拍摄的多路视频数据；
处理器，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；
所述收发机还用于将所述至少一个质量级别的视频码流以及与该视频码流对应的训练好的神经网络模型发送至终端。
13.一种视频处理装置，其特征在于，应用于终端，所述装置包括：
获得模块，用于对同一对象从不同视角进行拍摄，获得多路视频数据；
处理模块，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
14.一种终端，其特征在于，包括：
采集器，用于对同一对象从不同视角进行拍摄，获得多路视频数据；
处理器，用于对多路视频数据进行质量分级，得到至少一个质量级别的视频码流；所述至少一个质量级别的视频码流输入至从服务器接收的与该视频码流对应的训练好的神经网络模型进行处理，得到处理后的视频流。
15.一种处理设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至5任一项所述的方法或者权利要求6至10任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如1至5任一项所述的方法或者权利要求6至10任一项所述的方法。
CN202110244363.XA 2021-03-05 2021-03-05 一种视频处理方法、装置、服务器及终端 Pending CN115103082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244363.XA CN115103082A (zh) 2021-03-05 2021-03-05 一种视频处理方法、装置、服务器及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244363.XA CN115103082A (zh) 2021-03-05 2021-03-05 一种视频处理方法、装置、服务器及终端

Publications (1)

Publication Number Publication Date
CN115103082A true CN115103082A (zh) 2022-09-23

Family

ID=83287583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244363.XA Pending CN115103082A (zh) 2021-03-05 2021-03-05 一种视频处理方法、装置、服务器及终端

Country Status (1)

Country Link
CN (1) CN115103082A (zh)

Similar Documents

Publication Publication Date Title
Bao et al. Motion-prediction-based multicast for 360-degree video transmissions
Barman et al. No-reference video quality estimation based on machine learning for passive gaming video streaming applications
CN110324621B (zh) 视频编码方法、装置、电子设备和存储介质
CN110418177B (zh) 视频编码方法、装置、设备和存储介质
CN110139113B (zh) 视频资源的传输参数分发方法及装置
CN111277826B (zh) 一种视频数据处理方法、装置及存储介质
CN103109528A (zh) 用于控制和管理多点会议的系统和方法
CN109672897B (zh) 全景视频编码方法及装置
CN114363649B (zh) 视频处理方法、装置、设备及存储介质
JP2015513717A (ja) データ、マルチメディアおよびビデオの送信の更新システム
CN111182300B (zh) 编码参数的确定方法、装置、设备及存储介质
Chen et al. Higher quality live streaming under lower uplink bandwidth: an approach of super-resolution based video coding
Hu et al. Multiple description coding for best-effort delivery of light field video using GNN-based compression
Bao et al. MDVSC--Wireless Model Division Video Semantic Communication
US11582494B2 (en) System and method for content-layer based video compression
CN111770347A (zh) 一种视频传输方法及系统
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
US9667885B2 (en) Systems and methods to achieve interactive special effects
CN115103082A (zh) 一种视频处理方法、装置、服务器及终端
CN104954729B (zh) 视频会议数据处理方法及系统
CN115942009A (zh) 基于混合式编码的远程视频业务办理方法和装置
Xie et al. Viewport adaptation-based immersive video streaming: Perceptual modeling and applications
CN115379248B (zh) 一种视频源流替换方法、系统、设备及存储介质
CN102256119B (zh) 视频录制的方法及装置
Quinlan et al. ALD: adaptive layer distribution for scalable video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination