CN114449343A - 一种视频处理方法、装置、设备及存储介质 - Google Patents
一种视频处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114449343A CN114449343A CN202210107121.0A CN202210107121A CN114449343A CN 114449343 A CN114449343 A CN 114449343A CN 202210107121 A CN202210107121 A CN 202210107121A CN 114449343 A CN114449343 A CN 114449343A
- Authority
- CN
- China
- Prior art keywords
- video
- segment
- determining
- quality information
- image set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 24
- 239000012634 fragment Substances 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开提供了一种视频处理方法、装置、设备及存储介质，涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域。具体实现方案为：对目标视频进行切分，得到视频片段；对所述视频片段进行采样，得到所述视频片段对应的采样图像集；根据所述采样图像集，确定所述采样图像集对应的视频片段的片段质量信息；根据所述片段质量信息，确定所述目标视频的视频质量信息。通过上述技术方案，能够精准确定视频的质量。
Description
技术领域
本公开涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域。
背景技术
随着人工智能技术的发展，丰富的视频数据为人们的生成增添了色彩。为向人们呈现高质量的视频，需要对视频进行质量评估。
发明内容
本公开提供了一种视频处理方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种视频处理方法，该方法包括：
对目标视频进行切分，得到视频片段；
对所述视频片段进行采样，得到所述视频片段对应的采样图像集；
根据所述采样图像集，确定所述采样图像集对应的视频片段的片段质量信息；
根据所述片段质量信息，确定所述目标视频的视频质量信息。
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述视频处理方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的视频处理方法。
根据本公开的技术，能够精准确定视频的质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种视频处理方法的流程图；
图2是根据本公开实施例提供的另一种视频处理方法的流程图；
图3是根据本公开实施例提供的又一种视频处理方法的流程图；
图4是根据本公开实施例提供的一种视频处理装置的结构示意图；
图5是用来实现本公开实施例的视频处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例提供的一种视频处理方法的流程图，该方法适用于如何对视频进行处理的情况，尤其适用于如何对视频的清晰度质量进行评估的情况。该方法可以由视频处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载视频处理功能的电子设备中。如图1所示，本实施例的视频处理方法可以包括：
S101，对目标视频进行切分，得到视频片段。
本实施例中，目标视频为需要进行视频质量评估的视频。可选的，可以对目标视频进行切分，以得到多个视频片段；其中，每个视频片段中包含一帧或多帧图像。示例性的，在对目标视频进行切分之前，可以先对目标视频进行抽帧处理，即将目标视频处理为一帧帧图像。
一种可选方式，可以对目标视频进行随机切分，得到至少两个视频片段。进一步的，可以根据目标视频的帧数，对目标视频进行随机切分，得到视频片段。例如，目标视频的帧数大于设定帧数，则将目标视频随机切分为第一数量的视频片段。又如，目标视频的帧数小于或等于设定帧数，则将目标视频随机切分为第二数量的视频片段。其中，设定帧数可以由本领域技术人员根据实际情况设定；第一数量和第二数量也可以分别由本领域技术人员确定，需要说明的是，第一数量大于第二数量。
另一种可选方式，可以根据目标视频的类型，对目标视频进行切分，得到视频片段。具体的，不同的目标视频的类型的切分方式不同，根据目标视频类型对应的切分方式，对目标视频进行切分，得到视频片段。例如，目标视频为记录片，则根据纪录片章节，对目标视频进行切分，得到多个视频片段。又如，若目标视频的类型为电影，可以根据电影的片头、中间正片和片尾，对目标视频进行切分，进一步的，还可以根据故事情节，对中间正片进行切分，以得到多个视频片段。
又一种可选方式，还可以结合目标视频的帧数和类型等，对目标视频进行切分，得到多个视频片段。
S102，对视频片段进行采样，得到视频片段对应的采样图像集。
本实施例中，采样图像集为对视频片段中的各图像帧(或者称为视频帧)进行采样得到的图像的集合。
一种可选方式，对于每个视频片段，可以从该视频片段中随机选取设定数量的图像帧，对选取出的图像帧进行采样，以得到该视频片段对应的采样图像集。
又一种可选方式，还可以根据视频片段中图像帧的数量，对视频片段进行采样，得到视频片段对应的采样图像集。具体的，对于每一视频片段，若该视频片段的图像帧的数量大于设定数量，则从该视频片段中随机选择第三数量的图像帧，对选择出的图像帧进行采样，以得到该视频片段对应的采样图像集。若该视频片段的视频帧的数量小于或等于设定数量，则对该视频片段中的所有图像帧进行采样，以得到该视频片段对应的的采样图像集。其中，设定数量可以由本领域技术人员根据实际情况设定；第三数量可以由本领域技术人员根据实际情况设定。
S103，根据采样图像集，确定采样图像集对应的视频片段的片段质量信息。
本实施例中，片段质量信息可用于衡量视频片段的质量，具体用来反映视频片段的视频清晰度。可选的，片段质量信息可以包括片段质量分数；进一步的，片段质量分数越高，则说明视频片段的视频清晰度越高。
一种可选方式，可以基于质量评估模型，根据采样图像集，确定采样图像集对应的视频片段的片段质量信息。具体的，可以将采样图像集中的所有采样图像输入至质量评估模型中，经模型处理后，得到采样图像集对应的视频片段的片段质量信息。其中，质量评估模型可以是基于机器学习算法得到。
又一种可选方式，可以基于评估逻辑，根据采样图像集，确定采样图像集对应的视频片段的片段质量信息。具体的，可以先基于质量评估模型，确定采样图像集中每一张图像对应的帧质量信息，进而对各帧质量信息求平均，将得到的结果作为采样图像集对应的视频片段的片段质量信息。其中，帧质量信息可用于衡量一帧图像的清晰度。
S104，根据片段质量信息，确定目标视频的视频质量信息。
本实施例中，视频质量信息可用于衡量整个目标视频的质量，具体可用来反映整个目标视频的视频清晰度。可选的，视频质量信息中可以包括视频质量分数；进一步的，视频质量分数越高，则说明目标视频的视频清晰度越高。
一种可选方式，可以对目标视频的各视频片段的片段质量进行聚合处理，并将聚合后的结果作为目标视频的视频质量信息。例如可以将目标视频的各视频片段的片段质量信息进行相加，将相加后的结果作为目标视频的视频质量信息。
又如，还可以对目标视频的各视频片段的片段质量信息求均值，将得到的结果作为目标视频的视频质量信息等。
本公开实施例的技术方案，通过对目标视频进行切分，得到视频片段，之后对视频片段进行采样，得到视频片段对应的采样图像集，进而根据采样图像集，确定采样图像集对应的视频片段的片段质量信息，最后根据片段质量信息，确定目标视频的视频质量信息。上述技术方案，通过对目标视频进行细化，引入视频片段，来确定整个目标视频的质量信息，相比于现有直接基于整个视频的图像帧来确定视频的质量信息而言，减少了对计算资源的占有，提供了视频质量的确定精确度。
在上述实施例的基础上，作为本公开实施例的一种可选方式，对目标视频进行切分，得到视频片段还可以是，根据镜头场景信息，对目标视频进行切分，得到视频片段。
其中，镜头场景信息即为镜头拍摄场景的相关信息。
具体的，可以基于TransNet V2网络或镜头识别工具PySceneDetect，根据镜头场景信息，对目标视频进行镜头切分，得到目标视频的视频片段。
可以理解的是，通过根据镜头场景信息对目标视频进行切分，可以使得对目标视频的切分更合理，从而保证得到的视频片段更准确且合理。
示例性的，在基于镜头场景信息对目标视频进行切分的场景下，作为本公开实施例的一种可选方式，在确定片段质量信息之后，还可以是根据片段质量信息，从视频片段中选择目标片段；根据目标片段对应的采样图像集，生成目标视频的视频封面。
其中，目标片段为从多个视频片段中所选择的一个或多个视频片段；进一步的，本实施例中目标片段的数量优选为多个。所谓视频封面用于代表整个目标视频，可以是动态的，也可以是静态的。
具体的，可以根据片段质量信息，对目标视频的各视频片段进行排序，将排序靠前的设定数量的视频片段作为目标片段，之后可以基于封面生成模型，根据目标片段对应的采样图像集，生成目标视频的视频封面。其中，封面生成模型可以基于机器学习算法得到。
可以理解的是，在基于镜头场景信息对目标视频进行切分的场景下，基于片段质量信息来选择制作视频封面的目标片段，可以使得视频封面覆盖多个场景，提高了视频封面制作的精准性。
进一步的，在上述实施例的基础上，作为本公开实施例的一种可选方式，对视频片段进行采样，得到视频片段对应的采样图像集还可以是，对视频片段进行等间隔采样，得到视频片段对应的采样图像集。
具体的，可以对视频片段进行等间隔采样，得到视频片段对应的采样图像集。例如，可以对视频片段等间隔采样设定帧数的视频帧，得到视频片段的采样图像集。进一步的，通过大量实验证明，对视频片段进行等间隔8帧采样，在保证优化机器资源使用的同时，可以保证后续视频片段的片段质量信息的确定更加准确。
可以理解的是，通过等间隔采样，可以使得采样得到的图像集能够尽可能覆盖整个视频片段，即使得采样图像集能够更全面代表视频片段，为后续精准确定视频片段的片段质量信息提供了保障。
图2是根据本公开实施例提供的另一种视频处理方法的流程图，在上述实施例的基础上，对“根据片段质量信息，确定目标视频的视频质量信息”进一步优化，提供一种可选实施方案。如图2所示，本实施例提供的视频处理方法可以包括：
S201，对目标视频进行切分，得到视频片段。
S202，对视频片段进行采样，得到视频片段对应的采样图像集。
S203，确定采样图像集中采样图像的特征图。
本实施例中，特征图用于表征采样图像的特征，可以采用矩阵形式来表示。
一种可选方式，可以基于特征提取网络，确定采样图像集中的采样图像的特征图。具体的，可以将采样图像集中的采样图像输入至特征提取网络，经过特征提取网络处理，得到采样图像集中采样图像的特征图。其中，特征提取网络可以是ResNet网络。
又一种可选方式，还可以通过特征提取网络和时间迁移网络TSM，确定采样图像集中采样图像的特征图。
其中，时间迁移网络TSM，即Temporal Shift Module，TSM能够将特征图中一部分的通道在时间维度上向前位移一步，一部分的通道在时间维度上向后位移一步，位移后的空缺补零。通过这种方式在特征图中引入时间维度上的上下文交互，便于在相邻帧之间交换信息，提高在时间维度上的视频理解能力。
具体的，首先通过特征提取网络对采样图像集中采样图像进行初步特征提取，对提取到的特征图通过TSM处理，将处理后的特征图作为采样图像集中采样图像的特征图。
可以理解的是，引入TSM，使得采样图像集中采样图像的特征图之间具有帧间信息，从而使得后续视频质量信息的确定更加准确。
S204，根据特征图的均值特征，确定采样图像集的质量概率。
本实施例中，均值特征为对特征图进行求均值处理得到的结果，例如可以是对特征图进行全局平均池化后的结果。所谓质量概率可用于反映整个采样图像集在清晰度方面的质量得分；进一步的，质量概率越大，质量得分越高，即采样图像集的清晰度越高。
具体的，对于每一采样图像集中的每一特征图，对该特征图进行全局平均池化，得到该特征图的均值特征；之后可以对该采样图像集中的所有特征图的均值特征通过全连接层处理，得到该采样图像集的质量概率。
S205，根据质量概率，确定采样图像集对应的视频片段的片段质量信息。
具体的，可以对质量概率进行归一化处理，将处理后的结果作为采样图像集对应的视频片段的片段质量信息。例如，可以采用sigmoid函数，对质量概率进行归一化处理，以得到采样图像集对应的视频片段的片段质量信息。
S206，根据片段质量信息，确定目标视频的视频质量信息。
本公开实施例的技术方案，通过对目标视频进行切分，得到视频片段，之后对视频片段进行采样，得到视频片段对应的采样图像集，进而确定采样图像集中采样图像的特征图，并根据特征图的均值特征，确定采样图像集的质量概率；根据质量概率，确定采样图像集对应的视频片段的片段质量信息，最后根据片段质量信息，确定目标视频的视频质量信息。上述技术方案，相比于现有基于整个视频中的全部图像的均值和方差来确定视频的质量而言，本公开通过视频片段中部分图像的均值特征来确定视频片段的片段质量信息，减少了对机器资源的占用率，同时提高了目标视频的视频质量信息的确定精度。
在上述各实施例的基础上，作为本公开实施例的一种可选方式，根据特征图的均值特征，确定采样图像集的质量概率还可以是，根据特征图的均值特征，确定采样图像集的平均特征；根据平均特征，确定采样图像集的质量概率。
具体的，对于每一采样图像集中的每一特征图，对该特征图进行全局平均池化，得到该特征图的均值特征；之后，对该特征图的均值特征进行特征转换，例如可以通过reshape函数对均值特征进行特征转换，得到该特征图的转换特征，也即通道特征。例如，一个特征图可表示为[in_channels，7，7]，对其进行全局平均池化，得到均值特征可以表示为[in_channels，1，1]，对均值特征通过reshape函数进行处理，得到转换特征，即可以表示为[in_channels]。
进而，对该采样图像集中各采样图像的特征图的转换特征进行融合，即可得到该采样图像集的平均特征，具体的，对于任一视频片段，若该视频片段对应的采样图像集包含8个采样图像，相应的可以得到8个转换特征，之后将8个转换特征进行平均，得到平均特征，即该采样图像集在通道维度上的平均特征。
进一步的，得到该采样图像集的平均特征之后，对平均特征再次通过reshape函数处理，将处理后的结果经过全连接层，得到该采样图像集的质量概率。
可以理解的是，引入平均特征，来确定采样图像集的质量概率，不仅减少了计算量，还提高了质量概率的确定准确率。
图3是根据本公开实施例提供的又一种视频处理方法的流程图，在上述实施例的基础上，对“据片段质量信息，确定目标视频的视频质量信息”进一步优化，提供一种可选实施方案。如图3所示，本实施例提供的视频处理方法可以包括：
S301，对目标视频进行切分，得到视频片段。
S302，对视频片段进行采样，得到视频片段对应的采样图像集。
S303，根据采样图像集，确定采样图像集对应的视频片段的片段质量信息。
S304，确定视频片段的片段权值。
本实施例中，片段权值为视频片段在目标视频中所占的权重。
一种可选方式，可以根据视频片段中的图像帧的数量，确定视频片段的片段权值。具体的，对于目标视频中的每一视频片段，若该视频片段中的图像帧数量越多，则该视频片段的片段权值越大。
另一种可选方式，还可以根据视频片段的场景，确定视频片段的片段权值。具体的，根据场景确定模型，确定视频片段的场景，进而可以根据视频片段的场景的重要程度，确定视频片段的片段权值。其中，场景确定模型可以基于深度学习算法得到。
再一种可选方式，还可以根据片段质量信息，确定视频片段的片段权值。具体的，可以对目标视频的每一视频片段，采用softmin操作，得到每一个视频片段的片段权值。由于实际场景中人们对视频清晰度质量下降会有较大的反应，因此，本实施例采用softmin函数可以为片段质量信息较大的视频片段赋予较小的片段权值。
可以理解的是，根据片段质量信息确定视频片段的片段权值，更符合实际场景，从而可以使得目标视频的视频质量信息更加准确。
S305，根据片段质量信息和片段权值，确定目标视频的视频质量信息。
本实施例中，对于目标视频的每一视频片段，可以将该视频片段的片段质量信息和片段权值相乘，进而将各视频片段对应的相乘后的结果相加，将相加后的结果作为目标视频的视频质量信息。
本公开实施例的技术方案，通过对目标视频进行切分，得到视频片段，之后对视频片段进行采样，得到视频片段对应的采样图像集，进而根据采样图像集，确定采样图像集对应的视频片段的片段质量信息，最后确定视频片段的片段权值，并根据片段质量信息和片段权值，确定目标视频的视频质量信息。上述技术方案，引入片段权值来确定目标视频的视频质量信息，可以提高视频质量信息的准确的。
图4是根据本公开实施例提供的一种视频处理装置的结构示意图。本公开实施例适用于如何对视频进行处理的情况，尤其适用于如何对视频的清晰度质量进行评估的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载视频处理功能的电子设备中。如图4所示，本实施例的视频处理装置400可以包括：
视频片段确定模块401，用于对目标视频进行切分，得到视频片段；
采样图像集确定模块402，用于对视频片段进行采样，得到视频片段对应的采样图像集；
片段质量信息确定模块403，用于根据采样图像集，确定采样图像集对应的视频片段的片段质量信息；
视频质量信息确定模块404，用于根据片段质量信息，确定目标视频的视频质量信息。
本公开实施例的技术方案，通过对目标视频进行切分，得到视频片段，之后对视频片段进行采样，得到视频片段对应的采样图像集，进而根据采样图像集，确定采样图像集对应的视频片段的片段质量信息，最后根据片段质量信息，确定目标视频的视频质量信息。上述技术方案，通过对目标视频进行细化，引入视频片段，来确定整个目标视频的质量信息，相比于现有直接基于整个视频的图像帧来确定视频的质量信息而言，减少了对计算资源的占有，提供了视频质量的确定精确度。
进一步地，片段质量信息确定模块403包括：
特征图确定单元，用于确定采样图像集中采样图像的特征图；
质量概率确定单元，用于根据特征图的均值特征，确定采样图像集的质量概率；
片段质量信息确定单元，用于根据质量概率，确定采样图像集对应的视频片段的片段质量信息。
进一步地，特征图确定单元具体用于：
通过特征提取网络和时间迁移网络TSM，确定采样图像集中采样图像的特征图。
进一步地，质量概率确定单元具体用于：
根据特征图的均值特征，确定采样图像集的平均特征；
根据平均特征，确定采样图像集的质量概率。
进一步地，视频质量信息确定模块404包括：
片段权值确定单元，用于确定视频片段的片段权值；
视频质量信息确定单元，用于根据片段质量信息和片段权值，确定目标视频的视频质量信息。
进一步地，片段权值确定单元具体用于：
根据片段质量信息，确定视频片段的片段权值。
进一步地，视频片段确定模块401包括：
视频片段确定单元，用于根据镜头场景信息，对目标视频进行切分，得到视频片段。
进一步地，该装置还包括：
目标片段确定模块，用于根据片段质量信息，从视频片段中选择目标片段；
视频封面生成模块，用于根据目标片段对应的采样图像集，生成目标视频的视频封面。
进一步地，采样图像集确定模块402具体用于：
对视频片段进行等间隔采样，得到视频片段对应的采样图像集。
本公开的技术方案中，所涉及的视频片段、以及图像集等的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如视频处理方法。例如，在一些实施例中，视频处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM503并由计算单元501执行时，可以执行上文描述的视频处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (21)
1.一种视频处理方法，包括：
对目标视频进行切分，得到视频片段；
对所述视频片段进行采样，得到所述视频片段对应的采样图像集；
根据所述采样图像集，确定所述采样图像集对应的视频片段的片段质量信息；
根据所述片段质量信息，确定所述目标视频的视频质量信息。
2.根据权利要求1所述的方法，其中，所述根据所述采样图像集，确定所述采样图像集对应的视频片段的片段质量信息，包括：
确定所述采样图像集中采样图像的特征图；
根据所述特征图的均值特征，确定所述采样图像集的质量概率；
根据所述质量概率，确定所述采样图像集对应的视频片段的片段质量信息。
3.根据权利要求2所述的方法，其中，所述确定所述采样图像集中采样图像的特征图，包括：
通过特征提取网络和时间迁移网络TSM，确定所述采样图像集中采样图像的特征图。
4.根据权利要求2所述的方法，其中，所述根据所述特征图的均值特征，确定所述采样图像集的质量概率，包括：
根据所述特征图的均值特征，确定所述采样图像集的平均特征；
根据所述平均特征，确定所述采样图像集的质量概率。
5.根据权利要求1所述的方法，其中，所述根据所述片段质量信息，确定所述目标视频的视频质量信息，包括：
确定所述视频片段的片段权值；
根据所述片段质量信息和片段权值，确定所述目标视频的视频质量信息。
6.根据权利要求5所述的方法，其中，所述确定所述视频片段的片段权值，包括：
根据所述片段质量信息，确定所述视频片段的片段权值。
7.根据权利要求1所述的方法，其中，所述对目标视频进行切分，得到视频片段，包括：
根据镜头场景信息，对所述目标视频进行切分，得到视频片段。
8.根据权利要求7所述的方法，还包括：
根据所述片段质量信息，从所述视频片段中选择目标片段；
根据所述目标片段对应的采样图像集，生成所述目标视频的视频封面。
9.根据权利要求1所述的方法，其中，所述对所述视频片段进行采样，得到所述视频片段对应的采样图像集，包括：
对所述视频片段进行等间隔采样，得到所述视频片段对应的采样图像集。
10.一种视频处理装置，包括：
视频片段确定模块，用于对目标视频进行切分，得到视频片段；
采样图像集确定模块，用于对所述视频片段进行采样，得到所述视频片段对应的采样图像集；
片段质量信息确定模块，用于根据所述采样图像集，确定所述采样图像集对应的视频片段的片段质量信息；
视频质量信息确定模块，用于根据所述片段质量信息，确定所述目标视频的视频质量信息。
11.根据权利要求10所述的装置，其中，所述片段质量信息确定模块包括：
特征图确定单元，用于确定所述采样图像集中采样图像的特征图；
质量概率确定单元，用于根据所述特征图的均值特征，确定所述采样图像集的质量概率；
片段质量信息确定单元，用于根据所述质量概率，确定所述采样图像集对应的视频片段的片段质量信息。
12.根据权利要求11所述的装置，其中，所述特征图确定单元具体用于：
通过特征提取网络和时间迁移网络TSM，确定所述采样图像集中采样图像的特征图。
13.根据权利要求11所述的装置，其中，所述质量概率确定单元具体用于：
根据所述特征图的均值特征，确定所述采样图像集的平均特征；
根据所述平均特征，确定所述采样图像集的质量概率。
14.根据权利要求10所述的装置，其中，所述视频质量信息确定模块包括：
片段权值确定单元，用于确定所述视频片段的片段权值；
视频质量信息确定单元，用于根据所述片段质量信息和片段权值，确定所述目标视频的视频质量信息。
15.根据权利要求14所述的装置，其中，所述片段权值确定单元具体用于：
根据所述片段质量信息，确定所述视频片段的片段权值。
16.根据权利要求10所述的装置，其中，所述视频片段确定模块包括：
视频片段确定单元，用于根据镜头场景信息，对所述目标视频进行切分，得到视频片段。
17.根据权利要求16所述的装置，其中，所述装置还包括：
目标片段确定模块，用于根据所述片段质量信息，从所述视频片段中选择目标片段；
视频封面生成模块，用于根据所述目标片段对应的采样图像集，生成所述目标视频的视频封面。
18.根据权利要求10所述的装置，其中，所述采样图像集确定模块具体用于：
对所述视频片段进行等间隔采样，得到所述视频片段对应的采样图像集。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的视频处理方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的视频处理方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210107121.0A CN114449343A (zh) | 2022-01-28 | 2022-01-28 | 一种视频处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210107121.0A CN114449343A (zh) | 2022-01-28 | 2022-01-28 | 一种视频处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114449343A true CN114449343A (zh) | 2022-05-06 |
Family
ID=81372614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210107121.0A Pending CN114449343A (zh) | 2022-01-28 | 2022-01-28 | 一种视频处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114449343A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115442540A (zh) * | 2022-08-31 | 2022-12-06 | 中国联合网络通信集团有限公司 | 音乐视频生成方法、装置、计算机设备及存储介质 |
| CN115802106A (zh) * | 2022-11-15 | 2023-03-14 | 上海游密信息科技有限公司 | 视频加密传输方法、装置、电子设备及存储介质 |
| CN115866347A (zh) * | 2023-02-22 | 2023-03-28 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备 |
| CN117041625A (zh) * | 2023-08-02 | 2023-11-10 | 成都梵辰科技有限公司 | 一种超高清视频图像质量检测网络构建方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106604026A (zh) * | 2016-12-16 | 2017-04-26 | 浙江工业大学 | 一种移动流媒体用户体验质量QoE评估方法 |
| US20180089528A1 (en) * | 2016-09-27 | 2018-03-29 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting a video frame |
| CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
| CN109831680A (zh) * | 2019-03-18 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种视频清晰度的评价方法及装置 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
| CN111768377A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 图像色彩评估方法、装置、电子设备及存储介质 |
| CN112784698A (zh) * | 2020-12-31 | 2021-05-11 | 杭州电子科技大学 | 基于深层次时空信息的无参考视频质量评价方法 |
| CN112862005A (zh) * | 2021-03-19 | 2021-05-28 | 北京百度网讯科技有限公司 | 视频的分类方法、装置、电子设备和存储介质 |
-
2022
- 2022-01-28 CN CN202210107121.0A patent/CN114449343A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089528A1 (en) * | 2016-09-27 | 2018-03-29 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting a video frame |
| CN106604026A (zh) * | 2016-12-16 | 2017-04-26 | 浙江工业大学 | 一种移动流媒体用户体验质量QoE评估方法 |
| CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
| CN109831680A (zh) * | 2019-03-18 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种视频清晰度的评价方法及装置 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
| CN111768377A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 图像色彩评估方法、装置、电子设备及存储介质 |
| CN112784698A (zh) * | 2020-12-31 | 2021-05-11 | 杭州电子科技大学 | 基于深层次时空信息的无参考视频质量评价方法 |
| CN112862005A (zh) * | 2021-03-19 | 2021-05-28 | 北京百度网讯科技有限公司 | 视频的分类方法、装置、电子设备和存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115442540A (zh) * | 2022-08-31 | 2022-12-06 | 中国联合网络通信集团有限公司 | 音乐视频生成方法、装置、计算机设备及存储介质 |
| CN115442540B (zh) * | 2022-08-31 | 2024-05-03 | 中国联合网络通信集团有限公司 | 音乐视频生成方法、装置、计算机设备及存储介质 |
| CN115802106A (zh) * | 2022-11-15 | 2023-03-14 | 上海游密信息科技有限公司 | 视频加密传输方法、装置、电子设备及存储介质 |
| CN115866347A (zh) * | 2023-02-22 | 2023-03-28 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备 |
| CN115866347B (zh) * | 2023-02-22 | 2023-08-01 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备 |
| CN117041625A (zh) * | 2023-08-02 | 2023-11-10 | 成都梵辰科技有限公司 | 一种超高清视频图像质量检测网络构建方法及系统 |
| CN117041625B (zh) * | 2023-08-02 | 2024-04-19 | 成都梵辰科技有限公司 | 一种超高清视频图像质量检测网络构建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114449343A (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN113657465A (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN110622176A (zh) | 视频分区 | |
| CN113033622A (zh) | 跨模态检索模型的训练方法、装置、设备和存储介质 | |
| CN113379627B (zh) | 图像增强模型的训练方法和对图像进行增强的方法 | |
| CN113538235B (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| US20210383128A1 (en) | Video recognition method and apparatus, electronic device and storage medium | |
| CN113627536B (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN112861885A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| EP4123595A2 (en) | Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium | |
| US20230245429A1 (en) | Method and apparatus for training lane line detection model, electronic device and storage medium | |
| CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
| CN113657468A (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN116013354B (zh) | 深度学习模型的训练方法、控制虚拟形象口型变化的方法 | |
| CN113361519B (zh) | 目标处理方法、目标处理模型的训练方法及其装置 | |
| CN115273148A (zh) | 行人重识别模型训练方法、装置、电子设备及存储介质 | |
| CN113361574A (zh) | 数据处理模型的训练方法、装置、电子设备及存储介质 | |
| CN115052154A (zh) | 一种模型训练和视频编码方法、装置、设备及存储介质 | |
| CN114445682A (zh) | 训练模型的方法、装置、电子设备、存储介质及产品 | |
| CN114119972A (zh) | 模型获取及对象处理方法、装置、电子设备及存储介质 | |
| CN113283305B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN116416500B (zh) | 图像识别模型训练方法、图像识别方法、装置及电子设备 | |
| CN113362218B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115578583B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN114663372B (zh) | 一种基于视频的病灶分类方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220506 |