CN110139169B - 视频流的质量评估方法及其装置、视频拍摄系统 - Google Patents
视频流的质量评估方法及其装置、视频拍摄系统 Download PDFInfo
- Publication number
- CN110139169B CN110139169B CN201910543324.2A CN201910543324A CN110139169B CN 110139169 B CN110139169 B CN 110139169B CN 201910543324 A CN201910543324 A CN 201910543324A CN 110139169 B CN110139169 B CN 110139169B
- Authority
- CN
- China
- Prior art keywords
- video
- quality evaluation
- quality
- video frame
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 288
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001303 quality assessment method Methods 0.000 claims abstract description 81
- 239000000463 material Substances 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000003997 social interaction Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例提供了一种视频流的质量评估方法及其装置、视频拍摄系统，质量评估方法包括：确定所述视频流中视频帧的质量特征参数；根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。本申请实施例提供了一种解决方案，以客观地实现对视频流质量的评估。
Description
技术领域
本申请实施例涉及视频技术领域，尤其涉及一种视频流的质量评估方法及其装置、视频拍摄系统。
背景技术
随着智能硬件以及互联网的迅速发展，极大地推动了视频的应用，用户可以随拍随用。但是，由于拍摄场景的复杂多变，拍摄到的视频流在质量上也千差万别，由此限制了视频流的应用，因此，亟待提供一种方案，以客观地实现对视频流质量的评估。
发明内容
有鉴于此，本申请实施例所解决的技术问题之一在于提供一种视频流的质量评估方法及其装置、视频拍摄系统，用以克服现有技术中的上述缺陷。
本申请实施例提供了一种视频流的质量评估方法，其包括：
确定所述视频流中视频帧的质量特征参数；
根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；
根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
可选地，在本申请的任一实施例中，根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估，包括：通过第一视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值加权平均值；根据所述加权平均值，对所述视频流进行质量评估；或者，通过第二视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；根据所述中位值，对所述视频流进行质量评估。
可选地，在本申请的任一实施例中，还包括：根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段。
可选地，在本申请的任一实施例中，还包括：根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值。
可选地，在本申请的任一实施例中，还包括：根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材。
可选地，在本申请的任一实施例中，还包括：根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
本申请实施例提供了一种视频流的质量评估装置，其包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
可选地，在本申请的任一实施例中，所述质量评估模块进一步用于根据所述加权平均值，对所述视频流进行质量评估；或者，通过第二视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；根据所述中位值，对所述视频流进行质量评估。
可选地，在本申请的任一实施例中，还包括：切分模块，用于根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段。
可选地，在本申请的任一实施例中，所述质量评估模块进一步用于根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值。
可选地，在本申请的任一实施例中，还包括：筛选模块，用于根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材。
可选地，在本申请的任一实施例中，还包括：视频编辑模块，用于根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
本申请实施例提供了一种视频拍摄系统，其包括：视频拍摄单元以及视频流的质量评估装置，视频流的质量评估装置包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
可选地，在本申请的任一实施例中，所述视频拍摄单元设置在支撑组件或者电子设备上，对应地，所述视频流的质量评估装置配置在所述支撑组件或者所述电子设备上。
本申请实施例中，通过确定所述视频流中视频帧的质量特征参数；根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估，从而提供了一种解决方案，以客观地实现对视频流质量的评估。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1A为本申请实施例一中视频流的质量评估方法的流程示意图；
图1B为图1A中步骤S101的具体流程示意图；
图1C为图1C中步骤S103的具体流程示意图；
图2A为本申请实施例二中视频流的质量评估方法的流程示意图；
图2B为图2A中步骤S203的具体流程示意图；
图2C为图2B中步骤S233的具体流程示意图；
图3为本申请实施例三中视频流的质量评估方法的结构示意图；
图4为本申请实施例四中视频流的质量评估装置的结构示意图；
图5为本申请实施例五中视频流的质量评估装置的结构示意图；
图6为本申请实施例六中视频流的质量评估装置的结构示意图；
图7为本申请实施例七中视频拍摄系统的结构示意图；
图8为本申请实施例八中视频拍摄系统的结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
本申请实施例中，通过对图像拍摄单元拍摄的图像场景进行识别；并根据识别出的图像场景，自适应调整拍摄控制参数，以控制所述图像拍摄单元拍摄图像，从而可以实现根据应用场景的需求，自动调整拍摄控制参数，从而保证图像拍摄单元可以拍摄出满足不同应用场景拍摄需求的图像。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
图1A为本申请实施例一中视频流的质量评估方法的流程示意图；如图1A所示，其包括如下步骤S101-S103：
S101、确定所述视频流中视频帧的质量特征参数；
具体地，本实施例中，步骤S101中确定所述视频流中视频帧的质量特征参数时，具体可以如图1B所示，为图1A中步骤S101的具体流程示意图，具体包括如下步骤S111-S141：
S111、对所述视频帧的内容进行识别；
S121、根据所述视频帧的内容，确定所述视频帧的场景类别；
S131、根据所述视频帧的场景类别，确定所述视频帧的质量属性参数；
S141、根据所述视频帧的质量属性参数，确定所述视频帧的质量特征参数。
本实施例中，在上述步骤S111中，可以根据设置的内容素材模型，对所述视频帧的内容进行识别。此处，需要说明的是，在上述步骤S111中，还可以包括对所述视频帧的整个画面进行切分，得到若干子区域的集合；根据颜色特征、纹理特征和空间交错特征，统计子区域之间的相似度，对这些若干个子区域进行合并处理，得到若干子区域的新集合。根据颜色特征、纹理特征统计子区域之间的相似度时，可以通过颜色直方图、纹理直方图统计子区域之间的相似度。而空间交错特征的话，则可以直接通过子区域的坐标位置，确定空间交错的特征。
本实施例中，在上述步骤S121中，在确定出视频帧的内容后，与预先配置的场景类别素材进行相似度匹配，从而确定出所述视频帧的场景类别。在具体实施时，可以通过分类器将视频帧的内容与预先配置的场景类别素材进行相似度匹配，从而最终确定出视频帧的场景类别。视频帧的场景类别比如为人物、风景、商品；或者跟特定应用场景相关的场景类别，比如阴天、晴天。
本实施例中，在上述步骤S131中，在根据所述视频帧的场景类别确定所述视频帧的质量属性参数时，可以根据视频帧的场景类别和可质量属性参数之间的对应关系，确定至少部分所述视频帧的质量属性参数。进一步地，考虑到不同的视频帧的场景类别，对应的质量判断标准也不尽相同。比如视频帧的场景类别是商品，如果视频帧中背景比较混乱会造成视频帧的质量比较差，此时背景中物体的数量作为该视频帧的质量属性参数。当然，也可以具有所有视频帧的场景类别，设置通用的质量属性参数，即每个视频帧对应的质量属性参数中都会包含的属性参数，比如视频帧的长宽比、视频帧的清晰度、视频帧的抖动参数、视频帧的曝光参数、锐度参数、白平衡参数等等。
本实施例中，在步骤S141中，可以参照根据视频帧质量评估模型的评估维度，从若干个所述视频帧的质量属性参数中筛选出所述视频帧的质量属性参数作为所述视频帧的质量特征参数。此处，需要说明的是，在筛选时，可以根据视频流的场景筛选所述视频帧的质量属性参数。
S102、根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；
本实施例中，考虑到不同的质量特征参数，对视频帧质量评估值的影响程度不一样，可以根据影响程度的大小，给不同的质量特征参数设置不同的权重。因此，所述视频质量评估模型可以为加权均值计算模型，即计算多个质量特征参数的值进行加权均值计算，将加权均值计算得到数值作为视频帧质量评估值。
S103、根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
示例性地，在一种应用场景中，步骤S103中根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，如图1C所示，为图1A中步骤S103的具体流程示意图，其具体可以包括如下步骤S113-S123：
S113、通过第一视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值加权平均值；
S123、根据所述加权平均值，对所述视频流进行质量评估。
本实施例中，所述第一视频流质量评估模型具体为加权均值计算模型。
本实施例中，在步骤S113中，考虑到视屏流中包括的视频帧数量众多，因此，为了提高数据处理的效率，可以采取批量化处理的方式。比如，按照视频帧场景类别对视频帧质量评估值进行分类，取同一视频帧场景类别下所有视频帧质量评估值的均值作为该视频帧场景类别下的所有视频帧的视频帧质量评估值，依次类推，求取视频帧场景类别之间的视频帧质量评估值的加权平均值，从而节省了数据计算量，提高数量计算的效率。
本实施例中，在步骤S123中，为了便于算法的实现，采取二分法对所述视频流进行质量评估，即将所述视频流定性为好或坏，或者又称之为美或丑。因此，预先设置一视频帧质量评估阈值，当加权平均值大于视频帧质量评估阈值，则对应的视频流质量定性为好，否则定性为坏。
具体地，视频帧质量评估阈值具体可以参照视频帧质量评估值的等级范围进行确定，比如如果视频帧质量评估值的等级范围为X，则对应的视频帧质量评估阈值可以设置为aX，其中a为可调因子，0<a<1。
当然，在具体实施时，可以根据不同的应用场景，对应设置不同的视频帧质量评估阈值。参照上述根据视频帧质量评估值的等级范围X，则设置对应的视频帧质量评估阈值为aX的方式，通过给不同的用场景配置不同大小的可调因子。
图2A为本申请实施例二中视频流的质量评估方法的流程示意图；如图2A所示，其包括如下步骤S201-S204：
S201、确定所述视频流中视频帧的质量特征参数；
S202、根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；
S203、根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
S204、根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材。
本实施例中，步骤S201类似上述实施例一中的步骤S101，即通过对所述视频帧的内容进行识别；根据所述视频帧的内容，确定所述视频帧的场景类别；根据所述视频帧的场景类别，确定所述视频帧的质量属性参数；根据所述视频帧的质量属性参数，确定所述视频帧的质量特征参数。
本实施例中，步骤S202类似上述实施例一中的步骤S102，即考虑到不同的质量特征参数，对视频帧质量评估值的影响程度不一样，可以根据影响程度的大小，给不同的质量特征参数设置不同的权重。因此，所述视频质量评估模型可以为加权均值计算模型，即计算多个质量特征参数的值进行加权均值计算，将加权均值计算得到数值作为视频帧质量评估值。
本实施例中，步骤S203中根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，具体可以包括步骤S213-S233，如图2B所示，为图2A中步骤S203的具体流程示意图：
S213、根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段。
S223、根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值。
S233、根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行整体的质量评估。
本实施例中，步骤S233中在根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行整体的质量评估时，具体可以包括如下步骤S213-S223，如图2C所示，为图2B中步骤S233的具体流程示意图：
S2331、通过第二视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；
S2332、根据所述中位值，对所述视频流进行整体质量评估。
本实施例中，在步骤S2331中，第二视频流质量评估模型为中位值模型，因此，相对上述第一视频流质量评估模型为加权平均值模型来说，数据处理的复杂度更低，数据处理的效率更高，由此对于硬件资源有限的无人机或者云台等智能硬件设备来说，实用性更高。在步骤S2332中，设置另外一个频帧质量评估阈值，中位值大于该频帧质量评估阈值，则于对应的视频流质量定性为好，否则定性为坏。相对于上述基于视频帧质量评估阈值aX的方式来说，数据处理的复杂度较小，数据处理效率较高。
此处需要说明的是，在具体实施时，根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，除了将所述视频流作为一个整体进行整体质量评估，同时还可以以视频片段为粒度进行视频片段的质量评估，从而可以从中筛选出那些质量较高的视频片段进行基于社交属性的互动，其中，比如将筛选出那些质量较高的视频片段作为视频素材进行基于短视频的社交互动等。
为此，本实施例中，步骤S204中在根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材时，具体可以统计多个所述视频片段中视频帧质量评估值的变化率，将所述视频片段质量评估值的变化率比较稳定的所述视频片段筛选出来作为视频素材。
因此，综上可见，为了筛选出视频素材，实际上通过两重筛选，首先进行第一重筛选：根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，从视频流中切分出多个视频片段；再进一步地，进行第二重筛选：基于第一重筛选得到的多个视频片段中的视频帧质量评估值的变化率，从而使得筛选出的视频素材质量得到尽可能的保证。
另外，与上述图1A的实施例相比，本实施例从粗细两个维度对视频流的质量进行评估，即：从视频流的整体质量维度，从视频片段的质量维度，从而使得对视频流的质量评估更加客观，避免了整体质量较差的视频流但实际上存在质量较好的视频片段的被忽略。
图3为本申请实施例三中视频流的质量评估方法的结构示意图；如图3所示，本实施例中，在上述图2A所示实施例的基础上，增加了步骤：
S205、根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
本实施例中，步骤S205中进行拼接时，具体的过程包括：根据帧间聚类处理提取每个视频素材中的关键帧；根据尺度不变特征点提取关键帧中的特征点；对特征点进行邻近匹配，再结合特征点的随机抽样一致性，得到关键帧之间的变换矩阵；根据所述关键帧之间的变换矩阵对关键帧进行加权融合处理以实现视频素材的无缝拼接，得到的新视频流质量更好。
图4为本申请实施例四中视频流的质量评估装置的结构示意图；如图4所示，其包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
第一质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
具体地，本实施例中，质量特征参数确定模块具体可以包括：
识别单元，用于对所述视频帧的内容进行识别；
场景类别确定单元，用于根据所述视频帧的内容，确定所述视频帧的场景类别；
属性参数确定单元，用于根据所述视频帧的场景类别，确定所述视频帧的质量属性参数；
特征参数确定单元，用于根据所述视频帧的质量属性参数，确定所述视频帧的质量特征参数。
本实施例中，识别单元可以根据设置的内容素材模型，对所述视频帧的内容进行识别。此处，需要说明的是，识别单元还可以对所述视频帧的整个画面进行切分，得到若干子区域的集合；根据颜色特征、纹理特征和空间交错特征，统计子区域之间的相似度，对这些若干个子区域进行合并处理，得到若干子区域的新集合。根据颜色特征、纹理特征统计子区域之间的相似度时，可以通过颜色直方图、纹理直方图统计子区域之间的相似度。而空间交错特征的话，则可以直接通过子区域的坐标位置，确定空间交错的特征。
本实施例中，场景类别确定单元在确定出视频帧的内容后，与预先配置的场景类别素材进行相似度匹配，从而确定出所述视频帧的场景类别。在具体实施时，可以通过分类器将视频帧的内容与预先配置的场景类别素材进行相似度匹配，从而最终确定出视频帧的场景类别。视频帧的场景类别比如为人物、风景、商品；或者跟特定应用场景相关的场景类别，比如阴天、晴天。
本实施例中，属性参数确定单元在根据所述视频帧的场景类别确定所述视频帧的质量属性参数时，可以根据视频帧的场景类别和可质量属性参数之间的对应关系，确定至少部分所述视频帧的质量属性参数。进一步地，考虑到不同的视频帧的场景类别，对应的质量判断标准也不尽相同。比如视频帧的场景类别是商品，如果视频帧中背景比较混乱会造成视频帧的质量比较差，此时背景中物体的数量作为该视频帧的质量属性参数。当然，也可以具有所有视频帧的场景类别，设置通用的质量属性参数，即每个视频帧对应的质量属性参数中都会包含的属性参数，比如视频帧的长宽比、视频帧的清晰度、视频帧的抖动参数、视频帧的曝光参数、锐度参数、白平衡参数等等。
本实施例中，特征参数确定单元可以参照根据视频帧质量评估模型的评估维度，从若干个所述视频帧的质量属性参数中筛选出所述视频帧的质量属性参数作为所述视频帧的质量特征参数。此处，需要说明的是，在筛选时，可以根据视频流的场景筛选所述视频帧的质量属性参数。
示例性地，在一种应用场景中，第一质量评估模块具体可以包括：
第一视频流质量评估模型，用于求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值加权平均值；
视频流质量评估单元，用于根据所述加权平均值对所述视频流进行质量评估。
本实施例中，所述第一视频流质量评估模型具体为加权均值计算模型。
本实施例中，考虑到视屏流中包括的视频帧数量众多，因此，为了提高数据处理的效率，可以采取批量化处理的方式。比如，第一视频流质量评估模型按照视频帧场景类别对视频帧质量评估值进行分类，取同一视频帧场景类别下所有视频帧质量评估值的均值作为该视频帧场景类别下的所有视频帧的视频帧质量评估值，依次类推，求取视频帧场景类别之间的视频帧质量评估值的加权平均值，从而节省了数据计算量，提高数量计算的效率。
本实施例中，为了便于算法的实现，视频流质量评估单元采取二分法对所述视频流进行质量评估，即将所述视频流定性为好或坏，或者又称之为美或丑。因此，预先设置一视频帧质量评估阈值，当加权平均值大于视频帧质量评估阈值，则对应的视频流质量定性为好，否则定性为坏。
具体地，视频帧质量评估阈值具体可以参照视频帧质量评估值的等级范围进行确定，比如如果视频帧质量评估值的等级范围为X，则对应的视频帧质量评估阈值可以设置为aX，其中a为可调因子，0<a<1。
当然，在具体实施时，可以根据不同的应用场景，对应设置不同的视频帧质量评估阈值。参照上述根据视频帧质量评估值的等级范围X，则设置对应的视频帧质量评估阈值为aX的方式，通过给不同的用场景配置不同大小的可调因子。
图5为本申请实施例五中视频流的质量评估装置的结构示意图；如图5所示，其可以包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
第二质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估；
筛选模块，用于根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材。
本实施例中，质量特征参数确定模块类似上述实施例四中的质量特征参数确定模块，即质量特征参数确定模块包括识别单元、场景类别确定单元、属性参数确定单元、特征参数确定单元，依次通过对所述视频帧的内容进行识别；根据所述视频帧的内容，确定所述视频帧的场景类别；根据所述视频帧的场景类别，确定所述视频帧的质量属性参数；根据所述视频帧的质量属性参数，确定所述视频帧的质量特征参数。
本实施例中，即考虑到不同的质量特征参数，对视频帧质量评估值的影响程度不一样，第二质量评估模块可以根据影响程度的大小，给不同的质量特征参数设置不同的权重。因此，使用的所述视频质量评估模型可以为加权均值计算模型，即计算多个质量特征参数的值进行加权均值计算，将加权均值计算得到数值作为视频帧质量评估值。
本实施例中，第二质量评估模块在根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，具体可以包括：
切分单元，用于根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段。
视频片段质量评估单元，用于根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值。
视频流质量评估单元，用于根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行整体的质量评估。
本实施例中，视频流质量评估单元为实现根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行整体的质量评估，具体可以包括：
中位值单元，用于求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；
整体质量评估单元，用于根据所述中位值，对所述视频流进行整体质量评估。
本实施例中，中位值模型为第二视频流质量评估模型，因此，相对上述第一视频流质量评估模型为加权平均值模型来说，数据处理的复杂度更低，数据处理的效率更高，由此对于硬件资源有限的无人机或者云台等智能硬件设备来说，实用性更高。设置另外一个频帧质量评估阈值，中位值大于该频帧质量评估阈值，则于对应的视频流质量定性为好，否则定性为坏。相对于上述基于视频帧质量评估阈值aX的方式来说，数据处理的复杂度较小，数据处理效率较高。
此处需要说明的是，在具体实施时，根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，除了将所述视频流作为一个整体进行整体质量评估，同时还可以以视频片段为粒度进行视频片段的质量评估，从而可以从中筛选出那些质量较高的视频片段进行基于社交属性的互动，其中，比如将筛选出那些质量较高的视频片段作为视频素材进行基于短视频的社交互动等。
为此，本实施例中，视频片段质量评估在根据所述视频片段质量评估值时，从多个所述视频片段中筛选视频素材时，具体可以统计多个所述视频片段中视频帧质量评估值的变化率，将所述视频片段质量评估值的变化率比较稳定的所述视频片段筛选出来作为视频素材。
因此，综上可见，为了筛选出视频素材，实际上通过两重筛选，首先进行第一重筛选：根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，从视频流中切分出多个视频片段；再进一步地，进行第二重筛选：基于第一重筛选得到的多个视频片段中的视频帧质量评估值的变化率，从而使得筛选出的视频素材质量得到尽可能的保证。
另外，与上述图4的实施例相比，本实施例从粗细两个维度对视频流的质量进行评估，即：从视频流的整体质量维度，从视频片段的质量维度，从而使得对视频流的质量评估更加客观，避免了整体质量较差的视频流但实际上存在质量较好的视频片段的被忽略。
图6为本申请实施例六中视频流的质量评估装置的结构示意图；如图6所示，在上述图5所示实施例的基础上，增加了视频编辑模块，用于根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
本实施例中，视频编辑模块为实现拼接，具体可以包括：
关键帧提取单元，用于根据帧间聚类处理提取每个视频素材中的关键帧；
特征点提取单元，用于根据尺度不变特征点提取关键帧中的特征点；
变换矩阵确定单元，对特征点进行邻近匹配，再结合特征点的随机抽样一致性，得到关键帧之间的变换矩阵；
拼接单元，用于根据所述关键帧之间的变换矩阵对关键帧进行加权融合处理以实现视频素材的无缝拼接，得到的新视频流质量更好。
图7为本申请实施例七中视频拍摄系统的结构示意图；如图7所示，其可以包括：视频拍摄单元以及视频流的质量评估装置。其中，视频流的质量评估装置包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
第一质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估。
具体地，本实施例中，质量特征参数确定模块具体可以包括：
识别单元，用于对所述视频帧的内容进行识别；
场景类别确定单元，用于根据所述视频帧的内容，确定所述视频帧的场景类别；
属性参数确定单元，用于根据所述视频帧的场景类别，确定所述视频帧的质量属性参数；
特征参数确定单元，用于根据所述视频帧的质量属性参数，确定所述视频帧的质量特征参数。
本实施例中，识别单元可以根据设置的内容素材模型，对所述视频帧的内容进行识别。此处，需要说明的是，识别单元还可以对所述视频帧的整个画面进行切分，得到若干子区域的集合；根据颜色特征、纹理特征和空间交错特征，统计子区域之间的相似度，对这些若干个子区域进行合并处理，得到若干子区域的新集合。根据颜色特征、纹理特征统计子区域之间的相似度时，可以通过颜色直方图、纹理直方图统计子区域之间的相似度。而空间交错特征的话，则可以直接通过子区域的坐标位置，确定空间交错的特征。
本实施例中，场景类别确定单元在确定出视频帧的内容后，与预先配置的场景类别素材进行相似度匹配，从而确定出所述视频帧的场景类别。在具体实施时，可以通过分类器将视频帧的内容与预先配置的场景类别素材进行相似度匹配，从而最终确定出视频帧的场景类别。视频帧的场景类别比如为人物、风景、商品；或者跟特定应用场景相关的场景类别，比如阴天、晴天。
本实施例中，属性参数确定单元在根据所述视频帧的场景类别确定所述视频帧的质量属性参数时，可以根据视频帧的场景类别和可质量属性参数之间的对应关系，确定至少部分所述视频帧的质量属性参数。进一步地，考虑到不同的视频帧的场景类别，对应的质量判断标准也不尽相同。比如视频帧的场景类别是商品，如果视频帧中背景比较混乱会造成视频帧的质量比较差，此时背景中物体的数量作为该视频帧的质量属性参数。当然，也可以具有所有视频帧的场景类别，设置通用的质量属性参数，即每个视频帧对应的质量属性参数中都会包含的属性参数，比如视频帧的长宽比、视频帧的清晰度、视频帧的抖动参数、视频帧的曝光参数、锐度参数、白平衡参数等等。
本实施例中，特征参数确定单元可以参照根据视频帧质量评估模型的评估维度，从若干个所述视频帧的质量属性参数中筛选出所述视频帧的质量属性参数作为所述视频帧的质量特征参数。此处，需要说明的是，在筛选时，可以根据视频流的场景筛选所述视频帧的质量属性参数。
示例性地，在一种应用场景中，第一质量评估模块具体可以包括：
第一视频流质量评估模型，用于求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值加权平均值；
视频流质量评估单元，用于根据所述加权平均值对所述视频流进行质量评估。
本实施例中，所述第一视频流质量评估模型具体为加权均值计算模型。
本实施例中，考虑到视屏流中包括的视频帧数量众多，因此，为了提高数据处理的效率，可以采取批量化处理的方式。比如，第一视频流质量评估模型按照视频帧场景类别对视频帧质量评估值进行分类，取同一视频帧场景类别下所有视频帧质量评估值的均值作为该视频帧场景类别下的所有视频帧的视频帧质量评估值，依次类推，求取视频帧场景类别之间的视频帧质量评估值的加权平均值，从而节省了数据计算量，提高数量计算的效率。
本实施例中，为了便于算法的实现，视频流质量评估单元采取二分法对所述视频流进行质量评估，即将所述视频流定性为好或坏，或者又称之为美或丑。因此，预先设置一视频帧质量评估阈值，当加权平均值大于视频帧质量评估阈值，则对应的视频流质量定性为好，否则定性为坏。
具体地，视频帧质量评估阈值具体可以参照视频帧质量评估值的等级范围进行确定，比如如果视频帧质量评估值的等级范围为X，则对应的视频帧质量评估阈值可以设置为aX，其中a为可调因子，0<a<1。
当然，在具体实施时，可以根据不同的应用场景，对应设置不同的视频帧质量评估阈值。参照上述根据视频帧质量评估值的等级范围X，则设置对应的视频帧质量评估阈值为aX的方式，通过给不同的用场景配置不同大小的可调因子。
所述视频拍摄单元设置在支撑组件或者电子设备上，对应地，所述视频流的质量评估装置配置在所述支撑组件或者所述电子设备上。
此处，需要说明的是，上述支撑组件比如为云台仅仅是示例，实际上，上述支撑组件为广义的含义，其实际上可以为任意能对图像拍摄单元提供支撑作用的结构，比如将图像拍摄单元固定在自行车车把上、固定在头盔上，车把和头盔就等同于支撑组件。电子设备比如为无人机、跟踪器或者便携式终端。
图8为本申请实施例八中视频拍摄系统的结构示意图；如图8所示，其可以包括：视频拍摄单元以及视频流的质量评估装置。其中，视频流的质量评估装置包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
第二质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估；
筛选模块、根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材。
本实施例中，质量特征参数确定模块类似上述实施例四中的质量特征参数确定模块，即质量特征参数确定模块通过对所述视频帧的内容进行识别；根据所述视频帧的内容，确定所述视频帧的场景类别；根据所述视频帧的场景类别，确定所述视频帧的质量属性参数；根据所述视频帧的质量属性参数，确定所述视频帧的质量特征参数。
本实施例中，即考虑到不同的质量特征参数，对视频帧质量评估值的影响程度不一样，第二质量评估模块可以根据影响程度的大小，给不同的质量特征参数设置不同的权重。因此，使用的所述视频质量评估模型可以为加权均值计算模型，即计算多个质量特征参数的值进行加权均值计算，将加权均值计算得到数值作为视频帧质量评估值。
本实施例中，第二质量评估模块在根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，具体可以包括：
切分单元，用于根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段。
视频片段质量评估，用于根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值。
视频流质量评估单元，用于根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行整体的质量评估。
本实施例中，视频流质量评估单元为实现根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行整体的质量评估，具体可以包括：
中位值单元，用于求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；
整体质量评估单元，用于根据所述中位值，对所述视频流进行整体质量评估。
本实施例中，中位值模型为第二视频流质量评估模型，因此，相对上述第一视频流质量评估模型为加权平均值模型来说，数据处理的复杂度更低，数据处理的效率更高，由此对于硬件资源有限的无人机或者云台等智能硬件设备来说，实用性更高。设置另外一个频帧质量评估阈值，中位值大于该频帧质量评估阈值，则于对应的视频流质量定性为好，否则定性为坏。相对于上述基于视频帧质量评估阈值aX的方式来说，数据处理的复杂度较小，数据处理效率较高。
此处需要说明的是，在具体实施时，根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估时，除了将所述视频流作为一个整体进行整体质量评估，同时还可以以视频片段为粒度进行视频片段的质量评估，从而可以从中筛选出那些质量较高的视频片段进行基于社交属性的互动，其中，比如将筛选出那些质量较高的视频片段作为视频素材进行基于短视频的社交互动等。
为此，本实施例中，视频片段质量评估在根据所述视频片段质量评估值时，从多个所述视频片段中筛选视频素材时，具体可以统计多个所述视频片段中视频帧质量评估值的变化率，将所述视频片段质量评估值的变化率比较稳定的所述视频片段筛选出来作为视频素材。
因此，综上可见，为了筛选出视频素材，实际上通过两重筛选，首先进行第一重筛选：根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，从视频流中切分出多个视频片段；再进一步地，进行第二重筛选：基于第一重筛选得到的多个视频片段中的视频帧质量评估值的变化率，从而使得筛选出的视频素材质量得到尽可能的保证。
另外，本实施例从粗细两个维度对视频流的质量进行评估，即：从视频流的整体质量维度，从视频片段的质量维度，从而使得对视频流的质量评估更加客观，避免了整体质量较差的视频流但实际上存在质量较好的视频片段的被忽略。
上述实施例中，视频流的质量评估装置可以配置在支撑组件(如云台)或者电子设备(如无人机、跟踪器)的控制器上。当然，根据应用场景的需求，实际上可以配置在任一可以实现上述技术方案的数据处理单元上。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (6)
1.一种视频流的质量评估方法，其特征在于，包括：
确定所述视频流中视频帧的质量特征参数；
根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；
根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估；
其中，所述根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估包括根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段；
根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值；
根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材；
根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
2.根据权利要求1所述的方法，其特征在于，根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估，包括：通过第一视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的加权平均值；根据所述加权平均值，对所述视频流进行质量评估；或者，通过第二视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；根据所述中位值，对所述视频流进行质量评估。
3.一种视频流的质量评估装置，其特征在于，包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估；以及进一步用于根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值；
切分模块，用于根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段；
筛选模块，用于根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材；
视频编辑模块，用于根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
4.根据权利要求3所述的装置，其特征在于，所述质量评估模块进一步用于通过第一视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的加权平均值；根据所述加权平均值，对所述视频流进行质量评估；或者，通过第二视频流质量评估模型求取所述视频流中多个所述视频帧对应的所述视频帧质量评估值的中位值；根据所述中位值，对所述视频流进行质量评估。
5.一种视频拍摄系统，其特征在于，包括：视频拍摄单元以及视频流的质量评估装置，所述视频流的质量评估装置包括：
质量特征参数确定模块，用于确定所述视频流中视频帧的质量特征参数；
质量评估模块，用于根据所述质量特征参数以及设置的视频帧质量评估模型，对所述视频帧进行质量评估得到视频帧质量评估值；以及根据所述视频帧质量评估值以及设置的视频流质量评估模型，对所述视频流进行质量评估；以及进一步用于根据所述视频片段中所述视频帧的所述视频帧质量评估值以及设置的视频片段质量评估模型对所述视频片段进行质量评估，得到视频片段质量评估值；
切分模块，用于根据设定的视频帧质量评估阈值以及所述视频帧质量评估值，对所述视频流进行切分得到多个视频片段；
筛选模块，用于根据所述视频片段质量评估值，从多个所述视频片段中筛选视频素材；
视频编辑模块，用于根据预先设定的视频片段拼接机制，对筛选出的视频素材进行拼接处理得到新的视频流。
6.根据权利要求5所述的视频拍摄系统，其特征在于，所述视频拍摄单元设置在支撑组件或者电子设备上，对应地，所述视频流的质量评估装置配置在所述支撑组件或者所述电子设备上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543324.2A CN110139169B (zh) | 2019-06-21 | 2019-06-21 | 视频流的质量评估方法及其装置、视频拍摄系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543324.2A CN110139169B (zh) | 2019-06-21 | 2019-06-21 | 视频流的质量评估方法及其装置、视频拍摄系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110139169A CN110139169A (zh) | 2019-08-16 |
| CN110139169B true CN110139169B (zh) | 2020-11-24 |
Family
ID=67578896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910543324.2A Active CN110139169B (zh) | 2019-06-21 | 2019-06-21 | 视频流的质量评估方法及其装置、视频拍摄系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110139169B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405288A (zh) * | 2020-03-19 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 视频抽帧方法、装置、电子设备及计算机可读存储介质 |
| CN114079777A (zh) * | 2020-08-20 | 2022-02-22 | 华为技术有限公司 | 视频处理方法和装置 |
| CN113573044B (zh) * | 2021-01-19 | 2022-12-09 | 腾讯科技（深圳）有限公司 | 视频数据处理方法、装置、计算机设备及可读存储介质 |
| CN112995652B (zh) * | 2021-02-01 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 视频质量评估方法及装置 |
| CN113315995B (zh) * | 2021-05-06 | 2023-04-14 | 北京智通东方软件科技有限公司 | 提高视频质量的方法、装置、可读存储介质及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1465197A (zh) * | 2001-04-25 | 2003-12-31 | 皇家菲利浦电子有限公司 | 使用启发式搜索方法以非线性方案组合随机的视频特征组以便最好地描述视频序列的感觉质量的装置和方法 |
| CN102612707A (zh) * | 2009-08-03 | 2012-07-25 | 印度孟买技术研究院 | 用于创建教育视频的概要表示的系统 |
| CN106375754A (zh) * | 2015-07-22 | 2017-02-01 | 中国人民解放军理工大学 | 基于视觉刺激衰减特性的无参考视频质量评估方法 |
| CN107071423A (zh) * | 2017-04-24 | 2017-08-18 | 天津大学 | 视觉多通道模型在立体视频质量客观评价中的应用方法 |
| CN107483920A (zh) * | 2017-08-11 | 2017-12-15 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
| CN107888905A (zh) * | 2017-10-27 | 2018-04-06 | 中国矿业大学 | 一种基于GoP显著性加权的视频质量评价方法 |
| CN108235003A (zh) * | 2018-03-19 | 2018-06-29 | 天津大学 | 基于3d卷积神经网络的立体视频质量评价方法 |
| US10085015B1 (en) * | 2017-02-14 | 2018-09-25 | Zpeg, Inc. | Method and system for measuring visual quality of a video sequence |
| CN109889816A (zh) * | 2019-02-19 | 2019-06-14 | 西安电子科技大学 | 一种基于时空分辨率的视频质量评估方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10007977B2 (en) * | 2015-05-11 | 2018-06-26 | Netflix, Inc. | Techniques for predicting perceptual video quality |
-
2019
- 2019-06-21 CN CN201910543324.2A patent/CN110139169B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1465197A (zh) * | 2001-04-25 | 2003-12-31 | 皇家菲利浦电子有限公司 | 使用启发式搜索方法以非线性方案组合随机的视频特征组以便最好地描述视频序列的感觉质量的装置和方法 |
| CN102612707A (zh) * | 2009-08-03 | 2012-07-25 | 印度孟买技术研究院 | 用于创建教育视频的概要表示的系统 |
| CN106375754A (zh) * | 2015-07-22 | 2017-02-01 | 中国人民解放军理工大学 | 基于视觉刺激衰减特性的无参考视频质量评估方法 |
| US10085015B1 (en) * | 2017-02-14 | 2018-09-25 | Zpeg, Inc. | Method and system for measuring visual quality of a video sequence |
| CN107071423A (zh) * | 2017-04-24 | 2017-08-18 | 天津大学 | 视觉多通道模型在立体视频质量客观评价中的应用方法 |
| CN107483920A (zh) * | 2017-08-11 | 2017-12-15 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
| CN107888905A (zh) * | 2017-10-27 | 2018-04-06 | 中国矿业大学 | 一种基于GoP显著性加权的视频质量评价方法 |
| CN108235003A (zh) * | 2018-03-19 | 2018-06-29 | 天津大学 | 基于3d卷积神经网络的立体视频质量评价方法 |
| CN109889816A (zh) * | 2019-02-19 | 2019-06-14 | 西安电子科技大学 | 一种基于时空分辨率的视频质量评估方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110139169A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110139169B (zh) | 视频流的质量评估方法及其装置、视频拍摄系统 | |
| CN111010590B (zh) | 一种视频裁剪方法及装置 | |
| CN109740670B (zh) | 视频分类的方法及装置 | |
| Gygli | Ridiculously fast shot boundary detection with fully convolutional neural networks | |
| US11093754B2 (en) | Method, system and apparatus for selecting frames of a video sequence | |
| US20200058075A1 (en) | Method and apparatus for obtaining vehicle loss assessment image, server and terminal device | |
| JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
| Almeida et al. | Online video summarization on compressed domain | |
| US10719863B2 (en) | Method and apparatus for improving vehicle loss assessment image identification result, and server | |
| CN102332001B (zh) | 一种视频缩略图生成方法及装置 | |
| CN112911281B (zh) | 一种视频质量评价方法及装置 | |
| WO2022087826A1 (zh) | 视频处理方法、装置、可移动设备及可读存储介质 | |
| CN113255423A (zh) | 从视频提取配色方案的方法及装置 | |
| CN108804563A (zh) | 一种数据标注方法、装置以及设备 | |
| CN113312949A (zh) | 视频数据处理方法、视频数据处理装置和电子设备 | |
| Liang et al. | Robust cross-Scene foreground segmentation in surveillance video | |
| KR20150103443A (ko) | 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| CN112949642B (zh) | 一种文字生成方法、装置、存储介质及电子设备 | |
| CN106203244B (zh) | 一种镜头类型的确定方法及装置 | |
| CN111818364B (zh) | 视频融合方法、系统、设备及介质 | |
| US11961300B2 (en) | Dynamic media content categorization method | |
| CN112100427A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111046232A (zh) | 一种视频分类方法、装置及系统 | |
| CN110233968B (zh) | 图像拍摄控制方法及其装置、图像拍摄系统 | |
| CN113204664B (zh) | 一种图像聚类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |