CN113497954B - 一种视频调色方法、设备及存储介质 - Google Patents

一种视频调色方法、设备及存储介质 Download PDF

Info

Publication number
CN113497954B
CN113497954B CN202010203440.2A CN202010203440A CN113497954B CN 113497954 B CN113497954 B CN 113497954B CN 202010203440 A CN202010203440 A CN 202010203440A CN 113497954 B CN113497954 B CN 113497954B
Authority
CN
China
Prior art keywords
video
color
toning
target
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010203440.2A
Other languages
English (en)
Other versions
CN113497954A (zh
Inventor
欧阳雯琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010203440.2A priority Critical patent/CN113497954B/zh
Publication of CN113497954A publication Critical patent/CN113497954A/zh
Application granted granted Critical
Publication of CN113497954B publication Critical patent/CN113497954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本申请实施例提供一种视频调色方法、设备及存储介质。其中,所述视频调色方法包括:获取多个视频片段;根据所述多个视频片段之间的相似度,将所述多个视频片段划分为至少一个视频片段集合;确定所述至少一个视频片段集合各自对应的调色参数;基于所述至少一个视频片段集合各自对应的调色参数,对所述至少一个视频片段集合中的各视频进行视频调色。据此,本申请实施例中,可自动进行视频调色,不再依赖人工调色,这可有效提高视频调色的效率;而且,以视频片段集合为单位进行视频调色,可保证相似视频在调色后的色调一致,从而可有效提高视频调色的质量。

Description

一种视频调色方法、设备及存储介质
技术领域
本申请涉及数据处理技术领域,尤其涉及一种视频调色方法、设备及存储介质。
背景技术
在视频领域中,囿于拍摄条件等因素的影响,视频往往会存在各种色调问题,因此,通常需要经过视频调色后再进行展示。
目前,需要依赖人工进行视频调色,但是,人工调色的方式,操作繁琐且耗时,导致视频调色的效率很低。
发明内容
本申请的多个方面提供一种视频调色方法、设备及存储介质,用以提高视频调色的效率和/或质量。
本申请实施例提供一种视频调色方法,包括:
获取多个视频片段;
根据所述多个视频片段之间的相似度,将所述多个视频片段划分为至少一个视频片段集合;
确定所述至少一个视频片段集合各自对应的调色参数;
基于所述至少一个视频片段集合各自对应的调色参数,分别对所述至少一个视频片段集合中的各视频进行视频调色。
本申请实施例还提供一种计算设备,包括存储器、处理器和通信组件;
所述存储器用于存储一条或多条计算机指令;
所述处理器与所述存储器及所述通信组件耦合,用于执行所述一条或多条计算机指令,以用于:
通过所述通信组件获取多个视频片段;
根据所述多个视频片段之间的相似度,将所述多个视频片段划分为至少一个视频片段集合;
以视频片段集合为单位,确定所述至少一个视频片段集合各自对应的调色参数;
基于所述至少一个视频片段集合各自对应的调色参数,分别对所述至少一个视频片段集合中的各视频进行视频调色。
本申请实施例还提供一种媒体数据处理方法,包括:
获取多段媒体数据;
根据所述多段媒体数据之间的相似度,将所述多段媒体数据划分为至少一个媒体数据集合;
确定所述至少一个媒体数据集合各自对应的处理参数;
基于所述至少一个媒体数据集合各自对应的处理参数,对所述至少一个媒体数据集合中的各段媒体数据进行数据处理。
本申请实施例还提供一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行前述的视频调色方法或媒体数据处理方法。
在本申请实施例中,可根据多个视频片段之间的相似度,将多个视频片段划分为至少一个视频片段集合,并可以视频片段集合为单位,确定至少一个视频片段集合各自对应的调色参数;而在单个视频片段集合内,则可根据视频片段集合对应的调色参数,对视频片段集合内的各视频进行视频调色。据此,本申请实施例中,可自动进行视频调色,不再依赖人工调色,这可有效提高视频调色的效率;而且,以视频片段集合为单位进行视频调色,可保证相似视频在调色后的色调一致,从而可有效提高视频调色的质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例提供的一种视频调色方法的流程示意图;
图2为本申请一示例性实施例提供的一种视频调色方法的逻辑示意图;
图3为本申请一示例性实施例提供的一种颜色调整度的高斯分布的示意图;
图4为本申请一示例性实施例提供的一种应用场景的示意图;
图5为本申请另一示例性实施例提供的一种计算设备的结构示意图。
图6为本申请又一示例性实施例提供的一种媒体数据处理方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有人工调色方式存在的操作繁琐且耗时,进而导致视频调色的效率很低的技术问题,在本申请的一些实施例中:可根据多个视频片段之间的相似度,将多个视频片段划分为至少一个视频片段集合,并可以视频片段集合为单位,确定至少一个视频片段集合各自对应的调色参数;而在单个视频片段集合内,则可根据视频片段集合对应的调色参数,对视频片段集合内的各视频进行视频调色。据此,本申请实施例中,可自动进行视频调色,不再依赖人工调色,这可有效提高视频调色的效率;而且,以视频片段集合为单位进行视频调色,可保证相似视频在调色后的色调一致,从而可有效提高视频调色的质量。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供一种视频调色方法的流程示意图。图2位本申请一示例性实施例提供的一种视频调色方法的逻辑示意图。本实施例提供的视频调色方法可以由一视频调色装置来执行,该视频调色装置可以实现为软件或实现为软件和硬件的组合,该视频调色装置可集成设置在计算设备中。如图1所示,该方法包括:
步骤100、获取多个视频片段;
步骤101、根据多个视频片段之间的相似度,将多个视频片段划分为至少一个视频片段集合;
步骤102、确定至少一个视频片段集合各自对应的调色参数;
步骤103、基于至少一个视频片段集合各自对应的调色参数,对至少一个视频片段集合中的各视频进行视频调色。
本实施例提供的视频调色方法,可应用于各种需要对视频进行调色的场景中,例如,电商场景、直播场景、网课场景等等。本实施例对应用场景不作限定。
参考图2,可接收视频调色请求,并根据视频调色请求获取需要处理的多个视频片段。
在不同的应用场景中,视频调色请求的发起方可能不完全相同。例如,在电商场景中,发起方可能是卖家;在直播场景中,发起方可能是主播;而在网课场景中,发起方可能是老师,还可能是网课管理方等等,本实施例对视频调色请求的发起方不作限定。实际应用中,发起方可利用其终端设备发起视频调色请求。
根据不同应用场景所需的处理时机,本实施例提供的视频调色方法可对视频进行在线处理,也可以对视频进行离线处理。另外,前述的视频调色装置可作为插件或应用程序的形式应用到各种应用场景中。例如,在电商场景中,视频调色装置可作为商品信息上传工具中的一个插件,在卖家上传商品视频的过程中,对商品视频进行调色,从而将调色后的商品视频上传至电商平台。当然,视频调色装置也可作为一个独立的应用程序,卖家可将商品视频输入视频调色装置进行视频调色,并将获取到的调色后的商品视频在上传到电商平台。本实施例对此不作限定。
在步骤100中,可接收发起方提供的至少一段需要调色的视频。也即,发起方可将至少一段需要调色的视频片段输入本实施例提供的视频调色装置中。
其中,多个视频片段之间的排列顺序、内容关系等属性,可由发起方预先进行编辑,本实施例中,对多个视频片段的这些属性不做限定。
在步骤101中,可根据多个视频片段之间的相似度,将多个视频片段划分为至少一个视频片段集合。这样,基于至少一个视频片段集合,可形成多个视频片段之间的参照关系。
实际应用中,可从内容、颜色等维度,计算多个视频片段之间的相似度。相似度的计算方案以及根据相似度确定视频片段集合的具体方案将在后文中进行详述。
另外,值得说明的是,本实施例中,可将至少一个视频片段集合展示给用户,并可响应于用户对视频片段集合的配置操作,调整多个视频片段各自所属的视频片段集合。
当然,也可在步骤101之前,由用户指定部分或全部视频所属的视频片段集合。并在此基础上,执行步骤101,根据多个视频片段之间的相似度,确定剩余视频所属的视频片段集合。
也即是,用户可对多个视频片段之间的参照关系进行自定义配置。
此处的用户,可以是本实施例中视频调色装置的管理人员,这种情况下,视频调色装置可提供展示功能;还可以是前述的视频调色请求的发起方,这种情况下,可将至少一个视频片段集合输出至发起方的终端设备中进行展示。
据此,可支持用户对视频片段集合的自定义配置,从而可快速、准确地划分出符合用户需求的视频片段集合。
在步骤102中,可以视频片段集合为单位,为每个视频片段集合确定调色参数。
其中,不同视频片段集合对应的调色参数,可不完全相同。据此,可为不同视频片段集合提供不完全相同的视频调色方案,从而,保证视频调色方案与视频片段集合内的视频特点相适配,进而获得更好的视频调色效果。
本实施例中,调色参数可采用颜色查找表(lookuptable,LUT),LUT,是一种将一组三维空间坐标(RGB)映射到另一组三维空间色彩坐标的表格。当然,本实施例并不限于此,调色参数也可采用其它参数形式。
在步骤103中,可继续以视频片段集合为单位,对不同视频片段集合分别进行视频调色。也即是,单个视频片段集合中的多个视频片段之间可参照同一调色参数进行视频调色。这使得同一视频片段集合中的多个视频片段可按照相似的视频调色方案进行视频调色,从而可保证同一视频片段集合中的视频经过调色后的色调一致。
据此,可获得经过调色后的多个视频片段。
参考图2,本实施例中,可将经过调色后的多个视频片段输出给前述的视频调色请求的发起方。当然,在本实施例的视频调色装置可提供显示功能的情况下,也可将经过调色后的多个视频片段输出给视频调色装置的用户。还可将经过调色后的多个视频片段输出给观众。可见,不同的应用场景中,可将经过调色后的多个视频片段输出至不同的接收方,本实施例对接收方不作限定。
本实施例提供的视频调色方法与传统的人工调色方案相比:
传统的人工调色方案单次只能对单段视频进行调色,面对多段需要调色的视频的情况下,需要进行对多段视频进行大量繁琐的人工操作,因此,处理效率低,且调色质量不高。
而本实施例提供的视频调色方法,可根据视频之间的相似度,将多个视频片段划分为至少一个视频片段集合,以视频片段集合为单位进行视频调色。这可实现对多个视频片段的自动调色,从而节省大量的人力物力,并提高视频调色效率。而且,同一视频片段集合可参照同一调色参数进行视频调色,这使得相似视频在调色后的色调一致,从而可有效提高视频调色的质量。
在上述或下述实施例中,可采用多种实现方式确定至少一个视频片段集合各自对应的调色参数。
在一些情况下,可由用户配置至少一个视频片段集合各自对应的调色参数。例如,用户可根据各视频片段集合中的视频内容、颜色特点等,依经验确定各视频片段集合对应的调色参数。又例如,用户可利用对各视频片段集合中包含的关键帧进行人工调色,并将关键帧对应的调色参数作为视频片段集合对应的调色参数。当然,用户配置视频片段集合对应的调色参数的实现方式并不限于此。
在另一些情况下,可从至少一个视频片段集合中,分别选取参照片段;从至少一种调色维度,分别计算至少一个参照片段对应的调色参数。
其中,参照片段的选取方式可以是:从至少一个视频片段集合中,分别选择符合调色参照条件的视频片段,作为参照片段。
也即是,在每个视频片段集合中,选择一个最适合调色的视频,作为参照片段。
其中,调色参照条件包括但不限于对比度最大、包含目标对象或用户指定的调色优先级最高等。
实际应用中,可将与调色参照条件适配度最高的视频片段,作为参照片段。
还可为调色参照条件中的各要求设定判断级别,例如,若符合当前级别要求的视频片段只有一个,则直接将其确定为参照片段,而若符合当前级别要求的视频片段有多个,则可继续筛选符合下一级别要求的视频片段,最终筛选出一个视频片段,作为参照片段。
基于此,可从至少一种调色维度,分别计算至少一个参照片段对应的调色参数。
本实施例中,至少一种调色维度包括但不限于局域调色维度、亮度维度、对比度维度、饱和度维度、灰片调色维度等。
其中,局域调色维度可理解为对视频中的目标对象进行调色的维度,也即对视频画面中的局域进行调色的维度。目标对象包括但不限于人物、树木、建筑物、车辆、车牌等等。在此,对目标对象的类型不作限定。
而亮度维度、对比度维度、饱和度维度及灰片调色维度等则可理解为全域调色维度,也即对视频画面的全域进行调色的维度。
由于针对至少一个视频片段集合的处理方案相似,为便于描述,以下将以目标视频片段集合为例,对视频调色方案进行说明,以下将目标视频片段集合对应的参照片段称为目标参照片段。
本实施例中,可从至少一个调色维度,分别计算目标参照片段的调色子参数;并可将至少一个调色子参数进行叠加,以获得目标参照片段对应的调色参数。
以LUT为例,对于目标参照片段中的各视频帧来说,其可表征视频帧包含的各像素对应的颜色调整度。而从单个像素的维度来看,本实施例中,像素的颜色调整度是在至少一个调色维度下分别确定出的子调整度的叠加结果。例如,对于人物皮肤区域的像素来说,其颜色调整度是局域调色维度、对比度维度、饱和度维度及灰片调色维度下分别确定出的子调整度的叠加结果。又例如,对于背景区域的像素来说,其颜色调整度则可能只是对比度维度、饱和度维度及灰片调色维度下分别确定出的子调整度的叠加结果,而并不涉及局域调色维度的子调整度。
另外,本实施例中,根据不同的视频调色需求,用户可灵活选择需要激活的调色维度。例如,若多个视频片段中不存在需要进行局域调色的目标对象,用户可放弃局域调色维度。又例如,若多个视频片段的对比度已经很理想了,用户可放弃对比度调色维度。
以下,将以几种调色维度为例,说明在调色维度下确定调色子参数的技术方案。
在局域调色维度下,可对目标参照片段进行对象解析,以获得目标对象的局域图像集以及目标对象中各元素在各局域图像中对应的像素;根据各元素下的像素的颜色取值,确定各元素对应的颜色取值区间;在各元素下,分别确定颜色取值区间对应的颜色调整度的高斯分布;根据各元素对应的高斯分布,生成局域调色维度下的调色子参数。
本实施例中,局域调色维度下涉及的颜色取值可以是像素在RGB颜色空间下的取值。
以目标对象为人脸为例,可对目标参照片段进行人脸解析,以从目标参照片段中裁剪出至少一张人脸图像,作为局域图像。在实际应用中,局域图像集是独立于目标参照片段之外的以图像集,局域图像集中的局域图像,为从目标参照片段中包含人脸的视频帧中裁剪出的框图。
另外,在对象解析的过程中,还可在局域图像中标注目标对象中各元素对应的像素。
实际应用中,可为各元素配置编号,并可在局域图像中为各元素对应的像素标注相应的编号。以人脸为例,可为皮肤配置编号1,为嘴唇配置编号2等等。
基于局域图像集中各局域图像包含的各像素的颜色取值,可确定各元素对应的颜色取值区间。
以前述的皮肤元素为例,可获取局域图像集中各局域图像中编号为1的所有像素的颜色取值,以确定皮肤元素对应的颜色取值区间。
发明人在研究过程中发现,对于颜色取值区间中的各颜色取值来说,其分布情况接近高斯分布。基于此,本实施例中,可在各元素下,分别确定颜色取值区间对应的颜色调整度的高斯分布。
还是以皮肤元素为例,皮肤元素对应的颜色取值区间接近高斯分布。为了将实现各局域图像中的皮肤区域的色调一致,对各颜色取值的颜色调整度也将接近高斯分布。据此,可确定皮肤元素的颜色取值区间对应的颜色调整度的高斯分布。
图3为本申请一示例性实施例提供的一种颜色调整度的高斯分布的示意图。如图3所示,高斯分布的横轴可表征颜色取值区间,也即颜色取值区间的分布。高斯分布的纵轴则可表征颜色取值区间中各颜色取值各自对应的颜色调整度的绝对值。
据此,可根据各元素对应的高斯分布,确定出各元素的颜色取值区间中各颜色取值各自对应的颜色调整度,从而构建各元素下的调色子参数。而将各元素下的调色子参数进行拼接,则可生成局域调色维度下的调色子参数。
以前述的皮肤元素为例,根据皮肤元素对应的高斯分布,可确定出皮肤元素的颜色取值区间中各颜色取值对应的颜色调整度,并据此构建皮肤元素下的LUT。还可构建嘴唇元素下的LUT。这些LUT经过拼接后,可生成局域调色维度下的LUT。
局域调色维度下的调色子参数,可以元素编号及颜色取值作为索引。
基于此,在前述的步骤103中,针对视频进行视频调色时,视频中不同视频帧对应的局域调色维度下的调色子参数可能不完全相同,而该维度下的调色子参数的变化主要受到视频帧中包含的目标对象的元素的影响。例如,两个视频帧中都包含人脸,但人脸中各元素在两个视频帧中对应的像素及颜色取值并不完全相同,这种情况下,两个视频帧在局域调色维度下的调色子参数将不同。
据此,本实施例中,局域调色维度下的调色子参数,可精确至视频帧的层面。
以下将以目标元素为例,说明在元素下确定颜色调整度的高斯分布的实现方案,应当理解的是,目标元素可以是目标对象包含的各元素中的任意一个。
本实施例中,可根据目标元素下的像素的颜色取值,确定目标元素对应的颜色分布参数;根据目标元素对应的颜色标准取值和颜色分布参数,计算颜色调整度的数学期望和方差;根据数学期望和方差,构建颜色调整度的高斯曲线,作为高斯分布。
其中,颜色标准取值为预设值,其可以是元素对应的最理想颜色取值或者最大颜色取值等等。颜色标准取值可以由用户根据经验进行设定,当然,也可采用机器学习等方式,从样本数据中学习得来,本实施例对此不作限定。不同元素对应的颜色标准取值可不完全相同。例如,皮肤元素的颜色标准取值可设定为a,嘴唇元素的颜色标准取值可设定为b。
其中,颜色分布参数至少可包括颜色均值和颜色方差。颜色均值可根据局域图像集中各局域图像包含的目标元素下的所有像素的颜色取值进行均值计算而获得,而颜色方差则可根据这部分数据进行方差计算而获得。
在此基础上,可计算颜色均值与颜色标准取值之间的差值,作为颜色调整度的数学期望;根据颜色方差与预置的方差调整系数,计算颜色调整度的方差。
其中,方差调整系数为以预设值,可由用户根据经验进行预设。方差调整系数用于改善颜色取值的离散度与颜色调整度的离散度之间的差距。
而根据颜色调整度的数学期望和方差,可绘制颜色调整度的高斯曲线,以获得颜色调整度的高斯分布。
参考图3,高斯曲线的中轴线与X轴的交点对应的X值,即为前述的颜色均值,而与高斯曲线的交点对应的Y值,即为前述的颜色调整度的数学期望。
据此,可生成局域调色维度下的调色子参数。
在亮度维度下,可确定目标参照片段中像素的颜色取值区间;按照预置的标准上下界,对颜色取值区间进行拉伸,以确定颜色取值区间中各颜色取值对应的颜色调整度;根据各颜色取值对应的颜色调整度,确定亮度维度下的调色子参数。
本实施例中,亮度维度下涉及的颜色取值可以是像素在RGB颜色空间下的取值。
本实施例中,可基于目标参照片段中包含的各视频帧内的所有像素的实际颜色取值,确定目标参照片段对应的颜色取值区间。从而可获得颜色取值区间的上下界。
其中,该维度下的标准上下界,可由用户根据经验进行设定,当然,也可采用机器学习等方式,从样本数据中学习得来。标准上下界为理想亮度下颜色取值的上下界。
本实施例中的拉伸可以是线性拉伸。这种情况下,可对像素a进行如下拉伸:(a -下界)/ (上界 - 下界)* (标准上界 - 标准下界)+ 标准下界,获得像素a拉伸后的颜色取值。例如,若像素a的颜色取值为0.5,目标参照片段对应的颜色取值区间为【0.3,0.7】,预置的标准上下界为【0.2,0.6】,则,经过拉伸后,像素a的颜色取值将变为0.4。
据此,可确定颜色取值区间中各颜色取值对应的颜色调整度,例如,上述像素a的颜色取值对应的颜色调整度即为:0.5-0.4=0.1。
本实施例中,亮度维度下的调色子参数,可以颜色取值作为索引。
基于此,在前述的步骤103中,针对视频进行视频调色时,视频中各像素可参考其颜色取值在亮度维度下对应的颜色调整度进行调色。
在对比度维度下,可计算目标参照片段的对比度区间;按照预置的拆分参数,将对比度区间拆分为至少一段子区间;根据子区间与基础调整度的关联关系以及对比度区间中各对比度取值的调整权重,分别确定对比度区间中各对比度取值对应的对比度调整度;根据各对比度取值对应的对比度调整度,生成对比度维度下的调整子参数。
在该维度下,可根据目标参照片段中各视频帧的对比度,确定目标参照片段的对比度区间。
其中,预置的拆分参数可以是子区间长度或子区间个数等。并且,可为每个子区间预置不完全相同的基础调整度及调整权重。
其中,调整权重可承载在预置的高斯曲线中,该高斯曲线可以是用户根据经验设定的,该高斯曲线用于标准对比度区间与调整权重之间的关联关系。
据此,对于某一对比度取值,可计算其对应的调整权重以及其所在子区间对于的基础调整度之间的乘积,作为该对比度取值对应的对比度调整度。从而可根据各对比度取值对应的对比度调整度,生成对比度维度下的调整子参数。
例如,若目标参照片段的对比度区间为【0,1】,可将其划分为两个子区间【0,0.5)和(0.5,1】,在此基础上,可以0.05作为基础调整度,按照前述的高斯曲线,对【0,0.5)内的对比度取值进行上调,对(0.5,1】内的对比度取值进行下调。以确定各对比度取值对应的对比度调整度。
本实施例中,亮度维度下的调色子参数,可以对比度取值作为索引。
基于此,在前述的步骤103中,针对视频进行视频调色时,视频中各视频帧可参考其对比度取值在对比度维度下对应的对比度调整度进行调色。
在饱和度维度下,可获取目标参照片段中各像素在两个对立颜色通道下的取值;按照预置的饱和度调整系数,对各像素在两个对立颜色通道下的取值进行调整,以确定各像素的饱和度调整度;根据各像素的饱和度调整度,生成饱和度维度下的调整子参数。
本实施例中,可将RGB颜色空间转换到Lab颜色空间,并在Lab(L为亮度,a和b为两个对立颜色通道)颜色空间下确定目标参照片段中各元素的在两个对立颜色通道下的取值。
其中,饱和度调整系数为一预设值,可由用户根据经验或采用机器学习等智能方式,确定该饱和度调整系数。
本实施例中,a和b颜色通道下的取值乘以饱和度调色系数后,将产生a和b颜色通道下的新取值。在新取值的基础上,可将Lab颜色空间转换到RGB颜色空间,从而确定出RGB颜色空间下,各像素的颜色取值的调整度,作为饱和度调整度。
本实施例中,饱和度维度下的调色子参数,可以颜色取值作为索引。
基于此,在前述的步骤103中,针对视频进行视频调色时,视频中各像素可参考其颜色取值在饱和度维度下对应的饱和度调整度进行调色。
在灰片调色维度下,若目标参照片段为灰片,计算目标参照片段中像素的颜色取值区间;按照预置的灰片矫正参数所要求的颜色取值上下界,对目标参照片段的颜色取值区间进行拉伸,以确定各颜色取值对应的颜色调整度;将各颜色取值对应的颜色调整度与灰片矫正参数叠加,以生成灰片调色维度下的调色子参数。
其中,灰片矫正参数可以是用户根据对灰片进行人工调色的经验而设定的,例如,用户可在人工调色软件中对灰片进行人工调色,并将人工调色软件输出的LUT,作为灰片矫正参数。
通常,灰片矫正参数对颜色取值的上下界有要求,本实施例中,可将目标参照片段的颜色取值区间拉伸至符合灰片矫正参数对颜色取值的上下界的要求。并在此基础上叠加灰片矫正参数,以生成灰片调色维度下的调色子参数。
应当理解的是,是否需要进行灰片调色维度下的视频调色,主要受到目标视频片段集合内的灰片类视频的数量的影响。例如,目标视频片段集合中,灰片类视频的比例大于一定阈值时,可优先将灰片类视频作为参照片段。
以上,从几种示例性调色维度,详述了调色子参数的确定方案。其中,用户可根据视频调色需求,灵活调整各调色维度下涉及到的预置参数,以调整相关调色维度的调色力度、调色目标(标准)等。这使得调色方案下的各种参数的调整更加灵活、更加直接、更加快速。
在此基础上,可将至少一各调整维度下的调整子参数进行叠加,以确定目标参照片段对应的调色参数,并将目标参照片段对应的调色参数,作为目标视频片段集合的调色参数。
应当理解的是,本实施例中提及的叠加,并不是数值相加,而是一种调色效果的叠加。在步骤103中,对视频进行调色的过程中,可理解为针对每一段视频,参照各调色子参数进行各调色维度下的调色,以实现对每一段视频的视频调色。
本实施例中,通过在至少一种调色维度下,分别确定参照片段的调色子参数,可获得至少一个视频片段集合各自对应的调色参数。而基于调色参数,不仅可从全域层面实现对视频的调色,还可从局域层面对视频进行细节调色。这可进一步提高视频调色的质量以及效率。
在上述或下述实施例中,可根据多个视频片段各自包含的视频特征,计算多个视频片段之间的相似度;将相似度满足预设要求的视频片段划分至同一视频片段集合内。
在一种实现方式中,可基于神经网络实现视频片段集合的划分。
在该实现方式中,可将多个视频片段输入相似度评价模型;在相似度评价模型中,提取多个视频片段各自包含的关键帧的视频特征,并根据提取到的关键帧的视频特征,计算不同视频片段下的关键帧之间的相似度,作为多个视频片段之间的相似度。
其中,视频中关键帧的确定方式可采用现有的关键帧确定方式,例如,分镜头筛选关键帧等方式,在此不再详述。在该实现方式中,一段视频可能包含一个或多个关键帧。
相似度评价模型中,可评价任意两个关键帧之间的相似度。例如,相似度评价模型可输出任意两个关键帧之间的相似度得分。据此,可将任意两段视频包含的关键帧之间的相似度,作为该两段视频之间的相似度。
其中,相似度评价模型可从内容、颜色等维度,评价关键帧之间的相似度。
在此基础上,可根据视频包含的关键帧之间的相似度,进行视频分组。
在该实现方式中,若两段视频片段下存在相似度大于第一阈值的关键帧,则将两段视频片段划分至同一视频片段集合内。
例如,视频a下的一个关键帧和视频b下的一个关键帧之间的相似度大于0.4,则可将视频a和b划分至同一视频片段集合内。
在另一种实现方式中,可在多个视频片段下,分别进行关键帧的视频特征拼接处理,以获得多个视频片段各自对应的视频特征串;计算多个视频片段各自对应的视频特征串之间的特征距离;根据特征距离,确定多个视频片段之间的相似度。
在该实现方式中,可分别提取多个视频片段包含的关键帧的视频特征,视频特征可包含内容、颜色等维度下的特征。其中,视频特帧的提取可采用卷积神经网络CNN等方式实现。
其中,视频特征串之间的特征距离,可体现视频特征串之间的差异。因此,可根据特征距离,确定多个视频片段之间的相似度。当两段视频的特征距离小于距离阈值时,可将该两段视频片段划分至同一视频片段集合中。
本实施例中,可将相似视频片段划分至同一视频片段集合中,相似视频通常具有类似的调色需求,因此,可以视频片段集合为单位,对相似视频采用相似的调色方案,可有效减少重复性的视频调色处理,进而可提高视频调色效率。
在上述或下述实施例中,可针对目标视频片段集合,根据目标视频片段集合中各视频之间的相似度以及目标视频片段集合对应的调色参数,确定目标视频片段集合中的各视频对应的最终调色参数;按照各视频对应的最终调色参数,分别对各视频进行视频调色。
其中,目标视频片段集合可以是至少一个视频片段集合中的任意一个。
正如前文提及的,同一视频片段集合内的视频之间的相似度满足预设的要求。但是,视频片段集合内的参照片段与其它视频之间的相似度并不是完全相同的。
基于此,本实施例中,可根据目标视频片段集合内的参照片段与其它视频之间的相似度,分别确定其它视频对应的最终调色参数。而其它视频对应的最终调色参数可以是根据其与参照片段的相似度对目标视频片段集合对应的调色参数进行加权的结果。
这样,目标视频片段集合内的出参照片段之外的其它视频,可获得更加合理的最终调色参数。
另外,考虑到同一视频片段集合内各视频之间存在的差异,本实施例中,还可针对目标视频,计算目标视频与目标视频片段集合中的参照片段之间的全域颜色均值的差值以及局域颜色均值的差值;获取目标视频对应的调色权重系数;根据全域颜色均值的差值、局域颜色均值的差值以及调色权重系数,对目标视频进行初始调色;在初始调色结果的基础上,按照目标视频对应的最终调色参数,对目标视频进行视频调色。
此处,初始调色过程中涉及到的颜色取值可以是像素在HSV(H为色相,S为饱和度,V为亮度)颜色空间下的取值。
其中,目标视频可以为目标视频片段集合中除参照片段之外的其它视频中的任意一个。
本实施例中,全域颜色均值是对目标视频或参照片段中全部像素的颜色取值进行均值计算而确定的。局域颜色均值是对目标视频或参照片段中包含的目标对象所对应的像素的颜色取值进行均值计算而确定的。
其中,目标视频对应的调色权重系数为一预设值,调整权重系数可由用户根据目标视频与参照片段之间在HSV颜色空间下的差异度而确定。
基于此,可通过初始调色,可使目标视频和参照片段HSV颜色空间下尽量接近。
而后,可在初始调色的基础上,按照目标视频对应的最终调色参数,对目标视频进行视频调色。
据此,本实施例中,通过对视频片段集合中的视频进行初始调色,可是视频片段集合内的各视频在HSV颜色空间下更加接近,而且,结合视频片段集合内参照片段与其它视频之间的相似度基于视频片段集合对应的调色参数,可分别确定视频片段集合内各视频的最终调色参数。基于此,可在初始调色的基础上,按照最终调色参数对各视频进行调色,这使得视频调色更加合理,可有效提高视频调色的质量。
图4为本申请一示例性实施例提供的一种应用场景的示意图。参考图4,可将视频V01.mp4、V02.mp4等输入视频调色装置。这些视频可能分属不完全相同的领域。其中,领域包括但不限于教育领域、体育领域、影视剧领域等。不同领域的视频,在拍摄风格、画面类型、内外景分布、光线等维度存在差别。
可对输入视频进行镜头检测及关键帧检测,以确定各段视频包含的关键帧。还可对输入视频进行人脸检测及人脸提取,以获得各段视频对应的人脸图像集。还可对各段视频进行视频信息提取,这里主要是对各段视频包含的关键帧进行内容、颜色等维度下的特征提取。
基于这些信息,可计算视频间的相似度矩阵,从而确定视频之间的参照关系。据此,可将相同领域的视频片段划分到同一视频片段集合内。
若参照关系中包含多个视频片段集合,则可以视频片段集合为单位,对多个视频片段集合进行分别调色。由于同一视频片段集合内的视频所属的领域相近,在此,认为同一视频片段集合内的视频的调色需求一致。
在目标视频片段集合内,可确定一参照片段,基于参照片段与目标视频片段集合内其他视频之间的参照关系(相似度),可在HSV颜色空间下,对其他视频进行色调微调(video transfer),以使其他视频在HSV颜色空间下的颜色取值尽量靠近参考视频。据此,可计算色调变换LUT。
视频调色装置可包括多个调色子模块。一级调色层面中,包括亮度子模块、对比度子模块和饱和度子模块。二级调色层面中,包括肤色优化子模块。
基于这些调色子模块,可从多个调色维度,计算目标视频片段集合的调色LUT。
其中,肤色优化子模块可基于前述获取到的人脸图像集,确定肤色(元素)下像素的颜色分布参数,并可根据肤色对应的颜色标准取值和颜色分布参数,绘制肤色下的颜色调整度的高斯分布。从而确定出二级调色层面下的LUT。当然,二级调色层面下还可包括其他子模块,例如嘴唇优化子模块等。
其中,亮度子模块、对比度子模块和饱和度子模块也可分布输出一LUT。
基于此,可将图4中各调色子模块各自输出的LUT进行叠加,以获得目标视频片段集合对应的调色LUT。
GPU可基于目标视频片段集合对应的调色LUT,对目标视频片段集合内的各视频进行视频调色,并进行加速渲染。
GPU可在前述的色调变换LUT的基础上,按照目标视频片段集合对应的调色LUT,根据目标视频片段集合内各视频之间的参照关系,分别确定各视频的最终调色LUT,并按各视频的最终调色LUT进行渲染。
至此,可从一级调色(全域)层面及二级调色(局域)层面实现对输入视频的视频调色。
例如,图4中一个视频片段集合中的视频片段可能都属于教育领域,这些视频片段可能都是讲课视频,在内容上,它们都包括老师、投影幕布及投影图文等,而在颜色上,它们都具有对比度低、光线暗等特点。本实施例提供的视频调色方案,可自动且高效地将这些视频片段的色调调整至基本一致,而且可对其中的老师(对象)进行局域调色,从而有效该删这些视频片段的质量。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤101至步骤103的执行主体可以为设备A;又比如,步骤101和102的执行主体可以为设备A,步骤103的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图5位本申请另一示例性实施例提供的一种计算设备的结构示意图。如图5所示,该计算设备包括:存储器50、处理器51以及通信组件52。
存储器50,用于存储计算机程序,并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器50可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器51,与存储器50及通信组件52耦合,用于执行存储器50中的计算机程序,以用于:
通过通信组件52接收视频调色请求,请求中包含多个视频片段;
根据多个视频片段之间的相似度,将多个视频片段划分为至少一个视频片段集合;
以视频片段集合为单位,确定至少一个视频片段集合各自对应的调色参数;
基于至少一个视频片段集合各自对应的调色参数,对至少一个视频片段集合中的各视频进行视频调色。
在一可选实施例中,处理器51在确定至少一个视频片段集合各自对应的调色参数时,用于:
从至少一个视频片段集合中,分别选取参照片段;
从至少一种调色维度,分别计算至少一个参照片段对应的调色参数。
在一可选实施例中,处理器51在从至少一个视频片段集合中,分别选取参照片段时,用于:
从至少一个视频片段集合中,分别选择符合调色参照条件的视频片段,作为参照片段;
其中,调色参照条件包括对比度最大、包含目标对象或用户指定的调色优先级最高中的一种或多种。
在一可选实施例中,处理器51在从至少一种调色维度,分别计算至少一个参照片段对应的调色参数时,用于:
针对目标参照片段,分别计算至少一个调色维度下的调色子参数;
将至少一个调色维度下的调色子参数进行叠加,以获得目标参照片段对应的调色参数;
其中,目标参照片段为至少一个参照片段中的任意一个。
在一可选实施例中,处理器51在至少一个调色维度包括局域调色维度,计算局域调色维度下的调色子参数时,用于:
对目标参照片段进行对象解析,以获得目标对象的局域图像集以及目标对象中各元素在各局域图像中对应的像素;
根据各元素下的像素的颜色取值,确定各元素对应的颜色取值区间;
在各元素下,分别确定颜色取值区间对应的颜色调整度的高斯分布;
根据各元素对应的高斯分布,生成局域调色维度下的调色子参数。
在一可选实施例中,处理器51在各元素下,分别确定颜色取值区间对应的颜色调整度的高斯分布时,用于:
针对目标元素,根据目标元素下的像素的颜色取值,确定目标元素对应的颜色分布参数;
根据目标元素对应的颜色标准取值和颜色分布参数,计算颜色调整度的数学期望和方差;
根据数学期望和方差,构建颜色调整度的高斯曲线,作为高斯分布;
其中,目标元素为各元素中的任意一个。
在一可选实施例中,颜色分布参数包括颜色均值和颜色方差,处理器51在根据目标元素对应的颜色标准取值和颜色分布参数,计算颜色调整度的数学期望和方差时,用于:
计算颜色均值与颜色标准取值之间的差值,作为颜色调整度的数学期望;
根据颜色方差与预置的方差调整系数,计算颜色调整度的方差。
在一可选实施例中,至少一个调色维度包括亮度维度,处理器51在计算亮度维度下的调色子参数时,用于:
针对目标参照片段,确定目标参照片段中像素的颜色取值区间;
按照预置的标准上下界,对颜色取值区间进行拉伸,以确定颜色取值区间中各颜色取值对应的颜色调整度;
根据各颜色取值对应的颜色调整度,确定亮度维度下的调色子参数;
其中,目标参照片段为至少一个参照片段中的任意一个。
在一可选实施例中,至少一个调色维度包括对比度维度,处理器51在计算对比度维度下的调色子参数时,用于:
针对目标参照片段,计算目标参照片段的对比度区间;
按照预置的拆分参数,将对比度区间拆分为至少一段子区间;
根据子区间与基础调整度的关联关系以及对比度区间中各对比度取值的调整权重,分别确定对比度区间中各对比度取值对应的对比度调整度;
根据各对比度取值对应的对比度调整度,生成对比度维度下的调整子参数;
其中,目标参照片段为至少一个参照片段中的任意一个。
在一可选实施例中,至少一个调色维度包括饱和度维度,处理器51在计算饱和度维度下的调色子参数时,用于:
针对目标参照片段,获取目标参照片段中各像素在两个对立颜色通道下的取值;
按照预置的饱和度调整系数,对各像素在两个对立颜色通道下的取值进行调整,以确定各像素的饱和度调整度;
根据各像素的饱和度调整度,生成饱和度维度下的调整子参数。
在一可选实施例中,至少一个调色维度包括灰片调色维度,处理器51在计算灰片调色维度下的调色子参数时,用于:
若目标参照片段为灰片,计算目标参照片段中像素的颜色取值区间;
按照预置的灰片矫正参数所要求的颜色取值上下界,对目标参照片段的颜色取值区间进行拉伸,以确定各颜色取值对应的颜色调整度;
将各颜色取值对应的颜色调整度与灰片矫正参数叠加,以生成灰片调色维度下的调色子参数。
在一可选实施例中,处理器51在根据多个视频片段之间的相似度,将多个视频片段划分为至少一个视频片段集合时,用于:
根据多个视频片段各自包含的视频特征,计算多个视频片段之间的相似度;
将相似度满足预设要求的视频片段划分至同一视频片段集合内。
在一可选实施例中,处理器51在根据多个视频片段各自包含的视频特征,计算多个视频片段之间的相似度时,用于:
将多个视频片段输入相似度评价模型;
在相似度评价模型中,提取多个视频片段各自包含的关键帧的视频特征,并根据提取到的关键帧的视频特征,计算不同视频片段下的关键帧之间的相似度,作为多个视频片段之间的相似度。
在一可选实施例中,处理器51在将相似度满足预设要求的视频片段划分至同一视频片段集合内时,用于:
若两段视频片段下存在相似度大于第一阈值的关键帧,则将两段视频片段划分至同一视频片段集合内。
在一可选实施例中,处理器51在根据多个视频片段各自包含的视频特征,计算多个视频片段之间的相似度时,用于:
在多个视频片段下,分别进行关键帧的视频特征拼接处理,以获得多个视频片段各自对应的视频特征串;
计算多个视频片段各自对应的视频特征串之间的特征距离;
根据特征距离,确定多个视频片段之间的相似度。
在一可选实施例中,调色参数包括颜色查找表LUT。
在一可选实施例中,处理器51在基于至少一个视频片段集合各自对应的调色参数,对至少一个视频片段集合中的各视频进行视频调色时,用于:
针对目标视频片段集合,根据目标视频片段集合中各视频之间的相似度以及目标视频片段集合对应的调色参数,确定目标视频片段集合中的各视频对应的最终调色参数;
按照各视频对应的最终调色参数,分别对各视频进行视频调色;
其中,目标视频片段集合为至少一个视频片段集合中的任意一个。
在一可选实施例中,处理器51在按照各视频对应的最终调色参数,分别对各视频进行视频调色时,用于:
针对目标视频,计算目标视频与目标视频片段集合中的参照片段之间的全域颜色均值的差值以及局域颜色均值的差值;
获取目标视频对应的调色权重系数;
根据全域颜色均值的差值、局域颜色均值的差值以及调色权重系数,对目标视频进行初始调色;
在初始调色结果的基础上,按照目标视频对应的最终调色参数,对目标视频进行视频调色。
在一可选实施例中,处理器51还用于:
输出经视频调色后的多个视频片段。
进一步,如图5所示,该计算设备还包括:显示器53、电源组件54等其它组件。图5中仅示意性给出部分组件,并不意味着计算设备只包括图5所示组件。
值得说明的是,上述关于计算设备的各实施例中的技术细节,可参考前述视频调色方法各实施例中的相关描述,为节省篇幅,在此不再赘述,但这不应造成本申请保护范围的损失。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。
上述图5中的通信组件52,被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
上述图5中的显示器53,包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述图5中的电源组件54,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
图6为本申请又一示例性实施例提供的一种媒体数据处理方法的流程示意图。本实施例提供的媒体数据处理方法可以由一媒体数据处理装置来执行,该媒体数据处理装置可以实现为软件或实现为软件和硬件的组合,该媒体数据处理装置可集成设置在计算设备中。如图6所示,该方法包括:
步骤600、获取多段媒体数据;
步骤601、根据所述多段媒体数据之间的相似度,将所述多段媒体数据划分为至少一个媒体数据集合;
步骤602、确定所述至少一个媒体数据集合各自对应的处理参数;
步骤603、基于所述至少一个媒体数据集合各自对应的处理参数,对所述至少一个媒体数据集合中的各段媒体数据进行数据处理。
本实施例提供的媒体数据处理方法可应用于各种需要对媒体数据进行处理的场景中。本实施例对应用场景不做限定。
其中,在不同应用场景下,媒体数据的类型可能不完全相同。本实施例中,媒体数据包括但不限于视频片段、图像、音频片段等等。
本实施例中,针对不同类型的媒体数据,可从不同的维度确定媒体数据之间的相似度。例如,对于视频片段,可从内容、颜色等维度进行相似度的确定;对于图像,可从内容、颜色等维度进行相似度的确定;对于音频片段,可从内容、声纹等维度进行相似度的确定。
本实施例中,可将相似的媒体数据划分至同一媒体数据集合中,并确定各媒体数据集合各种对应的处理参数。
对于不同的处理需求,处理参数中包括的参数的类型也可能不完全相同。
例如,若处理需求为调色,则处理参数中可包括调色参数。
又例如,若处理需求为变声,则处理参数中可包括变声参数。
在例如,处理需求为加字幕,则处理参数中可包括字幕配置参数。
当然,这些也仅是示例性的,本实施例中,处理参数中包含的参数不限于此,而且,处理参数中包含的参数的类型也不限于一种。
本实施例中,在媒体数据包括视频片段,处理参数包括调色参数的情况下,进行媒体数据处理过程中的技术细节,可参考前述的视频调色方法相关的各实施例中的描述,为了节省篇幅,在此不再赘述,但这不应造成本申请保护范围的损失。
对于其它类型的媒体数据,可如前文所述,适应性地调整判断媒体数据相似度所参考的维度,从而实现媒体数据集合的划分。
另外,可参考前述视频调色方法相关实施例中提出的方案:从至少一个媒体数据集合中,分别确定参考数据;分别确定至少一段参考数据对应的处理参数,作为至少一个媒体数据集合对应的处理参数。对于不同类型的媒体数据,参考数据可能是一张图像或一个音频片段。
而对于参考数据对应的处理参数的确定方案,则可根据媒体数据的类型以及处理需求进行适应性调整,本实施例在此不作具体限定。
在此基础上,可根据在每个媒体数据集合中,按照其对应的处理参数,对集合中包含的至少一段媒体数据进行数据处理。
另外,本实施例中的其它未尽事宜,也可适应性参考前述视频调色方法相关实施例中的描述,在此也不再赘述。
据此,本实施例中,可根据媒体数据之间的相似度,将相似的媒体数据划分至同一媒体数据集合中,并可确定出各媒体数据集合各种对应的处理参数。在各媒体数据集合中,可根据对应的处理参数,对集合中的各媒体数据进行数据处理,这保证了同一媒体数据集合中的媒体数据的处理方式相似,进而可将同一媒体数据集合中的媒体数据调整至一致的效果,这不仅可提高数据处理的效率,还可提高数据处理的质量。
本实施例的又一示例性实施例中,还提供一种计算设备,该计算设备包括:存储器、处理器以及通信组件等。
处理器,与存储器及通信组件耦合,用于执行存储器中的计算机程序,以用于:
通过通信组件获取多段媒体数据;
根据所述多段媒体数据之间的相似度,将所述多段媒体数据划分为至少一个媒体数据集合;
确定所述至少一个媒体数据集合各自对应的处理参数;
基于所述至少一个媒体数据集合各自对应的处理参数,对所述至少一个媒体数据集合中的各段媒体数据进行数据处理。
本实施例中,处理器执行的各项操作可参考图6相关实施例中的描述,为节省篇幅,在此不再赘述,但这不应造成本申请保护范围的损失。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (20)

1.一种视频调色方法,其特征在于,包括:
获取多个视频片段;
根据所述多个视频片段之间的相似度,将所述多个视频片段划分为至少一个视频片段集合;
确定所述至少一个视频片段集合各自对应的调色参数;
针对目标视频片段集合,根据所述目标视频片段集合中各视频之间的相似度以及所述目标视频片段集合对应的调色参数,确定所述目标视频片段集合中的各视频对应的最终调色参数;
按照各视频对应的最终调色参数,分别对各视频进行视频调色;
其中,所述目标视频片段集合为所述至少一个视频片段集合中的任意一个。
2.根据权利要求1所述的方法,其特征在于,所述确定所述至少一个视频片段集合各自对应的调色参数,包括:
从所述至少一个视频片段集合中,分别选取参照片段;
从至少一种调色维度,分别计算所述至少一个参照片段对应的调色参数,作为所述至少一个视频片段集合各自对应的调色参数。
3.根据权利要求2所述的方法,其特征在于,所述从所述至少一个视频片段集合中,分别选取参照片段,包括:
从所述至少一个视频片段集合中,分别选择符合调色参照条件的视频片段,作为所述参照片段;
其中,所述调色参照条件包括对比度最大、包含目标对象或用户指定的调色优先级最高中的一种或多种。
4.根据权利要求2所述的方法,其特征在于,所述从至少一种调色维度,分别计算所述至少一个参照片段对应的调色参数,包括:
针对目标参照片段,分别计算所述至少一个调色维度下的调色子参数;
将所述至少一个调色维度下的调色子参数进行叠加,以获得所述目标参照片段对应的调色参数;
其中,所述目标参照片段为所述至少一个参照片段中的任意一个。
5.根据权利要求4所述的方法,其特征在于,所述至少一个调色维度包括局域调色维度,所述计算所述局域调色维度下的调色子参数,包括:
对所述目标参照片段进行对象解析,以获得目标对象的局域图像集以及所述目标对象中各元素在各局域图像中对应的像素;
根据所述各元素下的像素的颜色取值,确定所述各元素对应的颜色取值区间;
在所述各元素下,分别确定颜色取值区间对应的颜色调整度的高斯分布;
根据所述各元素对应的高斯分布,生成所述局域调色维度下的调色子参数。
6.根据权利要求5所述的方法,其特征在于,所述在所述各元素下,分别确定颜色取值区间对应的颜色调整度的高斯分布,包括:
针对目标元素,根据所述目标元素下的像素的颜色取值,确定所述目标元素对应的颜色分布参数;
根据所述目标元素对应的颜色标准取值和所述颜色分布参数,计算颜色调整度的数学期望和方差;
根据所述数学期望和方差,构建所述颜色调整度的高斯曲线,作为所述高斯分布;
其中,所述目标元素为所述各元素中的任意一个。
7.根据权利要求6所述的方法,其特征在于,所述颜色分布参数包括颜色均值和颜色方差,所述根据所述目标元素对应的颜色标准取值和所述颜色分布参数,计算颜色调整度的数学期望和方差,包括:
计算所述颜色均值与所述颜色标准取值之间的差值,作为所述颜色调整度的数学期望;
根据所述颜色方差与预置的方差调整系数,计算所述颜色调整度的方差。
8.根据权利要求2所述的方法,其特征在于,所述至少一个调色维度包括亮度维度,所述计算所述亮度维度下的调色子参数,包括:
针对目标参照片段,确定所述目标参照片段中像素的颜色取值区间;
按照预置的标准上下界,对所述颜色取值区间进行拉伸,以确定所述颜色取值区间中各颜色取值对应的颜色调整度;
根据所述各颜色取值对应的颜色调整度,确定所述亮度维度下的调色子参数;
其中,所述目标参照片段为所述至少一个参照片段中的任意一个。
9.根据权利要求2所述的方法,其特征在于,所述至少一个调色维度包括对比度维度,所述计算所述对比度维度下的调色子参数,包括:
针对目标参照片段,计算所述目标参照片段的对比度区间;
按照预置的拆分参数,将所述对比度区间拆分为至少一段子区间;
根据子区间与基础调整度的关联关系以及所述对比度区间中各对比度取值的调整权重,分别确定所述对比度区间中各对比度取值对应的对比度调整度;
根据所述各对比度取值对应的对比度调整度,生成所述对比度维度下的调整子参数;
其中,所述目标参照片段为所述至少一个参照片段中的任意一个。
10.根据权利要求2所述的方法,其特征在于,所述至少一个调色维度包括饱和度维度,所述计算所述饱和度维度下的调色子参数,包括:
针对目标参照片段,获取所述目标参照片段中各像素在两个对立颜色通道下的取值;
按照预置的饱和度调整系数,对所述各像素在两个对立颜色通道下的取值进行调整,以确定所述各像素的饱和度调整度;
根据所述各像素的饱和度调整度,生成所述饱和度维度下的调整子参数。
11.根据权利要求2所述的方法,其特征在于,所述至少一个调色维度包括灰片调色维度,所述计算所述灰片调色维度下的调色子参数,包括:
若目标参照片段为灰片,计算所述目标参照片段中像素的颜色取值区间;
按照预置的灰片矫正参数所要求的颜色取值上下界,对所述目标参照片段的颜色取值区间进行拉伸,以确定各颜色取值对应的颜色调整度;
将所述各颜色取值对应的颜色调整度与所述灰片矫正参数叠加,以生成所述灰片调色维度下的调色子参数。
12.根据权利要求1所述的方法,其特征在于,所述根据所述多个视频片段之间的相似度,将所述多个视频片段划分为至少一个视频片段集合,包括:
根据所述多个视频片段各自包含的视频特征,计算所述多个视频片段之间的相似度;
将相似度满足预设要求的视频片段划分至同一视频片段集合内。
13.根据权利要求12所述的方法,其特征在于,所述根据所述多个视频片段各自包含的视频特征,计算所述多个视频片段之间的相似度,包括:
将所述多个视频片段输入相似度评价模型;
在所述相似度评价模型中,提取所述多个视频片段各自包含的关键帧的视频特征,并根据提取到的关键帧的视频特征,计算不同视频片段下的关键帧之间的相似度,作为所述多个视频片段之间的相似度。
14.根据权利要求13所述的方法,其特征在于,所述将相似度满足预设要求的视频片段划分至同一视频片段集合内,包括:
若两段视频片段下存在相似度大于第一阈值的关键帧,则将所述两段视频片段划分至同一视频片段集合内。
15.根据权利要求13所述的方法,其特征在于,所述根据所述多个视频片段各自包含的视频特征,计算所述多个视频片段之间的相似度,包括:
在所述多个视频片段下,分别进行关键帧的视频特征拼接处理,以获得所述多个视频片段各自对应的视频特征串;
计算所述多个视频片段各自对应的视频特征串之间的特征距离;
根据所述特征距离,确定所述多个视频片段之间的相似度。
16.根据权利要求1所述的方法,其特征在于,所述调色参数包括颜色查找表LUT。
17.根据权利要求1所述的方法,其特征在于,所述按照各视频对应的最终调色参数,分别对各视频进行视频调色,包括:
针对目标视频,计算所述目标视频与所述目标视频片段集合中的参照片段之间的全域颜色均值的差值以及局域颜色均值的差值;
获取所述目标视频对应的调色权重系数;
根据所述全域颜色均值的差值、局域颜色均值的差值以及所述调色权重系数,对所述目标视频进行初始调色;
在初始调色结果的基础上,按照所述目标视频对应的最终调色参数,对所述目标视频进行视频调色。
18.根据权利要求1所述的方法,其特征在于,还包括:
输出经视频调色后的所述多个视频片段。
19.一种计算设备,其特征在于,包括存储器、处理器和通信组件;
所述存储器用于存储一条或多条计算机指令;
所述处理器与所述存储器及所述通信组件耦合,用于执行所述一条或多条计算机指令,以用于:
通过所述通信组件获取多个视频片段;
根据所述多个视频片段之间的相似度,将所述多个视频片段划分为至少一个视频片段集合;
确定所述至少一个视频片段集合各自对应的调色参数;
针对目标视频片段集合,根据所述目标视频片段集合中各视频之间的相似度以及所述目标视频片段集合对应的调色参数,确定所述目标视频片段集合中的各视频对应的最终调色参数;
按照各视频对应的最终调色参数,分别对各视频进行视频调色;
其中,所述目标视频片段集合为所述至少一个视频片段集合中的任意一个。
20.一种存储计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行权利要求1-18任一项所述的视频调色方法。
CN202010203440.2A 2020-03-20 2020-03-20 一种视频调色方法、设备及存储介质 Active CN113497954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010203440.2A CN113497954B (zh) 2020-03-20 2020-03-20 一种视频调色方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010203440.2A CN113497954B (zh) 2020-03-20 2020-03-20 一种视频调色方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113497954A CN113497954A (zh) 2021-10-12
CN113497954B true CN113497954B (zh) 2023-02-03

Family

ID=77994498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203440.2A Active CN113497954B (zh) 2020-03-20 2020-03-20 一种视频调色方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113497954B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174880B (zh) * 2022-09-08 2023-03-10 江西渊薮信息科技有限公司 一种提高色域的投影系统、投影仪及投影方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470362A (zh) * 2018-01-29 2018-08-31 北京奇虎科技有限公司 一种实现视频调色的方法和装置
CN108495107A (zh) * 2018-01-29 2018-09-04 北京奇虎科技有限公司 一种视频处理方法和装置
CN109862389A (zh) * 2018-11-20 2019-06-07 北京奇艺世纪科技有限公司 一种视频处理方法、装置、服务器及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477247B2 (en) * 2008-09-30 2013-07-02 Intel Corporation Joint enhancement of lightness, color and contrast of images and video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470362A (zh) * 2018-01-29 2018-08-31 北京奇虎科技有限公司 一种实现视频调色的方法和装置
CN108495107A (zh) * 2018-01-29 2018-09-04 北京奇虎科技有限公司 一种视频处理方法和装置
CN109862389A (zh) * 2018-11-20 2019-06-07 北京奇艺世纪科技有限公司 一种视频处理方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN113497954A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
KR102263898B1 (ko) 동적 비디오 오버레이
EP2959672B1 (en) Improved hdr image encoding and decoding methods and devices
US10607324B2 (en) Image highlight detection and rendering
Bianco et al. Color correction pipeline optimization for digital cameras
US20140348427A1 (en) Automatic color correction
CN113497954B (zh) 一种视频调色方法、设备及存储介质
Nuutinen et al. Image feature subsets for predicting the quality of consumer camera images and identifying quality dimensions
US11948357B2 (en) Image colorization systems and methods
CN113658287B (zh) 用户界面配色处理方法、装置及设备
Lang et al. Demystifying the hdr ecosystem
CN114549674A (zh) 图像、视频的调色方法、系统、设备及存储介质
CN110580729B (zh) 图片的配色方法和装置以及电子设备
CN115187476A (zh) 一种高动态范围图像的色调映射装置及方法
Zamir et al. Variational Methods for Gamut Mapping in Cinema and Television
CN115187477A (zh) 一种基于色调映射的高动态范围图像的处理装置及方法
EP3716619A1 (en) Gamut estimation
CN116013190A (zh) 彩条画面检测方法、装置、显示设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant