CN116600105A - 一种视频素材的色彩标签提取方法、装置、设备及介质 - Google Patents
一种视频素材的色彩标签提取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116600105A CN116600105A CN202310595475.9A CN202310595475A CN116600105A CN 116600105 A CN116600105 A CN 116600105A CN 202310595475 A CN202310595475 A CN 202310595475A CN 116600105 A CN116600105 A CN 116600105A
- Authority
- CN
- China
- Prior art keywords
- video material
- image
- scene
- material set
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims description 18
- 239000000463 material Substances 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000010845 search algorithm Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000010421 standard material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明的领域涉及视频处理技术领域，尤其涉及一种视频素材的色彩标签提取方法、装置、设备及介质，所述方法具体包括：获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合；检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合；基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分。本发明通过全面地考虑视频素材的动态变化和场景特征，以此提取到更准确、有代表性的色彩标签。
Description
技术领域
本发明的领域涉及视频处理技术领域，尤其涉及一种视频素材的色彩标签提取方法、装置、设备及介质。
背景技术
为了对素材进行二次创作，比如视频剪辑、拼接等，需要对素材的色彩进行分析。比如，在素材拼接时，需要相互拼接的两段素材是同一个色调，或者将标准素材进行分析，获得该素材的色彩等各种标签，然后将这些标签设置为标准标签，然后分析现有素材的标签，从而判断现有素材是否符合标准要求。然而，现有的视频素材色彩标签提取方法只考虑了单帧的颜色或明暗度信息，忽略了帧间的差异变化，对于大量帧的长视频素材，无法准确反映整体特征，同时在色彩标签提取过程中未能有效去除无关或重复的信息，这些信息可能来自视频素材中的噪声、镜头切换或其他干扰因素，对标签的准确性产生干扰。
发明内容
本发明的目的在于提供一种视频素材的色彩标签提取方法、装置、设备及介质，通过全面地考虑视频素材的动态变化和场景特征，以此提取到更准确、有代表性的色彩标签，以解决上述现有问题的至少之一。
本发明提供了一种视频素材的色彩标签提取方法，所述方法具体包括：
获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合；
检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合；
基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，然后根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分，获得第四视频素材集合；
基于素材类型，获取所述第四视频素材集合的第一标签图像，再将所述第一标签图像与第五视频素材集合进行比对，确定所述第五视频素材集合的第一视频图像；
将所述第一标签图像和所述第一视频图像进行拼接，获得目标视频图像。
进一步的，所述基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合，具体包括：
基于选择性搜索算法对所述第一视频素材集合进行区域提取，生成候选区域集合；
基于OCR算法提取所述候选区域集合的文字并转换为可识别文本，从所述可识别文本中提取标志时间戳；
根据所述标志时间戳确定所述第一视频素材集合中存在标志的第一视频素材；
裁剪所述第一视频素材集合中存在标志的第一视频素材。
进一步的，所述检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合，具体包括：
将所述第二视频素材集合中每连续两帧图像转换为灰度图像，再将转换为灰度图像的每连续两帧图像进行逐像素的差异计算，获得差异点集合；
根据所述差异点集合设置差异阈值；
判断所述差异点集合中每个差异点的差异值是否超过所述差异阈值，根据超过所述差异阈值的差异点进行场景划分，确定第三视频素材集合。
更进一步的，所述将转换为灰度图像的每连续两帧图像进行逐像素的差异计算，具体包括：
判断转换为灰度图像的每连续两帧图像之间的尺寸是否相同，若判断为否，将每连续两针图像之间的尺寸调整一致；
根据差异值公式，对转换为灰度图像的每连续两帧图像之间具有相同坐标的每个像素进行差异计算，所述差异值公式满足D＝|A(x,y)-B(x,y)|，其中，D表示差异值，A(x,y)表示图像A在坐标(x,y)上的像素值，B(x,y)表示图像B在坐标(x,y)的像素值；
对每个像素之间的差异值进行平均计算，获得每连续两帧图像之间的差异点的差异值。
进一步的，所述基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，具体包括：
根据McCamy公式确定所述第三视频素材集合中第一场景的每帧图像的色温值；
将所述第一场景的每帧图像的色温值进行平均计算，获得所述第一场景的目标色温值；
确定所述第一场景的每帧图像的明暗度；
将所述第一场景的每帧图像的明暗度进行平均计算，获得所述第一场景的目标明暗度。
更进一步的，所述根据McCamy公式确定所述第三视频素材集合中第一场景的每帧图像的色温值，具体包括：
根据颜色转换矩阵，将所述第三视频素材集合中第一场景的每帧图像的每个像素点的RGB值转换为XYZ值；
对所述第一场景的每帧图像的每个像素点的XYZ值进行归一化处理，获得X'Y'Z'值；
根据McCamy公式对X'Y'Z'值进行计算，获得所述第一场景的每帧图像的每个像素点的色温值，所述McCamy公式满足CCT＝-449n3+3525n2-6823.3n+5520.33，n＝(u-0.3320)/(0.1858-v)，u＝(4*X')/(X'+15*Y'+3*Z')，v＝(9*Y')/(X'+15*Y'+3*Z')，其中，CCT表示色温值，u和v表示色度坐标；
对所述第一场景的每帧图像的每个像素点的色温值进行平均计算，获得所述第一场景的每帧图像的色温值。
更进一步的，所述确定所述第一场景的每帧图像的明暗度，具体包括：
计算所述第一场景的每帧图像的像素值；
将所述第一场景的每帧图像的像素值进行平均计算，获得灰度均值；
根据所述第一场景的每帧图像中超过所述灰度均值的区域占比和不超过所述灰度均值的区域占比，确定所述第一场景的每帧图像的明暗度。
本发明还提供了一种视频素材的色彩标签提取装置，所述装置具体包括：
裁剪模块，用于获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行删除后获得第二视频素材集合；
场景划分模块，用于检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合；
标签划分模块，用于基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，然后根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分，获得第四视频素材集合；
第一拼接模块，用于基于素材类型，获取所述第四视频素材集合的第一标签图像，再将所述第一标签图像与第五视频素材集合进行比对，确定所述第五视频素材集合的第一视频图像；
第二拼接模块，用于将所述第一标签图像和所述第一视频图像进行拼接，获得目标视频图像。
本发明还提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如权利要求1至7中任一项所述的视频素材的色彩标签提取方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至7中任一项所述的视频素材的色彩标签提取方法。
与现有技术相比，本发明具有以下技术效果的至少之一：
1、通过比较视频素材的每连续两帧图像之间的像素差异，可以获得一个表示帧间变化的差异图像，能够捕捉到视频素材中的动态变化，从而更准确地提取色彩标签。
2、基于场景划分后的关键帧或关键片段，对颜色或明暗度进行计算，得到更具代表性的标签，提高了标签的准确性和代表性。
3、根据McCamy公式和明暗度算法确定视频素材的每个场景之间的色温值和明暗度，并以此确定每个场景中不同数值范围的色彩标签，实现了对每个场景的准确分类和色彩特征的明确表达，从而提高视频素材处理、分析和应用的效果和可靠性。
附图说明
是为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种视频素材的色彩标签提取方法的流程示意图；
图2是本发明实施例提供的一种视频素材的色彩标签提取装置的结构示意图；
图3是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了对素材进行二次创作，比如视频剪辑、拼接等，需要对素材的色彩进行分析。比如，在素材拼接时，需要相互拼接的两段素材是同一个色调，或者将标准素材进行分析，获得该素材的色彩等各种标签，然后将这些标签设置为标准标签，然后分析现有素材的标签，从而判断现有素材是否符合标准要求。然而，现有的视频素材色彩标签提取方法只考虑了单帧的颜色或明暗度信息，忽略了帧间的差异变化，对于大量帧的长视频素材，无法准确反映整体特征，同时在色彩标签提取过程中未能有效去除无关或重复的信息，这些信息可能来自视频素材中的噪声、镜头切换或其他干扰因素，对标签的准确性产生干扰。
参照图1，本发明实施例提供了一种视频素材的色彩标签提取方法，所述方法具体包括：
S101：获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合。
在一些实施例中，所述基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合，具体包括：
基于选择性搜索算法对所述第一视频素材集合进行区域提取，生成候选区域集合；
基于OCR算法提取所述候选区域集合的文字并转换为可识别文本，从所述可识别文本中提取标志时间戳；
根据所述标志时间戳确定所述第一视频素材集合中存在标志的第一视频素材；
裁剪所述第一视频素材集合中存在标志的第一视频素材。
该实施例中，选择性搜索算法通过在不同的尺度和位置上对图像进行区域提取，找到可能包含标志的候选区域，比如采用Selective Search算法或EdgeBoxes算法对第一视频素材集合中存在标志的第一视频素材进行区域提取，生成一系列候选区域，其中每个区域都有不同的尺度和位置，然后返回候选区域集合。具体的，使用Selective Search算法处理的步骤是：第一，对图像进行多尺度的分割，产生一系列图像区域，每个区域代表图像的一个子区域；第二，根据相似度度量，将相邻的区域进行合并，比如说基于颜色直方图的方法，计算区域之间的颜色相似度；第三，通过逐步合并图像区域，得到一系列不同尺度和位置的候选区域，这些候选区域可能包含了待检测的标志；第四，返回候选区域集合。
OCR算法用于识别候选区域中的标志，将其转化为可识别文本，再从可识别文本中提取出与标志相关的信息，例如时间戳，再返回每个标志及其时间戳。采用OCR算法处理的步骤是：第一，对每个候选区域进行预处理操作，例如调整大小、灰度化、去噪等，以提高文字识别的准确性；第二，使用OCR库或深度学习模型进行文字识别，比如使用Tesseract OCR库，加载预训练的OCR模型，对每个预处理后的候选区域，调用OCR模型进行文字识别，获取识别结果，即候选区域中提取的文本；第三，返回每个标志及其时间戳。
根据每个标志的标志时间戳在第一视频素材集合中找到与标志时间戳相同的帧所在的场景片段，如果找到与标志时间戳相同的帧，记录下该帧所在的场景片段的起始和结束帧位置。接着，可以使用视频剪辑软件进行视频采集，即删除或编辑存在标志的场景片段。
S102：检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合。
在一些实施例中，所述检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合，具体包括：
将所述第二视频素材集合中每连续两帧图像转换为灰度图像，再将转换为灰度图像的每连续两帧图像进行逐像素的差异计算，获得差异点集合；
根据所述差异点集合设置差异阈值；
判断所述差异点集合中每个差异点的差异值是否超过所述差异阈值，根据超过所述差异阈值的差异点进行场景划分，确定第三视频素材集合。
在一些实施例中，所述将转换为灰度图像的每连续两帧图像进行逐像素的差异计算，具体包括：
判断转换为灰度图像的每连续两帧图像之间的尺寸是否相同，若判断为否，将每连续两针图像之间的尺寸调整一致；
根据差异值公式，对转换为灰度图像的每连续两帧图像之间具有相同坐标的每个像素进行差异计算，所述差异值公式满足D＝|A(x,y)-B(x,y)|，其中，D表示差异值，A(x,y)表示图像A在坐标(x,y)上的像素值，B(x,y)表示图像B在坐标(x,y)的像素值；
对每个像素之间的差异值进行平均计算，获得每连续两帧图像之间的差异点的差异值。
该实施例中，首先将第二视频素材集合中每连续两帧图像转换为灰度图像，图像的每个像素的RGB通道的值取平均获得灰度图像的像素值，再将每连续两帧帧图像的灰度图像的像素值，进行差异计算，通过上述做法，可以获得第二视频素材集合中每连续两帧图像之间的差异点的差异值，然后再根据所有差异点的差异值确定一个差异阈值，比如说取一个所有差异点的差异值的平均值，具体可根据实际需求进行调整和优化。
计算每连续两帧图像的差异值时，可以将两个转换为灰度图像的图像假设为图像A和图像B，首先确保两个图像具有相同的尺寸，如果尺寸不同，可以进行图像调整或插值以使其匹配，再对两个图像之间的每个像素进行差异计算。假设A(x,y)表示图像A中位于坐标(x,y)处的像素值，B(x,y)表示图像B中位于相同坐标处(即坐标(x,y))的像素值，则每个像素的差异值为D＝|A(x,y)-B(x,y)|。通过计算差异图像，可以确定变化差异较大的图像帧，从而进行进一步的场景划分或其他相关的处理。
需要注意的是，差异图像的计算方法可以根据具体的应用场景和需求进行调整和改进。例如，可以应用加权因子或滤波器来调整差异的敏感度，以适应不同类型的图像素材和变化模式。
S103：基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，然后根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分，获得第四视频素材集合。
在一些实施例中，所述基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，具体包括：
根据McCamy公式确定所述第三视频素材集合中第一场景的每帧图像的色温值；
将所述第一场景的每帧图像的色温值进行平均计算，获得所述第一场景的目标色温值；
确定所述第一场景的每帧图像的明暗度；
将所述第一场景的每帧图像的明暗度进行平均计算，获得所述第一场景的目标明暗度。
具体的，所述根据McCamy公式确定所述第三视频素材集合中第一场景的每帧图像的色温值，具体包括：
根据颜色转换矩阵，将所述第三视频素材集合中第一场景的每帧图像的每个像素点的RGB值转换为XYZ值；
对所述第一场景的每帧图像的每个像素点的XYZ值进行归一化处理，获得X'Y'Z'值；
根据McCamy公式对X'Y'Z'值进行计算，获得所述第一场景的每帧图像的每个像素点的色温值，所述McCamy公式满足CCT＝-449n3+3525n2-6823.3n+5520.33，n＝(u-0.3320)/(0.1858-v)，u＝(4*X')/(X'+15*Y'+3*Z')，v＝(9*Y')/(X'+15*Y'+3*Z')，其中，CCT表示色温值，u和v表示色度坐标；
对所述第一场景的每帧图像的每个像素点的色温值进行平均计算，获得所述第一场景的每帧图像的色温值。
具体的，所述确定所述第一场景的每帧图像的明暗度，具体包括：
计算所述第一场景的每帧图像的像素值；
将所述第一场景的每帧图像的像素值进行平均计算，获得灰度均值；
根据所述第一场景的每帧图像中超过所述灰度均值的区域占比和不超过所述灰度均值的区域占比，确定所述第一场景的每帧图像的明暗度。
该实施例中，McCamy公式是一种近似估算色温值的方法，通过将图像从RGB色彩空间转换为XYZ色彩空间，并对转换后的XYZ值进行归一化后，再采用McCamy公式计算得出色温值，其具体步骤如下。
第一步，确定第三视频素材集合中第一场景的每帧图像的每个像素点的RGB颜色空间的原始值：对于给定的RGB颜色空间中的像素值，首先将其转换为[0,1]范围内的原始值。这可以通过将每个RGB通道的像素值除以其最大值(通常为255)来实现。
R'＝R/255
G'＝G/255
B'＝B/255
第二步，校正RGB值：由于不同光源和显示设备可能存在色彩偏差，需要对RGB值进行校正，以便更好地反映人眼对不同颜色的感知。
R”＝(R'/(R'+G'+B'))*R'
G”＝(G'/(R'+G'+B'))*G'
B”＝(B'/(R'+G'+B'))*B'
第三步，计算XYZ值：根据CIE 1931标准，使用颜色转换矩阵将校正后的RGB值转换为XYZ色彩空间的归一化坐标。
X＝0.4124564*R”+0.3575761*G”+0.1804375*B”
Y＝0.2126729*R”+0.7151522*G”+0.0721750*B”
Z＝0.0193339*R”+0.1191920*G”+0.9503041*B”
第四步，归一化坐标：为了确保每个通道的值在0到1之间，可以对XYZ值进行归一化处理。
X'＝X/(X+Y+Z)
Y'＝Y/(X+Y+Z)
Z'＝Z/(X+Y+Z)
第五步，计算色度坐标u和v：通过色度坐标公式，对经过归一化处理的XYZ值进行计算，得到色度坐标u和v。
u＝(4*X')/(X'+15*Y'+3*Z')
v＝(9*Y')/(X'+15*Y'+3*Z')
第六步，计算色温值：根据色度坐标，计算出每个像素点的色温值。
CCT＝-449n3+3525n2-6823.3n+5520.33
n＝(u-0.3320)/(0.1858-v)
计算第一场景的每帧图像的明暗度时，将RGB图像的每个像素的R、G和B通道的值取平均，得到灰度图像的像素值，再对灰度图像中的所有像素值求平均，得到图像的灰度均值。根据灰度均值，可以划分图像的明暗度。这个划分可以根据具体需求和应用场景进行定义。一种常见的方法是将灰度均值作为阈值，将像素值小于等于阈值的区域定义为较暗的部分，而像素值大于阈值的区域定义为较亮的部分。
S104：基于素材类型，获取所述第四视频素材集合的第一标签图像，再将所述第一标签图像与第五视频素材集合进行比对，确定所述第五视频素材集合的第一视频图像；
将所述第一标签图像和所述第一视频图像进行拼接，获得目标视频图像。
该实施例中，将本方案算法封装为服务嵌入标签系统当中，对新上传的素材与素材库中的历史素材进行标签判断；当已打标签素材数量有一定量级后，结合其他素材类型(如剧情类型、结局版本等)进行优质素材的特性分析。后期也可以协助进行其他项目，例如根据素材特性的搜索与推荐，结合素材投放数据进行新素材的投放效果预测与结合预测的素材观感优化等。
比如说，色彩标签根据色温值和明暗度进行划分，而色温值包括暖色调、适中、冷色调，明暗度偏亮、适中、偏暗，当需要选择某一剧情类型的图像素材时，从第四视频素材集合中提取出第一标签图像，此时第一标签图像的色彩标签可能包含暖色调和明暗度适中，那么将第一标签图像跟第五视频素材集合中的每个图像进行比对时，不仅要考虑两者的素材类型(如剧情类型、结局版本等)是相同或者近似的，还要考虑到其色温值和明暗度是否在同一范围内，最终确定出素材类型(如剧情类型、结局版本等)相同或相似、暖色调和明暗度适中的第一视频图像，再将第一标签图像和第一视频图像进行拼接，获得所需要的目标图像。
参照图2，本发明实施例还提供了一种视频素材的色彩标签提取装置2，所述装置2具体包括：
裁剪模块201，用于获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行删除后获得第二视频素材集合；
场景划分模块202，用于检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合；
标签划分模块203，用于基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，然后根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分，获得第四视频素材集合；
第一拼接模块204，用于基于素材类型，获取所述第四视频素材集合的第一标签图像，再将所述第一标签图像与第五视频素材集合进行比对，确定所述第五视频素材集合的第一视频图像；
第二拼接模块205，用于将所述第一标签图像和所述第一视频图像进行拼接，获得目标视频图像。
可以理解的是，如图1所示的视频素材的色彩标签提取方法实施例中的内容均适用于本视频素材的色彩标签提取装置实施例中，本视频素材的色彩标签提取装置实施例所具体实现的功能与如图1所示的视频素材的色彩标签提取方法实施例相同，并且达到的有益效果与如图1所示的视频素材的色彩标签提取方法实施例所达到的有益效果也相同。
需要说明的是，上述装置之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
参照图3，本发明实施例还提供了一种计算机设备3，包括：存储器302和处理器301及存储在存储器302上的计算机程序303，当所述计算机程序303在处理器301上被执行时，实现如上述方法中任一项所述的视频素材的色彩标签提取方法。
所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该计算机设备3可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器302在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器302在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器302还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器302用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的视频素材的色彩标签提取方法。
该实施例中，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
Claims (10)
1.一种视频素材的色彩标签提取方法，其特征在于，所述方法具体包括：
获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合；
检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合；
基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，然后根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分，获得第四视频素材集合；
基于素材类型，获取所述第四视频素材集合的第一标签图像，再将所述第一标签图像与第五视频素材集合进行比对，确定所述第五视频素材集合的第一视频图像；
将所述第一标签图像和所述第一视频图像进行拼接，获得目标视频图像。
2.根据权利要求1所述的方法，其特征在于，所述基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行裁剪后获得第二视频素材集合，具体包括：
基于选择性搜索算法对所述第一视频素材集合进行区域提取，生成候选区域集合；
基于OCR算法提取所述候选区域集合的文字并转换为可识别文本，从所述可识别文本中提取标志时间戳；
根据所述标志时间戳确定所述第一视频素材集合中存在标志的第一视频素材；
裁剪所述第一视频素材集合中存在标志的第一视频素材。
3.根据权利要求1所述的方法，其特征在于，所述检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合，具体包括：
将所述第二视频素材集合中每连续两帧图像转换为灰度图像，再将转换为灰度图像的每连续两帧图像进行逐像素的差异计算，获得差异点集合；
根据所述差异点集合设置差异阈值；
判断所述差异点集合中每个差异点的差异值是否超过所述差异阈值，根据超过所述差异阈值的差异点进行场景划分，确定第三视频素材集合。
4.根据权利要求3所述的方法，其特征在于，所述将转换为灰度图像的每连续两帧图像进行逐像素的差异计算，具体包括：
判断转换为灰度图像的每连续两帧图像之间的尺寸是否相同，若判断为否，将每连续两针图像之间的尺寸调整一致；
根据差异值公式，对转换为灰度图像的每连续两帧图像之间具有相同坐标的每个像素进行差异计算，所述差异值公式满足D＝|A(x,y)-B(x,y)|，其中，D表示差异值，A(x,y)表示图像A在坐标(x,y)上的像素值，B(x,y)表示图像B在坐标(x,y)的像素值；
对每个像素之间的差异值进行平均计算，获得每连续两帧图像之间的差异点的差异值。
5.根据权利要求1所述的方法，其特征在于，所述基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，具体包括：
根据McCamy公式确定所述第三视频素材集合中第一场景的每帧图像的色温值；
将所述第一场景的每帧图像的色温值进行平均计算，获得所述第一场景的目标色温值；
确定所述第一场景的每帧图像的明暗度；
将所述第一场景的每帧图像的明暗度进行平均计算，获得所述第一场景的目标明暗度。
6.根据权利要求5所述的方法，其特征在于，所述根据McCamy公式确定所述第三视频素材集合中第一场景的每帧图像的色温值，具体包括：
根据颜色转换矩阵，将所述第三视频素材集合中第一场景的每帧图像的每个像素点的RGB值转换为XYZ值；
对所述第一场景的每帧图像的每个像素点的XYZ值进行归一化处理，获得X'Y'Z'值；；
根据McCamy公式对X'Y'Z'值进行计算，获得所述第一场景的每帧图像的每个像素点的色温值，所述McCamy公式满足CCT＝-449n3+3525n2-6823.3n+5520.33，n＝(u-0.3320)/(0.1858-v)，u＝(4*X')/(X'+15*Y'+3*Z')，v＝(9*Y')/(X'+15*Y'+3*Z')，其中，CCT表示色温值，u和v表示色度坐标；
对所述第一场景的每帧图像的每个像素点的色温值进行平均计算，获得所述第一场景的每帧图像的色温值。
7.根据权利要求5所述的方法，其特征在于，所述确定所述第一场景的每帧图像的明暗度，具体包括：
计算所述第一场景的每帧图像的像素值；
将所述第一场景的每帧图像的像素值进行平均计算，获得灰度均值；
根据所述第一场景的每帧图像中超过所述灰度均值的区域占比和不超过所述灰度均值的区域占比，确定所述第一场景的每帧图像的明暗度。
8.一种视频素材的色彩标签提取装置，其特征在于，所述装置具体包括：
裁剪模块，用于获取第一视频素材集合，基于选择性搜索算法和OCR算法确定所述第一视频素材集合中存在标志的第一视频素材，对存在标志的第一视频素材进行删除后获得第二视频素材集合；
场景划分模块，用于检测所述第二视频素材集合的每连续二帧图像之间的变化差异后进行场景划分，确定第三视频素材集合；
标签划分模块，用于基于色温值算法和明暗度算法确定所述第三视频素材集合中每个场景的色温值和明暗度，然后根据每个场景的色温值和明暗度之间的数值差异进行色彩标签划分，获得第四视频素材集合；
第一拼接模块，用于基于素材类型，获取所述第四视频素材集合的第一标签图像，再将所述第一标签图像与第五视频素材集合进行比对，确定所述第五视频素材集合的第一视频图像；
第二拼接模块，用于将所述第一标签图像和所述第一视频图像进行拼接，获得目标视频图像。
9.一种计算机设备，其特征在于，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如权利要求1至7中任一项所述的视频素材的色彩标签提取方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至7中任一项所述的视频素材的色彩标签提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310595475.9A CN116600105B (zh) | 2023-05-25 | 2023-05-25 | 一种视频素材的色彩标签提取方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310595475.9A CN116600105B (zh) | 2023-05-25 | 2023-05-25 | 一种视频素材的色彩标签提取方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116600105A true CN116600105A (zh) | 2023-08-15 |
| CN116600105B CN116600105B (zh) | 2023-10-17 |
Family
ID=87598894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310595475.9A Active CN116600105B (zh) | 2023-05-25 | 2023-05-25 | 一种视频素材的色彩标签提取方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116600105B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110188836A1 (en) * | 2008-05-28 | 2011-08-04 | Mirriad Limited | Apparatus and Method for Identifying Insertion Zones in Video Material and for Inserting Additional Material into the Insertion Zones |
| CN109996011A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 视频剪辑装置及方法 |
| CN110765882A (zh) * | 2019-09-25 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种视频标签确定方法、装置、服务器及存储介质 |
| CN113852858A (zh) * | 2021-08-19 | 2021-12-28 | 阿里巴巴（中国）有限公司 | 视频处理方法及电子设备 |
| CN114025232A (zh) * | 2021-10-22 | 2022-02-08 | 上海硬通网络科技有限公司 | 视频素材剪切方法、装置、终端设备以及可读存储介质 |
| CN114120169A (zh) * | 2021-10-19 | 2022-03-01 | 安徽尚趣玩网络科技有限公司 | 视频场景识别方法、装置、设备及可读存储介质 |
| CN114417058A (zh) * | 2022-01-06 | 2022-04-29 | 百果园技术(新加坡)有限公司 | 一种视频素材的筛选方法、装置、计算机设备和存储介质 |
-
2023
- 2023-05-25 CN CN202310595475.9A patent/CN116600105B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110188836A1 (en) * | 2008-05-28 | 2011-08-04 | Mirriad Limited | Apparatus and Method for Identifying Insertion Zones in Video Material and for Inserting Additional Material into the Insertion Zones |
| CN109996011A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 视频剪辑装置及方法 |
| CN110765882A (zh) * | 2019-09-25 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种视频标签确定方法、装置、服务器及存储介质 |
| CN113852858A (zh) * | 2021-08-19 | 2021-12-28 | 阿里巴巴（中国）有限公司 | 视频处理方法及电子设备 |
| CN114120169A (zh) * | 2021-10-19 | 2022-03-01 | 安徽尚趣玩网络科技有限公司 | 视频场景识别方法、装置、设备及可读存储介质 |
| CN114025232A (zh) * | 2021-10-22 | 2022-02-08 | 上海硬通网络科技有限公司 | 视频素材剪切方法、装置、终端设备以及可读存储介质 |
| CN114417058A (zh) * | 2022-01-06 | 2022-04-29 | 百果园技术(新加坡)有限公司 | 一种视频素材的筛选方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116600105B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705405B (zh) | 目标标注的方法及装置 | |
| EP2959454A1 (en) | Method, system and software module for foreground extraction | |
| CN111583180B (zh) | 一种图像的篡改识别方法、装置、计算机设备及存储介质 | |
| CN111325769A (zh) | 一种目标对象检测方法及装置 | |
| CN112749696B (zh) | 一种文本检测方法及装置 | |
| CN111784675A (zh) | 物品纹理信息处理的方法、装置、存储介质及电子设备 | |
| KR20030029187A (ko) | 영상 의존적인 얼굴 영역 추출방법 | |
| CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN111199567B (zh) | 车道线绘制方法、装置及终端设备 | |
| CN111178359A (zh) | 车牌号码识别方法、装置和设备及计算机存储介质 | |
| JP5338762B2 (ja) | ホワイトバランス係数算出装置及びプログラム | |
| Liu et al. | Splicing forgery exposure in digital image by detecting noise discrepancies | |
| CN112949423B (zh) | 物体识别方法、物体识别装置及机器人 | |
| CN112818983B (zh) | 一种利用图片相识度判断字符倒置的方法 | |
| CN116600105B (zh) | 一种视频素材的色彩标签提取方法、装置、设备及介质 | |
| CN112580629A (zh) | 一种基于深度学习的车牌字符识别方法以及相关装置 | |
| CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
| CN111539975A (zh) | 一种运动目标的检测方法、装置、设备及存储介质 | |
| CN111160340A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| CN112989924B (zh) | 目标检测方法、目标检测装置及终端设备 | |
| JP5979008B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN113127863B (zh) | 恶意代码的检测方法、装置、计算机设备和存储介质 | |
| KR100722966B1 (ko) | 차량 번호판 영상 최적화 방법 | |
| CN111340677A (zh) | 视频水印检测方法、装置、电子设备、计算机可读介质 | |
| JP4253265B2 (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |