CN108615042A - 视频格式识别的方法和装置以及播放器 - Google Patents
视频格式识别的方法和装置以及播放器 Download PDFInfo
- Publication number
- CN108615042A CN108615042A CN201611132265.2A CN201611132265A CN108615042A CN 108615042 A CN108615042 A CN 108615042A CN 201611132265 A CN201611132265 A CN 201611132265A CN 108615042 A CN108615042 A CN 108615042A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- target
- sub
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims description 91
- 238000009826 distribution Methods 0.000 claims description 63
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种视频格式识别的方法和装置以及播放器,涉及多媒体领域,该方法包括:从视频中提取至少一帧目标图像;通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,第一预设相似度计算方式包括:获取目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据第一相似度和第二相似度在目标图像中确定目标子图像,对目标子图像中的每个子图像进行划分得到图像块,并根据图像块得到目标图像对应的目标相似度;其中,目标子图像包括第一子图像和第二子图像;或者,包括第三子图像和第四子图像;根据得到的目标相似度确定视频的格式。
Description
技术领域
本公开涉及多媒体领域,具体地,涉及一种视频格式识别的方法和装置以及播放器。
背景技术
随着多媒体技术的发展和网络的普及,视频的格式越来越多,一般地,视频的格式包括2D格式和3D格式,3D格式又分为左右格式的3D视频和上下格式的3D视频,播放器在播放视频时,需要对待播放的视频格式进行识别,从而根据不同的格式采取不同的处理方法进行播放。
目前采用的视频格式识别方法是对颜色的特征值进行提取,并计算特征值的特征差异,从而根据特征差异进行视频格式的判断。但是,由于颜色的特征值的提取需要获取R、G、B(红、绿、蓝)三个通道的特征信息,因此对颜色特征值提取的计算复杂度较高,使得该方法的计算量大,从而影响了数据处理的效率,占用较多的系统资源,而且,在进行特征值提取的过程中,通常提取的是轮廓信息和特征点信息,这类特征不仅计算复杂度高,而且在特征匹配过程中易出现误匹配。
发明内容
本公开的目的是提供一种视频格式识别的方法和装置以及播放器,能够在进行视频格式识别时,提高对图像数据处理的效率和视频格式识别的准确率。
一方面,本公开的目的是提供一种视频格式识别的方法,该方法包括:
从视频中提取至少一帧目标图像;通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,所述第一预设相似度计算方式包括:获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据所述第一相似度和所述第二相似度在所述目标图像中确定目标子图像,对所述目标子图像中的每个子图像进行划分得到图像块,并根据所述图像块得到所述目标图像对应的目标相似度;其中,所述行方向与所述目标图像的顶部到底部的方向垂直,所述列方向与所述行方向垂直;所述目标子图像包括所述第一子图像和所述第二子图像;或者,包括所述第三子图像和所述第四子图像;根据得到的目标相似度确定所述视频的格式。
可选地,所述从视频中提取至少一帧目标图像包括:从所述视频中获取至少一帧图像;将获取的每一帧图像转换成YUV格式的图像,并提取Y通道图像得到所述至少一帧目标图像。
可选地,在所述获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度之前,还包括:获取所述目标图像的特征信息,其中,所述特征信息包括亮度信息;所述获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度包括:根据所述特征信息采用第二预设相似度计算方式获取所述目标图像在行方向上划分的第一子图像和第二子图像之间的第一相似度,并根据所述特征信息采用所述第二预设相似度计算方式获取所述目标图像在列方向上划分的第三子图像和第四子图像之间的第二相似度。
可选地,所述第二预设相似度计算方式包括:根据所述亮度信息获取两个子图像的像素分布集合,所述像素分布集合包括所述子图像中每个亮度信息在所述子图像中的像素数量与所述子图像中全部像素数量的比值;根据两个所述子图像的像素分布集合通过以下公式得到所述第一相似度或所述第二相似度:
Sim(H1,H2)=w1Sim1(H1,H2)+w2Sim2(H1,H2);
其中,H1为两个所述子图像中任一个子图像的像素分布集合,记为第一像素分布集合,H2为所述两个所述子图像中另一个子图像的像素分布集合,记为第二像素分布集合,Sim(H1,H2)为所述第一相似度或所述第二相似度,w1和w2为预设权值,且w1+w2=1,
其中,G为所述目标图像的亮度信息集合,所述亮度信息集合包括{0,1,2,3,...,255},H1(g)为所述亮度信息集合中第g个亮度信息在所述第一像素分布集合中对应的比值,H2(g)为所述亮度信息集合中第g个亮度信息在所述第二像素分布集合中对应的比值。
可选地,所述对所述目标子图像中的每个子图像进行划分得到图像块,并根据所述图像块得到所述目标图像对应的目标相似度包括:将所述目标子图像中的每个子图像划分为多个图像块得到第一划分图像和第二划分图像;计算所述第一划分图像中每个第一图像块与所述第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵,根据所述相似度矩阵得到所述目标相似度,其中,所述第二划分图像中对应的第二图像块为在第二划分图像中的位置与所述第一图像块在第一划分图像中的位置相同的第二图像块。
可选地,所述根据所述相似度矩阵得到所述目标相似度包括:根据所述相似度矩阵和预设相似度权值矩阵得到所述目标相似度,其中,所述预设相似度权值矩阵中的权值的位置离所述预设相似度权值矩阵的中心位置越近,则所述权值越大。
可选地,所述根据得到的目标相似度确定所述视频的格式包括:在提取一帧目标图像时,若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第一子图像和第二子图像,确定所述视频为上下格式的3D视频;若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第三子图像和第四子图像,确定所述视频为左右格式的3D视频;若确定所述目标相似度小于所述预设相似度阈值,确定所述视频为2D视频。
可选地,所述根据得到的目标相似度确定所述视频的格式包括:在提取多帧目标图像时,根据每帧目标图像对应的目标相似度和预设相似度阈值确定待确认视频格式,并确定全部待确认视频格式中相同格式的数量,并确定数量最多的待确认视频格式为所述视频的格式。
可选地,在所述通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度之前,所述方法还包括:根据所述目标图像的亮度信息确定所述目标图像的图像信息是否丰富;所述通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度包括:在确定所述目标图像的图像信息丰富时,通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度。
可选地,所述根据所述目标图像的亮度信息确定所述目标图像的图像信息是否丰富包括:确定所述目标图像中相同亮度信息的像素点的数量;获取所述像素点的数量的最大值与所述目标图像中全部像素点的数量的比例值;在所述比例值大于第一预设阈值且小于等于1时,确定所述目标图像的图像信息不丰富;在所述比例值小于或等于所述第一预设阈值且大于0时,确定所述目标图像的图像信息丰富。
可选地,在确定所述目标图像的图像信息丰富后,所述方法还包括:根据所述比例值更新所述预设相似度阈值。
可选地,所述根据所述比例值更新所述预设相似度阈值包括:在所述比例值小于或等于所述第一预设阈值且大于第二预设阈值时,将所述预设相似度阈值更新为第一预定值,其中,所述第一预定值大于所述预设相似度阈值;所述第一预设阈值大于所述第二预设阈值;在所述比例值小于或等于所述第二预设值且大于0时,将所述预设相似度阈值更新为第二预定值,其中,所述第二预定值小于所述预设相似度阈值。
可选地,所述方法还包括:在确定所述目标图像的图像信息不丰富时,重新从所述视频中提取目标图像,并确定重新提取的目标图像的图像信息是否丰富,直至确定所述重新提取的目标图像的图像信息丰富。
另一方面,本公开提供一种视频格式识别的装置,包括:提取模块,用于从视频中提取至少一帧目标图像;处理模块,用于通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,所述第一预设相似度计算方式包括:获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据所述第一相似度和所述第二相似度在所述目标图像中确定目标子图像,对所述目标子图像中的每个子图像进行划分得到图像块,并根据所述图像块得到所述目标图像对应的目标相似度;其中,所述行方向与所述目标图像的顶部到底部的方向垂直,所述列方向与所述行方向垂直;所述目标子图像包括所述第一子图像和所述第二子图像;或者,包括所述第三子图像和所述第四子图像;识别模块,用于根据得到的目标相似度确定所述视频的格式。
可选地,所述提取模块,用于从所述视频中获取至少一帧图像;将获取的每一帧图像转换成YUV格式的图像,并提取Y通道图像作为目标图像得到所述至少一帧目标图像。
可选地,所述装置还包括:获取模块,用于获取所述目标图像的特征信息,所述特征信息包括亮度信息;所述处理模块,用于根据所述特征信息采用第二预设相似度计算方式获取所述目标图像在行方向上划分的第一子图像和第二子图像之间的第一相似度,并根据所述特征信息采用所述第二预设相似度计算方式获取所述目标图像在列方向上划分的第三子图像和第四子图像之间的第二相似度。
可选地,所述处理模块包括:第一获取子模块,用于根据所述亮度信息获取两个子图像的像素分布集合,所述像素分布集合包括所述子图像中每个亮度信息在所述子图像中的像素数量与所述子图像中全部像素数量的比值;第一计算子模块,用于根据两个所述子图像的像素分布集合通过以下公式得到所述第一相似度或所述第二相似度:Sim(H1,H2)=w1Sim1(H1,H2)+w2Sim2(H1,H2);其中,H1为两个所述子图像中任一个子图像的像素分布集合,记为第一像素分布集合,H2为所述两个所述子图像中另一个子图像的像素分布集合,记为第二像素分布集合,Sim(H1,H2)为所述第一相似度或所述第二相似度,w1和w2为预设权值,且w1+w2=1,
其中,G为所述目标图像的亮度信息集合,所述亮度信息集合包括{0,1,2,3,...,255},H1(g)为所述亮度信息集合中第g个亮度信息在所述第一像素分布集合中对应的比值,H2(g)为所述亮度信息集合中第g个亮度信息在所述第二像素分布集合中对应的比值。
可选地,所述处理模块包括:划分子模块,用于将所述目标子图像中的每个子图像划分为多个图像块得到第一划分图像和第二划分图像;第二计算子模块,用于计算所述第一划分图像中每个第一图像块与所述第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵,其中,所述第二划分图像中对应的第二图像块为在第二划分图像中的位置与所述第一图像块在第一划分图像中的位置相同的第二图像块;处理子模块,用于根据所述相似度矩阵得到所述目标相似度。
可选地,所述处理子模块,用于根据所述相似度矩阵和预设相似度权值矩阵得到所述目标相似度,其中,所述预设相似度权值矩阵中的权值的位置离所述预设相似度权值矩阵的中心位置越近,则所述权值越大。
可选地,所述识别模块,用于在提取一帧目标图像时,若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第一子图像和第二子图像,确定所述视频为上下格式的3D视频;若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第三子图像和第四子图像,确定所述视频为左右格式的3D视频;若确定所述目标相似度小于所述预设相似度阈值,确定所述视频为2D视频。
可选地,所述识别模块,用于在提取多帧目标图像时,根据每帧目标图像对应的目标相似度和预设相似度阈值确定待确认视频格式,并确定全部待确认视频格式中相同格式的数量,并确定数量最多的待确认视频格式为所述视频的格式。
可选地,所述装置还包括:判断模块,用于根据所述目标图像的亮度信息确定所述目标图像的图像信息是否丰富;所述处理模块,用于在确定所述目标图像的图像信息丰富时,通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度。
可选地,所述判断模块,用于确定所述目标图像中相同亮度信息的像素点的数量,并获取所述像素点的数量的最大值与所述目标图像中全部像素点的数量的比例值;在所述比例值大于第一预设阈值且小于等于1时,确定所述目标图像的图像信息不丰富;在所述比例值小于或等于所述第一预设阈值且大于0时,确定所述目标图像的图像信息丰富。
可选地,所述装置还包括:更新模块,用于根据所述比例值更新所述预设相似度阈值。
可选地,所述更新模块,用于在所述比例值小于或等于所述第一预设阈值且大于第二预设阈值时,将所述预设相似度阈值更新为第一预定值,其中,所述第一预定值大于所述预设相似度阈值;在所述比例值小于或等于所述第二预设值且大于0时,将所述预设相似度阈值更新为第二预定值,其中,所述第二预定值小于所述预设相似度阈值;所述第一预设阈值大于所述第二预设阈值。
可选地,所述装置还包括:重获取模块,用于在确定所述目标图像的图像信息不丰富时,重新从所述视频中提取目标图像,并确定重新提取的目标图像的图像信息是否丰富,直至确定所述重新提取的目标图像的图像信息丰富。
又一方面,提供一种播放器,包括上述视频格式识别的装置。
通过上述方案,从视频中提取至少一帧目标图像;通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,该第一预设相似度计算方式包括:获取该目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及该目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据该第一相似度和该第二相似度在该目标图像中确定目标子图像,对该目标子图像中的每个子图像进行划分得到图像块,并根据该图像块得到该目标图像对应的目标相似度;其中,该行方向与该目标图像的顶部到底部的方向垂直,该列方向与该行方向垂直;该目标子图像包括该第一子图像和该第二子图像;或者,包括该第三子图像和该第四子图像;根据得到的目标相似度确定该视频的格式。这样,在进行视频格式的识别时,只需要对目标图像划分得到的子图像进行再次划分得到图像块,并根据该图像块计算目标子图像对应的目标相似度,从而根据目标相似度确定视频的格式,避免了对图像颜色特征值的提取,减少了计算量,提高了对图像数据处理的效率,节约了系统资源,并提高了视频格式识别的准确率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开一示例性实施例提供的一种视频格式识别的方法的流程示意图;
图2a是本公开一示例性实施例提供的一种目标图像划分示意图;
图2b是本公开一示例性实施例提供的另一种目标图像的划分示意图;
图3是本公开一示例性实施例提供的另一种视频格式识别的方法的流程示意图;
图4是本公开一示例性实施例提供的一种目标相似度计算方法的流程示意图;
图5a是本公开一示例性实施例提供的一种目标子图像上下划分的示意图;
图5b是本公开一示例性实施例提供的另一种目标子图像上下划分的示意图;
图5c是本公开一示例性实施例提供的第三种目标子图像上下划分的示意图;
图6a是本公开一示例性实施例提供的一种目标子图像左右划分的示意图;
图6b是本公开一示例性实施例提供的另一种目标子图像左右划分的示意图;
图6c是本公开一示例性实施例提供的第三种目标子图像左右划分的示意图;
图7是本公开一示例性实施例提供的一种视频格式识别的装置的结构示意图;
图8是本公开一示例性实施例提供的另一种视频格式识别的装置的结构示意图;
图9是本公开一示例性实施例提供的第三种视频格式识别的装置的结构示意图;
图10是本公开一示例性实施例提供的第四种视频格式识别的装置的结构示意图;
图11是本公开一示例性实施例提供的第五种视频格式识别的装置的结构示意图;
图12是本公开一示例性实施例提供的第六种视频格式识别的装置的结构示意图。
图13是本公开一示例性实施例提供的第七种视频格式识别的装置的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是本公开实施例提供的一种视频格式识别的方法,如图1所示,该方法可以应用于播放器,包括:
S101、从视频中提取至少一帧目标图像。
S102、通过第一预设相似度计算方式获取每帧目标图像中每个目标图像对应的目标相似度。
其中,该预设相似度计算方式包括:
获取该目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及该目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据该第一相似度和该第二相似度在该目标图像中确定目标子图像,对该目标子图像中的每个子图像进行划分得到图像块,并根据该图像块得到该目标图像对应的目标相似度;其中,该行方向与该目标图像的顶部到底部的方向垂直,该列方向与该行方向垂直;该目标子图像包括该第一子图像和该第二子图像;或者,包括该第三子图像和该第四子图像。
示例地,如图2a所示,可以沿着该目标图像在行方向上的中线对该目标图像进行划分,得到上图像和下图像(相当于第一子图像和第二子图像),划分后的上图像和下图像包含的像素点的数量相同;如图2b所示,可以沿着该目标图像在列方向上的中线对该目标图像进行划分,得到左图像和右图像(相当于第三子图像和第四子图像),划分后的左图像和右图像包含的像素点的数量相同。
需要说明的是,上述上图像、下图像和左图像以及右图像并不是对图像的具体限定,而是按照图2a和图2b中所示的方位对该图像进行的示例性的区分,其中的“上”、“下”、“左”、“右”仅仅表示图2a和图2b中所示的方位,当目标图像的方位发生变化时,则对应的子图像的方位也可能相应地发生变化,例如,将图2a所示的目标图像旋转180度后,则图2a中的“上图像”则为旋转后的目标图像中的“下图像”,图2a中的“下图像”则为旋转后的目标图像中的“上图像”;将图2b所示的目标图像旋转180度后,则图2b中的“左图像”则为旋转后的目标图像中的“右图像”,图2a中的“右图像”则为旋转后的目标图像中的“左图像”。
在本步骤中,若确定该目标子图像包括该第一子图像和该第二子图像,则通过后续步骤S103确定该视频的格式为上下格式的3D视频或者2D视频,若确定该目标子图像包括该第三子图像和该第四子图像,则通过后续步骤S103确定该视频的格式为左右格式的3D视频或者2D视频。
S103、根据得到的目标相似度确定该视频的格式。
其中,该视频的格式可以是左右格式的3D、上下格式的3D或者2D格式。
采用上述方法,在进行视频格式的识别时,只需要对目标图像划分得到的子图像进行再次划分得到图像块,并根据该图像块计算目标子图像对应的目标相似度,从而根据目标相似度确定视频的格式,避免了对图像颜色特征值的提取,减少了计算量,提高了对图像数据处理的效率,节约了系统资源,并提高了视频格式识别的准确率。
图3为本公开实施例提供的一种视频格式识别的方法,如图3所示,该方法可以应用于播放器,为了方便说明,在本实施例中,参照上述图2a和图2b所示的方位,以第一子图像和第二子图像为上图像和下图像,第三子图像和第四子图像为左图像和右图像为例进行说明,该方法包括:
S301、获取视频。
S302、从该视频中提取至少一帧图像,并将每一帧图像转换成YUV格式的图像,并提取Y通道图像作为目标图像得到至少一帧目标图像。
其中,在该YUV格式的图像中,“Y”通道表示亮度;而“U”通道和“V”通道表示的是色度,作用是描述影像色彩及饱和度,用于指定像素的颜色。
这样,相比于现有技术需要提取三个通道的特征信息,本公开只需要获取一个通道上的信息,减少了计算量,提高了后续数据处理的效率。
需要说明的是,在得到该目标图像后,为了方便后续对该目标图像的处理,可以对该目标进行预处理,从而加快后续的处理速度,节约处理时间,提高处理效率。
示例地,该预处理可以是对目标图像进行图像缩放,图像缩放可以利用简单的最近邻插值算法,也可以使用双线性插值或者双三次插值算法,本公开对此不作限定。另外,在进行缩放时,可以根据目标对象原始分辨率的大小进行不同缩放倍数的缩放,以将该目标图像缩放到预设的标准尺寸,而对于原始尺寸小于预设的标准尺寸的目标图像,可以直接采用原始尺寸进行处理。
S303、通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度。
在本步骤中,如图4所示,该第一预设相似度计算方式可以包括以下步骤:
S401、获取该目标图像的亮度信息。
S402、根据该亮度信息确定该目标图像的图像信息是否丰富。
在本步骤中,可以通过以下步骤确定该目标图像的图像信息是否丰富:
S11、确定该目标图像中相同亮度信息的像素点的数量。
S12、获取该像素点的数量的最大值与该目标图像中全部像素点的数量的比例值。
示例地,可以对该目标图像进行直方图统计得到目标图像的亮度直方图,该亮度直方图横坐标代表图像的亮度信息的范围[0,255],纵坐标代表每个亮度信息在图像中的像素数量占所有目标图像像素总数的比值,在本步骤中,可以获取该亮度直方图的峰值,则该峰值即为该像素点的数量的最大值占所述目标图像的像素总数的比例值。该比例值越大,表明图像相同亮度信息的像素点越多,图像亮度分布越不均匀,图像信息越不丰富;该比例值越小,表明图像相同亮度信息的像素点越少,图像亮度分布越均匀,图像信息越丰富。
S13、在该比例值大于第一预设阈值且小于等于1时,确定该目标图像的图像信息不丰富。
如图像背景是纯色,则该目标图像的图像信息不丰富。
S14、在该比例值小于或等于该第一预设阈值且大于0时,确定该目标图像的图像信息丰富。
在确定该目标图像的图像信息不丰富时,重新从该视频中提取目标图像,并确定重新提取的目标图像的图像信息是否丰富,直至确定该重新提取的目标图像的图像信息丰富。
在确定该目标图像的图像信息丰富时,执行步骤S403和S404。
S403、将该目标图像沿行方向的中线划分为上图像和下图像,并根据该亮度信息通过第二预设相似度计算方式获取该上图像和该下图像之间的第一相似度。
其中,划分后的图像可以是如图2a所示的图像。
S404、将该目标图像沿列方向的中线划分为左图像和右图像,并根据该亮度信息通过该第二预设相似度计算方式获取该左图像和该右图像之间的第二相似度。
其中,划分后的图像可以是如图2b所示的图像。
上述步骤S403和步骤S404中的第二预设相似度计算方式可以包括以下步骤:
S21、根据该亮度信息获取两个子图像的像素分布集合,该像素分布集合包括该子图像中每个亮度信息在该子图像中的像素数量与该子图像中全部像素数量的比值。
其中,对于步骤S403来说,该两个子图像为上图像和下图像,对于步骤S404来说,该两个子图像为左图像和右图像。
S22、根据两个子图像的像素分布集合通过以下公式得到该第一相似度或该第二相似度。
考虑到采用一个指标来判断两幅图像的相似程度可能会存在不准确性的问题,因此为了避免单一指标不能较全面的衡量直方图相似性,可以选取多种指标对相似度进行计算,在一种可能的实现方式中,考虑到计算的复杂度,本实施例可以选取两种指标(即Sim1(H1,H2)和Sim2(H1,H2))对相似度进行计算,从而在确保计算复杂度低的情况下,提高相似度计算的准确性,则该公式可以为:
Sim(H1,H2)=w1Sim1(H1,H2)+w2Sim2(H1,H2);
其中,H1为两个该子图像中任一个子图像的像素分布集合,记为第一像素分布集合,H2为该两个该子图像中另一个子图像的像素分布集合,记为第二像素分布集合,Sim(H1,H2)为该第一相似度或该第二相似度,w1和w2为预设权值,且w1+w2=1。
为了进一步减少计算量,并提高得到的相似度的准确率,在本实施例中,Sim1(H1,H2)可以预设为以下公式:
Sim2(H1,H2)可以预设为以下公式:
其中,G为该目标图像的亮度信息集合,该亮度信息集合包括{0,1,2,3,...,255},H1(g)为该亮度信息集合中第g个亮度信息在该第一像素分布集合中对应的比值,H2(g)为该亮度信息集合中第g个亮度信息在该第二像素分布集合中对应的比值。
示例地,由于亮度直方图的横坐标代表图像的亮度信息的范围[0,255],纵坐标代表每个亮度信息在图像中的像素数量占所有目标图像像素总数的比值,因此,在上述步骤S21和步骤S22中,像素分布集合可以是亮度直方图,此时,H1为两个该子图像中任一个子图像的亮度直方图,记为第一亮度直方图,H2为该两个该子图像中另一个子图像的亮度直方图,记为第二亮度直方图,H1(g)为该亮度信息集合中第g个亮度信息在该第一亮度直方图中对应的值,H2(g)为该亮度信息集合中第g个亮度信息在该第二亮度直方图中对应的值。
需要说明的是,上述Sim1(H1,H2)对应的公式一和Sim2(H1,H2)对应的公式二只是示例性说明,本公开实施例并不局限于此,例如,该Sim1(H1,H2)和Sim2(H1,H2)还可以从如下五个公式中得到:
公式1:
公式2:
公式3:
公式4:
其中,k取1或2,N为第k个子图像中像素点的总数量。
公式5:
需要说明的是,上述公式中各字母表示的物理意义可以参考上述对公式一和公式二的描述,此处不再赘述。
另外,上述从五个公式中选取两个公式进行相似度的计算只是举例说明,本公开对此不作限定,也可以从五个公式中选取三个,或者更多公式进行相似度的计算,具体的计算方式可以参考上述选取两个公式进行计算的方式,此处不再赘述,当然,本公开也并不局限于从上述五个公式中选取用来计算相似度的公式,其他能够计算相似度的公式也都在本公开的保护范围之内。
S405、根据该第一相似度和第二相似度确定目标子图像是上图像和下图像还是左图像和右图像。
在一种可能的实现方式中,确定该第一相似度是否大于或者等于该第二相似度:
在确定该第一相似度大于或者等于该第二相似度时,确定上图像和下图像为目标子图像,并执行步骤S406至步骤S408;
在确定该第一相似度小于该第二相似度时,确定左图像和右图像为目标子图像,并执行步骤S409至步骤S411。
S406、将该上图像和下图像分别划分为多个图像块得到第一划分图像和第二划分图像。
在一种可能的实现方式中,可以将该上图像和下图像分别划分为m*m个图像块得到第一划分图像和第二划分图像。
其中,m为大于等于2的正整数。
例如,如图5a所示,可以将上图像和下图像按照3*3的形式进行划分,从而将上图像划分为U11,U12,U13,……,U33共9个部分得到第一划分图像,将下图像划分为D11,D12,D13,……,D33共9个部分得到第二划分图像。
在另一种可能的实现方式中,可以将该上图像和下图像分别沿行方向或者列方向划分为n个图像块得到第一划分图像和第二划分图像。
其中,n为大于等于2的正整数。
示例地,可以将该上图像和下图像分别在行方向上等分为n个图像块得到第一划分图像和第二划分图像;或者,也可以将该上图像和下图像分别在列方向上等分为n个图像块得到第一划分图像和第二划分图像。
例如,如图5b所示,可以将上图像和下图像分别在行方向上等分为5个图像块,从而将上图像划分为U1、U2、U3、U4和U5共5个部分得到第一划分图像,将下图像划分为D1、D2、D3、D4和D5共5个部分得到第二划分图像。
又如,如图5c所示,可以将上图像和下图像分别在列方向上等分为5个图像块,从而将上图像划分为U1、U2、U3、U4和U5共5个部分得到第一划分图像,将下图像划分为D1、D2、D3、D4和D5共5个部分得到第二划分图像。
需要说明的是,上述对上图像和下图像的划分只是举例说明,本公开对此不作限定。
S407、计算该第一划分图像中每个第一图像块与该第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵。
其中,该第二划分图像中对应的第二图像块为在第二划分图像中的位置与该第一图像块在第一划分图像中的位置相同的第二图像块。
示例地,以图5a所示的上图像和下图像的划分为例进行说明,依次计算U11和D11的图像相似度U12和D12的图像相似度U13和D13的图像相似度直至得到上图像中全部图像块与下图像中对应位置的图像块的图像相似度。
需要说明的是,图像相似度的计算可以参考上述对预设相似度计算方式的描述,此处不再赘述。
在全部图像块之间的图像相似度计算完成后,得到的相似度矩阵SIM可以是:
对于图5b和图5c的相似度矩阵的计算可以参考上述图5a的相似度矩阵的计算,得到的相似度矩阵可以是:
S408、根据该相似度矩阵得到该目标相似度。
在本步骤中,可以通过计算该相似度矩阵的平均值得到该目标相似度,但是,考虑到图像的主要信息可能并不是均匀分布在图像的各个位置的(如图像的主要信息可能分布在图像的中间),因此,在本发明另一实施例中,可以根据该相似度矩阵和预设相似度权值矩阵得到该目标相似度,这样,通过引入预设相似度权值矩阵对目标相似度进行计算,提高图像的主要信息所在的图像块对应的相似度在计算目标相似度时的影响度,从而在后续识别视频格式时,提高视频格式识别的准确度。
示例地,结合图5a、图5b和图5c对根据该相似度矩阵和预设相似度权值矩阵得到该目标相似度的一种可能的实现方式进行说明:
图5a所示的上图像和下图像的划分对应的预设相似度权值矩阵可以是:
其中,wij为该预设相似度权值矩阵中该上图像中的子图像块Uij与下图像中的子图像块Dij的相似度对应的预设权值,i表示该预设相似度权值矩阵中的行号,j表示该预设相似度权值矩阵中的列号。
同样地,图5b和图5c所示的上图像和下图像的划分对应的预设相似度权值矩阵可以是:
其中,wp为该预设相似度权值矩阵中该上图像中的子图像块Up与下图像中的子图像块Dp的相似度对应的预设权值,p表示该预设相似度权值矩阵中的行号。
需要说明的是,由于在大多数情况下,图像的主要信息是在图像中间位置的,且图像信息量沿中心位置向外呈递减,有时图像的四个边缘处会被加上一些标识(如台标或者LOGO)或者字幕等标注信息,如果对每个图像块计算的相似度都按同样权重处理的话,无疑是不合理的。因此,本实施例中设置的预设相似度权值矩阵中的权值的位置离该预设相似度权值矩阵的中心位置越近,则该权值越大,例如,该预设相似度权值矩阵中的权值的分布可以是高斯分布,这样,根据图像相似度对应的两个图像块在子图像中的位置(两个图像块分别位于上图像和下图像,且在上图像和下图像中的位置相同),按照离图像中心越近权值越大,离图像中心越远权值越小的预设规律设置不同的权值,可以有效降低视频四周可能存在的标识(如台标或者LOGO)或者字幕等标注信息对目标相似性计算的影响,提高图像格式识别的准确率。
例如,对于上述图5a所示的上图像和下图像按照3*3的划分,则该预设相似度权值矩阵可以是:
又如,对于上述图5b或图5c所示的上图像和下图像的划分,则该预设相似度权值矩阵可以是:
在本步骤中,在确定预设相似度权值矩阵后,可以通过以下公式得到该目标相似度:
其中,Tsim为该目标相似度,wij为该预设相似度权值矩阵W中第i行第j列的预设权值,simij为该相似度矩阵SIM中第i行第j列的图像相似度,m为该相似度矩阵的行数,n为该相似度矩阵的列数。
需要说明的是,上述图5a所示的按照3*3对上图像和下图像的划分只是示例性说明,本公开并不局限于此,例如,为了后续更准确的确定视频的格式,还可以将该上图像和下图像进行更细致的划分,如按照5*5对上图像和下图像进行划分,相应地,预设相似度权值矩阵可以是:
同样地,上述图5b和图5c所示的对上图像和下图像进行5等分也是示例性说明,还可以将该上图像和下图像进行更细致的划分,如6等分或者7等分,本公开对此不作限定。
S409、将该左图像和右图像分别划分为多个图像块得到第一划分图像和第二划分图像。
在一种可能的实现方式中,可以将该左图像和右图像分别划分为m*m个图像块得到第一划分图像和第二划分图像。
其中,m为大于等于2的正整数。
示例地,如图6a所示,可以将左图像和右图像按照3*3的形式进行划分,从而将左图像划分为L11,L12,L13,……,L33共9个部分得到第一划分图像,将右图像划分为R11,R12,R13,……,R33共9个部分得到第二划分图像。
在另一种可能的实现方式中,可以将该左图像和右图像分别沿行方向或者列方向划分为n个图像块得到第一划分图像和第二划分图像。
其中,n为大于等于2的正整数。
示例地,可以将该左图像和右图像分别在行方向上等分为n个图像块得到第一划分图像和第二划分图像;或者,也可以将该左图像和右图像分别在列方向上等分为n个图像块得到第一划分图像和第二划分图像。
例如,如图6b所示,可以将左图像和右图像分别在行方向上等分为5个图像块,从而将左图像划分为U1、U2、U3、U4和U5共5个部分得到第一划分图像,将右图像划分为D1、D2、D3、D4和D5共5个部分得到第二划分图像。
又如,如图6c所示,可以将左图像和右图像分别在列方向上等分为5个图像块,从而将左图像划分为U1、U2、U3、U4和U5共5个部分得到第一划分图像,将右图像划分为D1、D2、D3、D4和D5共5个部分得到第二划分图像。
需要说明的是,上述对左图像和右图像的划分只是举例说明,本公开对此不作限定。
S410、计算该第一划分图像中每个第一图像块与该第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵。
其中,该第二划分图像中对应的第二图像块为在第二划分图像中的位置与该第一图像块在第一划分图像中的位置相同的第二图像块。
示例地,以图6a所示的左图像和右图像的划分为例进行说明,依次计算L11和R11的图像相似度L12和R12的图像相似度L13和R13的图像相似度直至得到上图像中全部图像块与下图像中对应位置的图像块的图像相似度。
需要说明的是,图像相似度的计算可以参考上述对第二预设相似度计算方式的描述,即可以采用上述计算第一相似度或第二相似度的计算公式计算该图像相似度,此处不再赘述。
在全部图像块之间的图像相似度计算完成后,得到的相似度矩阵可以是:
对于图6b和图6c的相似度矩阵的计算可以参考上述图6a的相似度矩阵的计算,得到的相似度矩阵可以是:
S411、根据该相似度矩阵得到该目标相似度。
同样地,参考上述步骤S408的描述,在本发明另一实施例中,可以根据该相似度矩阵和预设相似度权值矩阵得到该目标相似度。
示例地,结合图6a、图6b和图6c对根据该相似度矩阵和预设相似度权值矩阵得到该目标相似度的一种可能的实现方式进行说明:
以图6a所示的左图像和右图像的划分对应的预设相似度权值矩阵W可以是:
其中,wij为该预设相似度权值矩阵W中该左图像中的子图像块Lij与右图像中的子图像块Rij的相似度对应的预设权值,i表示该预设相似度权值矩阵中的行号,j表示该预设相似度权值矩阵中的列号。
图6b或图6c所示的左图像和右图像的划分对应的预设相似度权值矩阵可以是:
其中,wq为该预设相似度权值矩阵中该左图像中的子图像块Lq与右图像中的子图像块Rq的相似度对应的预设权值,q表示该预设相似度权值矩阵中的列号。
同样地,参考上述上图像和下图像中关于预设相似度权值矩阵的描述,本实施例中设置的预设相似度权值矩阵中的权值的位置离该预设相似度权值矩阵的中心位置越近,则该权值越大,例如,该预设相似度权值矩阵中的权值的分布可以是高斯分布,这样,根据图像相似度对应的两个图像块在子图像中的位置(两个图像块分别位于左图像和右图像,且在左图像和右图像中的位置相同),按照离图像中心越近权值越大,离图像中心越远权值越小的预设规律设置不同的权值,可以有效降低视频四周可能存在的标识(如台标或者LOGO)或者字幕等标注信息对目标相似性计算的影响,提高视频格式识别的准确率。
例如,对于上述图6a所示的左图像和右图像按照3*3的划分,则该预设相似度权值矩阵可以是:
又如,对于上述图6b或者图6c所示的左图像和右图像的划分,则该预设相似度权值矩阵可以是:
在本步骤中,在确定预设相似度权值矩阵后,可以通过以下公式得到该目标相似度:
其中,Tsim为该目标相似度,wij为该预设相似度权值矩阵W中第i行第j列的预设权值,simij为该相似度矩阵SIM中第i行第j列的图像相似度,m为该相似度矩阵的行数,n为该相似度矩阵的列数。
需要说明的是,上述步骤S312按照3*3对左图像和右图像的划分只是示例性说明,本公开并不局限于此,例如,为了后续更准确的确定视频的格式,还可以将该左图像和右图像进行更细致的划分,如按照5*5对左图像和右图像进行划分,相应地,预设相似度权值矩阵可以是:
同样地,上述图6b和图6c所示的对上图像和下图像进行5等分也是示例性说明,还可以将该上图像和下图像进行更细致的划分,如6等分或者7等分,对发明对此不作限定。
需要说明的是,上述步骤S401至步骤S411可以是针对提取的目标图像中的一帧目标图像的处理,本公开可以对提取的每帧目标图像都进行上述步骤S401至步骤S411的处理,从而得到提取的每帧目标图像的目标相似度。
S304、根据该目标相似度和预设相似度阈值确定该视频的格式。
需要说明的是,当步骤S12中得到的比例值越大时,则说明图像相同亮度信息的像素点越多,图像亮度分布越不均匀,图像的信息不够丰富,2D视频的图像和3D视频的图像的特征区分不明显,此时,若预设相似阈值设置的过小,则可能会将2D视频误判为3D视频,同样地,当比例值越小时,则说明图像相同亮度信息的像素点越少,图像亮度分布越均匀,图像的信息比较丰富,2D视频的图像和3D视频的图像的特征区分明显,此时,若预设相似阈值设置的过大,则可能会将3D视频误判为2D视频,为了解决上述问题,在本公开另一实施例中,在通过步骤S402确定图像信息丰富之后,根据该比例值更新该预设相似度阈值。
在一种可能的实现方式中,在该比例值小于或等于第一预设阈值且大于第二预设阈值时,表明目标图像的图像信息不是很丰富,则将该预设相似度阈值更新为第一预定值,其中,该第一预定值大于该预设相似度阈值,这样,在后续进行视频格式的识别时,避免了将2D视频误判为3D视频;在该比例值小于或等于该第二预设值且大于0时,将该预设相似度阈值更新为第二预定值,其中,该第二预定值小于该预设相似度阈值。这样,在后续进行视频格式的识别时,避免了将3D视频误判为2D视频;综上,本实施例能够根据得到的比例值对预设相似度阈值进行自适应调整,从而提高图像格式识别的准确性。
在本步骤中,在提取一帧目标图像时,若确定该目标相似度是否大于或者等于预设相似度阈值,本步骤可以根据步骤S405确定的目标子图像进行处理:若确定的目标子图像为左图像和右图像,则确定该视频为左右格式的3D视频;若确定的目标子图像为上图像和下图像,则确定该视频为上下格式的3D视频;在确定该目标相似度小于预设相似度阈值时,确定该视频为2D视频。
在提取多帧目标图像时,则首先获取每一帧目标图像的待确认视频格式,其中,该待确认视频格式的获取可以参考上述步骤S303和步骤S304中视频格式的确定,不再赘述,在确定全部待确认视频格式后,确定全部待确认视频格式中相同格式的数量,并确定数量最多的待确认视频格式为该视频的格式。
例如,若获取了10帧目标图像,并确定其中9帧目标图像的待确认视频格式为左右格式的3D视频,另外1帧目标图像的待确认视频格式为2D视频,则确定该视频为左右格式的3D视频。
上述获取的10帧目标图像只是举例说明,本公开并不局限于10帧,也可以获取其他帧数的图像,但是,考虑到在获取的帧数为偶数的情况下,可能会造成相同格式的目标图像数量相同的情况,此时,则无法确定该视频的格式,因此,在一种可能的实现方式中,获取的目标图像的帧数可以是奇数,从而准确确定该视频的格式。
需要说明的是,对于上述方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,例如,上述步骤S403和S404可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本公开所必须的。
采用上述方法,在进行视频格式的识别时,只需要对目标图像划分得到的子图像进行再次划分得到图像块,并根据该图像块计算目标子图像对应的目标相似度,从而将局部的直方图信息和全局的空间位置信息结合起来,避免了对图像颜色特征值的提取,减少了计算量,并且提高了对图像数据处理的效率,节约了系统资源,并提高了视频格式识别的准确率。
图7为本公开实施例提供的一种视频格式识别的装置,如图7所示,包括:
提取模块701,用于从视频中提取至少一帧目标图像;
处理模块702,用于通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,
该第一预设相似度计算方式包括:获取该目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及该目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据该第一相似度和该第二相似度在该目标图像中确定目标子图像,对该目标子图像中的每个子图像进行划分得到图像块,并根据该图像块得到该目标图像对应的目标相似度;其中,该行方向与该目标图像的顶部到底部的方向垂直,该列方向与该行方向垂直;该目标子图像包括该第一子图像和该第二子图像;或者,包括该第三子图像和该第四子图像;
识别模块703,用于根据得到的目标相似度确定该视频的格式。
可选地,该提取模块701,用于从该视频中获取至少一帧图像;将获取的每一帧图像转换成YUV格式的图像,并提取Y通道图像作为目标图像得到该至少一帧目标图像。
可选地,如图8所示,该装置还包括:
获取模块704,用于获取该目标图像的特征信息,该特征信息包括亮度信息;
该处理模块702,用于根据该特征信息采用第二预设相似度计算方式获取该目标图像在行方向上划分的第一子图像和第二子图像之间的第一相似度,并根据该特征信息采用该第二预设相似度计算方式获取该目标图像在列方向上划分的第三子图像和第四子图像之间的第二相似度。
可选地,如图9所示,该处理模块702包括:
第一获取子模块7021,用于根据该亮度信息获取两个子图像的像素分布集合,该像素分布集合包括该子图像中每个亮度信息在该子图像中的像素数量与该子图像中全部像素数量的比值;
第一计算子模块7022,用于根据两个该子图像的像素分布集合通过以下公式得到该第一相似度或该第二相似度:
Sim(H1,H2)=w1Sim1(H1,H2)+w2Sim2(H1,H2);
其中,H1为两个该子图像中任一个子图像的像素分布集合,记为第一像素分布集合,H2为该两个该子图像中另一个子图像的像素分布集合,记为第二像素分布集合,Sim(H1,H2)为该第一相似度或该第二相似度,w1和w2为预设权值,且w1+w2=1,
其中,G为该目标图像的亮度信息集合,该亮度信息集合包括{0,1,2,3,...,255},H1(g)为该亮度信息集合中第g个亮度信息在该第一像素分布集合中对应的比值,H2(g)为该亮度信息集合中第g个亮度信息在该第二像素分布集合中对应的比值。
可选地,如图10所示,该处理模块702包括:
划分子模块7023,用于将该目标子图像中的每个子图像划分为多个图像块得到第一划分图像和第二划分图像;
第二计算子模块7024,用于计算该第一划分图像中每个第一图像块与该第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵,其中,该第二划分图像中对应的第二图像块为在第二划分图像中的位置与该第一图像块在第一划分图像中的位置相同的第二图像块;
处理子模块7025,用于根据该相似度矩阵得到该目标相似度。
可选地,该处理子模块7025,用于根据预设相似度权值矩阵和该相似度矩阵得到该目标相似度,其中,该预设相似度权值矩阵中的权值的位置离该预设相似度权值矩阵的中心位置越近,则该权值越大。
可选地,该识别模块703,用于在提取一帧目标图像时,若确定该目标相似度大于或者等于预设相似度阈值且该目标子图像为第一子图像和第二子图像,确定该视频为上下格式的3D视频;若确定该目标相似度大于或者等于预设相似度阈值且该目标子图像为第三子图像和第四子图像,确定该视频为左右格式的3D视频;若确定该目标相似度小于该预设相似度阈值,确定该视频为2D视频。
可选地,该识别模块703,用于在提取多帧目标图像时,根据每帧目标图像对应的目标相似度和预设相似度阈值确定待确认视频格式,并确定全部待确认视频格式中相同格式的数量,并确定数量最多的待确认视频格式为该视频的格式。
可选地,如图11所示,该装置还包括:
判断模块705,用于根据该目标图像的亮度信息确定该目标图像的图像信息是否丰富;
该处理模块702,用于在确定该目标图像的图像信息丰富时,通过该第一预设相似度计算方式获取每帧目标图像对应的目标相似度。
可选地,该判断模块705,用于确定该目标图像中相同亮度信息的像素点的数量,并获取该像素点的数量的最大值与该目标图像中全部像素点的数量的比例值;在该比例值大于第一预设阈值且小于等于1时,确定该目标图像的图像信息不丰富;在该比例值小于或等于该第一预设阈值且大于0时,确定该目标图像的图像信息丰富。
可选地,如图12所示,该装置还包括:
更新模块706,用于根据该比例值更新该预设相似度阈值。
可选地,该更新模块706,用于在该比例值小于或等于该第一预设阈值且大于第二预设阈值时,将该预设相似度阈值更新为第一预定值,其中,该第一预定值大于该预设相似度阈值;在该比例值小于或等于该第二预设值且大于0时,将该预设相似度阈值更新为第二预定值,其中,该第二预定值小于该预设相似度阈值;该第一预设阈值大于该第二预设阈值。
可选地,如图13所示,该装置还包括:
重获取模块707,用于在确定该目标图像的图像信息不丰富时,重新从该视频中提取目标图像,并确定重新提取的目标图像的图像信息是否丰富,直至确定该重新提取的目标图像的图像信息丰富。
需要说明的是,所属本领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述装置的具体工作过程和描述,可以参考前述方法实施例中的对应过程,在此不再赘述。
采用上述装置,在进行视频格式的识别时,只需要对目标图像划分得到的子图像进行再次划分得到图像块,并根据该图像块计算目标子图像对应的目标相似度,从而根据目标相似度确定视频的格式,避免了对图像颜色特征值的提取,减少了计算量,提高了对图像数据处理的效率,节约了系统资源,并提高了视频格式识别的准确率。
本公开实施例还提供一种播放器,该播放器包括上述图7至图13任一图所示的视频格式识别的装置。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (27)
1.一种视频格式识别的方法,其特征在于,包括:
从视频中提取至少一帧目标图像;
通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,
所述第一预设相似度计算方式包括:获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据所述第一相似度和所述第二相似度在所述目标图像中确定目标子图像,对所述目标子图像中的每个子图像进行划分得到图像块,并根据所述图像块得到所述目标图像对应的目标相似度;其中,所述行方向与所述目标图像的顶部到底部的方向垂直,所述列方向与所述行方向垂直;所述目标子图像包括所述第一子图像和所述第二子图像;或者,包括所述第三子图像和所述第四子图像;
根据得到的目标相似度确定所述视频的格式。
2.根据权利要求1所述的方法,其特征在于,所述从视频中提取至少一帧目标图像包括:
从所述视频中获取至少一帧图像;
将获取的每一帧图像转换成YUV格式的图像,并提取Y通道图像得到所述至少一帧目标图像。
3.根据权利要求1或2所述的方法,其特征在于,在所述获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度之前,还包括:
获取所述目标图像的特征信息,其中,所述特征信息包括亮度信息;
所述获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度包括:
根据所述特征信息采用第二预设相似度计算方式获取所述目标图像在行方向上划分的第一子图像和第二子图像之间的第一相似度,并根据所述特征信息采用所述第二预设相似度计算方式获取所述目标图像在列方向上划分的第三子图像和第四子图像之间的第二相似度。
4.根据权利要求3所述的方法,其特征在于,所述第二预设相似度计算方式包括:
根据所述亮度信息获取两个子图像的像素分布集合,所述像素分布集合包括所述子图像中每个亮度信息在所述子图像中的像素数量与所述子图像中全部像素数量的比值;
根据两个所述子图像的像素分布集合通过以下公式得到所述第一相似度或所述第二相似度:
Sim(H1,H2)=w1Sim1(H1,H2)+w2Sim2(H1,H2);
其中,H1为两个所述子图像中任一个子图像的像素分布集合,记为第一像素分布集合,H2为所述两个所述子图像中另一个子图像的像素分布集合,记为第二像素分布集合,Sim(H1,H2)为所述第一相似度或所述第二相似度,w1和w2为预设权值,且w1+w2=1,
其中,G为所述目标图像的亮度信息集合,所述亮度信息集合包括{0,1,2,3,...,255},H1(g)为所述亮度信息集合中第g个亮度信息在所述第一像素分布集合中对应的比值,H2(g)为所述亮度信息集合中第g个亮度信息在所述第二像素分布集合中对应的比值。
5.根据权利要求1或2所述的方法,其特征在于,所述对所述目标子图像中的每个子图像进行划分得到图像块,并根据所述图像块得到所述目标图像对应的目标相似度包括:
将所述目标子图像中的每个子图像划分为多个图像块得到第一划分图像和第二划分图像;
计算所述第一划分图像中每个第一图像块与所述第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵;其中,所述第二划分图像中对应的第二图像块为在第二划分图像中的位置与所述第一图像块在第一划分图像中的位置相同的第二图像块。
根据所述相似度矩阵得到所述目标相似度。
6.根据权利要求5所述的方法,其特征在于,所述根据所述相似度矩阵得到所述目标相似度包括:
根据所述相似度矩阵和预设相似度权值矩阵得到所述目标相似度,其中,所述预设相似度权值矩阵中的权值的位置离所述预设相似度权值矩阵的中心位置越近,则所述权值越大。
7.根据权利要求1所述的方法,其特征在于,所述根据得到的目标相似度确定所述视频的格式包括:
在提取一帧目标图像时,若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第一子图像和第二子图像,确定所述视频为上下格式的3D视频;若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第三子图像和第四子图像,确定所述视频为左右格式的3D视频;
若确定所述目标相似度小于所述预设相似度阈值,确定所述视频为2D视频。
8.根据权利要求1所述的方法,其特征在于,所述根据得到的目标相似度确定所述视频的格式包括:
在提取多帧目标图像时,根据每帧目标图像对应的目标相似度和预设相似度阈值确定待确认视频格式,并确定全部待确认视频格式中相同格式的数量,并确定数量最多的待确认视频格式为所述视频的格式。
9.根据权利要求7或8所述的方法,其特征在于,在所述通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度之前,所述方法还包括:
根据所述目标图像的亮度信息确定所述目标图像的图像信息是否丰富;
所述通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度包括:
在确定所述目标图像的图像信息丰富时,通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度。
10.根据权利要求9所述的方法,其特征在于,所述根据所述目标图像的亮度信息确定所述目标图像的图像信息是否丰富包括:
确定所述目标图像中相同亮度信息的像素点的数量;
获取所述像素点的数量的最大值与所述目标图像中全部像素点的数量的比例值;
在所述比例值大于第一预设阈值且小于等于1时,确定所述目标图像的图像信息不丰富;
在所述比例值小于或等于所述第一预设阈值且大于0时,确定所述目标图像的图像信息丰富。
11.根据权利要求10所述的方法,其特征在于,在确定所述目标图像的图像信息丰富后,所述方法还包括:
根据所述比例值更新所述预设相似度阈值。
12.根据权利要求11所述的方法,其特征在于,所述根据所述比例值更新所述预设相似度阈值包括:
在所述比例值小于或等于所述第一预设阈值且大于第二预设阈值时,将所述预设相似度阈值更新为第一预定值,其中,所述第一预定值大于所述预设相似度阈值;所述第一预设阈值大于所述第二预设阈值;
在所述比例值小于或等于所述第二预设值且大于0时,将所述预设相似度阈值更新为第二预定值,其中,所述第二预定值小于所述预设相似度阈值。
13.根据权利要求9至12任一项所述的方法,其特征在于,所述方法还包括:
在确定所述目标图像的图像信息不丰富时,重新从所述视频中提取目标图像,并确定重新提取的目标图像的图像信息是否丰富,直至确定所述重新提取的目标图像的图像信息丰富。
14.一种视频格式识别的装置,其特征在于,包括:
提取模块,用于从视频中提取至少一帧目标图像;
处理模块,用于通过第一预设相似度计算方式获取每帧目标图像对应的目标相似度,
所述第一预设相似度计算方式包括:获取所述目标图像沿行方向上的中线划分的第一子图像和第二子图像之间的第一相似度,以及所述目标图像沿列方向上的中线划分的第三子图像和第四子图像之间的第二相似度;根据所述第一相似度和所述第二相似度在所述目标图像中确定目标子图像,对所述目标子图像中的每个子图像进行划分得到图像块,并根据所述图像块得到所述目标图像对应的目标相似度;其中,所述行方向与所述目标图像的顶部到底部的方向垂直,所述列方向与所述行方向垂直;所述目标子图像包括所述第一子图像和所述第二子图像;或者,包括所述第三子图像和所述第四子图像;
识别模块,用于根据得到的目标相似度确定所述视频的格式。
15.根据权利要求14所述的装置,其特征在于,所述提取模块,用于从所述视频中获取至少一帧图像;将获取的每一帧图像转换成YUV格式的图像,并提取Y通道图像作为目标图像得到所述至少一帧目标图像。
16.根据权利要求14或15所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取所述目标图像的特征信息,所述特征信息包括亮度信息;
所述处理模块,用于根据所述特征信息采用第二预设相似度计算方式获取所述目标图像在行方向上划分的第一子图像和第二子图像之间的第一相似度,并根据所述特征信息采用所述第二预设相似度计算方式获取所述目标图像在列方向上划分的第三子图像和第四子图像之间的第二相似度。
17.根据权利要求16所述的装置,其特征在于,所述处理模块包括:
第一获取子模块,用于根据所述亮度信息获取两个子图像的像素分布集合,所述像素分布集合包括所述子图像中每个亮度信息在所述子图像中的像素数量与所述子图像中全部像素数量的比值;
第一计算子模块,用于根据两个所述子图像的像素分布集合通过以下公式得到所述第一相似度或所述第二相似度:
Sim(H1,H2)=w1Sim1(H1,H2)+w2Sim2(H1,H2);
其中,H1为两个所述子图像中任一个子图像的像素分布集合,记为第一像素分布集合,H2为所述两个所述子图像中另一个子图像的像素分布集合,记为第二像素分布集合,Sim(H1,H2)为所述第一相似度或所述第二相似度,w1和w2为预设权值,且w1+w2=1,
其中,G为所述目标图像的亮度信息集合,所述亮度信息集合包括{0,1,2,3,...,255},H1(g)为所述亮度信息集合中第g个亮度信息在所述第一像素分布集合中对应的比值,H2(g)为所述亮度信息集合中第g个亮度信息在所述第二像素分布集合中对应的比值。
18.根据权利要求14或15所述的装置,其特征在于,所述处理模块包括:
划分子模块,用于将所述目标子图像中的每个子图像划分为多个图像块得到第一划分图像和第二划分图像;
第二计算子模块,用于计算所述第一划分图像中每个第一图像块与所述第二划分图像中对应的第二图像块之间的图像相似度,得到相似度矩阵,其中,所述第二划分图像中对应的第二图像块为在第二划分图像中的位置与所述第一图像块在第一划分图像中的位置相同的第二图像块;
处理子模块,用于根据所述相似度矩阵得到所述目标相似度。
19.根据权利要求18所述的装置,其特征在于,所述处理子模块,用于根据所述相似度矩阵和预设相似度权值矩阵得到所述目标相似度,其中,所述预设相似度权值矩阵中的权值的位置离所述预设相似度权值矩阵的中心位置越近,则所述权值越大。
20.根据权利要求14所述的装置,其特征在于,所述识别模块,用于在提取一帧目标图像时,若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第一子图像和第二子图像,确定所述视频为上下格式的3D视频;若确定所述目标相似度大于或者等于预设相似度阈值且所述目标子图像为第三子图像和第四子图像,确定所述视频为左右格式的3D视频;若确定所述目标相似度小于所述预设相似度阈值,确定所述视频为2D视频。
21.根据权利要求14所述的装置,其特征在于,所述识别模块,用于在提取多帧目标图像时,根据每帧目标图像对应的目标相似度和预设相似度阈值确定待确认视频格式,并确定全部待确认视频格式中相同格式的数量,并确定数量最多的待确认视频格式为所述视频的格式。
22.根据权利要求20或21所述的装置,其特征在于,所述装置还包括:
判断模块,用于根据所述目标图像的亮度信息确定所述目标图像的图像信息是否丰富;
所述处理模块,用于在确定所述目标图像的图像信息丰富时,通过所述第一预设相似度计算方式获取每帧目标图像对应的目标相似度。
23.根据权利要求22所述的装置,其特征在于,所述判断模块,用于确定所述目标图像中相同亮度信息的像素点的数量,并获取所述像素点的数量的最大值与所述目标图像中全部像素点的数量的比例值;在所述比例值大于第一预设阈值且小于等于1时,确定所述目标图像的图像信息不丰富;在所述比例值小于或等于所述第一预设阈值且大于0时,确定所述目标图像的图像信息丰富。
24.根据权利要求20所述的装置,其特征在于,所述装置还包括:
更新模块,用于根据所述比例值更新所述预设相似度阈值。
25.根据权利要求24所述的装置,其特征在于,所述更新模块,用于在所述比例值小于或等于所述第一预设阈值且大于第二预设阈值时,将所述预设相似度阈值更新为第一预定值,其中,所述第一预定值大于所述预设相似度阈值;在所述比例值小于或等于所述第二预设值且大于0时,将所述预设相似度阈值更新为第二预定值,其中,所述第二预定值小于所述预设相似度阈值;所述第一预设阈值大于所述第二预设阈值。
26.根据权利要求22至25任一项所述的装置,其特征在于,所述装置还包括:
重获取模块,用于在确定所述目标图像的图像信息不丰富时,重新从所述视频中提取目标图像,并确定重新提取的目标图像的图像信息是否丰富,直至确定所述重新提取的目标图像的图像信息丰富。
27.一种播放器,其特征在于,包括上述权利要求14至26任一项所述的视频格式识别的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611132265.2A CN108615042A (zh) | 2016-12-09 | 2016-12-09 | 视频格式识别的方法和装置以及播放器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611132265.2A CN108615042A (zh) | 2016-12-09 | 2016-12-09 | 视频格式识别的方法和装置以及播放器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108615042A true CN108615042A (zh) | 2018-10-02 |
Family
ID=63643509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611132265.2A Pending CN108615042A (zh) | 2016-12-09 | 2016-12-09 | 视频格式识别的方法和装置以及播放器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108615042A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533117A (zh) * | 2019-09-04 | 2019-12-03 | 浙江齐聚科技有限公司 | 图像比对方法、装置、设备和存储介质 |
CN111597980A (zh) * | 2018-12-17 | 2020-08-28 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象聚类方法及装置 |
CN112001289A (zh) * | 2020-08-17 | 2020-11-27 | 海尔优家智能科技(北京)有限公司 | 物品的检测方法和装置、存储介质及电子装置 |
CN112200783A (zh) * | 2020-09-30 | 2021-01-08 | 北京搜狗科技发展有限公司 | 一种商品图像的处理方法及装置 |
CN111245816B (zh) * | 2020-01-08 | 2021-01-26 | 山东挚友企服信息科技有限公司 | 基于内容检测的数据上传系统及方法 |
CN113657408A (zh) * | 2021-08-13 | 2021-11-16 | 北京百度网讯科技有限公司 | 确定图像特征的方法、装置、电子设备和存储介质 |
CN114782425A (zh) * | 2022-06-17 | 2022-07-22 | 江苏宜臻纺织科技有限公司 | 纺织品生产过程中络筒工艺参数控制方法及人工智能系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102395037A (zh) * | 2011-06-30 | 2012-03-28 | 深圳超多维光电子有限公司 | 一种格式识别方法及识别装置 |
CN103051913A (zh) * | 2013-01-05 | 2013-04-17 | 北京暴风科技股份有限公司 | 一种3d片源格式自动识别的方法 |
CN103179426A (zh) * | 2011-12-21 | 2013-06-26 | 联咏科技股份有限公司 | 自动检测图像格式的方法与应用其的播放方法 |
CN106028019A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 视频三维格式快速检测方法 |
-
2016
- 2016-12-09 CN CN201611132265.2A patent/CN108615042A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102395037A (zh) * | 2011-06-30 | 2012-03-28 | 深圳超多维光电子有限公司 | 一种格式识别方法及识别装置 |
CN103179426A (zh) * | 2011-12-21 | 2013-06-26 | 联咏科技股份有限公司 | 自动检测图像格式的方法与应用其的播放方法 |
CN103051913A (zh) * | 2013-01-05 | 2013-04-17 | 北京暴风科技股份有限公司 | 一种3d片源格式自动识别的方法 |
CN106028019A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 视频三维格式快速检测方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597980B (zh) * | 2018-12-17 | 2023-04-28 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象聚类方法及装置 |
CN111597980A (zh) * | 2018-12-17 | 2020-08-28 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象聚类方法及装置 |
CN111597979A (zh) * | 2018-12-17 | 2020-08-28 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象聚类方法及装置 |
CN111597979B (zh) * | 2018-12-17 | 2023-05-12 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象聚类方法及装置 |
CN110533117A (zh) * | 2019-09-04 | 2019-12-03 | 浙江齐聚科技有限公司 | 图像比对方法、装置、设备和存储介质 |
CN110533117B (zh) * | 2019-09-04 | 2022-05-24 | 浙江齐聚科技有限公司 | 图像比对方法、装置、设备和存储介质 |
CN111245816B (zh) * | 2020-01-08 | 2021-01-26 | 山东挚友企服信息科技有限公司 | 基于内容检测的数据上传系统及方法 |
CN112001289A (zh) * | 2020-08-17 | 2020-11-27 | 海尔优家智能科技(北京)有限公司 | 物品的检测方法和装置、存储介质及电子装置 |
CN112200783A (zh) * | 2020-09-30 | 2021-01-08 | 北京搜狗科技发展有限公司 | 一种商品图像的处理方法及装置 |
CN112200783B (zh) * | 2020-09-30 | 2024-06-28 | 北京搜狗科技发展有限公司 | 一种商品图像的处理方法及装置 |
CN113657408A (zh) * | 2021-08-13 | 2021-11-16 | 北京百度网讯科技有限公司 | 确定图像特征的方法、装置、电子设备和存储介质 |
WO2023015942A1 (zh) * | 2021-08-13 | 2023-02-16 | 北京百度网讯科技有限公司 | 确定图像特征的方法、装置、电子设备和存储介质 |
CN114782425A (zh) * | 2022-06-17 | 2022-07-22 | 江苏宜臻纺织科技有限公司 | 纺织品生产过程中络筒工艺参数控制方法及人工智能系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615042A (zh) | 视频格式识别的方法和装置以及播放器 | |
KR102281184B1 (ko) | 영상 보정 방법 및 장치 | |
CN103248906B (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
CN102025959B (zh) | 从低清晰度视频产生高清晰度视频的系统与方法 | |
CN103945088B (zh) | 场景识别方法及装置 | |
CN109686342B (zh) | 一种图像处理方法及装置 | |
CN108234884B (zh) | 一种基于视觉显著性的相机自动对焦方法 | |
CN108764263A (zh) | 遥感影像的地物标注装置及方法 | |
CN111310727A (zh) | 对象检测方法及装置、存储介质、电子装置 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN111582100B (zh) | 一种目标对象的检测方法及设备 | |
CN114782770A (zh) | 一种基于深度学习的车牌检测与车牌识别方法及系统 | |
US8482630B2 (en) | Apparatus and method for adjusting automatic white balance by detecting effective area | |
CN111681271B (zh) | 一种多通道多光谱相机配准方法、系统及介质 | |
CN110334652A (zh) | 图像处理方法、电子设备及存储介质 | |
CN107948652B (zh) | 一种进行图像转换的方法和设备 | |
CN103686113A (zh) | 基于数字相机的原始数据的白平衡系统和方法 | |
CN115810021A (zh) | 一种色调映射方法、设备及系统 | |
EP2244209B1 (en) | Color-image representative color decision apparatus and method of controlling operation thereof | |
CN112637573A (zh) | 一种多镜头切换的显示方法、系统、智能终端及存储介质 | |
CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
US8374426B2 (en) | Apparatus and method for adjusting auto white balance using effective area | |
CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 | |
CN116132650A (zh) | 白平衡校准方法、装置及设备 | |
CN112365400B (zh) | 一种快速光场角度超分辨重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Zone C, floor 1, plant 1, No.1, Keji 4th Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province 519085 Applicant after: ACTIONS TECHNOLOGY Co.,Ltd. Address before: 519085 Guangdong province Zhuhai high tech Zone Science and technology innovation Coastal Science and technology No. four Road No. 1, No. 1 workshop C area Applicant before: ACTIONS (ZHUHAI) TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181002 |
|
RJ01 | Rejection of invention patent application after publication |