CN105635715A - 视频格式识别方法及装置 - Google Patents
视频格式识别方法及装置 Download PDFInfo
- Publication number
- CN105635715A CN105635715A CN201610025714.7A CN201610025714A CN105635715A CN 105635715 A CN105635715 A CN 105635715A CN 201610025714 A CN201610025714 A CN 201610025714A CN 105635715 A CN105635715 A CN 105635715A
- Authority
- CN
- China
- Prior art keywords
- eigenvalue
- half image
- image
- video file
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种视频格式识别方法,所述视频格式识别方法包括:获取解码后的待播放视频文件的预设图像帧;判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。本发明还公开了一种视频格式识别装置。本发明能够提高视频文件格式识别的效率。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频格式识别方法及装置。
背景技术
近年来,随着VR(VirtualReality,虚拟现实)技术不断向一般消费市场拓展,涌现出很多代表性VR硬件产品。其中,又以VR眼镜被广大消费者所青睐。不仅因其零售价格相对较低,其更可以与市场主流智能手机相结合,为用户带来低成本、沉浸式的VR体验。
以视频为例,用户通过佩戴搭载了智能手机的VR眼镜,可以将显示在智能手机屏幕上的SBS(side-by-side,左右格式)视频图像,通过物理光学透镜合并为3D场景。用户可以不用到影院观影,即可随时享受3D视听效果。相应的,智能手机需要首先判定待播放视频文件是否为SBS格式,然后采用对应的播放模式播放才能使得用户最终获得3D视听效果。
目前,一种较为常见的判定视频文件的显示格式是否为SBS格式的做法是:
1、首先将原始视频文件通过视频处理软件的数字化处理,将视频每一帧图像从全屏显示转换为SBS显示;
2、在不影响视频内容播放的前提下,通过编辑某个可操作的数据域,写入用于指示显示格式的一组标识信息;
3、重新定义视频播放器功能,使得在视频demux(解复用)的过程中,同时通过解析特定数据域的标识信息来判定当下播放的视频是SBS方式输出或全屏方式输出。
以上方法虽然能满足判别要求,但仍然存在一些不足,主要表现为以下几点:
1、标识信息写入位置无法保证一致。
为了不破原始数据的完整性,需要在不影响视频解码的前提下,寻找某个可读写区域写入标识信息。但由于目前视频压缩标准的不统一,服务器端的视频源文件不能保证都是同一种视频压缩格式(MP4和AVI不同),压缩标准的不同直接导致它们的数据封装在物理层面也有所区别。因而在相同逻辑地址上获取一段连续的物理空间是比较困难的。
2、线下处理时间大幅延长。
视频文件在正式上线(指的是在线播放的视频文件可被服务器所访问、实时响应客户端数据发送请求的过程)之前,需要对原始数据先进行预读取,主观判断视频文件时全屏显示还是SBS显示,然后找出可供第三方读写的逻辑空间,之后写入显示格式的标识信息,最后还要重新计算校验以免发生传输差错。最后,还要重新检验影片播放效果是否流畅,是否存在缺陷。由于标识信息的加入,导致了处理步骤的增加,存在视频文件格式识别效率较低的问题。
发明内容
本发明的主要目的在于提供一种视频格式识别方法及装置,旨在提高视频文件格式识别的效率。
为实现上述目的,本发明提供一种视频格式识别方法,该视频格式识别方法包括:
获取解码后的待播放视频文件的预设图像帧;
判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;
在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。
在一实施例中,所述判断获取的各所述预设图像帧的左半图像和右半图像是否相同的步骤包括:
依次选中获取的各所述预设图像帧;
在每次选中预设图像帧时,计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,其中,在所述差值位于所述预设差值区间内时,当前选中的所述预设图像帧的左半图像和右半图像相同;
在完成当前选中的所述预设图像帧的判断操作之后,继续按顺序选中其它预设图像帧。
在一实施例中,所述计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值的步骤包括:
基于预设抛物线算法提取所述左半图像中的第一闭合区域以及所述右半图像中的第二闭合区域,其中,所述第一闭合区域与所述左半图像的相对位置和所述第二闭合区域与所述右半图像的相对位置相同;
计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,以及计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值。
在一实施例中,计算的特征值包括颜色特征值、纹理特征值、形状特征值、空间关系特征值中的至少一种。
在一实施例中,所述获取解码后的待播放视频文件的预设图像帧的步骤之前,还包括:
基于用户输入的播放指令向服务器发送视频文件获取请求;
接收并将所述服务器根据所述视频文件获取请求返回的视频文件作为所述待播放视频文件。
此外,为实现上述目的,本发明还提供一种视频格式识别装置,所述视频格式识别装置包括:
第一获取模块,用于获取解码后的待播放视频文件的预设图像帧;
判断模块,用于判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;
确定模块,用于在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。
在一实施例中,所述判断模块还用于依次选中获取的各所述预设图像帧;以及在每次选中预设图像帧时,计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,其中,在所述差值位于所述预设差值区间内时,当前选中的所述预设图像帧的左半图像和右半图像相同;以及在完成当前选中的所述预设图像帧的判断操作之后,继续按顺序选中其它预设图像帧。
在一实施例中,所述判断模块还用于基于预设抛物线算法提取所述左半图像中的第一闭合区域以及所述右半图像中的第二闭合区域,其中,所述第一闭合区域与所述左半图像的相对位置和所述第二闭合区域与所述右半图像的相对位置相同;以及计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值。
在一实施例中,计算的特征值包括颜色特征值、纹理特征值、形状特征值、空间关系特征值中的至少一种。
在一实施例中,所述视频格式识别装置还包括:
第二获取模块,用于基于用户输入的播放指令向服务器发送视频文件获取请求;以及接收并将所述服务器根据所述视频文件获取请求返回的视频文件作为所述待播放视频文件。
本实施例提出的视频格式识别方法及装置,在待播放视频文件解码之后,提取解码后的预设图像帧,并基于预设图像帧的左半图像和右半图像是否相同来判定待播放视频文件的显示格式是否为左右格式,相较于现有技术,不需要对原始视频文件做任何修改和标记,而仅仅是对视频帧进行分析处理,来获得期望的判定结果,不仅节省文件上传服务器的时间,而且不会对用户的观影体验造成影响,能够有效的提高视频文件格式识别的效率。
附图说明
图1为本发明视频格式识别方法第一实施例的流程示意图;
图2为本发明视频格式识别方法第二实施例的图像拆分示例图;
图3为本发明视频格式识别方法第三实施例的闭合区域采样示例图;
图4为本发明视频格式识别方法第三实施例中第一闭合区域和第二闭合区域的示例图;
图5为本发明视频格式识别装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种视频格式识别方法,应用于智能电视,参照图1,在本发明视频格式识别方法的第一实施例中,所述视频格式识别方法包括以下步骤:
步骤S10,获取解码后的待播放视频文件的预设图像帧;
需要说明的是,本发明提供的视频格式识别方法由视频播放器执行,在本实施例中,所述视频播放器运行于终端,所述终端包括任意具备3D视频播放功能的电子设备,如智能电视和智能手机等。
在具体实施时,视频播放器从本地临时交换文件区中获取待播放视频文件的头部信息,并从所述待播放视频文件的头部信息中获取所述待播放视频文件的编解码信息(如文件大小、帧率、采样率、编解码格式等),基于所述编解码信息通过解复用将音视频等堆叠数据分离,将视频数据解码后的图像帧写入帧缓存存储器。
在帧缓存存储器开始缓存第1帧图像帧时,视频播放器依次提取预设数量为N(优选为大于等于3的奇数)的图像帧,在本实施例中,优选提取帧缓存存储器缓存的第2、3、4帧图像帧。考虑到一部影片的容量通常在500MB之上(物理存储),帧率一般在24fps至50fps之间(相对地单帧图像的播放时间间隔约为20ms至50ms),如果对全部图像帧进行处理,不仅没有必要而且会浪费处理时间和存储空间,对实时性很强的内容分发平台来说,是不可取的。假设如果取连续3帧画面做判定计算,然后取2次判定结果作为最终结论,最小时间差仅为60ms~150ms,而人眨眼的时间间隔一般需要200ms~500ms。因此,选择视频开始前的N个连续帧进行数字处理,不仅具有典型性、代表性,而且时间可控,而且现有终端CPU和GPU的运算能力,可以在后台很短时间内完成判定,不影响用户观影。在其它实施例中,可按终端的运算能力选取提取图像帧的数量,例如,可以提取帧缓存存储器缓存的所述待播放视频文件的第2、3、4、5、6帧图像帧。
步骤S20,判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;
步骤S30,在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。
需要说明的是,本发明实施例的理论依据在于:如果按1:1尺寸将终端的屏幕一分为二,左右格式显示下的每一帧画面的左半部和右半部图像,若进行线性平移,画面几乎是可以完全重合的;而全屏格式显示方式下的每一帧画面,如果也按照上述方式进行线性平移,左右两侧的画面在通常情况下是不能重合的(除非开始帧的背景画面是单色填充,如全黑或全白,但这种情况很少)。至此,两种显示方式的差异点就显现出来。本实施例通过判定左右两侧画面的相似度来快速判断所述待播放视频文件的显示格式是经过处理的左右格式,还是2D的全屏格式。
以获取的预设图像帧为所述待播放视频文件的第2、3、4帧图像帧为例,在获取到前述第2、3、4帧图像帧后,视频播放器分别判断前述第2、3、4帧图像帧各自的左半图像和右半图像是否相同,并统计判定结果为“相同”的数量值,然后根据统计的所述数量值以及预设阈值的大小关系确定所述待播放视频文件的显示格式,其中,若3次判定结果至少有两次判定结果为“相同”,则可确定所述待播放视频文件的显示格式为左右格式(即俗称的3D格式),否则确定所述待播放视频文件的显示格式为全屏格式(即俗称的2D格式)。
需要说明的是,所述预设阈值的大小取决于获取的所述预设图像帧的数量,记预设阈值为t,记获取的所述预设图像帧的数量为T(优选为奇数),
则预设阈值t=(T+1)/2;
进一步的,在本实施例中,所述步骤S10之前,还包括:
基于用户输入的播放指令向服务器发送视频文件获取请求;
接收并将所述服务器根据所述视频文件获取请求返回的视频文件作为所述待播放视频文件。
本实施例中,视频播放器在接收到用户输入的播放指令时,生成对应所述播放指令的视频文件获取请求,发送至内容分发平台的服务器;所述服务器在响应视频播放器的视频文件获取请求后,首先将对应的视频文件按照预设流媒体协议分割为小的数据包,通过远程安全传输信道,并在传输协议的控制下,将数据包以同步或者异步方式回传到视频播放器,由视频播放器将数据包重新组合为视频文件。
在具体实施时,视频播放器发起视频文件获取请求,视频播放器和内容分发平台的服务器建立安全通信链路;服务器在本地获取到对应的视频文件后,按照应用层RSTP协议(实时流传输协议)将视频文件分割成有效的流媒体包,通过TCP或者UDP方式回传到视频播放器;视频播放器在接收到流媒体包后,按照RTSP协议重新组合流媒体数据包得到播放指令对应的视频文件,将其作为待播放视频文件保存到本地临时交换文件区,以备播放。
进一步的,在本实施例中,在确定所述待播放视频文件的显示格式之后,还包括:
按照确定的所述显示格式所对应的播放模式播放所述待播放视频文件。
具体的,在确定所述待播放视频文件的显示格式之后,所述视频播放器按照确定的所述显示格式所对应的播放模式播放所述待播放视频文件。例如,在确定所述待播放视频文件的显示格式为左右格式时,采用对应的3D播放模式进行播放。
本实施例提出的视频格式识别方法,在待播放视频文件解码之后,提取解码后的预设图像帧,并基于预设图像帧的左半图像和右半图像是否相同来判定待播放视频文件的显示格式是否为左右格式,相较于现有技术,不需要对原始视频文件做任何修改和标记,而仅仅是对视频帧进行分析处理,来获得期望的判定结果,不仅节省文件上传服务器的时间,而且不会对用户的观影体验造成影响,能够有效的提高视频文件格式识别的效率。
进一步的,基于第一实施例,提出本发明视频格式识别方法的第二实施例,在本实施例中,所述判断各所述预设图像帧的左半图像和右半图像是否相同的步骤包括:
依次选中获取的各所述预设图像帧;
在每次选中预设图像帧时,计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,其中,在所述差值位于所述预设差值区间内时,当前选中的所述预设图像帧的左半图像和右半图像相同;
在完成当前选中的所述预设图像帧的判断操作之后,继续按顺序选中其它预设图像帧。
本实施例中,所述视频识别装置在执行判断获取的各所述预设图像帧的左半图像和右半图像是否相同的操作时,以获取的预设图像帧为所述待播放视频文件的第2、3、4帧图像帧为例,所述视频播放器首先选中第2帧图像帧,将第2帧图像帧沿左右中轴线拆分为左半图像和右半图像,如图2所示;在将第2帧图像帧拆分为左半图像以及右半图像后,计算左半图像以及右半图像的表征图像的特征值(该特征值可以是一个数值,也可以是其他数学形式的表达式),分别为第一特征值和第二特征值;然后计算所述第一特征值和所述第二特征值的差值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,在所述差值位于所述预设差值区间内时,所述第2帧图像帧的左半图像和右半图像相同,否则所述第2帧图像帧的左半图像和右半图像不同。例如,计算的所述第2帧图像帧的左半图像和右半图像的特征差值为0,位于预设差值区间内,则可确定所述第2帧图像帧的左半图像和右半图像相同。
同理,在完成第2帧图像帧的左半图像和右半图像是否相同的判断操作之后,相应判断第3、4帧图像帧的左半图像和右半图像是否相同,此处不再赘述。其中,本实施并不限制所述预设差值区间的取值范围,具体按实际需要进行设置。
具体的,计算的特征值包括但不限于颜色特征值、纹理特征值、形状特征值以及空间关系特征值。例如,在具体实施时,可采用颜色直方图、颜色集、颜色矩、颜色聚合向量、颜色相关图等方法来计算选中的预设图像帧的颜色特征值;可采用统计法(典型代表是灰度共生矩阵和图像自相关函数提取特征参数)、几何法、模型法和信号处理法等方法来计算选中的预设图像帧的纹理特征值等,其他特征的提取方法,此处不再详述,具体按实际需要选取。
进一步的,为提升特征值的计算效率,基于第二实施例,提出本发明视频格式识别方法的第三实施例,在本实施例中,所述计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值的步骤包括:
基于预设抛物线算法提取所述左半图像中的第一闭合区域以及所述右半图像中的第二闭合区域;
计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,以及计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值。
需要说明的是,本实施例与第二实施例的区别在于,本实施例通过对一块空间闭合内像素点的一组特征值(如颜色特征)的比较,进而对左右两侧图像进行相似性度量。闭合区域采样的优势在于,样本在空间范围内连续、样本范围较线性取样点更加广泛、更能反映图像特征。
本实施例选取由两条相交抛物线构成的闭合区域取样的方式作为计算的基础。其原理如下:
参照图3,假设坐标原点A(0,0)和另一点B(R,R)点是两条标准抛物线相交的点,过B点分别做X轴和Y轴的垂直线,并与X和Y轴分别交于A'(0,R)和B'(R,0)两点。假设闭合抛物线构成的阴影部分面积为S’,矩形面积为S,我们可以得到阴影和矩形面积的比值δ=S’/S。
1、首先定义两条标准抛物线方程为:
y2=2Px;P>0,x∈(0,R);
x2=2P’y;P>0,y∈(0,R);
2、通过代入B(R,R)点计算出参数P和P’的值分别为:
P=P’=R/2;
3、定积分计算阴影部分面积S’:
4、计算δ值:
由此可见,抛物线构成的闭合区域只占整个矩形面积的1/3,但是整个结论是考虑了AA’和BB’等长的情况,在具体实施时,以终端为智能手机为例,由于手机屏幕的宽高比通常在16:9到4:3之间,若将屏幕平均分割为左右两部分,则取样屏幕的宽高比变为8:9和2:3。可以理解的是,在此条件下重新计算的δ值,也基本在1/3附近。但是这个样本的范围,足够准确的反映原始图像的特征,能够提升了特征值的计算效率。
参照图4,以下对第一闭合区域和第二闭合区域的提取进行说明:
A、假设选中的所述预设图像帧宽为W(单位:px,像素),高为H(单位:px,像素),且W>H;
B、以显示平面较长一边为X轴,较短一边为Y轴,定义显示平面坐标原点A(0,0);
C、左右中轴线与显示平面的交点定义为B(W/2,0)和C(W/2,H);
D、定义两条左半部标准抛物线方程:Y2=2P0X和X2=2P0'Y,使其分别经过A点和C点,得到第一闭合区域;
E、将两条左半部标准抛物线沿X轴向右平移W/2距离,则得到两条右半部标准抛物线,且两条抛物线交于一点C’(W,H),得到抛物线方程:Y2=2P1X和X2=2P1'Y;
F、左半部和右半部抛物线构成的闭合区域内所有像素点即为采样点集合S0(即第一闭合区域)和S1(即第二闭合区域)。
在提取所述第一闭合区域以及所述第二闭合区域之后,计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值,具体可参照第二实施例的相关描述,此处不再赘述。
本发明进一步提供一种视频格式识别装置,参照图5,在本发明视频格式识别装置的第一实施例中,所述视频格式识别装置包括:
第一获取模块10,用于获取解码后的待播放视频文件解码后的预设图像帧;
需要说明的是,本发明提供的视频格式识别装置内嵌于视频播放器运行,其可以代码的形式实现。在本实施例中,所述视频播放器运行于终端,所述终端包括任意具备3D视频播放功能的电子设备,如智能电视和智能手机等。
在具体实施时,视频播放器从本地临时交换文件区中获取待播放视频文件的头部信息,并从所述待播放视频文件的头部信息中获取所述待播放视频文件的编解码信息(如文件大小、帧率、采样率、编解码格式等)。基于所述编解码信息通过解复用将音视频等堆叠数据分离,将视频数据解码后的图像帧写入帧缓存存储器。
在帧缓存存储器开始缓存第1帧图像帧时,第一获取模块10依次提取预设数量为N(优选为大于等于3的奇数)的图像帧,在本实施例中,优选提取帧缓存存储器缓存的第2、3、4帧图像帧。考虑到一部影片的容量通常在500MB之上(物理存储),帧率一般在24fps至50fps之间(相对地单帧图像的播放时间间隔约为20ms至50ms),如果对全部图像帧进行处理,不仅没有必要而且会浪费处理时间和存储空间,对实时性很强的内容分发平台来说,是不可取的。假设如果取连续3帧画面做判定计算,然后取2次判定结果作为最终结论,最小时间差仅为60ms~150ms,而人眨眼的时间间隔一般需要200ms~500ms。因此,选择视频开始前的N个连续帧进行数字处理,不仅具有典型性、代表性,而且时间可控,而且现有终端CPU和GPU的运算能力,可以在后台很短时间内完成判定,不影响用户观影。在其它实施例中,可按终端的运算能力选取提取图像帧的数量,例如,第一获取模块10可以提取帧缓存存储器缓存的所述待播放视频文件的第2、3、4、5、6帧图像帧。
判断模块20,用于判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;
确定模块30,用于在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。
需要说明的是,本发明实施例的理论依据在于:如果按1:1尺寸将终端的屏幕一分为二,左右格式显示下的每一帧画面的左半部和右半部图像,若进行线性平移,画面几乎是可以完全重合的;而全屏格式显示方式下的每一帧画面,如果也按照上述方式进行线性平移,左右两侧的画面在通常情况下是不能重合的(除非开始帧的背景画面是单色填充,如全黑或全白,但这种情况很少)。至此,两种显示方式的差异点就显现出来。本实施例通过判定左右两侧画面的相似度来快速判断所述待播放视频文件的显示格式是经过处理的左右格式,还是2D的全屏格式。
以获取的预设图像帧为所述待播放视频文件的第2、3、4帧图像帧为例,在所述第一获取模块10获取到前述第2、3、4帧图像帧后,判断模块20分别判断前述第2、3、4帧图像帧各自的左半图像和右半图像是否相同,并统计判定结果为“相同”的数量值,并由确定模块30根据统计的所述数量值以及预设阈值的大小关系确定所述待播放视频文件的显示格式,其中,若3次判定结果至少有两次判定结果为“相同”,则可确定所述待播放视频文件的显示格式为左右格式(即俗称的3D格式),否则确定所述待播放视频文件的显示格式为全屏格式(即俗称的2D格式)。
需要说明的是,所述预设阈值的大小取决于获取的所述预设图像帧的数量,记预设阈值为t,记获取的所述预设图像帧的数量为T(优选为奇数),
则预设阈值t=(T+1)/2;
进一步的,在本实施例中,所述视频格式识别装置还包括:
第二获取模块,用于基于用户输入的播放指令向服务器发送视频文件获取请求;以及接收并将所述服务器根据所述视频文件获取请求返回的视频文件作为所述待播放视频文件。
本实施例中,第二获取模块在其所在视频播放器接收到用户的播放指令时,生成对应所述播放指令的视频文件获取请求,并基于所述视频播放器发送至内容分发平台的服务器;所述服务器在响应视频播放器的视频文件获取请求后,首先将对应的视频文件按照预设流媒体协议分割为小的数据包,通过远程安全传输信道,并在传输协议的控制下,将数据包以同步或者异步方式回传到视频播放器,由视频播放器将数据包重新组合为视频文件。
在具体实施时,所述第二获取模块基于视频播放器发起视频文件获取请求,视频播放器和内容分发平台的服务器建立安全通信链路;服务器在本地获取到对应的视频文件后,按照应用层RSTP协议(实时流传输协议)将视频文件分割成有效的流媒体包,通过TCP或者UDP方式回传到视频播放器;视频播放器在接收到流媒体包后,按照RTSP协议重新组合流媒体数据包得到播放指令对应的视频文件,所述第二获取模块将其作为待播放视频文件保存到本地临时交换文件区,以备播放。
进一步的,在本实施例中,所述视频格式识别装置还包括:
播放模块,用于按照确定的所述显示格式所对应的播放模式播放所述待播放视频文件。
具体的,在所述确定模块30确定所述待播放视频文件的显示格式之后,所述播放模块基于所述视频播放器按照确定的所述显示格式所对应的播放模式播放所述待播放视频文件。例如,在确定所述待播放视频文件的显示格式为左右格式时,采用对应的3D播放模式进行播放。
本实施例提出的视频格式识别装置,在待播放视频文件解码之后,提取解码后的预设图像帧,并基于预设图像帧的左半图像和右半图像是否相同来判定待播放视频文件的显示格式是否为左右格式,相较于现有技术,不需要对原始视频文件做任何修改和标记,而仅仅是对视频帧进行分析处理,来获得期望的判定结果,不仅节省文件上传服务器的时间,而且不会对用户的观影体验造成影响,能够有效的提高视频文件格式识别的效率。
进一步的,基于第一实施例,提出本发明视频格式识别装置的第二实施例,在本实施例中,所述判断模块20还用于依次选中获取的各所述预设图像帧;以及在每次选中预设图像帧时,计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,其中,在所述差值位于所述预设差值区间内时,当前选中的所述预设图像帧的左半图像和右半图像相同;以及在完成当前选中的所述预设图像帧的判断操作之后,继续按顺序选中其它预设图像帧。
本实施例中,所述判断模块20在执行判断获取的各所述预设图像帧的左半图像和右半图像是否相同的操作时,以所述第一获取模块10获取的预设图像帧为所述待播放视频文件的第2、3、4帧图像帧为例,所述判断模块20首先选中第2帧图像帧,将第2帧图像帧沿左右中轴线拆分为左半图像和右半图像,如图2所示;在将第2帧图像帧拆分为左半图像以及右半图像后,计算左半图像以及右半图像的表征图像的特征值(该特征值可以是一个数值,也可以是其他数学形式的表达式),分别为第一特征值和第二特征值;然后计算所述第一特征值和所述第二特征值的差值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,在所述差值位于所述预设差值区间内时,所述第2帧图像帧的左半图像和右半图像相同,否则所述第2帧图像帧的左半图像和右半图像不同。例如,计算的所述第2帧图像帧的左半图像和右半图像的特征差值为0,位于预设差值区间内,则可确定所述第2帧图像帧的左半图像和右半图像相同。
同理,在完成第2帧图像帧的左半图像和右半图像是否相同的判断操作之后,相应判断第3、4帧图像帧的左半图像和右半图像是否相同,此处不再赘述。其中,本实施并不限制所述预设差值区间的取值范围,具体按实际需要进行设置。
具体的,判断模块20计算的特征值包括但不限于颜色特征值、纹理特征值、形状特征值以及空间关系特征值。例如,在具体实施时,判断模块20可采用颜色直方图、颜色集、颜色矩、颜色聚合向量、颜色相关图等方法来计算选中的预设图像帧的颜色特征值;判断模块20可采用统计法(典型代表是灰度共生矩阵和图像自相关函数提取特征参数)、几何法、模型法和信号处理法等方法来计算选中的预设图像帧的纹理特征值等,其他特征的提取方法,此处不再详述,具体按实际需要选取。
进一步的,为提升特征值的计算效率,基于第二实施例,提出本发明视频格式识别装置的第三实施例,在本实施例中,所述判断模块20还用于基于预设抛物线算法提取所述左半图像中的第一闭合区域以及所述右半图像中的第二闭合区域,其中,所述第一闭合区域与所述左半图像的相对位置和所述第二闭合区域与所述右半图像的相对位置相同;以及计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值。
需要说明的是,本实施例与第二实施例的区别在于,本实施例通过对一块空间闭合内像素点的一组特征值(如颜色特征)的比较,进而对左右两侧图像进行相似性度量。闭合区域采样的优势在于,样本在空间范围内连续、样本范围较线性取样点更加广泛、更能反映图像特征。
本实施例选取由两条相交抛物线构成的闭合区域取样的方式作为计算的基础。其原理如下:
参照图3,假设坐标原点A(0,0)和另一点B(R,R)点是两条标准抛物线相交的点,过B点分别做X轴和Y轴的垂直线,并与X和Y轴分别交于A'(0,R)和B'(R,0)两点。假设闭合抛物线构成的阴影部分面积为S’,矩形面积为S,我们可以得到阴影和矩形面积的比值δ=S’/S。
1、首先定义两条标准抛物线方程为:
y2=2Px;P>0,x∈(0,R);
x2=2P’y;P>0,y∈(0,R);
2、通过代入B(R,R)点计算出参数P和P’的值分别为:
P=P’=R/2;
3、定积分计算阴影部分面积S’:
4、计算δ值:
由此可见,抛物线构成的闭合区域只占整个矩形面积的1/3,但是整个结论是考虑了AA’和BB’等长的情况,在具体实施时,以终端为智能手机为例,由于手机屏幕的宽高比通常在16:9到4:3之间,若将屏幕平均分割为左右两部分,则取样屏幕的宽高比变为8:9和2:3。可以理解的是,在此条件下重新计算的δ值,也基本在1/3附近。但是这个样本的范围,足够准确的反映原始图像的特征,能够提升了特征值的计算效率。
参照图4,以下对第一闭合区域和第二闭合区域的提取进行说明:
A、假设选中的所述预设图像帧宽为W(单位:px,像素),高为H(单位:px,像素),且W>H;
B、以显示平面较长一边为X轴,较短一边为Y轴,定义显示平面坐标原点A(0,0);
C、左右中轴线与显示平面的交点定义为B(W/2,0)和C(W/2,H);
D、定义两条左半部标准抛物线方程:Y2=2P0X和X2=2P0'Y,使其分别经过A点和C点,得到第一闭合区域;
E、将两条左半部标准抛物线沿X轴向右平移W/2距离,则得到两条右半部标准抛物线,且两条抛物线交于一点C’(W,H),得到抛物线方程:Y2=2P1X和X2=2P1'Y;
F、左半部和右半部抛物线构成的闭合区域内所有像素点即为采样点集合S0(即第一闭合区域)和S1(即第二闭合区域)。
在提取所述第一闭合区域以及所述第二闭合区域之后,所述判断模块20计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值,具体可参照第二实施例的相关描述,此处不再赘述。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种视频格式识别方法,其特征在于,所述视频格式识别方法包括:
获取解码后的待播放视频文件的预设图像帧;
判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;
在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。
2.如权利要求1所述的视频格式识别方法,其特征在于,所述判断获取的各所述预设图像帧的左半图像和右半图像是否相同的步骤包括:
依次选中获取的各所述预设图像帧;
在每次选中预设图像帧时,计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,其中,在所述差值位于所述预设差值区间内时,当前选中的所述预设图像帧的左半图像和右半图像相同;
在完成当前选中的所述预设图像帧的判断操作之后,继续按顺序选中其它预设图像帧。
3.如权利要求2所述的视频格式识别方法,其特征在于,所述计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值的步骤包括:
基于预设抛物线算法提取所述左半图像中的第一闭合区域以及所述右半图像中的第二闭合区域,其中,所述第一闭合区域与所述左半图像的相对位置和所述第二闭合区域与所述右半图像的相对位置相同;
计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,以及计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值。
4.如权利要求2或3所述的视频格式识别方法,其特征在于,计算的特征值包括颜色特征值、纹理特征值、形状特征值、空间关系特征值中的至少一种。
5.如权利要求1所述的视频格式识别方法,其特征在于,所述获取解码后的待播放视频文件的预设图像帧的步骤之前,还包括:
基于用户输入的播放指令向服务器发送视频文件获取请求;
接收并将所述服务器根据所述视频文件获取请求返回的视频文件作为所述待播放视频文件。
6.一种视频格式识别装置,其特征在于,所述视频格式识别装置包括:
第一获取模块,用于获取解码后的待播放视频文件的预设图像帧;
判断模块,用于判断获取的各所述预设图像帧的左半图像和右半图像是否相同,并统计左半图像和右半图像相同的所述预设图像帧的数量值;
确定模块,用于在所述数量值大于等于预设阈值时,确定所述待播放视频文件的显示格式为左右格式。
7.如权利要求6所述的视频格式识别装置,其特征在于,所述判断模块还用于依次选中获取的各所述预设图像帧;以及在每次选中预设图像帧时,计算选中的所述预设图像帧左半图像的第一特征值以及右半图像的第二特征值,并判断所述第一特征值和所述第二特征值的差值是否位于预设差值区间内,其中,在所述差值位于所述预设差值区间内时,当前选中的所述预设图像帧的左半图像和右半图像相同;以及在完成当前选中的所述预设图像帧的判断操作之后,继续按顺序选中其它预设图像帧。
8.如权利要求7所述的视频格式识别装置,其特征在于,所述判断模块还用于基于预设抛物线算法提取所述左半图像中的第一闭合区域以及所述右半图像中的第二闭合区域,其中,所述第一闭合区域与所述左半图像的相对位置和所述第二闭合区域与所述右半图像的相对位置相同;以及计算并将所述第一闭合区域围合成的图像的特征值作为所述左半图像的第一特征值,计算并将所述第二闭合区域围合成的图像的特征值作为所述右半图像的第二特征值。
9.如权利要求7或8所述的视频格式识别装置,其特征在于,计算的特征值包括颜色特征值、纹理特征值、形状特征值、空间关系特征值中的至少一种。
10.如权利要求6所述的视频格式识别装置,其特征在于,所述视频格式识别装置还包括:
第二获取模块,用于基于用户输入的播放指令向服务器发送视频文件获取请求;以及接收并将所述服务器根据所述视频文件获取请求返回的视频文件作为所述待播放视频文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610025714.7A CN105635715A (zh) | 2016-01-14 | 2016-01-14 | 视频格式识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610025714.7A CN105635715A (zh) | 2016-01-14 | 2016-01-14 | 视频格式识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105635715A true CN105635715A (zh) | 2016-06-01 |
Family
ID=56050148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610025714.7A Pending CN105635715A (zh) | 2016-01-14 | 2016-01-14 | 视频格式识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105635715A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107071386A (zh) * | 2017-04-19 | 2017-08-18 | 宁波万维显示科技有限公司 | 识别3d格式视频的方法及装置 |
CN108830198A (zh) * | 2018-05-31 | 2018-11-16 | 上海玮舟微电子科技有限公司 | 视频格式的识别方法、装置、设备及存储介质 |
CN110753265A (zh) * | 2019-10-28 | 2020-02-04 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置和电子设备 |
WO2021243680A1 (en) * | 2020-06-05 | 2021-12-09 | Qualcomm Incorporated | Video data processing based on sampling rate |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980545A (zh) * | 2010-11-29 | 2011-02-23 | 深圳市九洲电器有限公司 | 一种自动检测3dtv视频节目格式的方法 |
CN102231829A (zh) * | 2011-06-27 | 2011-11-02 | 深圳超多维光电子有限公司 | 一种视频文件的显示格式识别方法、装置及视频播放器 |
CN102340676A (zh) * | 2010-07-16 | 2012-02-01 | 深圳Tcl新技术有限公司 | 一种3d视频格式自动识别的方法及装置 |
CN102395037A (zh) * | 2011-06-30 | 2012-03-28 | 深圳超多维光电子有限公司 | 一种格式识别方法及识别装置 |
CN103051913A (zh) * | 2013-01-05 | 2013-04-17 | 北京暴风科技股份有限公司 | 一种3d片源格式自动识别的方法 |
-
2016
- 2016-01-14 CN CN201610025714.7A patent/CN105635715A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102340676A (zh) * | 2010-07-16 | 2012-02-01 | 深圳Tcl新技术有限公司 | 一种3d视频格式自动识别的方法及装置 |
CN101980545A (zh) * | 2010-11-29 | 2011-02-23 | 深圳市九洲电器有限公司 | 一种自动检测3dtv视频节目格式的方法 |
CN102231829A (zh) * | 2011-06-27 | 2011-11-02 | 深圳超多维光电子有限公司 | 一种视频文件的显示格式识别方法、装置及视频播放器 |
CN102395037A (zh) * | 2011-06-30 | 2012-03-28 | 深圳超多维光电子有限公司 | 一种格式识别方法及识别装置 |
CN103051913A (zh) * | 2013-01-05 | 2013-04-17 | 北京暴风科技股份有限公司 | 一种3d片源格式自动识别的方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107071386A (zh) * | 2017-04-19 | 2017-08-18 | 宁波万维显示科技有限公司 | 识别3d格式视频的方法及装置 |
CN108830198A (zh) * | 2018-05-31 | 2018-11-16 | 上海玮舟微电子科技有限公司 | 视频格式的识别方法、装置、设备及存储介质 |
CN110753265A (zh) * | 2019-10-28 | 2020-02-04 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置和电子设备 |
WO2021243680A1 (en) * | 2020-06-05 | 2021-12-09 | Qualcomm Incorporated | Video data processing based on sampling rate |
US11847995B2 (en) | 2020-06-05 | 2023-12-19 | Qualcomm Incorporated | Video data processing based on sampling rate |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11509933B2 (en) | Method, an apparatus and a computer program product for volumetric video | |
US10430682B2 (en) | Systems and methods for decoding image files containing depth maps stored as metadata | |
Moorthy et al. | Visual quality assessment algorithms: what does the future hold? | |
CN102724492B (zh) | 视频图像传输、播放方法和系统 | |
CN102474661A (zh) | 根据输送协议封装三维视频数据 | |
CN105635715A (zh) | 视频格式识别方法及装置 | |
CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
CN110490845A (zh) | 一种图像特征提取方法、装置、存储介质及电子设备 | |
CN112423110A (zh) | 直播视频数据生成方法、装置及直播视频播放方法、装置 | |
CN109218755A (zh) | 一种媒体数据的处理方法和装置 | |
CN110944200A (zh) | 一种评估沉浸式视频转码方案的方法 | |
CN109688407A (zh) | 编码单元的参考块选择方法、装置、电子设备及存储介质 | |
CN113516666A (zh) | 图像裁剪方法、装置、计算机设备及存储介质 | |
CN106791850A (zh) | 视频编码方法及装置 | |
CN107147824A (zh) | 多视角视频的输出方法和装置 | |
US20220217400A1 (en) | Method, an apparatus and a computer program product for volumetric video encoding and decoding | |
CN109600667A (zh) | 一种基于网格与帧分组的视频重定向的方法 | |
CN111741247A (zh) | 一种录像回放的方法、装置及计算机设备 | |
CN105007494A (zh) | 一种3d视频深度图像模型模式的帧内楔形分割模式选择方法 | |
KR100575733B1 (ko) | 압축 동영상의 움직임 객체 분할 방법 | |
CN114630139A (zh) | 直播视频的质量评估方法及其相关设备 | |
JP2004048116A (ja) | 画像データ符号化および復号のための方法および装置 | |
CN104935830A (zh) | 拼接显示装置视频信息渲染、显示方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160601 |