CN105681720B - 视频播放的处理方法及装置 - Google Patents

视频播放的处理方法及装置 Download PDF

Info

Publication number
CN105681720B
CN105681720B CN201610158761.9A CN201610158761A CN105681720B CN 105681720 B CN105681720 B CN 105681720B CN 201610158761 A CN201610158761 A CN 201610158761A CN 105681720 B CN105681720 B CN 105681720B
Authority
CN
China
Prior art keywords
video image
resolution format
resolution
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610158761.9A
Other languages
English (en)
Other versions
CN105681720A (zh
Inventor
刘杰
张智华
丁强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201610158761.9A priority Critical patent/CN105681720B/zh
Publication of CN105681720A publication Critical patent/CN105681720A/zh
Application granted granted Critical
Publication of CN105681720B publication Critical patent/CN105681720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种视频播放的处理方法及装置。本发明视频播放的处理方法,包括:获取待播放的视频对应的解码后的视频图像;在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式;根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;所述有效像素点为转换前的视频图像中的像素点。本发明不会造成播放过程中因分辨率发生变化后所引起的黑屏问题。

Description

视频播放的处理方法及装置
技术领域
本发明涉及通信技术领域,尤其涉及一种视频播放的处理方法及装置。
背景技术
随着电视技术的发展,越来越多的用户使用电视作为观看视频的终端设备。用户在使用电视机进行视频点播时,经常会遇到由于网络速度的变更,造成视频播放过程中的卡顿、黑屏或者延时等问题。
图1为现有的视频播放处理流程示意图。对于日常普通的最常用的30Hz帧率的视频信号,由于网络带宽存在实时变化的问题,因此为了应对网络带宽的变化,针对同一视频节目中,一些视频播放网站的后台服务器会存在480P/720P/1080I/1080P/2160P等各种分辨率的信号源,在视频播放过程中,后台服务器会根据用户实际的网络带宽来推送相应的视频格式,满足在用户观看过程中没有数据缓冲,卡顿,延迟的问题;如图1所示,服务器端发送的信号被前端SOC芯片中的解码模块(Decoder)解码后变成一帧帧图像送到图像处理(VDP/DDP)模块进行画质(Picture Quality,简称PQ)处理,然后被送到显示处理(Scaler)模块做缩放处理(Upscaler或者Downscaler处理),目的使得信号源提供的视频信号的分辨率格式与显示屏匹配,最后被送给显示屏显示处理,在整个的处理过程中,信号是一帧一帧处理(如图1中F1)。
但是对于更高帧率的如60Hz的高清视频信号,由于前端SOC中的显示处理模块的带宽限制为300MHz(SOC处理能力有限),只能支持到4K×2K@30Hz,因此无法满足更高帧率60Hz的信号的分辨率和显示屏适配的要求,对于此类高帧率或者码率的视频信号,可以在上述SOC方案的基础上在输出至显示屏之前增加处理能力更强的帧率转换器(Frame RateConverter简称FRC)来进行相应的算法处理,但是若网络带宽等原因使得进入SOC的视频信号的分辨率发生变化,如果前端的SOC将解码后的视频图像直接输出给FRC的话,由于需要最终提供给显示屏的视频图像的Pixel Clock(像素时钟)会在SOC输出的视频图像的分辨率不同的时候发生变化,如1920×108060Hz的时钟周期为148.5MHz,3840×2160 60Hz的时钟周期为597MHz,那么FRC在处理视频信号和屏的分辨率统一的同时还需要重新同步时钟,这个过程也同样需要较长时间,也会不可避免的存在黑屏的现象。
发明内容
本发明提供一种视频播放的处理方法及装置,以克服现有技术中当视频信号的分辨率发生变化时会存在黑屏的问题。
第一方面,本发明提供一种视频播放的处理方法,包括:
获取待播放的视频对应的解码后的视频图像;
在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式;
根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;
其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;所述有效像素点为转换前的视频图像中的像素点。
第二方面,本发明提供一种视频播放的处理装置,包括:
解码模块,用于获取待播放的视频对应的解码后的视频图像;
显示处理模块,用于在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式;
帧频转换模块,用于根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;
其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;所述有效像素点为转换前的视频图像中的像素点。
本发明视频播放的处理方法及装置,通过获取解码后的视频图像,然后在视频图像的第一分辨率格式与第二分辨率格式不匹配时,将视频图像的第一分辨率格式转换为第二分辨率格式;根据预先获取的视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;与现有技术相比而言,对解码后输出的视频图像进行统一的分辨率格式转换,转换成统一的第二分辨率格式的视频图像,即由于转化为第二分辨率的视频图像是通过非有效像素点的填充,使得在转化为与显示屏匹配的第三分辨率之前,都统一为第二分辨率,也就是对于FRC来说,SOC的视频信号输出是稳定的,即需要输出给显示屏的Pixel Clock像素时钟不会发生变化,相应的也就不需要FRC进行时钟同步的处理,同时在FRC在对视频图像进行相应的分辨率格式转换之前,已经提前获知该视频图像的第一分辨率格式,因此处理过程时间较短,进一步的使得造成因待播放的视频的分辨率发生变化而引起的黑屏的技术问题得到改善。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有的视频播放处理流程示意图;
图2为本发明视频播放的处理方法一实施例的流程图;
图3为本发明视频播放的处理方法一实施例的处理流程示意图;
图4为本发明方法一实施例中的视频图像分辨率格式转换示意图;
图5为本发明视频播放的处理装置一实施例的结构示意图;
图6为本发明电视一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于前端SOC中的显示处理模块的带宽限制为300MHz(SOC处理能力有限),只能支持到4K×2K@30Hz,因此无法满足更高帧率60Hz的信号的分辨率和显示屏适配的要求,对于此类高帧率或者码率的视频信号,可以在上述SOC方案的基础上在输出至显示屏之前增加处理能力更强的帧率转换器(Frame Rate Converter简称FRC)来进行相应的算法处理,但是若网络带宽等原因使得进入SOC的视频信号的分辨率发生变化,如果前端的SOC将解码后的视频图像直接输出给FRC的话,由于需要最终提供给显示屏的视频图像的Pixel Clock(像素时钟)会在SOC输出的视频图像的分辨率不同的时候发生变化,如1920×1080 60Hz的时钟周期为148.5MHz,3840×2160 60Hz的时钟周期为597MHz,那么FRC在处理视频信号和显示屏的分辨率统一的同时还需要重新同步时钟,这个过程也同样需要较长时间,也会不可避免的存在黑屏的现象。
本发明实施例的视频播放的处理方法可以应用于电视、手机、个人电脑、平板电脑等设备中,以解决上述问题,本发明下述实施例中主要阐述如何通过信号处理方式上的改变,来保证视频信号分辨率发生变化时无黑屏、无卡顿、无延时缓冲显示。
图2为本发明视频播放的处理方法一实施例的流程图。图3为本发明视频播放的处理方法一实施例的处理流程示意图。如图2所示,本实施例以该视频播放的处理方法应用于电视中来举例说明,方法包括:
步骤201、获取待播放的视频对应的解码后的视频图像;
步骤202、在视频图像的第一分辨率格式与第二分辨率格式不匹配时,将视频图像的第一分辨率格式转换为第二分辨率格式;
步骤203、根据预先获取的视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;
其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;有效像素点为转换前的视频图像中的像素点。
具体来说,服务器中的同一视频内容可能保存有不同分辨率格式,(其帧率不会发生变化,仅仅是分辨率的不同),包括但不限于以下几种,每种分辨率对应一种模式:
3840×2160-----模式1
2880×1440-----模式2
2560×1440-----模式3
1920×1080-----模式4
1280×720-----模式5
720×576-----模式6
640×480-----模式7
320×240-----模式8
在视频点播的应用场景中进行播放处理时,先获取用户请求的待播放的视频对应的解码后的视频图像;可以是图3中解码模块进行解码获取视频图像;
获取的待播放视频可以是服务器根据当前用户的网络带宽主动推送的与当前用户的网络带宽匹配的分辨率格式的视频信号,也可以是SOC根据监测的当前用户的网络带宽向服务器请求的与当前用户的网络带宽匹配的分辨率格式的视频信号。
对于解码后的视频图像来说,解码模块会监测视频图像的第一分辨率格式的变化,解码模块将第1帧视频图像的第一分辨率格式通知FRC,后续解码模块若监测到分辨率发生变化时,会将该视频图像的第一分辨率格式通知给FRC进行分辨率格式转换的算法准备;具体可以将第一分辨率格式的标识发送给FRC;SOC在视频图像的第一分辨率格式与第二分辨率格式不匹配时,将视频图像的第一分辨率格式转换为第二分辨率格式。即在将每帧视频图像发送给FRC之前,对每帧视频图像依次进行分辨率格式转换,统一为第二分辨率格式,图3仅示出了3帧视频图像F1、F2、F3,转换后的视频图像如图3所示的F1′、F2′、F3′,其余帧的视频图像类似,将解码后的所有视频图像依次进行分辨率格式转换。
其中,转换规则可以是将与第二分辨率格式差异的像素补充为黑色像素点或其他非有效像素点,转换成第二分辨率格式的视频图像。
第二分辨率可为预设好的某一种格式的分辨率,例如可将第二分辨率预设为1920×1080,后续解码后获得的视频图像的第一分辨率格式都需要与第二分辨率格式匹配,若不匹配,则需要将视频图像的第一分辨率格式转换为第二分辨率格式;当然也可以是根据获取到解码后的视频图像对应的分辨率格式决定的,例如,初始进行播放时,视频源对应的视频图像的分辨率格式可以为1920×1080,可将该分辨率设置为第二分辨率,在带宽发生变化时,可能视频源的分辨率格式会进行调整,可能变成720×576格式,此时视频图像对应的第一分辨率720×576格式与第二分辨率1920×1080格式不同,因此需要将当前的第一分辨率720×576格式转换为第二分辨率1920×1080格式。
由于视频源会根据用户的网络带宽实时变换分辨率,因此经过解码器解码后的视频图像的分辨率在不同时刻是不统一的,为了保证输出至FRC的视频图像的Pixel Clock的统一,从而避免黑屏现象,因此需要经过SOC处理成统一的第二分辨率格式。
然后,对于SOC中依次输出的每帧视频图像,根据预先获取的该视频图像的第一分辨率格式对该视频图像的第二分辨率格式进行转换处理,以获取与显示屏匹配的第三分辨率格式。这里可以是获取到解码后视频图像时预先通知给FRC的。
具体来说,如图3所示,显示处理模块可以依次对解码后的视频图像进行分辨率格式转换处理,获取第二分辨率格式的视频图像;然后将转换处理后的该视频图像输出至FRC再次进行分辨率格式转换处理;由FRC根据预先获知的分辨率格式的标识(如Mode Index)调用相应的算法进行处理,处理成与显示屏匹配的第三分辨率格式;其中,第二分辨率格式可以为显示屏的分辨率;后端FRC再统一做相应处理;FRC可以根据图像缩放插值算法进行分辨率格式转换。
例如,与显示屏匹配的第三分辨率格式假设为3840×2160,解码后的视频图像的第一分辨率格式为模式4,则如图4所示,可以将1920×1080分辨率的视频图像转换为3840×2160分辨率的视频图像,具体可以是将1920×1080的原始图像作为有效像素点,然后将3840×2160分辨率其他的部分采用黑色像素点来补充完整;在本发明其他实施方式中,还可以通过其他方式进行分辨率格式转换处理,本发明对此并不限定。
在FRC中进行分辨率格式转换处理时,具体可以是在原视频图像相邻像素点之间经过插值算法计算填充一个新的像素点的方式转换分辨率格式;在本发明其他实施方式中,还可以通过其他算法进行分辨率格式转换,本发明对此并不限定。
图像缩放插值算法,包括如线性插值算法、最近邻插值算法、双线性内插值算法等等。
或者,与显示屏匹配的第三分辨率格式假设为3840×2160,解码后的视频图像的第一分辨率格式为320×240,或者1280×720,则在显示处理模块中可以先将第一分辨率格式转换为第二分辨率格式1920×1080,然后输出给FRC,由FRC进行最终的分辨率格式转换处理,以获取与显示屏匹配的第三分辨率格式的视频图像。
下面进行举例说明:
待播放的视频在刚开始播放时,经过解码后,会将视频图像的第一分辨率格式通知给FRC,当FRC接收到该视频图像之前已经知道该视频图像的第一分辨率格式,以便于FRC调用相应的处理算法进行分辨率格式的转换;缓存模块输出的视频图像可以经过图像处理VDP/DDP模块的色彩控制(Color Manager)、降噪、清晰度、超解像、伽马Gamma等画质效果处理、显示处理模块可以将经过画质效果处理之后的视频图像作为有效像素,同时将与第二分辨率格式差异的像素补充为黑色像素点或其他非有效像素点,转换成第二分辨率格式的视频图像;之后,在帧率转换器(FRC)中根据当前帧的第一分辨率格式获取对应的有效像素点,并根据与显示屏匹配的第三分辨率格式,依次对所述显示处理模块中输出的视频图像进行相应的分辨率格式转换处理,处理成与显示屏匹配的第三分辨率格式;我们假设第4帧的第一分辨率格式发生变化与第二分辨率格式不匹配,解码模块例如可以通过串行总线(Inter-Integrated Circuit,简称I2C)或者串行外设接口(Serial PeripheralInterface,简称SPI)经高速串行V-By-One接口将第4帧的第一分辨率格式通知FRC,FRC获取到第一分辨率格式后,在接收到显示处理模块输出的第4帧的视频图像时,调用相应的分辨率格式对应的算法进行分辨率格式转换处理;在整个过程中,FRC从显示处理模块获取到的视频图像以及FRC到显示屏的信号分辨率始终是稳定的,像素时钟是统一的,且FRC在对视频图像进行分辨率格式转换之前,已经提前获知该视频图像的第一分辨率格式,因此处理过程时间较短,不会造成因待播放的视频的分辨率发生变化而引起的黑屏问题。
在本实施例中,如果后端的FRC只能实现2倍Upscaler处理的情况下,与显示屏匹配的分辨率格式假设为3840×2160,解码后的视频图像的分辨率格式为模式5、6、7、8,则需要在发给缓存模块之前进行分辨率格式转换,将分辨率格式统一转换调整为1920×1080的分辨率格式,此时可以通过将有效像素点进行复制实现分辨率格式转换,然后在缓存模块输出之后显示处理模块做预处理,其他与上述方案一致;如果FRC可以实现12倍的Upscaler处理,直接用上述方案就可以实现。
本实施例提供的视频播放的处理方法,通过获取解码后的视频图像,然后在视频图像的第一分辨率格式与第二分辨率格式不匹配时,将视频图像的第一分辨率格式转换为第二分辨率格式;根据预先获取的视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;与现有技术相比而言,对解码后输出的视频图像进行统一的分辨率格式转换,转换成统一的第二分辨率格式的视频图像,即由于转化为第二分辨率的视频图像是通过非有效像素点的填充,使得在转化为与显示屏匹配的第三分辨率之前,都统一为第二分辨率,也就是对于FRC来说,SOC的视频信号输出是稳定的,即需要输出给显示屏的Pixel Clock像素时钟不会发生变化,相应的也就不需要FRC进行时钟同步的处理,同时在FRC在对视频图像进行相应的分辨率格式转换之前,已经提前获知该视频图像的第一分辨率格式,因此处理过程时间较短,进一步的使得造成因待播放的视频的分辨率发生变化而引起的黑屏的技术问题得到改善。
图4为本发明方法一实施例中的视频图像分辨率格式转换示意图。在上述实施例的基础上,进一步的,步骤201之后还可以进行如下操作:
对于解码后的每帧视频图像,将解码后的P帧视频图像依次保存在缓存模块中;其中,P为正整数;
对应的,步骤202具体可以采用如下方式实现:
获取从缓存模块中匀速输出的每帧视频图像,在视频图像的第一分辨率格式与第二分辨率格式不匹配时,片上系统SOC将视频图像的第一分辨率格式转换为第二分辨率格式。
具体来说,对于解码后的视频图像来说,首先将第1帧至第P帧视频图像依次保存在缓存模块(Buffer)中;其中,P为正整数,例如图3取值为P=3。
然后,对缓存模块中匀速输出的每帧视频图像,在视频图像的第一分辨率格式与第二分辨率格式不匹配时,片上系统SOC的显示处理模块将视频图像的第一分辨率格式转换为第二分辨率格式。
当将缓存模块中保存的第N帧视频图像输出后,即缓存模块中保存的视频图像的帧数小于P时,将第N+P帧视频图像保存在缓存模块中;例如,N初始为1,P=3,缓存模块中保存3帧视频图像,然后在缓存模块中保存的第1帧视频图像输出后,将第4帧视频图像保存在缓存模块中;N加1,重复执行上述步骤,直至将所有视频图像都输出。
其中,P可根据实际图像开始播放的缓冲时间及缓存模块的容量综合决定,由于不同分辨率格式的变换时间不同,缓存模块的图像≤P帧。
保存在缓存模块中的目的是保证缓存模块里面始终有几帧视频图像存在,这是由于分辨率格式转换时对于不同的分辨率格式所需要的时间虽然差异较小,但是经处理一定数量后的图像帧,在不同分辨率上仍有一定的时间差异;因此从第N+P帧开始逐帧进行处理,并根据后面的缓存模块存储的视频图像的输出情况,存储到缓存模块中,即缓存模块中只要少于P帧视频图像,就将新处理的第N+P帧放入缓存模块中,保证缓存模块中始终终有1到P帧视频图像。
缓存模块的主要作用是对经过解码模块解码后的视频图像进行缓存,能同时存储P帧视频图像(如F1,F2,F3),并实时的将视频图像以一定的速率一帧一帧的匀速输出给后续的各个功能处理模块;
具体来说,如图3所示,显示处理模块可以依次对缓存模块中输出的视频图像进行分辨率格式转换处理,获取第二分辨率格式的视频图像;然后将转换处理后的该视频图像输出至FRC再次进行分辨率格式转换处理;由FRC根据至少P帧前送过来的分辨率格式的标识(如Mode Index)调用相应的算法进行处理,处理成与显示器匹配的第三分辨率格式。
进一步的,步骤203具体可以采用如下方式实现:
FRC根据预先获取的视频图像的第一分辨率格式从转换为第二分辨率格式的视频图像中提取有效像素点,并将视频图像的第二分辨率格式转换为与显示屏匹配的第三分辨率格式。
具体来说,SOC的显示处理模块依次对解码后的每帧视频图像进行转换预处理,在第N帧视频图像对应的第一分辨率格式与第二分辨率格式不匹配时,显示处理模块对第N帧视频图像进行分辨率转换处理,以获取转换处理后的第N′帧视频图像,并输出至FRC处理;
具体可以是如第二分辨率格式为3840×2160,将解码后输出的1920×1080的视频图像作为有效像素点,然后将3840×2160分辨率其他的部分采用黑色像素点来补充完整。
FRC根据提前通知的分辨率格式调用相应的算法进行分辨率格式转换处理,具体做法为:根据获取的第N′帧视频图像对应的第一分辨率格式,对转换处理后的第N′帧视频图像进行还原处理,获取第N′帧视频图像中的有效像素点,并根据有效像素点和与显示屏匹配的第三分辨率格式,对有效像素点进行分辨率格式转换处理,处理成与显示屏一致的第三分辨率格式。
本实施例中,第N帧和第N′帧为时间序列上的同一帧,只是图像本身有变化。
举例来说,如图3所示,FRC中有不同分辨率格式的处理算法,分辨率格式如前述实施例的模式1-8。如图4所示,假设缓存模块输出的视频图像第一分辨率格式与第二分辨率格式不匹配,则可以先经过显示处理模块预处理后,再发给FRC处理,FRC根据第一分辨率格式对显示处理模块预处理后的视频图像进行处理,处理成与显示屏匹配的第三分辨率格式,图4中左边的图像对应的是显示处理模块处理后的视频图像,右边是FRC处理后的视频图像。
如图4所示,上面一帧视频图像的第一分辨率格式为2560×1440,第二分辨率格式为3840×2160,第2帧视频图像的第一分辨率格式为3840×2160,第二分辨率格式为3840×2160。
进一步的,在本实施例中,步骤203之前还可以进行如下操作:
片上系统SOC将解码后的第1帧视频图像的第一分辨率格式通知给帧频转换模块FRC;
对于随后的每帧视频图像,SOC监测视频图像的第一分辨率格式的变化情况,若监测到第M帧视频图像的第一分辨率格式与第M-1帧视频图像的第一分辨率格式不同,则将第M帧视频图像的第一分辨率格式通知给帧频转换模块FRC,以使所述FRC在接收到第M帧视频图像时已预先获取到第M帧视频图像的第一分辨率格式;
其中,M为大于1的正整数。
具体的,当SOC的解码模块监测到源端的视频图像的第一分辨率格式发生变化后,会通过I2C或者SPI经V-By-One接口通知FRC变化后的第一分辨率格式,即通知FRC该视频图像的第一分辨率格式,以便于FRC在接收到显示处理模块输出的该视频图像后可以调用相应的处理方法对视频图像的分辨率格式进行转化。FRC的主要作用就是将接收到的视频图像还原出原始有效的分辨率,并将该视频图像转换为与显示屏的第三分辨率格式一致的视频图像。
本实施例中,在发给FRC之前,在显示处理模块中进行预处理,这样做的主要目的是保证进入FRC的视频图像的分辨率是固定的,不会发生任何变化,像素时钟是统一的;假设第二分辨率格式为3840×2160,而解码后的第N帧视频图像的分辨率格式为1920×1080,则将该第N帧视频图像统一处理成第二分辨率格式3840×2160,这个过程并不是对视频图像本身做分辨率格式转换Upscaler处理,而是把原视频图像作为有效像素点,作为3840×2160的一部分,当原视频图像的分辨率低于3840×2160时,其余的部分用黑色像素点或其他非有效像素点来替代,如图4中的左半部分。
或者,假设第二分辨率格式为3840×2160,解码后的视频图像的分辨率格式为3840×2160,而与显示屏匹配的第三分辨率格式假设为1920×1080,则在显示处理模块中可以不做处理直接输出给FRC,由FRC进行分辨率格式转换处理(Downscaler处理),以获取与显示屏匹配的第三分辨率格式的视频图像。
假设第4帧的第一分辨率格式发生变化与第二分辨率格式不匹配,则此时实际上系统正在处理F1,解码模块例如可以通过I2C或者SPI经V-By-One接口将第4帧的第一分辨率格式通知FRC,FRC获取到第一分辨率格式后,在接收到显示处理模块输出的第4帧的视频图像时,调用相应的处理算法对分辨率格式转换处理;在整个过程中从显示处理模块到FRC,FRC到显示屏的信号分辨率始终是稳定的,像素时钟是统一的,而且FRC在对视频图像进行分辨率格式转换之前,已经提前3帧获知该视频图像的第一分辨率格式,因此处理过程时间较短,不会造成因待播放的视频的分辨率发生变化而引起的黑屏问题。
本实施例提供的视频播放的处理方法,通过将第1帧视频图像的第一分辨率格式以及后续监测到第一分辨率格式发生变化时,同步将视频图像的第一分辨率格式通知给FRC进行算法准备;解码后的视频图像依次保存在缓存模块中,以使缓存模块中保存的图像帧个数为P;然后显示处理模块依次对缓存模块中输出的视频图像进行分辨率格式转换处理获取第二分辨率格式的视频图像,并将转换处理后的视频图像输出至FRC进行处理,由FRC根据至少P帧前送过来的第一分辨率格式调用相应的算法进行处理;与现有技术相比而言,对解码后输出的视频图像进行统一的分辨率格式转换,转换成统一的第二分辨率格式的视频图像,即由于转化为第二分辨率的视频图像是通过非有效像素点的填充,使得在转化为与显示屏匹配的第三分辨率之前,都统一为第二分辨率,也就是对于FRC来说,SOC的视频信号输出是稳定的,即需要输出给显示屏的Pixel Clock像素时钟不会发生变化,相应的也就不需要FRC进行时钟同步的处理,同时在FRC在对视频图像进行相应的分辨率格式转换之前,已经提前获知该视频图像的第一分辨率格式,因此处理过程时间较短,进一步的使得造成因待播放的视频的分辨率发生变化而引起的黑屏的技术问题得到改善。
上述实施例中,FRC之前的模块都为SOC中的模块。
在上述实施例的基础上,进一步的,本实施例中在步骤101之前,还可以进行如下操作:
监测当前用户的网络带宽;
则获取待播放的视频对应的解码后的视频图像,具体可以采用如下方式实现:
获取与当前用户的网络带宽对应的分辨率格式的待播放的视频;
对待播放的视频进行解码处理,获取解码后的视频图像。
具体来说,在本实施例中,假设当前的视频图像的第一分辨率格式如模式1,而此时的用户网络带宽不足以播放该分辨率格式的视频,则SOC会根据监测到的当前用户的网络带宽向服务器请求与当前用户的网络带宽对应的分辨率格式的待播放的视频,从而避免了视频播放过程中出现卡顿现象。
可选的,在本实施例中,步骤101还可以通过如下方式实现:
接收服务器推送的与当前用户的网络带宽对应的分辨率格式的待播放的视频;
对待播放的视频进行解码处理,获取解码后的视频图像。
具体来说,服务器端会根据用户的网络带宽推送相应的分辨率格式的视频,从而避免了视频播放过程中出现卡顿现象。
当前的视频图像的第一分辨率格式如模式1,而此时的用户网络带宽不足以播放该分辨率格式的视频,则服务器端会根据用户的网络带宽推送相应的分辨率格式的视频。
图5为本发明视频播放的处理装置一实施例的结构示意图。如图5所示,本实施例的视频播放的处理装置,可以包括:解码模块501、显示处理模块502和帧频转换模块503;
其中,解码模块501,用于获取待播放的视频对应的解码后的视频图像;
显示处理模块502,用于在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式;
帧频转换模块503,用于根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;
其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;所述有效像素点为转换前的视频图像中的像素点。
可选地,作为一种可实施的方式,如图5所示,还包括:
缓存模块504,用于依次保存解码后的P帧视频图像;其中,P为正整数;
所述显示处理模块502,具体用于:
获取从所述缓存模块504中匀速输出的每帧所述视频图像,在所述视频图像的第一分辨率格式与所述第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式。
可选地,作为一种可实施的方式,本实施例的装置,帧频转换模块503,具体用于:
根据预先获取的所述视频图像的第一分辨率格式从转换为第二分辨率格式的视频图像中提取有效像素点,并将所述视频图像的第二分辨率格式转换为与显示屏匹配的第三分辨率格式。
可选地,作为一种可实施的方式,本实施例的装置,解码模块501,具体用于:
将解码后的第1帧视频图像的第一分辨率格式通知给帧频转换模块;
对于随后的每帧视频图像,监测视频图像的第一分辨率格式的变化情况,若监测到所述第M帧视频图像的第一分辨率格式与第M-1帧视频图像的第一分辨率格式不同,则将所述第M帧视频图像的第一分辨率格式通知给帧频转换模块,以使帧频转换模块在接收到所述第M帧视频图像时已预先获取到所述第M帧视频图像的第一分辨率格式;
其中,M为大于1的正整数。
可选地,作为一种可实施的方式,本实施例的装置,还可以包括:
格式转换模块,当后端的FRC只能实现2倍Upscalerr处理的情况下,与显示屏匹配的分辨率格式假设为3840×2160,解码后的视频图像的分辨率格式为模式5、6、7、8,则需要在发给缓存模块之前格式转换模块进行分辨率格式转换,将分辨率格式统一转换调整为1920×1080的分辨率格式,然后在缓存模块输出之后显示处理模块做预处理,其他步骤与上述方案一致;如果FRC可以实现12倍的Upscaler处理,直接用上述方案就可以实现,该格式转换模块不需要进行处理。
可选地,作为一种可实施的方式,本实施例的装置,还可以包括:
监测模块,用于监测用户当前的网络带宽;
所述解码模块501,具体用于:
获取与所述当前用户的网络带宽对应的分辨率格式的所述待播放的视频;
对所述待播放的视频进行解码处理,获取所述解码后的视频图像。
可选地,作为一种可实施的方式,本实施例的装置,还可以包括:
接收模块,用于接收服务器推送的与当前用户的网络带宽对应的分辨率格式的所述待播放的视频;
所述解码模块501,具体用于:
对所述待播放的视频进行解码处理,获取所述解码后的视频图像。
需要说明的是,对于装置实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
图6为本发明电视一实施例的结构示意图。如图6所示,本实施例的电视,可以包括:处理器601、存储器602和通信接口603;
其中,存储器602,用于存储程序;具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器602可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
通信接口603,用于接收信号或数据;
处理器601,用于执行存储器存储的程序,用于执行本发明方法实施例所提供的技术方案,其实现原理和技术效果类似,可参考方法实施例部分的说明,此处不再赘述。
在本发明实施例中,处理器具体可以包括SOC、FRC。
上述实施例中的解码模块、监测模块、显示处理模块和帧频转换模块可以由处理器实现;
缓存模块可以由存储器实现;接收模块可以由通信接口实现。
需要说明的是,对于电视实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种视频播放的处理方法,其特征在于,包括:
获取待播放的视频对应的解码后的视频图像;
在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式;
根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;
其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;所述有效像素点为转换前的视频图像中的像素点。
2.根据权利要求1所述的方法,其特征在于,所述将所述视频图像的第一分辨率格式转换为所述第二分辨率格式,包括:
片上系统SOC将所述视频图像的第一分辨率格式转换为所述第二分辨率格式。
3.根据权利要求1或2所述的方法,其特征在于,获取待播放的视频对应的解码后的视频图像之后,还包括:
对于解码后的每帧视频图像,将解码后的P帧视频图像依次保存在缓存模块中;其中,P为正整数;
在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式,包括:
获取从所述缓存模块中匀速输出的每帧所述视频图像,在所述视频图像的第一分辨率格式与所述第二分辨率格式不匹配时,片上系统SOC将所述视频图像的第一分辨率格式转换为所述第二分辨率格式。
4.根据权利要求1或2所述的方法,其特征在于,根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式的视频图像,包括:
帧频转换模块FRC根据预先获取的所述视频图像的第一分辨率格式从转换为第二分辨率格式的视频图像中提取有效像素点,并将所述视频图像的第二分辨率格式转换为与显示屏匹配的第三分辨率格式。
5.根据权利要求1或2所述的方法,其特征在于,根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式的视频图像之前,还包括:
片上系统SOC将解码后的第1帧视频图像的第一分辨率格式通知给帧频转换模块FRC;
对于随后的每帧视频图像,所述SOC监测视频图像的第一分辨率格式的变化情况,若监测到第M帧视频图像的第一分辨率格式与第M-1帧视频图像的第一分辨率格式不同,则将所述第M帧视频图像的第一分辨率格式通知给帧频转换模块FRC,以使所述FRC在接收到所述第M帧视频图像时已预先获取到所述第M帧视频图像的第一分辨率格式;
其中,M为大于1的正整数。
6.根据权利要求1或2所述的方法,其特征在于,获取待播放的视频对应的解码后的视频图像之前,还包括:
监测当前用户的网络带宽;
则获取待播放的视频对应的解码后的视频图像,包括:
获取与所述当前用户的网络带宽对应的分辨率格式的所述待播放的视频;
对所述待播放的视频进行解码处理,获取所述解码后的视频图像。
7.根据权利要求1或2所述的方法,其特征在于,所述获取待播放的视频对应的解码后的视频图像,包括:
接收服务器推送的与当前用户的网络带宽对应的分辨率格式的所述待播放的视频;
对所述待播放的视频进行解码处理,获取所述解码后的视频图像。
8.一种视频播放的处理装置,其特征在于,包括:
解码模块,用于获取待播放的视频对应的解码后的视频图像;
显示处理模块,用于在所述视频图像的第一分辨率格式与第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式;
帧频转换模块,用于根据预先获取的所述视频图像的第一分辨率格式,将转换为第二分辨率格式的视频图像的分辨率格式转换为与显示屏匹配的第三分辨率格式;
其中,转换为第二分辨率格式的视频图像中包括有效像素点和非有效像素点;所述有效像素点为转换前的视频图像中的像素点。
9.根据权利要求8所述的装置,其特征在于,还包括:
缓存模块,用于依次保存解码后的P帧视频图像;其中,P为正整数;
所述显示处理模块,具体用于:
获取从所述缓存模块中匀速输出的每帧所述视频图像,在所述视频图像的第一分辨率格式与所述第二分辨率格式不匹配时,将所述视频图像的第一分辨率格式转换为所述第二分辨率格式。
10.根据权利要求8或9所述的装置,其特征在于,所述帧频转换模块,具体用于:
根据预先获取的所述视频图像的第一分辨率格式从转换为第二分辨率格式的视频图像中提取有效像素点,并将所述视频图像的第二分辨率格式转换为与显示屏匹配的第三分辨率格式。
11.根据权利要求8或9所述的装置,其特征在于,所述解码模块,具体用于:
将解码后的第1帧视频图像的第一分辨率格式通知给所述帧频转换模块;
对于随后的每帧视频图像,监测视频图像的第一分辨率格式的变化情况,若监测到第M帧视频图像的第一分辨率格式与第M-1帧视频图像的第一分辨率格式不同,则将所述第M帧视频图像的第一分辨率格式通知给所述帧频转换模块,以使所述帧频转换模块在接收到所述第M帧视频图像时已预先获取到所述第M帧视频图像的第一分辨率格式;
其中,M为大于1的正整数。
12.根据权利要求8或9所述的装置,其特征在于,还包括:
监测模块,用于监测用户当前的网络带宽;
所述解码模块,具体用于:
获取与当前用户的网络带宽对应的分辨率格式的所述待播放的视频;
对所述待播放的视频进行解码处理,获取所述解码后的视频图像。
13.根据权利要求8或9所述的装置,其特征在于,还包括:
接收模块,用于接收服务器推送的与当前用户的网络带宽对应的分辨率格式的所述待播放的视频;
所述解码模块,具体用于:
对所述待播放的视频进行解码处理,获取所述解码后的视频图像。
CN201610158761.9A 2016-03-18 2016-03-18 视频播放的处理方法及装置 Active CN105681720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610158761.9A CN105681720B (zh) 2016-03-18 2016-03-18 视频播放的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610158761.9A CN105681720B (zh) 2016-03-18 2016-03-18 视频播放的处理方法及装置

Publications (2)

Publication Number Publication Date
CN105681720A CN105681720A (zh) 2016-06-15
CN105681720B true CN105681720B (zh) 2019-04-16

Family

ID=56310980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610158761.9A Active CN105681720B (zh) 2016-03-18 2016-03-18 视频播放的处理方法及装置

Country Status (1)

Country Link
CN (1) CN105681720B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534840B (zh) * 2016-10-31 2018-10-26 青岛海信电器股份有限公司 视频信号的检测方法和装置
CN106856573B (zh) * 2016-11-29 2019-07-26 福建天泉教育科技有限公司 一种视频播放耗电量的优化方法及系统
CN108401125B (zh) 2018-02-28 2020-04-21 京东方科技集团股份有限公司 视频数据处理方法、装置及存储介质
CN108630139B (zh) * 2018-05-08 2021-03-05 京东方科技集团股份有限公司 图像显示处理方法及装置、显示装置及存储介质
CN110809874A (zh) * 2018-08-24 2020-02-18 深圳市大疆创新科技有限公司 数据的同步方法及系统、可移动平台和可读存储介质
CN110956574B (zh) * 2019-11-22 2024-04-09 华为终端有限公司 Soc芯片、移动终端
CN113344781B (zh) * 2021-05-20 2023-12-05 Tcl华星光电技术有限公司 视频播放系统、组件及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144412A (en) * 1996-10-15 2000-11-07 Hitachi, Ltd. Method and circuit for signal processing of format conversion of picture signal
CN1681311A (zh) * 2004-04-09 2005-10-12 乐金电子(沈阳)有限公司 通过同步信号定向耦合来输出超出输入范围信号的方法
CN101859580A (zh) * 2009-04-03 2010-10-13 索尼公司 信息处理设备、信息处理方法和程序
CN103024424A (zh) * 2011-09-20 2013-04-03 Lg电子株式会社 图像显示装置及其操作方法
CN104363506A (zh) * 2011-02-16 2015-02-18 Lg电子株式会社 电视机
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100386579B1 (ko) * 2000-07-18 2003-06-02 엘지전자 주식회사 멀티 소스용 포맷 변환 장치
US6898245B2 (en) * 2001-03-26 2005-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Low complexity video decoding
US7199837B2 (en) * 2001-11-13 2007-04-03 Ati Technologies, Inc. System for improved ratiometric expansion and method thereof
JP2007067917A (ja) * 2005-08-31 2007-03-15 Matsushita Electric Ind Co Ltd 画像データ処理装置
KR100846450B1 (ko) * 2006-08-31 2008-07-16 삼성전자주식회사 해상도 자동 선택방법 및 이를 적용한 영상수신장치
JP2008252701A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像信号処理装置、映像表示装置および映像信号処理方法
CN101883277A (zh) * 2009-05-08 2010-11-10 尚福兵 低分辨率视频文件播放方法及装置
CN204707190U (zh) * 2015-03-27 2015-10-14 深圳市唯奥视讯技术有限公司 4k2k图像点对点同步处理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144412A (en) * 1996-10-15 2000-11-07 Hitachi, Ltd. Method and circuit for signal processing of format conversion of picture signal
CN1681311A (zh) * 2004-04-09 2005-10-12 乐金电子(沈阳)有限公司 通过同步信号定向耦合来输出超出输入范围信号的方法
CN101859580A (zh) * 2009-04-03 2010-10-13 索尼公司 信息处理设备、信息处理方法和程序
CN104363506A (zh) * 2011-02-16 2015-02-18 Lg电子株式会社 电视机
CN103024424A (zh) * 2011-09-20 2013-04-03 Lg电子株式会社 图像显示装置及其操作方法
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置

Also Published As

Publication number Publication date
CN105681720A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105681720B (zh) 视频播放的处理方法及装置
CN105744358B (zh) 视频播放的处理方法及装置
CN110868625A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN105872419B (zh) 一种显示方法、装置及液晶电视
WO2012079453A1 (zh) 视频数据处理系统及方法、cpu、gpu和视频监控系统
US20100013988A1 (en) Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
US10389908B2 (en) Image processing device, image processing method, and program with reduction and enlargement scaling of image data
CA2950642C (en) Minimizing input lag in a remote gui tv application
US8593575B2 (en) Video display apparatus for shortened-delay processing of a video signal and video processing method
CN113225619A (zh) 帧率自适应方法、装置、设备及可读存储介质
CN114285958B (zh) 图像处理电路、图像处理方法和电子设备
CN113596450B (zh) 视频图像压缩方法、解压缩方法、处理方法及装置、设备
CN105812923B (zh) 基于视频点播的播放处理方法及装置
CN108769600B (zh) 一种基于视频流调帧率的桌面共享系统及其桌面共享方法
CN112637660A (zh) 一种安卓电视视频应用起播的图像稳定方法
CN114938461A (zh) 视频处理方法、装置、设备及可读存储介质
CN108965764B (zh) 图像处理方法及电子设备
KR20080033796A (ko) 듀얼코덱을 이용한 영상처리보드 및 이를 이용한 고화질의영상표시 방법
Chi et al. RA360SR: A real-time acceleration-adaptive 360-degree video super-resolution system
CN112468756A (zh) 一种视频信号无失帧显示方法及显示设备
CN111835957B (zh) 视频处理方法、视频处理装置和视频处理设备
JP5259867B2 (ja) 映像表示装置及び映像処理方法
WO2024093835A1 (zh) 一种图像数据的处理方法及相关设备
TWI812003B (zh) 影像預覽方法及預覽系統
CN117915136A (zh) 一种显示设备及音画同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee after: Hisense Visual Technology Co., Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.