CN116132728A - 异常图像帧的处理方法及相关装置 - Google Patents
异常图像帧的处理方法及相关装置 Download PDFInfo
- Publication number
- CN116132728A CN116132728A CN202211714604.3A CN202211714604A CN116132728A CN 116132728 A CN116132728 A CN 116132728A CN 202211714604 A CN202211714604 A CN 202211714604A CN 116132728 A CN116132728 A CN 116132728A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- played
- frames
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 157
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 33
- 230000000153 supplemental effect Effects 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请适用于显示技术领域,提供了一种显示设备的异常数据处理方法及相关装置,使得显示设备不会将短时间内图像信号异常的图像帧通过屏幕播放。本申请方法应用于显示设备时,主要包括:确定异常图像帧的连续数量X,所述X为大于等于1的正整数;丢弃连续数量X帧的所述异常图像帧;从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;依据Y帧所述目标待播放图像帧生成X帧补充图像帧;将X帧所述补充图像帧存入所述待播放图像缓存中。
Description
技术领域
本申请属于显示技术领域,尤其涉及一种显示设备的异常数据处理方法及相关装置。
背景技术
显示设备(display device),也称显示器、显示屏等。显示设备通常是一种用于输出图像的输出设备。在显示设备与主机设备分离的计算机中,显示设备需要从主机设备中接收特定格式的图像信号(例如VBO、MiPi、eDP等格式),然后显示设备从该图像信号中还原出图像帧并通过显示设备的屏幕进行播放。
当显示设备发现从主机设备中接收到的图像信号在短时间内(例如1秒内)异常时,显示设备会将该异常状态反馈给主机设备,以便主机设备采取预设的相应策略(例如与显示设备之间更换图像信号的格式或通知用户等)。然而现有技术中,显示设备仍然会将短时间内图像信号异常的图像帧通过屏幕播放,使得用户观看到显示设备屏幕展示的屏闪、花屏等现象,给用户带来不好的使用体验。
发明内容
本申请的目的在于提供一种应用于显示设备的异常数据处理方法及相关装置,使得显示设备不会将短时间内图像信号异常的图像帧通过屏幕播放,给用户带来更好的使用体验。
第一方面,本申请提供一种异常图像帧的处理方法,应用于显示设备,包括:
确定异常图像帧的连续数量X,所述X为大于等于1的正整数;
丢弃连续数量X帧的所述异常图像帧;
从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;
依据Y帧所述目标待播放图像帧生成X帧补充图像帧;
将X帧所述补充图像帧存入所述待播放图像缓存中。
可选的,在确定异常图像帧的连续数量X之后,从先进先出队列形式的待播放图像缓存中读取后Y帧目标待播放图像帧之前,所述方法还包括:
计算X帧所述异常图像帧占据的异常时长;
判断所述异常时长是否达到或超过预定时长阈值;
若所述异常图像帧数量达到或超过所述预定时长阈值,则将X帧所述异常图像帧存入所述待播放图像缓存中;
若所述异常图像帧数量未达到所述预定时长阈值,则触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
可选的,在确定异常图像帧的连续数量X之前,所述方法还包括:
接收主机设备发送的图像信号,所述图像信号包括若干帧的图像帧;
逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求;
若所述当前图像帧不符合所述协议标准要求,则确定所述当前图像帧为异常图像帧,将所述图像信号中下一帧图像帧视为新的当前图像帧,触发执行逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求的步骤,直至所述当前图像帧符合所述协议标准要求,得到所述异常图像帧的连续数量X。
可选的,在直至所述当前图像帧符合所述协议标准要求之后,所述方法还包括:
确定所述当前图像帧符合所述协议标准要求的首帧图像帧;
将所述首帧图像帧直接存入所述待播放图像缓存中。
可选的,从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧之前,所述方法还包括:
确定所述待播放图像缓存中图像帧的数量;
若所述待播放图像缓存中图像帧的数量等于1,则将所述Y等于1,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤;
若所述待播放图像缓存中的待播放图像帧的数量等于2或大于2,则将所述Y等于2,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
可选的,所述依据所述Y帧所述目标待播放图像帧生成X帧补充图像帧包括:
当所述X等于1且所述Y等于1时,复制1帧所述目标待播放图像帧作为1帧所述补充图像帧;
当所述X等于1且所述Y等于2时,依据2帧所述目标待播放图像帧生成1帧所述补充图像帧。
可选的,在将X帧所述补充图像帧存入所述待播放图像缓存中之后,所述方法还包括:
通过所述显示设备的屏幕逐帧播放所述待播放图像缓存中的图像帧。
第二方面,本申请提供一种异常图像帧的处理系统,应用于显示设备,包括:
确定单元,用于确定异常图像帧的连续数量X,所述X为大于等于1的正整数;
丢弃单元,用于丢弃连续数量X帧的所述异常图像帧;
读取单元,用于从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;
生成单元,用于依据Y帧所述目标待播放图像帧生成X帧补充图像帧;
存储单元,用于将X帧所述补充图像帧存入所述待播放图像缓存中。
可选的,所述系统还包括:
计算单元,用于计算X帧所述异常图像帧占据的异常时长;
判断单元,用于判断所述异常时长是否达到或超过预定时长阈值;
所述存储单元,还用于若所述异常图像帧数量达到或超过所述预定时长阈值,则将X帧所述异常图像帧存入所述待播放图像缓存中;
触发单元,用于若所述异常图像帧数量未达到所述预定时长阈值,则触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
可选的,所述系统还包括:
接收单元,用于接收主机设备发送的图像信号,所述图像信号包括若干帧的图像帧;
所述判断单元,还用于逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求;
所述确定单元,还用于若所述当前图像帧不符合所述协议标准要求,则确定所述当前图像帧为异常图像帧;
视为单元,用于将所述图像信号中下一帧图像帧视为新的当前图像帧;
所述触发单元,还用于触发执行逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求的步骤;
得到单元,用于直至所述当前图像帧符合所述协议标准要求,得到所述异常图像帧的连续数量X。
可选的,所述系统还包括:
所述确定单元,还用于确定所述当前图像帧符合所述协议标准要求的首帧图像帧;
所述存储单元,还用于将所述首帧图像帧直接存入所述待播放图像缓存中。
可选的,所述系统还包括:
所述确定单元,还用于确定所述待播放图像缓存中图像帧的数量;
所述触发单元,还用于若所述待播放图像缓存中图像帧的数量等于1,则将所述Y等于1,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤;
所述触发单元,还用于若所述待播放图像缓存中的待播放图像帧的数量等于2或大于2,则将所述Y等于2,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
可选的,所述生成单元依据所述Y帧所述目标待播放图像帧生成X帧补充图像帧时,具体用于:
当所述X等于1且所述Y等于1时,复制1帧所述目标待播放图像帧作为1帧所述补充图像帧;
当所述X等于1且所述Y等于2时,依据2帧所述目标待播放图像帧生成1帧所述补充图像帧。
可选的,所述系统还包括:
播放单元,用于通过所述显示设备的屏幕逐帧播放所述待播放图像缓存中的图像帧。
第三方面,本申请提供一种计算机设备,包括:
处理器、存储器、总线、输入输出接口、网络接口;
所述处理器通过所述总线与所述存储器、所述输入输出接口、所述网络接口;
所述存储器中存储有程序;
所述处理器执行所述存储器中存储的所述程序时,实现如前述第一方面中任意一项所述异常图像帧的处理方法。
第四方面,本申请提供一种计算机存储介质,所述计算机存储介质中存储有指令,所述指令在计算机上执行时,使得所述计算机执行如前述第一方面中任意一项所述异常图像帧的处理方法。
第五方面,本申请提供一种计算机程序产品,所述计算机程序产品在计算机上执行时,使得所述计算机执行如前述第一方面中任一项所述异常图像帧的处理方法。
以上技术方案可以看出,本申请实施例具有以下优点:
本申请应用于显示设备的异常图像帧的处理方法,通过确定异常图像帧的连续数量X,其中X为大于等于1的正整数,进而在丢弃这些异常图像帧之前得知当前连续的异常图像帧数量;然后丢弃连续数量X帧的异常图像帧,避免异常图像帧被存储入待播放图像缓存后被播放;为弥补丢弃的X帧异常图像帧的帧数空缺,从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,其中待播放图像缓存用于存储待显示设备的屏幕播放的图像帧,目标待播放图像帧为待播放图像缓存中存储的图像帧,得到正常且接近丢弃的X帧异常图像帧的Y帧目标待播放图像帧;再依据Y帧目标待播放图像帧生成X帧补充图像帧,用来弥补丢弃的X帧异常图像帧的帧数空缺;将X帧补充图像帧存入所述待播放图像缓存中即可,显示设备就可以通过其屏幕逐帧播放待播放图像缓存中的图像帧,使得显示设备不会将短时间内图像信号异常的图像帧通过屏幕播放,给用户带来更好的使用体验。
附图说明
图1为本申请应用于显示设备的异常数据处理方法的一个实施例流程示意图;
图2为本申请应用于显示设备的异常数据处理方法的另一个实施例流程示意图;
图3为本申请应用于显示设备的异常数据处理系统的一个实施例结构示意图;
图4为本申请应用于显示设备的异常数据处理系统的另一个实施例结构示意图;
图5为本申请计算机设备的一个实施例结构示意图;
图6为本申请显示设备的一个实施例结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
请参阅图6,本申请显示设备600通常由接收模块610、一级缓存620、处理模块630、二级缓存640、输出模块650、屏幕660等组成。其中接收模块610用于接收从主机设备700发送来的图像信号,并将接收到的图像信号直接存储到一级缓存620中,同时接收模块610还用于对接收到的所有图像信号进行检测,若接收模块610检测到接收的图像信号有异常(例如不满足行业内标准信号协议VBO、MiPi、eDP等相应的规范)时,接收模块610会向处理模块630发送异常的相关信号;一级缓存620用于暂时存储接收模块610接收但处理模块630未来得及处理的图像信号;处理模块630用于以及缓存620中的图像信号进行处理,例如降噪、插帧、删除异常图像帧等,处理模块630还用于将用于显示设备600的屏幕660播放的图像信号存储于二级缓存640;二级缓存640即待播放图像缓存,用于暂时存储经过处理模块630处理再由屏幕660播放的图像信号;输出模块650用于将二级缓存640的图像信号依次输出到屏幕660;屏幕660用于将输出模块650输入的图像信号进行呈现。
基于上述的理解,请参阅图1,本申请应用于显示设备的异常数据处理方法的一个实施例,包括:
101、确定异常图像帧的连续数量X,X为大于等于1的正整数。
可以理解的是,显示设备的屏幕是用于对一帧一帧的图像帧进行播放,现有技术中观看到显示设备屏幕展示的图像帧具有屏闪、花屏等现象,是因为显示设备的屏幕播放了图像信号异常的图像帧。为此,本步骤需要在显示设备的一级缓存中确定异常图像帧的连续数量X,以便后续步骤使用补充图像帧来替代,进而避免示设备的屏幕播放了图像信号异常的图像帧。例如,接收模块可以依据预设的协议标准检测图像信号中包含的每一图像帧是否异常,当发现有异常图像帧出现,则从零累计异常图像帧的连续数量为“+1”,直至图像信号中出现符合预设的协议标准的图像帧为止,既可确定异常图像帧的连续数量。
102、丢弃连续数量X帧的异常图像帧。
为了避免异常图像帧被存储入待播放图像缓存(二级缓存)后被播放,在本步骤处理模块需要及时丢弃步骤101中确定的异常图像帧。
103、从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,待播放图像缓存用于存储待显示设备的屏幕播放的图像帧,目标待播放图像帧为待播放图像缓存中存储的图像帧。
为补上步骤102丢失异常图像帧的帧数量,本步骤从先进先出队列形式的待播放图像缓存(二级缓存)中读取排序在后的Y帧目标待播放图像帧,待播放图像缓存中存储的图像帧都是正常且具有前后连续关系的,本步骤可以读取排序在后的Y帧目标待播放图像帧作为生成对应丢失数量的补充图像帧的依据,这Y帧目标待播放图像帧是最靠近步骤102丢失异常图像帧且被确定为正常的图像帧,利于生成与步骤102丢弃的异常图像帧类似、合理且连贯的X帧补充图像帧。
104、依据Y帧目标待播放图像帧生成X帧补充图像帧。
依据步骤103中读取的Y帧目标待播放图像帧生成X帧补充图像帧,以便得到步骤102中丢弃异常图像帧的数量相同的补充图像帧。例如,处理模块通过Y帧目标待播放图像帧进行向量运算、运动预估等计算之后,生成与Y帧目标待播放图像帧相关的X帧补充图像帧。
105、将X帧补充图像帧存入待播放图像缓存中。
将步骤104中生成的X帧补充图像帧替代步骤102丢弃的X帧异常图像帧存入待播放图像缓存中,待显示设备通过其屏幕逐帧播放待播放图像缓存中的图像帧,就可以使得显示设备不会将短时间内图像信号异常的图像帧通过屏幕播放,给用户带来更好的使用体验。
请阅图2,本申请应用于显示设备的异常数据处理方法的另一个实施例,包括:
201、接收主机设备发送的图像信号,图像信号包括若干帧的图像帧。
当显示设备的与主机设备正确连接且通电开机正常工作之后,显示设备会接收到主机设备发送预设格式(VBO、MiPi、eDP等)的图像信号,这图像信号中包含着一帧帧的图像帧,这些图像帧都是用于给显示设备的屏幕进行呈现。
202、逐帧判断图像信号中当前图像帧是否符合预设的协议标准要求,若当前图像帧符合预设的协议标准要求,则执行步骤204和步骤206;若当前图像帧不符合预设的协议标准要求,则执行步骤203。
图像信号由主机设备传输给显示设备的过程中,有可能线缆受强磁场、电场或线缆有损等客观因素影响,使得显示设备的接收模块在接收到图像信号会出现严重乱码、失真等情况。本步骤可以通过接收模块逐帧判断接收到的图像信号中当前图像帧是否符合预设的协议标准要求,例如若接收模块接收到图像信号格式为VBO,那么本步骤判断图像信号中当前图像帧的格式是否满足VBO格式协议标准要求,以便及时发现不符合预设的协议标准要求的异常图像帧。可以理解的是,实际应用中用于发现异常图像帧的方式还有很多,在此就不一一举例说明。
203、确定当前图像帧为异常图像帧;将图像信号中下一帧图像帧视为新的当前图像帧,触发执行步骤202。
当步骤202中确定当前图像帧不符合预设的协议标准要求时,则怎么当前图像帧出现了异常,确定当前图像帧为异常图像帧,并对连续的异常图像帧进行累计,累计初始值从0开始,每确定一帧当前图像帧为异常图像帧则累计加1,并将图像信号中下一帧图像帧视为新的当前图像帧,以便步骤202开启对图像信号中包含的下一帧图像帧的判断。
204、确定当前图像帧符合协议标准要求的首帧图像帧。
当步骤202中确定当前图像帧符合预设的协议标准要求,且属于是执行过步骤203后首次执行本步骤,则确定当前图像帧符合协议标准要求的首帧图像帧。
205、将首帧图像帧直接存入待播放图像缓存中。
由于步骤203确定的异常图像帧最终会被丢弃,且会被新的补充图像帧作为替代,尽管待播放图像缓存作为缓冲,也会耽搁了不少时间,所以为了增加待播放图像缓存中的图像帧数量,弥补因生成补充图像帧的时长,本步骤可以直接将首帧图像帧直接存入待播放图像缓存中。
206、确定异常图像帧的连续数量X,X为大于等于1的正整数。
在步骤202中确定当前图像帧符合预设的协议标准要求,且属于是执行过步骤203后首次执行本步骤,则同时步骤203中对异常图像帧的累计应当停止,得到异常图像帧的数量X。
207、丢弃连续数量X帧的异常图像帧。
在步骤206得知异常图像帧的连续数量X之后,本步骤可以连续数量X帧的异常图像帧,避免异常图像帧被存储入待播放图像缓存后被播放。
208、计算X帧异常图像帧占据的异常时长。
可以理解的是,不同的显示设具有不同的屏幕刷新率,仅仅从异常图像帧的帧数量无法确定其是否可以被用户察觉,而一般人对屏幕刷新率的感知是有一定的范围的,所以本步骤可以计算X帧异常图像帧占据的异常时长,进而可以是到这个异常时长是否会被一般人所注意。
209、判断异常时长是否达到或超过预定时长阈值,若异常时长达到或超过预定时长阈值,则执行步骤210;若异常时长未达到预定时长阈值,则执行步骤211。
可以理解的是,显示设备中可以预先存储有一个预定时长阈值,该预定时长阈值可以对应一个大多数人眼不会发现掉帧或更换帧的最大时隙。所以本步骤进一下判断208中异常时长是否达到或超过预定时长阈值,若异常时长达到或超过预定时长阈值,证明丢弃的X帧异常图像帧或换掉补正图像帧会被人眼识别出来了,可能影响用户观看体验;若异常时长未达到预定时长阈值,证明丢弃的X帧异常图像帧通常不会被人眼识别出来。例如,预定时长阈值为1秒。
210、将X帧异常图像帧存入待播放图像缓存中。
当补正209中确定异常时长达到或超过预定时长阈值,丢弃的X帧异常图像帧或换掉补正图像帧会被人眼识别出来,此时显示设备不应当继续使用本实施例的方法应该图像信号源传来的图像信号异常问题,这已经不是突发性短时的偶然现象,显示设备的屏幕应该真实呈现出异常图像帧,以便用户发现显示问题后采取相应对策。所以本步骤可以直接将X帧异常图像帧存入待播放图像缓存中,使得显示设备的屏幕真实呈现出异常图像帧。
211、确定待播放图像缓存中图像帧的数量。
当补正209中确定异常时长未达到预定时长阈值,可以优化这些占据异常时长的异常图像帧。由于优化这些占据异常时长的异常图像帧的依据来源于待播放图像缓存中图像帧,所以本步骤先确定待播放图像缓存中图像帧的数量。例如,待播放图像缓存中图像帧的数量等于1、2、3、……。
212、从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,待播放图像缓存用于存储待显示设备的屏幕播放的图像帧,目标待播放图像帧为待播放图像缓存中存储的图像帧。
本步骤的执行与前述图1实施例中步骤103类似,重复部分不再赘述。
优选的,当步骤211中待播放图像缓存中图像帧的数量等于1,本步骤的Y等于1;当步骤211中待播放图像缓存中的待播放图像帧的数量等于2或大于2,本步骤的Y都等于2。
213、依据Y帧目标待播放图像帧生成X帧补充图像帧。
本步骤的执行与前述图1实施例中步骤104类似,重复部分不再赘述。
优选的,当异常图像帧的连续数量X等于1且从待播放图像缓存中读取的目标待播放图像帧Y等于1时,复制1帧目标待播放图像帧作为1帧补充图像帧;当异常图像帧的连续数量X等于1且从待播放图像缓存中读取的目标待播放图像帧Y等于2时,依据2帧所述标待播放图像帧生成1帧所述补充图像帧。
214、将X帧补充图像帧存入待播放图像缓存中。
将步骤213中生成的X帧补充图像帧替代步骤207丢弃的X帧异常图像帧存入待播放图像缓存中,待显示设备通过其屏幕逐帧播放待播放图像缓存中的图像帧。
215、通过显示设备屏幕逐帧播放待播放图像缓存中的图像帧。
显示设备的屏幕逐帧播放待播放图像缓存中的图像帧,当显示设备的屏幕播放到步骤214中放入待播放图像缓存的X帧补充图像帧时,就可以使得显示设备将短时间内图像信号异常的图像帧替换成补充图像帧通过屏幕播放,给用户带来更好的使用体验。
上述实施例对本申请异常图像帧的处理方法进行了描述,下面对本申请异常图像帧的处理系统进行描述,请参阅图3,本申请异常图像帧的处理系统应用于显示设备的一个实施例,包括:
确定单元301,用于确定异常图像帧的连续数量X,所述X为大于等于1的正整数;
丢弃单元302,用于丢弃连续数量X帧的所述异常图像帧;
读取单元303,用于从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;
生成单元304,用于依据Y帧所述目标待播放图像帧生成X帧补充图像帧;
存储单元305,用于将X帧所述补充图像帧存入所述待播放图像缓存中。本实施例应用于显示设备的异常图像帧的处理系统的操作与前述图1实施例中所执行的操作类似,在此不再进行赘述。
请参阅图4,本申请异常图像帧的处理系统应用于显示设备的另一个实施例,包括:
确定单元401,用于确定异常图像帧的连续数量X,所述X为大于等于1的正整数;
丢弃单元402,用于丢弃连续数量X帧的所述异常图像帧;
读取单元403,用于从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;
生成单元404,用于依据Y帧所述目标待播放图像帧生成X帧补充图像帧;
存储单元405,用于将X帧所述补充图像帧存入所述待播放图像缓存中。
可选的,所述系统还包括:
计算单元406,用于计算X帧所述异常图像帧占据的异常时长;
判断单元407,用于判断所述异常时长是否达到或超过预定时长阈值;
所述存储单元405,还用于若所述异常图像帧数量达到或超过所述预定时长阈值,则将X帧所述异常图像帧存入所述待播放图像缓存中;
触发单元408,用于若所述异常图像帧数量未达到所述预定时长阈值,则触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
可选的,所述系统还包括:
接收单元409,用于接收主机设备发送的图像信号,所述图像信号包括若干帧的图像帧;
所述判断单元407,还用于逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求;
所述确定单元401,还用于若所述当前图像帧不符合所述协议标准要求,则确定所述当前图像帧为异常图像帧;
视为单元410,用于将所述图像信号中下一帧图像帧视为新的当前图像帧;
所述触发单元408,还用于触发执行逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求的步骤;
得到单元411,用于直至所述当前图像帧符合所述协议标准要求,得到所述异常图像帧的连续数量X。
可选的,所述系统还包括:
所述确定单元401,还用于确定所述当前图像帧符合所述协议标准要求的首帧图像帧;
所述存储单元405,还用于将所述首帧图像帧直接存入所述待播放图像缓存中。
可选的,所述系统还包括:
所述确定单元401,还用于确定所述待播放图像缓存中图像帧的数量;
所述触发单元408,还用于若所述待播放图像缓存中图像帧的数量等于1,则将所述Y等于1,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤;
所述触发单元408,还用于若所述待播放图像缓存中的待播放图像帧的数量等于2或大于2,则将所述Y等于2,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
可选的,所述生成单元404依据所述Y帧所述目标待播放图像帧生成X帧补充图像帧时,具体用于:
当所述X等于1且所述Y等于1时,复制1帧所述目标待播放图像帧作为1帧所述补充图像帧;
当所述X等于1且所述Y等于2时,依据2帧所述目标待播放图像帧生成1帧所述补充图像帧。
可选的,所述系统还包括:
播放单元412,用于通过所述显示设备的屏幕逐帧播放所述待播放图像缓存中的图像帧。
本实施例应用于显示设备的异常图像帧的处理系统的操作与前述图2实施例中所执行的操作类似,在此不再进行赘述。
下面对本申请实施例中的计算机设备进行描述,请参阅图5,本申请实施例中计算机设备的一个实施例包括:
该计算机设备500可以包括一个或一个以上处理器(central processing units,CPU)501和存储器502,该存储器502中存储有一个或一个以上的应用程序或数据。其中,存储器502是易失性存储或持久存储。存储在存储器502的程序可以包括一个或一个以上模块,每个模块可以包括对计算机设备中的一系列指令操作。更进一步地,处理器501可以设置为与存储器502通信,在计算机设备500上执行存储器502中的一系列指令操作。计算机设备500还可以包括一个或一个以上无线网络接口503,一个或一个以上输入输出接口504,和/或,一个或一个以上操作系统,例如Windows Server,Mac OS,Unix,Linux,FreeBSD等。该处理器501可以执行前述图1或图2所示实施例中所执行的操作,具体此处不再赘述。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-only memory)、随机序代码的介质。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种异常图像帧的处理方法,其特征在于,应用于显示设备,包括:
确定异常图像帧的连续数量X,所述X为大于等于1的正整数;
丢弃连续数量X帧的所述异常图像帧;
从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;
依据Y帧所述目标待播放图像帧生成X帧补充图像帧;
将X帧所述补充图像帧存入所述待播放图像缓存中。
2.根据权利要求1所述异常图像帧的处理方法,其特征在于,在确定异常图像帧的连续数量X之后,从先进先出队列形式的待播放图像缓存中读取后Y帧目标待播放图像帧之前,所述方法还包括:
计算X帧所述异常图像帧占据的异常时长;
判断所述异常时长是否达到或超过预定时长阈值;
若所述异常图像帧数量达到或超过所述预定时长阈值,则将X帧所述异常图像帧存入所述待播放图像缓存中;
若所述异常图像帧数量未达到所述预定时长阈值,则触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
3.根据权利要求1所述异常图像帧的处理方法,其特征在于,在确定异常图像帧的连续数量X之前,所述方法还包括:
接收主机设备发送的图像信号,所述图像信号包括若干帧的图像帧;
逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求;
若所述当前图像帧不符合所述协议标准要求,则确定所述当前图像帧为异常图像帧,将所述图像信号中下一帧图像帧视为新的当前图像帧,触发执行逐帧判断所述图像信号中当前图像帧是否符合预设的协议标准要求的步骤,直至所述当前图像帧符合所述协议标准要求,得到所述异常图像帧的连续数量X。
4.根据权利要求3所述异常图像帧的处理方法,其特征在于,在直至所述当前图像帧符合所述协议标准要求之后,所述方法还包括:
确定所述当前图像帧符合所述协议标准要求的首帧图像帧;
将所述首帧图像帧直接存入所述待播放图像缓存中。
5.根据权利要求1所述异常图像帧的处理方法,其特征在于,从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧之前,所述方法还包括:
确定所述待播放图像缓存中图像帧的数量;
若所述待播放图像缓存中图像帧的数量等于1,则将所述Y等于1,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤;
若所述待播放图像缓存中的待播放图像帧的数量等于2或大于2,则将所述Y等于2,触发执行从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧的步骤。
6.根据权利要求5所述异常图像帧的处理方法,其特征在于,所述依据所述Y帧所述目标待播放图像帧生成X帧补充图像帧包括:
当所述X等于1且所述Y等于1时,复制1帧所述目标待播放图像帧作为1帧所述补充图像帧;
当所述X等于1且所述Y等于2时,依据2帧所述目标待播放图像帧生成1帧所述补充图像帧。
7.根据权利要求1所述异常图像帧的处理方法,其特征在于,在将X帧所述补充图像帧存入所述待播放图像缓存中之后,所述方法还包括:
通过所述显示设备的屏幕逐帧播放所述待播放图像缓存中的图像帧。
8.一种异常图像帧的处理系统,其特征在于,应用于显示设备,包括:
确定单元,用于确定异常图像帧的连续数量X,所述X为大于等于1的正整数;
丢弃单元,用于丢弃连续数量X帧的所述异常图像帧;
读取单元,用于从先进先出队列形式的待播放图像缓存中读取排序在后的Y帧目标待播放图像帧,所述待播放图像缓存用于存储待所述显示设备的屏幕播放的图像帧,所述目标待播放图像帧为所述待播放图像缓存中存储的图像帧;
生成单元,用于依据Y帧所述目标待播放图像帧生成X帧补充图像帧;
存储单元,用于将X帧所述补充图像帧存入所述待播放图像缓存中。
9.一种计算机设备,其特征在于,包括:
处理器、存储器、总线、输入输出接口、网络接口;
所述处理器通过所述总线与所述存储器、所述输入输出接口、所述网络接口;
所述存储器中存储有程序;
所述处理器执行所述存储器中存储的所述程序时,实现如权利要求1至7中任意一项所述异常图像帧的处理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有指令,所述指令在计算机上执行时,使得所述计算机执行如权利要求1至7中任意一项所述异常图像帧的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211714604.3A CN116132728A (zh) | 2022-12-29 | 2022-12-29 | 异常图像帧的处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211714604.3A CN116132728A (zh) | 2022-12-29 | 2022-12-29 | 异常图像帧的处理方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116132728A true CN116132728A (zh) | 2023-05-16 |
Family
ID=86302176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211714604.3A Pending CN116132728A (zh) | 2022-12-29 | 2022-12-29 | 异常图像帧的处理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116132728A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1193903A1 (en) * | 2000-05-22 | 2002-04-03 | Mitsubishi Denki Kabushiki Kaisha | Data transmission system |
US20090141166A1 (en) * | 2007-11-22 | 2009-06-04 | Samsung Electronics Co., Ltd. | Selective error concealment method and apparatus for moving picture frame |
CN103780908A (zh) * | 2014-02-25 | 2014-05-07 | 成都佳发安泰科技股份有限公司 | 一种高效的h264解码方法 |
CN104883623A (zh) * | 2015-04-30 | 2015-09-02 | 北京小鸟看看科技有限公司 | 一种头戴显示器视频控制方法和电路 |
CN105472443A (zh) * | 2016-01-13 | 2016-04-06 | 杭州当贝网络科技有限公司 | 一种直播源控制方法及系统 |
CN107231563A (zh) * | 2016-03-24 | 2017-10-03 | 腾讯科技(深圳)有限公司 | 视频处理方法和装置 |
CN108924574A (zh) * | 2018-08-01 | 2018-11-30 | 广州视源电子科技股份有限公司 | 录播系统中的丢包处理方法、装置、设备及存储介质 |
CN111683252A (zh) * | 2020-06-11 | 2020-09-18 | 浪潮(北京)电子信息产业有限公司 | 一种服务器以及一种视频压缩图像的输出系统和方法 |
CN114339349A (zh) * | 2021-12-10 | 2022-04-12 | 海信视像科技股份有限公司 | 一种显示设备、数据传输方法及存储介质 |
CN114567796A (zh) * | 2022-03-04 | 2022-05-31 | 北京字节跳动网络技术有限公司 | 一种丢帧方法、装置、服务器和介质 |
-
2022
- 2022-12-29 CN CN202211714604.3A patent/CN116132728A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1193903A1 (en) * | 2000-05-22 | 2002-04-03 | Mitsubishi Denki Kabushiki Kaisha | Data transmission system |
US20090141166A1 (en) * | 2007-11-22 | 2009-06-04 | Samsung Electronics Co., Ltd. | Selective error concealment method and apparatus for moving picture frame |
CN103780908A (zh) * | 2014-02-25 | 2014-05-07 | 成都佳发安泰科技股份有限公司 | 一种高效的h264解码方法 |
CN104883623A (zh) * | 2015-04-30 | 2015-09-02 | 北京小鸟看看科技有限公司 | 一种头戴显示器视频控制方法和电路 |
CN105472443A (zh) * | 2016-01-13 | 2016-04-06 | 杭州当贝网络科技有限公司 | 一种直播源控制方法及系统 |
CN107231563A (zh) * | 2016-03-24 | 2017-10-03 | 腾讯科技(深圳)有限公司 | 视频处理方法和装置 |
CN108924574A (zh) * | 2018-08-01 | 2018-11-30 | 广州视源电子科技股份有限公司 | 录播系统中的丢包处理方法、装置、设备及存储介质 |
CN111683252A (zh) * | 2020-06-11 | 2020-09-18 | 浪潮(北京)电子信息产业有限公司 | 一种服务器以及一种视频压缩图像的输出系统和方法 |
CN114339349A (zh) * | 2021-12-10 | 2022-04-12 | 海信视像科技股份有限公司 | 一种显示设备、数据传输方法及存储介质 |
CN114567796A (zh) * | 2022-03-04 | 2022-05-31 | 北京字节跳动网络技术有限公司 | 一种丢帧方法、装置、服务器和介质 |
Non-Patent Citations (1)
Title |
---|
张岩峰;王翠荣;赵煜辉;高远;: "一种基于时间驱动实时视频流缓冲区的设计与实现", 东北大学学报(自然科学版), no. 05, 15 May 2008 (2008-05-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12017146B2 (en) | Updating virtual object frame images corresponding to variables | |
EP3188479A1 (en) | Adaptive video definition adjustment method and apparatus, terminal device, and storage medium | |
US10236971B2 (en) | Communication apparatus for controlling image compression and control method therefor | |
CN112929741B (zh) | 一种视频帧渲染方法、装置、电子设备和存储介质 | |
WO2017215279A1 (zh) | 一种视频回放方法及装置 | |
US9438917B2 (en) | System and method for adaptive bandwidth management | |
CN109597800B (zh) | 一种日志分发方法及装置 | |
US8782663B2 (en) | Terminal device, communication method used in the terminal device and recording medium | |
US6418474B1 (en) | Data transfer protocol flow controller and method | |
CN113453054A (zh) | 音视频丢帧方法、装置、计算机设备及存储介质 | |
CN116132728A (zh) | 异常图像帧的处理方法及相关装置 | |
CN108228669B (zh) | 一种缓存处理方法及装置 | |
JPWO2003088648A1 (ja) | 動き検出装置、画像処理システム、動き検出方法、プログラム、および記録媒体 | |
CN113645477A (zh) | 直播数据处理方法、装置、直播客户端设备及存储介质 | |
CN107087210B (zh) | 基于缓存时间判断视频播放状态的方法及终端 | |
CN114866196B (zh) | 数据包重传方法、装置、电子设备和存储介质 | |
CN112351049B (zh) | 数据传输方法、装置、设备及存储介质 | |
CN114510183B (zh) | 动效时长管理方法及电子设备 | |
CN115129279B (zh) | 图像绘制方法、装置、电子设备及计算机存储介质 | |
JP2012118928A (ja) | イベント処理装置、イベント処理方法およびイベント処理プログラム | |
CN111835992B (zh) | 一种网络摄像机的亮度调节方法以及相关装置 | |
CN113766315A (zh) | 显示设备及视频信息处理方法 | |
CN114095762A (zh) | 数据传输方法、装置、计算机设备及计算机可读存储介质 | |
CN112463416A (zh) | 消息队列中数据处理的方法、装置、设备及存储介质 | |
CN111510772A (zh) | 一种平衡视频帧率误差的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |