CN114257804A - 图像帧的处理方法、装置、存储介质及电子设备 - Google Patents
图像帧的处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114257804A CN114257804A CN202011026511.2A CN202011026511A CN114257804A CN 114257804 A CN114257804 A CN 114257804A CN 202011026511 A CN202011026511 A CN 202011026511A CN 114257804 A CN114257804 A CN 114257804A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image frame
- current image
- missing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000003491 array Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 239000000945 filler Substances 0.000 claims description 5
- 238000013024 troubleshooting Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/09—Error detection only, e.g. using cyclic redundancy check [CRC] codes or single parity bit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本公开提供了一种图像帧的处理方法、装置、存储介质及电子设备，该方法包括：检测当前图像帧是否存在像素缺失；在当前图像帧存在像素缺失的情况下，将当前图像帧中的至少一部分像素替换为填充帧。本公开通过在检测到当前图像帧存在像素缺失的情况下，使用填充帧替换当前图像帧中的至少一部分像素，方便用户通过替换后的图像显示效果来获悉当前图像中存在像素缺失的情况，以及时对SDI接口进行故障排查或数据链路的检测。
Description
技术领域
本公开涉及超高分辨率显示技术领域，特别涉及一种图像帧的处理方法、装置、存储介质及电子设备。
背景技术
数据串行接口(SDI，Serial Digital Interface)广泛的被应用在专业的图像传输中，比如在广电领域的音视频传输和显示设备上，常见的携带SDI接口的显示设备包括各种分辨率的监视器。SDI接口根据传输速率的不同，分为SD-SDI、HD-SDI、3G-SDI、6G-SDI和12G-SDI，一般高分辨率监视器上都会有3G-SDI，12G-SDI接口来传输4K或者8K图像。
按照SDI信号协议，4K和8K图像是按照双样本交错(2SI，Two Sample Interlace)的排列方式组成的，如图1和图2所示，分别是使用单个12G-SDI接口和4个3G-SDI接口来传输4K图像时的图像分割示意图。如图1和图2所示，原始4K图像(4096×2160)的像素都是按照2SI的方式组织排列的，4K图像中分别被标记为1、2、3、4的像素被重新组织成4幅2K图像(2048×1080)，然后每个2K图像使用1个Link(链路)来传输，在图1中，4个Link汇集成单个数据流，使用1个12G-SDI接口传输，在图2中4个Link分别转变成单个数据流，分别使用4个3G-SDI接口来传输。
在使用12G-SDI或者3G-SDI传输4K图像过程中可能会存在问题，比如12G-SDI中某个Link缺失图像数据，再比如使用4个3G-SDI传输4K图像时，其中一个3G-SDI接口没有正确连接，上述情况都会造成4K图像中某个链路传输的像素缺失，但由于该缺失的像素是均匀穿插在整个4K图像中的，并且单个像素点非常小，所以对于非专业人员来说，某个Link的缺失可能不会影响显示画面的完整性，很难发现图像存在的像素缺失问题，如图3所示，但是持续性的像素缺失还是会影响画面整体的显示效果，例如亮度或局部细节等，进而可能影响用户的观看体验。
发明内容
本公开实施例的目的在于提供一种图像帧的处理方法、装置、存储介质及电子设备，用以解决现有技术中难以发现SDI链路中图像帧的像素缺失问题。
本公开的实施例采用如下技术方案：一种图像帧的处理方法，包括：检测当前图像帧是否存在像素缺失；在所述当前图像帧存在像素缺失的情况下，将所述当前图像帧中的至少一部分像素替换为填充帧。
进一步，所述检测当前图像帧是否存在像素缺失，包括：检测所述当前图像帧的每个像素阵列是否存在像素缺失；其中，所述像素阵列由具有相同标记的像素排列而成，所述当前图像帧由所有所述像素阵列的像素基于双样本交错方式排列而成。
进一步，所述检测当前图像帧是否存在像素缺失，包括：对所述当前图像帧的每个所述像素阵列中每行像素的循环冗余校验码进行校验；确定每个所述像素阵列中校验失败的第一像素行数；在任意一个所述像素阵列的所述第一像素行数与第二像素行数之间的比例超过第一阈值时，确定所述当前图像帧存在像素缺失，其中，所述第二像素行数为任意一个所述像素阵列的像素总行数。
进一步，所述在所述当前图像帧存在像素缺失的情况下，将所述当前图像帧中的至少一部分像素替换为填充帧，包括：在所述当前图像帧存在像素缺失的情况下，基于所述当前图像帧中存在像素缺失的像素阵列对应的填充帧对所述当前图像帧中的至少一部分像素进行替换。
进一步，所述将所述当前图像帧中的至少一部分像素替换为填充帧，包括：将所述当前图像帧中存在像素缺失的像素阵列的所有像素替换为所述像素阵列对应的预定颜色像素；和/或，将所述当前图像帧替换为带有所述像素阵列对应标记的图像帧。
进一步，所述检测当前图像帧是否存在像素缺失之后，还包括：在所述当前图像帧存在像素缺失的情况下，统计连续出现像素缺失的图像帧的数量；在所述图像帧的数量大于第二阈值时，将所述出现像素缺失的图像帧替换中的至少一部分像素为填充帧。
进一步，还包括：检测数字串行接口的连接状态，所述数字串行接口用于传输至少一个像素阵列；在所述数字串行接口处于异常状态时，基于所述数字串行接口传输的像素阵列对应的填充帧对所述当前图像帧中的至少一部分像素进行替换。
本公开的实施例还提供了一种图像帧的处理装置，包括：检测模块，用于检测当前图像帧是否存在像素缺失；替换模块，用于在所述当前图像帧存在像素缺失的情况下，将所述当前图像帧替换为填充帧。
本公开的实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行上述的图像帧的处理方法的步骤。
本公开的实施例还提供了一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述的图像帧的处理方法的步骤。
本公开实施例的有益效果在于：通过在检测到当前图像帧存在像素缺失的情况下，使用填充帧替换当前图像帧中的至少一部分像素，方便用户通过替换后的图像显示效果来获悉当前图像中存在像素缺失的情况，以及时对SDI接口进行故障排查或数据链路的检测。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为使用12G-SDI接口进行4K图像传输时的图像分割示意图；
图2为使用3G-SDI接口进行4K图像传输时的图像分割示意图；
图3为4K图像的像素缺失示意图；
图4为本公开第一实施例中图像帧的处理方法的流程图；
图5为本公开第一实施例中像素阵列所对应的带有标记的图像帧示意图；
图6为本公开第一实施例中使用填充帧对图像帧进行替换后的显示示意图；
图7为8K图像传输时的图像分割示意图；
图8为本公开第二实施例中图像帧的处理装置的结构示意图；
图9为本公开第四实施例中电子设备的结构示意图。
具体实施方式
此处参考附图描述本公开的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式，它们具有如权利要求的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。
在使用多路接口进行4K或8K图像信号传输的过程中，比如使用3G-SDI或者12G-SDI，可能由于某个Link的故障导致其传输的像素缺失，缺失的像素在实际成像时均匀地穿插在整个图像中，对于非专业人员来说很难发现图像存在的像素缺失问题。
为了解决上述问题，本公开的第一实施例提供了一种图像帧的处理方法，主要应用在带有SDI接口的4K或者8K监视器或显示器设备上，在接收到的SDI信号中存在像素缺失的图像帧时，对该像素缺失的图像帧进行处理。图4示出了本实施例中图像帧的处理方法的流程图，具体地，该方法至少包括步骤S1和S2：
S1，检测当前图像帧是否存在像素缺失。
以使用12G-SDI接口传输4K信号为例，经过SDI接口所传输过来的数据流通过图1的逆向过程首先被拆分成4个数据流，每个数据流对应的Link用于传输4K图像像素中具有不同标记的像素阵列，这四个像素阵列所包含的像素经过2SI(Two Sample Interlace)方式排列后即可得到原始的4K图像，形成一个图像帧。在显示器或监视器显示该图像帧之前，首先对每一帧图像进行检测，主要检测其是否存在像素缺失现象，方便在确定图像帧存在像素缺失现象之后对图像帧进行及时处理。
具体地，在传输4K图像时，每个图像帧包括4个像素阵列，即每个图像帧都是由其对应的4个像素阵列内的像素基于双样本交错方式排列而成，每个像素阵列中所包含的像素具有相同的标记，因此在检测图像帧是否存在像素缺失时，可以通过检测当前图像帧中各个像素标记，以此来判定各个像素阵列是否存在像素缺失情况，来作为确定图像帧是否存在像素缺失的判定依据，在当前图像帧的任意一个像素阵列确定存在像素缺失时，则判定该像素阵列所归属的当前图像帧存在像素缺失的情况。
进一步地，在SDI传输协议中，针对像素阵列中的每一行像素都添加了一组循环冗余校验码(CRC，Cyclic Redundancy Check)，通过CRC校验码便可以判断出该行像素是不是发生了传输错误，因此，在检测像素阵列是否存在像素缺失情况时，即可以通过对当前图像帧的每个像素阵列中的每行像素的CRC校验码进行校验，校验通过的像素行证明在传输过程中未发生丢失，而校验未通过的像素行则证明在传输过程中存在像素缺失情况。
但是在实际使用时，若在一个2048×1080的像素阵列中仅有极为少数的像素行出现了传输错误，其实际对整体图像帧的影响可以忽略不计，此时所产生的校验失败可能时由于网络传输的不稳定造成的，不能归属于SDI接口本身存在的问题，因此不能认为当前像素阵列或图像帧存在像素缺失的情况。本实施例中，在对每一个像素阵列进行像素缺失检测时，可通过统计校验失败的像素行数作为判定像素阵列是否确实存在像素缺失的依据，即在对每个像素阵列中的每行像素进行CRC校验码校验时，统计该像素阵列中校验失败的像素行的行数为第一像素行数；然后计算第一像素行数与第二像素行数之间的比例，其中第二像素行数为该像素阵列的总行数，即在该像素阵列为2048*1080的像素阵列时，其对应的第二像素行数为1080；在确定第一像素行数与第二像素行数的比例之后，检测该比例是否超过第一阈值，在该比例超过第一阈值的情况下，说明在当前像素阵列中，其存在传输错误的像素行已经超过了一定的比例，此时出现的像素缺失并不是由于网络不稳定造成的，因此在确定的比例超过第一阈值时，可判定当前像素阵列存在由于某个Link的故障导致的像素缺失问题，进而判定当前图像帧存在像素缺失的现象。需要注意的是，第一阈值可根据像素阵列的大小或实际的显示情况进行调整，通常可以设置为60％或者70％，即在当前校验失败的像素行数超过像素阵列总行数的60％或70％以上时，认定该像素阵列所对应的Link可能存在故障，因此造成了像素缺失情况出现。
S2，在当前图像帧存在像素缺失的情况下，将当前图像帧中至少一部分像素替换为填充帧。
具体地，填充帧为预先设定好的显示固定内容的像素或图像帧，在确定当前图像帧存在像素缺失的情况下，将当前图像帧中的至少一部分像素替换为填充帧，以提示用户当前图像帧存在问题，可能需要用户介入以对SDI接口进行故障排查和检修，防止其某个link处于长时间的故障状态影响用户的使用体验。在实际使用时，当前图像帧的多个像素阵列中可能只有一个像素阵列出现了像素缺失的情况，此时在进行当前图像帧的替换时，可以使用存在像素缺失情况的像素阵列所对应的填充帧来进行当前图像帧的替换，以提示用户具体是哪个链路或哪个接口存在像素缺失问题，便于用户进行有针对性的故障排查和维修。
本实施例中，不同像素阵列所对应的填充帧可以显示不同内容，便于在展示填充帧时起到针对性的指示作用，例如可以通过不同的预定颜色的像素来代表不同的像素阵列，或者使用带有该像素阵列对应标记的图像帧作为不同像素阵列对应的填充帧的内容。
在使用不同颜色来分别表示不同像素阵列时，用户通过最终显示出的颜色来确定具体是哪个像素阵列出现了像素缺失问题，假设标记为1的像素阵列所对应的填充帧的像素为黄色，标记2的像素阵列所对应的填充帧的像素为蓝色，标记3的像素阵列所对应的填充帧的像素为绿色，标记4的像素阵列所对应的填充帧的像素为红色；在标记1对应的像素阵列存在缺失时，即使用黄色的像素对整个图像帧中标记为1的像素阵列中的所有像素均进行替换，也就是说，即便该像素阵列中存在正确传输的像素，对应正确的像素也会被黄色的像素替换，使最终呈现出的画面整体呈现的颜色偏向黄色，用户则在查看到显示画面偏黄的时候确定标记为1的像素阵列存在缺失，则对应检修传输标记为1的像素阵列的link或SDI接口即可。
在实际使用时，若当前图像帧中存在两个或两个以上的像素阵列出现了像素缺失情况，则在进行替换时，使用不同颜色的像素对当前图像帧中出现像素缺失情况的像素阵列的所有像素进行替换，例如当标记为1和标记为4的像素阵列均存在像素缺失时，则使用黄色像素替换标记为1的像素阵列中的所有像素，并使用红色像素替换标记为4的像素阵列中的所有像素，使整个画面呈现的颜色偏向红色和黄色的混合色。在实际使用时，也可在当前图像帧存在像素缺失时，使用预定颜色的像素替换当前图像帧中的所有像素，使整个画面不显示信号传输的内容，仅显示相应填充的颜色，以实现更明显的提示效果。
在使用带有像素阵列标记的图像帧来作为填充帧时，用户通过最终显示出的画面上显示的标记来确定具体是哪个像素阵列出现了像素缺失问题，每个像素阵列所对应的带有标记的图像帧如图5所示，带有1、2、3和4的四个图像帧分别对应标记为1、2、3和4的四个像素阵列，在标记1对应的像素阵列存在缺失时，使用带有标记1的图像帧对当前图像帧进行替换，最终形成如图6所示的显示效果，用于提示用户标记1的像素阵列存在像素缺失。同样的，在当前图像帧中存在两个或两个以上的像素阵列出现了像素缺失的情况下，可以在对当前图像帧进行分割后在不同位置显示不同像素阵列的填充帧。
需要注意的是，对于4K图像来说，其通常由不同标记的4组像素排列而成，在使用颜色作为填充帧时，只需要四组不同的颜色即可对所有link进行区分，但是对于8K图像来说，其基于2SI协议在传输时首先会分割成4个4K图像，然后再将每个4K图像分割成4个像素阵列，即一个8K图像共有不同标记的16组像素排列而成，如图7所示(图7中仅示出了4个4K图像中的其中两个及其对应的像素阵列)，若使用不同的颜色对16组不同的像素阵列进行区分的话，不方便用户进行记忆，因此可主要使用带有不同标记的图像帧作为填充帧，或者，将颜色与标记进行结合，例如将标记为1、2、3和4的四个像素阵列的填充帧对应的颜色均设置成黄色，将标记为5、6、7和8的四个像素阵列的填充帧对应的颜色均设置成蓝色，将标记为9、10、11和12的四个像素阵列的填充帧对应的颜色均设置成绿色，将标记为13、14、15和16的四个像素阵列的填充帧对应的颜色均设置成红色，如果其中一个像素阵列出现像素缺失，则使用相应的颜色以及带有该像素阵列标记的填充帧将当前图像帧进行替换。
实际使用时，SDI接口每秒钟可能同时传输十几个甚至几十个图像帧，当仅有一个图像帧出现像素缺失时，可能是由于网络原因造成的突发故障，无法认定是SDI接口的链路存在问题。因此，在本实施例中，由于需要对每个图像帧进行检测，则可以在检测当前图像帧存在像素缺失后，先不进行填充帧的替换，而进行出现像素缺失的图像帧的统计，统计连续出现像素缺失的图像帧的数量，在该统计数量大于第二阈值时，说明SDI接口中的某一个link可能存在持续性的传输问题，需要进行相应的排查或处理，此时再将出现像素缺失的图像帧使用相应的填充帧进行替换，或者对于未超过第二阈值时出现像素缺失问题的图像帧不进行替换，并从超过第二阈值后仍然出现像素缺失的图像帧开始进行替换；通过上述方式避免在SDI接口未出现故障，而是因网络情况造成的突发性像素缺失的问题时，对用户造成的误提醒情况出现。
在一些实施例中，还可以在接收SDI接口传输的信号之前，通过检测SDI接口的连接状态来作为是否需要对图像帧进行处理的依据，每个SDI接口都用于传输至少一个像素阵列。例如，如图2所示，在使用4个3G-SDI接口传输4K图像时，每个3G-SDI接口均传输一个独立的像素阵列的像素，在显示器或监视器接收到4个3G-SDI接口传输的信号后，根据4个3G-SDI接口各自传输的像素阵列中的像素进行原始图像的排列显示，在接收信号之前，检测4个3G-SDI接口的连接状态，当任意一个3G-SDI接口处于异常状态，例如连接失败或连接中断时，其对应传输的像素阵列则无法进行传输，对应于整幅4K图像来说，则一定存在像素缺失的情况；在这种情况下，将当前图像帧使用处于异常连接状态的SDI接口所传输的像素阵列对应的填充帧进行替换，用以提醒用户相应的SDI接口出现连接异常，便于用户进行对应接口的排查和维修。
本实施例通过在检测到当前图像帧存在像素缺失的情况下，使用填充帧替换当前图像帧中的至少一部分像素，方便用户通过替换后的图像显示效果来获悉当前图像中存在像素缺失的情况，以及时对SDI接口进行故障排查或数据链路的检测。进一步地，本实施例在进行图像帧的替换时，使用的填充帧是每一个像素阵列所对应的具有提示特性的填充帧，方便在显示时提示用户具体是哪一个link或接口出现了故障，便于用户进行相应的故障检测和维修。
本公开的第二实施例提供了一种图像帧的处理装置，该装置可主要安装于带有SDI接口的4K或者8K监视器或显示器设备上，其同时与SDI接口和显示器的信号输入端连接，或者该装置可以为监视器或显示器设备芯片中的一个硬件处理单元或功能模组，用以在接收到的SDI信号中存在像素缺失的图像帧时，对该像素缺失的图像帧进行处理。图8示出了本实施例中处理装置的结构示意图，其主要包括互相耦合的检测模块10和替换模块20，其中，检测模块10用于检测当前图像帧是否存在像素缺失，替换模块20则用于在当前图像帧存在像素缺失的情况下，将当前图像帧中至少一部分像素替换为填充帧。
具体地，处理装置的检测模块10与SDI接口连接以接收接口传输而来的数据信号，并基于SDI传输协议对数据信号拆分成相应数量的数据流，每个数据流对应的Link用于传输4K图像像素中具有不同标记的像素阵列，这四个像素阵列所包含的像素经过2SI方式排列后即可得到原始的4K图像，形成一个图像帧。在显示器或监视器显示该图像帧之前，检测模块10首先对每一帧图像进行检测，主要检测其是否存在像素缺失现象，方便在确定图像帧存在像素缺失现象之后对图像帧进行及时处理。
以使用12G-SDI接口传输4K信号为例，由于每个图像帧都由4个像素阵列内的像素基于双样本交错方式排列而成，每个像素阵列中所包含的像素具有相同的标记，因此在检测模块10检测图像帧是否存在像素缺失时，可以通过检测当前图像帧中各个像素标记，以此来判断像素阵列是否存在像素缺失情况，来作为确定图像帧是否存在像素缺失的判定依据，在当前图像帧的任意一个像素阵列确定存在像素缺失时，则判定该像素阵列所归属的当前图像帧存在像素缺失的情况。
进一步地，在SDI传输协议中，针对像素阵列中的每一行像素都添加了一组CRC校验码，通过CRC校验码便可以判断出该行像素是不是发生了传输错误，因此，在检测模块10检测像素阵列是否存在像素缺失情况时，即可以通过对当前图像帧的每个像素阵列中的每行像素的CRC校验码进行校验，校验通过的像素行证明在传输过程中未发生丢失，而校验未通过的像素行则证明在传输过程中存在像素缺失情况。
在实际使用时，若在一个2048×1080的像素阵列中仅有极为少数的像素行出现了传输错误，其实际对整体图像帧的影响可以忽略不计，此时所产生的校验失败可能时由于网络传输的不稳定造成的，不能归属于SDI接口本身存在的问题，因此不能认为当前像素阵列或图像帧存在像素缺失的情况。本实施例中，在检测模块10对每一个像素阵列进行像素缺失检测时，可通过统计校验失败的像素行数作为判定像素阵列是否确实存在像素缺失的依据，即在对每个像素阵列中的每行像素进行CRC校验码校验时，统计该像素阵列中校验失败的像素行的行数为第一像素行数；然后计算第一像素行数与第二像素行数之间的比例，其中第二像素行数为该像素阵列的总行数；在确定第一像素行数与第二像素行数的比例之后，检测模块10检测该比例是否超过第一阈值，在该比例超过第一阈值的情况下，说明在当前像素阵列中，其存在传输错误的像素行已经超过了一定的比例，此时出现的像素缺失并不是由于网络不稳定造成的，因此在确定的比例超过第一阈值时，可判定当前像素阵列存在由于某个Link的故障导致的像素缺失问题，进而判定当前图像帧存在像素缺失的现象。需要注意的是，第一阈值可根据像素阵列的大小或实际的显示情况进行调整，通常可以设置为60％或者70％，即在当前校验失败的像素行数超过像素阵列总行数的60％或70％以上时，认定该像素阵列所对应的Link可能存在故障，因此造成了像素缺失情况出现。
本实施例中的填充帧为预先设定好的显示固定内容的图像帧，在检测模块10确定当前图像帧存在像素缺失的情况下，由替换模块20将当前图像帧中至少一部分像素替换为填充帧，以提示用户当前图像帧存在问题，可能需要用户介入以对SDI接口进行故障排查和检修，防止其某个link处于长时间的故障状态影响用户的使用体验。在实际使用时，当前图像帧的多个像素阵列中可能只有一个像素阵列出现了像素缺失的情况，此时在替换模块20进行当前图像帧的替换时，可以使用存在像素缺失情况的像素阵列所对应的填充帧来进行当前图像帧的替换，以提示用户具体是哪个链路或哪个接口存在像素缺失问题，便于用户进行有针对性的故障排查和维修。
本实施例中，不同像素阵列所对应的填充帧可以显示不同内容，便于在展示填充帧时起到针对性的指示作用，例如可以通过不同的预定颜色像素来代表不同的像素阵列，或者使用带有该像素阵列对应标记的图像帧作为不同像素阵列对应的填充帧的内容，或者将颜色和标记的方式进行结合，用以应对8K图像传输中link过多的情况。具体地，替换模块20在进行当前图像帧的替换时，可以将当前图像帧中存在像素缺失的像素阵列的所有像素替换为该像素阵列对应的预定颜色像素；或者将当前图像帧替换为带有像素阵列对应标记的图像帧。在实际使用时，也可在当前图像帧存在像素缺失时，使用预定颜色的像素替换当前图像帧中的所有像素，使整个画面不显示信号传输的内容，仅显示相应填充的颜色，以实现更明显的提示效果。
实际使用时，SDI接口每秒钟可能同时传输十几个甚至几十个图像帧，当仅有一个图像帧出现像素缺失时，可能是由于网络原因造成的突发故障，无法认定是SDI接口的链路存在问题。因此，在本实施例中，由于需要对每个图像帧进行检测，则替换模块20可以在检测模块10检测当前图像帧存在像素缺失后，先不进行填充帧的替换，而进行出现像素缺失的图像帧的统计，统计连续出现像素缺失的图像帧的数量，在该统计数量大于第二阈值时，说明SDI接口中的某一个link可能存在持续性的传输问题，需要进行相应的排查或处理，此时再将出现像素缺失的图像帧使用相应的填充帧进行替换，或者对于未超过第二阈值时出现像素缺失问题的图像帧不进行替换，并从超过第二阈值后仍然出现像素缺失的图像帧开始进行替换；通过上述方式避免在SDI接口未出现故障，而是因网络情况造成的突发性像素缺失的问题时，对用户造成的误提醒情况出现。
在一些实施例中，检测模块10还可以在接收SDI接口传输的信号之前，通过检测SDI接口的连接状态来作为是否需要对图像帧进行处理的依据，每个SDI接口都用于传输至少一个像素阵列。例如，如图2所示，在使用4个3G-SDI接口传输4K图像时，每个3G-SDI接口均传输一个独立的像素阵列的像素，根据4个3G-SDI接口各自传输的像素阵列中的像素进行原始图像的排列显示，在接收信号之前，检测模块10检测4个3G-SDI接口的连接状态，当任意一个3G-SDI接口处于异常状态，其对应传输的像素阵列则无法进行传输，对应于整幅4K图像来说，则一定存在像素缺失的情况；在这种情况下，替换模块20则将当前图像帧使用处于异常连接状态的SDI接口所传输的像素阵列对应的填充帧进行替换，用以提醒用户相应的SDI接口出现连接异常，便于用户进行对应接口的排查和维修。
本实施例通过在检测到当前图像帧存在像素缺失的情况下，使用填充帧替换当前图像帧中的至少一部分像素，方便用户通过替换后的图像显示效果来获悉当前图像中存在像素缺失的情况，以及时对SDI接口进行故障排查或数据链路的检测。进一步地，本实施例在进行图像帧的替换时，使用的填充帧是每一个像素阵列所对应的具有提示特性的填充帧，方便在显示时提示用户具体是哪一个link或接口出现了故障，便于用户进行相应的故障检测和维修。
本公开第三实施例提供了一种存储介质，该存储介质可安装于带有SDI接口的4K或者8K监视器或显示器设备中，其具体为计算机可读介质，存储有计算机程序，该计算机程序被处理器执行时实现本公开任意实施例提供的方法，包括如下步骤S31和S32：
S31，检测当前图像帧是否存在像素缺失；
S32，在当前图像帧存在像素缺失的情况下，将当前图像帧替换中的至少一部分像素为填充帧。
计算机程序被处理器执行检测当前图像帧是否存在像素缺失时，具体被处理器执行如下步骤：检测当前图像帧的每个像素阵列是否存在像素缺失；其中，像素阵列由具有相同标记的像素排列而成，当前图像帧由所有像素阵列的像素基于双样本交错方式排列而成。
计算机程序被处理器执行检测当前图像帧是否存在像素缺失时，具体被处理器执行如下步骤：对当前图像帧的每个像素阵列中每行像素的循环冗余校验码进行校验；确定每个像素阵列中校验失败的第一像素行数；在任意一个像素阵列的第一像素行数与第二像素行数之间的比例超过第一阈值时，确定当前图像帧存在像素缺失，其中，第二像素行数为任意一个像素阵列的像素总行数。
计算机程序被处理器执行在当前图像帧存在像素缺失的情况下，将当前图像帧中的至少一部分像素替换为填充帧时，具体被处理器执行如下步骤：在当前图像帧存在像素缺失的情况下，基于当前图像帧中存在像素缺失的像素阵列对应的填充帧对当前图像帧中的至少一部分像素进行替换。
计算机程序被处理器执行将当前图像帧中的至少一部分像素替换为填充帧时，具体被处理器执行如下步骤：将当前图像帧中存在像素缺失的像素阵列的所有像素替换为像素阵列对应的预定颜色像素；和/或，将当前图像帧替换为带有像素阵列对应标记的图像帧。
计算机程序被处理器执行检测当前图像帧是否存在像素缺失之后，还被处理器执行如下步骤：在当前图像帧存在像素缺失的情况下，统计连续出现像素缺失的图像帧的数量；在图像帧的数量大于第二阈值时，将出现像素缺失的图像帧中的至少一部分像素替换为填充帧。
计算机程序还被处理器执行如下步骤：检测数字串行接口的连接状态，数字串行接口用于传输至少一个像素阵列；在数字串行接口处于异常状态时，基于数字串行接口传输的像素阵列对应的填充帧对当前图像帧中的至少一部分像素进行替换。
本实施例通过在检测到当前图像帧存在像素缺失的情况下，使用填充帧替换当前图像帧中的至少一部分像素，方便用户通过替换后的图像显示效果来获悉当前图像中存在像素缺失的情况，以及时对SDI接口进行故障排查或数据链路的检测。进一步地，本实施例在进行图像帧的替换时，使用的填充帧是每一个像素阵列所对应的具有提示特性的填充帧，方便在显示时提示用户具体是哪一个link或接口出现了故障，便于用户进行相应的故障检测和维修。
本公开的第四实施例提供了一种电子设备，该电子设备可以为带有SDI接口的4K或者8K监视器或显示器设备，其结构示意图如图9所示，至少包括存储器100和处理器200，存储器100上存储有计算机程序，处理器200在执行存储器100上的计算机程序时实现本公开任意实施例提供的方法。示例性的，电子设备计算机程序步骤如下S41和S42：
S41，检测当前图像帧是否存在像素缺失；
S42，在当前图像帧存在像素缺失的情况下，将当前图像帧中的至少一部分像素替换为填充帧。
处理器在执行存储器上存储的检测当前图像帧是否存在像素缺失时，具体执行如下计算机程序：检测当前图像帧的每个像素阵列是否存在像素缺失；其中，像素阵列由具有相同标记的像素排列而成，当前图像帧由所有像素阵列的像素基于双样本交错方式排列而成。
处理器在执行存储器上存储的检测当前图像帧是否存在像素缺失时，具体执行如下计算机程序：对当前图像帧的每个像素阵列中每行像素的循环冗余校验码进行校验；确定每个像素阵列中校验失败的第一像素行数；在任意一个像素阵列的第一像素行数与第二像素行数之间的比例超过第一阈值时，确定当前图像帧存在像素缺失，其中，第二像素行数为任意一个像素阵列的像素总行数。
处理器在执行存储器上存储的在当前图像帧存在像素缺失的情况下，将当前图像帧中的至少一部分像素替换为填充帧时，具体执行如下计算机程序：在当前图像帧存在像素缺失的情况下，基于当前图像帧中存在像素缺失的像素阵列对应的填充帧对当前图像帧中的至少一部分像素进行替换。
处理器在执行存储器上存储的将当前图像帧中的至少一部分像素替换为填充帧时，具体执行如下计算机程序：将当前图像帧中存在像素缺失的像素阵列的所有像素替换为像素阵列对应的预定颜色像素；和/或，将当前图像帧替换为带有像素阵列对应标记的图像帧。
处理器在执行存储器上存储的检测当前图像帧是否存在像素缺失之后，还执行如下计算机程序：在当前图像帧存在像素缺失的情况下，统计连续出现像素缺失的图像帧的数量；在图像帧的数量大于第二阈值时，将出现像素缺失的图像帧中的至少一部分像素替换为填充帧。
处理器还执行存储器上存储的如下计算机程序：检测数字串行接口的连接状态，数字串行接口用于传输至少一个像素阵列；在数字串行接口处于异常状态时，基于数字串行接口传输的像素阵列对应的填充帧对当前图像帧中的至少一部分像素进行替换。
本实施例通过在检测到当前图像帧存在像素缺失的情况下，使用填充帧替换当前图像帧中的至少一部分像素，方便用户通过替换后的图像显示效果来获悉当前图像中存在像素缺失的情况，以及时对SDI接口进行故障排查或数据链路的检测。进一步地，本实施例在进行图像帧的替换时，使用的填充帧是每一个像素阵列所对应的具有提示特性的填充帧，方便在显示时提示用户具体是哪一个link或接口出现了故障，便于用户进行相应的故障检测和维修。
以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本领域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围之内。
Claims (10)
1.一种图像帧的处理方法，其特征在于，包括：
检测当前图像帧是否存在像素缺失；
在所述当前图像帧存在像素缺失的情况下，将所述当前图像帧中的至少一部分像素替换为填充帧。
2.根据权利要求1所述的处理方法，其特征在于，所述检测当前图像帧是否存在像素缺失，包括：
检测所述当前图像帧的每个像素阵列是否存在像素缺失；
其中，所述像素阵列由具有相同标记的像素排列而成，所述当前图像帧由所有所述像素阵列的像素基于双样本交错方式排列而成。
3.根据权利要求2所述的处理方法，其特征在于，所述检测当前图像帧是否存在像素缺失，包括：
对所述当前图像帧的每个所述像素阵列中每行像素的循环冗余校验码进行校验；
确定每个所述像素阵列中校验失败的第一像素行数；
在任意一个所述像素阵列的所述第一像素行数与第二像素行数之间的比例超过第一阈值时，确定所述当前图像帧存在像素缺失，其中，所述第二像素行数为任意一个所述像素阵列的像素总行数。
4.根据权利要求2所述的处理方法，其特征在于，所述在所述当前图像帧存在像素缺失的情况下，将所述当前图像帧中的至少一部分像素替换为填充帧，包括：
在所述当前图像帧存在像素缺失的情况下，基于所述当前图像帧中存在像素缺失的像素阵列对应的填充帧对所述当前图像帧中的至少一部分像素进行替换。
5.根据权利要求4所述的处理方法，其特征在于，所述将所述当前图像帧中的至少一部分像素替换为填充帧，包括：
将所述当前图像帧中存在像素缺失的像素阵列的所有像素替换为所述像素阵列对应的预定颜色像素；和/或，
将所述当前图像帧替换为带有所述像素阵列对应标记的图像帧。
6.根据权利要求1所述的处理方法，其特征在于，所述检测当前图像帧是否存在像素缺失之后，还包括：
在所述当前图像帧存在像素缺失的情况下，统计连续出现像素缺失的图像帧的数量；
在所述图像帧的数量大于第二阈值时，将所述出现像素缺失的图像帧中的至少一部分像素替换为填充帧。
7.根据权利要求2所述的处理方法，其特征在于，还包括：
检测数字串行接口的连接状态，所述数字串行接口用于传输至少一个像素阵列；
在所述数字串行接口处于异常状态时，基于所述数字串行接口传输的像素阵列对应的填充帧对所述当前图像帧中的至少一部分像素进行替换。
8.一种图像帧的处理装置，其特征在于，包括：
检测模块，用于检测当前图像帧是否存在像素缺失；
替换模块，用于在所述当前图像帧存在像素缺失的情况下，将所述当前图像帧替换为填充帧。
9.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的图像帧的处理方法的步骤。
10.一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至7中任一项所述的图像帧的处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026511.2A CN114257804A (zh) | 2020-09-25 | 2020-09-25 | 图像帧的处理方法、装置、存储介质及电子设备 |
| US17/482,605 US11950013B2 (en) | 2020-09-25 | 2021-09-23 | Method for processing an image frame and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026511.2A CN114257804A (zh) | 2020-09-25 | 2020-09-25 | 图像帧的处理方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114257804A true CN114257804A (zh) | 2022-03-29 |
Family
ID=80790658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026511.2A Pending CN114257804A (zh) | 2020-09-25 | 2020-09-25 | 图像帧的处理方法、装置、存储介质及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11950013B2 (zh) |
| CN (1) | CN114257804A (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605797B2 (en) * | 2006-02-15 | 2013-12-10 | Samsung Electronics Co., Ltd. | Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium |
| JP5699633B2 (ja) * | 2011-01-28 | 2015-04-15 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
| EP3189773A4 (en) * | 2014-09-01 | 2018-05-16 | Olympus Corporation | Optical communication system and endoscopic system |
| JP7308424B2 (ja) * | 2020-03-27 | 2023-07-14 | パナソニックＩｐマネジメント株式会社 | 表示装置および表示装置の制御方法 |
-
2020
- 2020-09-25 CN CN202011026511.2A patent/CN114257804A/zh active Pending
-
2021
- 2021-09-23 US US17/482,605 patent/US11950013B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20220103871A1 (en) | 2022-03-31 |
| US11950013B2 (en) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106960646A (zh) | 一种屏幕故障检测方法和装置 | |
| US6281929B1 (en) | Testing arrangement for decoders | |
| US8018492B2 (en) | Video testing using a test pattern and checksum calculation | |
| CN107318046B (zh) | 一种互联网电视业务传输质量监测方法及系统 | |
| TW201424400A (zh) | 用於減少數位視訊影像資料之方法及裝置 | |
| EP2346251A1 (en) | Method and system for monitoring led display screen operation | |
| US7243291B1 (en) | System and method for communicating image data using error correction coding | |
| CN113328827B (zh) | 网络试验装置及网络试验方法 | |
| US20090040287A1 (en) | Video communication device and video communication method | |
| CN108769672A (zh) | 一种代替人工感知的音视频自动测试系统及方法 | |
| KR20060011491A (ko) | 케이블 방송 수신기 및 ｄｖｉ 상태 정보 전송 방법그리고 데이터 구조 | |
| CN114257804A (zh) | 图像帧的处理方法、装置、存储介质及电子设备 | |
| CN103795499A (zh) | 一种卫星载荷高速串口检错纠错方法 | |
| US7327384B2 (en) | Gamut false color display | |
| US11284063B2 (en) | Video quality analysis and detection of blockiness, artifacts and color variation for high-volume testing of devices using automated video testing system | |
| CN109246333A (zh) | 视频播放的控制方法及装置 | |
| KR20190083529A (ko) | 감시카메라 네트워크 제어 장치, 방법 및 시스템 | |
| KR100439366B1 (ko) | 파이버 채널 조정 루프에 적응가능한 전자 장치 및 파이버채널 조정 루프의 장해 검출 방법 | |
| CN201585083U (zh) | 一种dvb码流监测系统 | |
| EP1288847B1 (en) | Method and apparatus for identifying identical images | |
| JPH10145309A (ja) | データ伝送システム | |
| JP2008301141A (ja) | 交換器 | |
| US20110115493A1 (en) | Method and system of performing detection on an imaging device | |
| CN111345768A (zh) | 一种图片完整性检验方法、通信装置及胶囊内窥镜系统 | |
| CN102158278B (zh) | 复合视频光通信系统的自我诊断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |