CN114666528A - 图像数据误检方法、视频会议设备和存储介质 - Google Patents

图像数据误检方法、视频会议设备和存储介质 Download PDF

Info

Publication number
CN114666528A
CN114666528A CN202011556473.1A CN202011556473A CN114666528A CN 114666528 A CN114666528 A CN 114666528A CN 202011556473 A CN202011556473 A CN 202011556473A CN 114666528 A CN114666528 A CN 114666528A
Authority
CN
China
Prior art keywords
image data
video frame
frame image
enhancement information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011556473.1A
Other languages
English (en)
Inventor
彭旺春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202011556473.1A priority Critical patent/CN114666528A/zh
Priority to PCT/CN2021/130308 priority patent/WO2022134923A1/zh
Publication of CN114666528A publication Critical patent/CN114666528A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种图像数据误检方法、视频会议设备和存储介质，属于图像处理技术领域。该方法包括：获取编码端输出的编码数据和补充增强信息，其中，所述补充增强信息至少包括第一校验值；对所述编码数据进行解码，获得所述编码数据对应的视频帧图像数据；确定所述视频帧图像数据对应的第二校验值，根据所述第一校验值和所述第二校验值确定所述视频帧图像数据是否数据异常。本发明实施例的技术方案通过根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。

Description

图像数据误检方法、视频会议设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像数据误检方法、视频会议设备和存储介质。
背景技术
在视频会议系统中，一般采用压缩效果好的H.264或H.265编解码协议对视频流进行编码和解码，而且为了提高编解码的效率和降低功效，一般使用多核并行的DSP芯片进行编解码。在现有的多核系统中，在传输图像数据时，常常会因为高速缓冲存储器回写异常、直接存储器存储DMA异常等会引起数据篡改。现有编解码系统中的图像数据误检方法，主要依赖于解码端判断码流中的语法元素的正则性，该方法无法检测出传输过程中残差数据被篡改引起的花屏，也无法检测出解码器中参考帧序列数据被篡改引起的花屏，不仅检测效率低，而且检测的准确性也不高。
因此如何提高编解码系统中的图像数据误检的效率和准确性成为亟需解决的问题。
发明内容
本发明实施例的主要目的在于提供一种图像数据误检方法、视频会议设备和存储介质，通过根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。
第一方面，本发明实施例提供一种图像数据误检方法，应用于解码端，包括：
获取编码端输出的编码数据和补充增强信息，其中，所述补充增强信息至少包括第一校验值；对所述编码数据进行解码，获得所述编码数据对应的视频帧图像数据；确定所述视频帧图像数据对应的第二校验值，根据所述第一校验值和所述第二校验值确定所述视频帧图像数据是否数据异常。
第二方面，本发明实施例提供一种图像数据误检方法，应用于编码端，包括：
获取编码数据和补充增强信息；将所述编码数据和所述补充增强信息输出至解码端，以使所述解码端对所述编码数据进行解码得到视频帧图像数据，并根据所述补充增强信息确定所述视频帧图像数据是否数据异常。
第三方面，本发明实施例还提供一种视频会议设备，所述视频会议设备包括编码端和/或解码端，所述编码端包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时实现如上述编码端对应的图像数据误检方法；
所述解码端包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时实现如上述解码端对应的图像数据误检方法。
第四方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项图像数据误检方法的步骤。
本发明实施例提供一种图像数据误检方法、视频会议设备和存储介质，通过获取编码端输出的编码数据和补充增强信息，可以通过补充增强信息得到编码数据对应的第一校验值；通过对编码数据进行解码，可以获得编码数据对应的视频帧图像数据；通过确定视频帧图像数据对应的第二校验值，可以根据第一校验值和第二校验值确定视频帧图像数据是否数据异常，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种编解码系统的结构示意图；
图2是本发明实施例提供的另一种编解码系统的结构示意图；
图3是本发明实施例提供的一种解码端的结构示意性框图；
图4是本发明实施例提供的一种编码端的结构示意性框图；
图5为本发明实施例提供的一种图像数据误检方法的示意性流程图；
图6是本发明实施例提供的一种对编码数据进行解码的示意性框图；
图7是本发明实施例提供的一种视频帧图像数据的示意图；
图8是本发明实施例提供的另一种图像数据误检方法的示意性流程图；
图9是本发明实施例提供的一种获取编码数据和补充增强信息的子步骤的示意性流程图；
图10是本发明实施例提供的一种对原始的视频帧图像数据进行编码的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种图像数据误检方法、视频会议设备和存储介质，其中，该图像数据误检方法可以应用于解码端，通过根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。
示例性的，视频会议设备可以包括服务器或终端。其中，服务器可以为独立的服务器，也可以为服务器集群；终端可以是视频会议终端、智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
其中，视频会议设备可以包括编码端与解码端，也可以包括编码端或解码端。可以理解的是，编码端与解码端可以在同一视频会议设备中，也可以在不同的视频会议设备中。
请参阅图1，图1是本发明实施例提供的一种编解码系统的结构示意图。如图1所示，编解码系统包括拍摄装置、编码端和解码端；其中，解码端与显示屏连接，编码端与解码端在同一视频会议设备中。
示例性的，拍摄装置可以将采集的原始的视频帧图像数据发送或拷贝至编码端，由编码端对原始的视频帧图像数据进行编码。编码端在对原始的视频帧图像数据进行编码后，得到编码数据与重建图像数据，然后编码端根据预设的校验行号对重建图像数据进行校验，得到第一校验值；并根据第一校验值与校验行号，生成补充增强信息，将编码数据与补充增强信息输出至解码端。解码端对编码数据进行解码，得到编码数据对应的视频帧图像数据；然后根据补充增强信息对视频帧图像数据进行校验，以确定视频帧图像数据是否数据异常。在确定视频帧图像数据是数据正常时，在显示屏显示视频帧图像数据；在确定视频帧图像数据是数据异常时，向编码端请求立即刷新图像。
需要说明的是，通过将编码端与解码端设置在同一视频会议设备中，可以解决现有编解码系统为了提高编解码的效率和降低功效，一般使用多核并行的DSP芯片进行编解码以及在arm芯片上运行应用层，经常会出现由于高速缓冲存储器回写异常、直接存储器存储异常等引起数据篡改的问题。此外，由于编码端与解码端设置在同一视频会议设备中，因此编码端与解码端之间的交互无须网络通信，从而可以解决现有编解码系统在网络传输时，许多中间的交换网元为了降低性能消耗，并不对码流包进行CRC校验(CyclicRedundancy Check，循环冗余校验)，导致传输层也存在数据篡改的问题。
请参阅图2，图2是本发明实施例提供的另一种编解码系统的结构示意图。如图2所示，编解码系统包括拍摄装置、编码端以及解码端；其中，解码端与显示屏连接，编码端与解码端在不同的视频会议设备中。
需要说明的是，当编码端与解码端处于不同的视频会议设备时，通过根据补充增强信息对解码得到的视频帧图像数据进行校验，可以解决现有编解码系统在网络传输时，许多中间的交换网元为了降低性能消耗，并不对码流包进行CRC校验，导致传输层也存在数据篡改的问题。此外，通过根据补充增强信息对解码得到的视频帧图像数据进行校验，还可以减少计算量和提高检测效率，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题。
在一些实施例中，解码端获取编码端输出的编码数据和补充增强信息，其中，补充增强信息至少包括第一校验值；对编码数据进行解码，获得编码数据对应的视频帧图像数据；确定视频帧图像数据对应的第二校验值，根据第一校验值和第二校验值确定视频帧图像数据是否数据异常。
在一些实施例中，编码端获取编码数据和补充增强信息；将编码数据和补充增强信息输出至解码端，以使解码端对编码数据进行解码得到视频帧图像数据，并根据补充增强信息确定视频帧图像数据是否数据异常。
请参阅图3，图3是本发明实施例提供的一种解码端的结构示意性框图。如图3所示，解码端1000可以包括处理器1001和存储器1002，其中，处理器1001以及存储器1002可以通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线等任意适用的总线。
其中，存储器1002可以包括非易失性存储介质和内存储器。非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行解码端1000对应的图像数据误检方法。
其中，处理器1001用于提供计算和控制能力，支撑整个解码端1000的运行。
在一实施例中，处理器1001用于运行存储在存储器1002中的计算机程序，并在执行计算机程序时实现如下步骤：
获取编码端输出的编码数据和补充增强信息，其中，所述补充增强信息至少包括第一校验值；对所述编码数据进行解码，获得所述编码数据对应的视频帧图像数据；确定所述视频帧图像数据对应的第二校验值，根据所述第一校验值和所述第二校验值确定所述视频帧图像数据是否数据异常。
在一个实施例中，所述补充增强信息还包括校验行号，所述第一校验值为所述编码端根据所述校验行号对重建图像数据进行校验得到，所述重建图像数据由所述编码端对原始的视频帧图像数据进行编码得到所述编码数据时生成；处理器1001在实现确定所述视频帧图像数据对应的第二校验值时，用于实现：
根据所述校验行号对所述视频帧图像数据进行校验，得到所述视频帧图像数据对应的所述第二校验值。
在一个实施例中，处理器1001在实现根据所述校验行号对所述视频帧图像数据进行校验，得到所述视频帧图像数据对应的第二校验值时，用于实现：
基于预设的像素获取策略，根据所述校验行号获取所述视频帧图像数据对应的至少一个目标像素；根据所述至少一个目标像素的像素值之和，确定所述第二校验值。
在一个实施例中，处理器1001在实现基于预设的像素获取策略，根据所述校验行号获取所述视频帧图像数据对应的至少一个目标像素，用于实现：
对所述校验行号对应的目标行的全部像素进行编号，并确定所述目标行的末尾像素的编号；确定所述目标行的首个所述目标像素，并基于预设的像素间隔值以及所述末尾像素的编号，依次确定下一个所述目标像素。
在一个实施例中，处理器1001还用于实现：
当确定所述视频帧图像数据正常时，显示所述视频帧图像数据；当确定所述视频帧图像数据异常时，向所述编码端请求立即刷新图像帧。
处理器1001可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图4，图4是本发明实施例提供的一种编码端的结构示意性框图。如图4所示，编码端2000可以包括处理器2001和存储器2002，其中，处理器2001以及存储器2002可以通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线等任意适用的总线。
其中，存储器2002可以包括非易失性存储介质和内存储器。非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行编码端2000对应的图像数据误检方法。
其中，处理器2001用于提供计算和控制能力，支撑整个编码端2000的运行。
在一实施例中，处理器2001用于运行存储在存储器2002中的计算机程序，并在执行计算机程序时实现如下步骤：
获取编码数据和补充增强信息；将所述编码数据和所述补充增强信息输出至解码端，以使所述解码端对所述编码数据进行解码得到视频帧图像数据，并根据所述补充增强信息确定所述视频帧图像数据是否数据异常。
在一个实施例中，处理器2001在实现获取编码数据和补充增强信息时，用于实现：
获取拍摄装置采集的原始的视频帧图像数据；对原始的所述视频帧图像数据进行编码，得到所述编码数据与所述编码数据对应的重建图像数据；对所述重建图像数据进行校验，得到所述补充增强信息。
在一个实施例中，处理器2001在实现对所述重建图像数据进行校验，得到所述补充增强信息时，用于实现：
根据所述重建图像数据对应的帧号与高度值，确定所述重建图像数据对应的校验行号；根据所述校验行号对所述重建图像数据进行校验，得到所述重建图像数据对应的第一校验值；根据所述第一校验值与所述校验行号，确定所述补充增强信息。
处理器2001可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
下面结合附图，对本发明的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图5，图5为本发明实施例提供的一种图像数据误检方法的示意性流程图。该图像数据误检方法可应用于解码端，通过根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。该图像数据误检方法包括步骤S101至步骤S103。
步骤S101、获取编码端输出的编码数据和补充增强信息，其中，所述补充增强信息至少包括第一校验值。
需要说明的是，补充增强信息(Supplemental Enhancement Information，SEI)是码流范畴里面的概念，补充增强信息提供了向视频码流中加入信息的办法，是H.264/H.265视频编解码协议的一项特性。
在本发明实施例中，补充增强信息是编码端根据重建图像数据生成的，补充增强信息还包括校验行号。其中，第一校验值为编码端根据校验行号对重建图像数据进行校验得到，重建图像数据由编码端对原始的视频帧图像数据进行编码得到编码数据时生成。可以理解的是，原始的视频帧图像数据是指拍摄装置采集的且未进行编码的图像数据。
示例性的，拍摄装置可以为视频会议终端内置的摄像头，也可以包括笔记本、移动手机以及监控摄像头等具有拍摄功能的电子设备。
示例性的，编码端可以根据预设的校验行号对重建图像数据进行校验，得到第一校验值；然后根据第一校验值与校验行号，生成补充增强信息。
需要说明的是，预设的校验行号是指重建图像数据中的像素对应的行号。例如，重建图像数据中的第1行像素、第3行像素、第7行像素等等。
示例性的，校验行号用于编码端在计算重建图像数据对应的第一校验值时，确定目标像素的位置，还用于解码端在计算解码后的视频帧图像数据对应的第二校验值时，确定目标像素的位置。
在本发明实施例中，解码端可以通过有线/无线的传输方式，获取编码端输出的编码数据和补充增强信息，还可以通过外部存储设备的拷贝方式获取编码端输出的编码数据和补充增强信息。获取编码端输出的编码数据和补充增强信息的具体方式，在此不作限定。
通过获取编码端输出的编码数据和补充增强信息，可以通过补充增强信息得到校验行号与第一校验值，后续可以通过校验行号与第一校验值对解码后的视频帧图像数据进行校验。
步骤S102、对所述编码数据进行解码，获得所述编码数据对应的视频帧图像数据。
请参阅图6，图6是本发明实施例提供的一种对编码数据进行解码的示意性框图。如图6所示，解码端可以基于H.264/H.265编解码协议，解码端将编码数据输入解码器中进行解码，输出编码数据对应的视频帧图像数据。需要说明的是，解码器为单输入单输出的通道，解码器在对编码数据进行解码后，不会另外输出重建图像数据。
通过对编码数据进行解码，可以得到编码数据对应的视频帧图像数据。
步骤S103、确定所述视频帧图像数据对应的第二校验值，根据所述第一校验值和所述第二校验值确定所述视频帧图像数据是否数据异常。
在本发明实施例中，补充增强信息还可以包括重建图像数据对应的校验行号。
在一些实施例，确定视频帧图像数据对应的第二校验值，可以包括：根据校验行号对视频帧图像数据进行校验，得到视频帧图像数据对应的第二校验值。
通过根据校验行号对视频帧图像数据进行校验，无需对每个语法元素做正则性判断，从而可以提高图像数据误检的效率。
示例性的，在对视频帧图像进行校验时，可以基于预设的像素获取策略，根据校验行号获取视频帧图像数据对应的至少一个目标像素；根据至少一个目标像素的像素值之和，确定第二校验值。
需要说明的是，预设的像素获取策略是指在视频帧图像数据的宽度值内，提取校验行号所在行的至少一个目标像素。
在一些实施方式中，基于预设的像素获取策略，根据校验行号获取视频帧图像数据对应的至少一个目标像素，包括：对校验行号对应的目标行的全部像素进行编号，并确定目标行的末尾像素的编号；确定目标行的首个目标像素，并基于预设的像素间隔值以及末尾像素的编号，依次确定下一个目标像素。
请参阅图7，图7是本发明实施例提供的一种视频帧图像数据的示意图。如图7所示，若校验行号为1，则将视频帧图像数据的第1行作为目标行；然后对第1行的全部像素进行编号，例如，像素0，像素1，像素2，...，像素n。其中，像素n是指第1行的末尾像素的编号。若校验行号还包括3，则还可以对第3行的全部像素进行编号。
示例性的，预设的像素间隔值可以根据实际情况设定，具体数值在此不作限定。在本发明实施例中，预设的像素间隔值可以是128。
如图7所示，当确定目标行的首个目标像素为像素0时，基于预设的像素间隔值128，依次确定下一个目标像素为像素256；其中，目标像素的编码不大于末尾像素的编号n。
在确定视频帧图像数据对应的至少一个目标像素之后，可以根据至少一个目标像素的像素值之和，确定第二校验值。
在本发明实施例中，确定第二校验值的过程，可以通过循环条件表达式来实现，如下所示：
Figure BDA0002858466310000071
其中，j表示像素的编号；i表示校验行号；checkSum表示第二校验值；Yi[j]表示第i行第j个像素的像素值。
示例性的，对于第1行，若末尾像素的编号n为500，则第二校验值checkSum等于Y1[0]+Y1[128]+Y1[256]+Y1[384]。
通过基于预设的像素获取策略，根据校验行号获取视频帧图像数据对应的至少一个目标像素，从而可以通过计算至少一个目标像素的像素值之和，方便且准确地确定第二校验值。
在本发明实施例中，确定视频帧图像数据对应的第二校验值之后，可以根据第一校验值和第二校验值确定视频帧图像数据是否数据异常。
在一些实施例中，根据第一校验值和第二校验值确定视频帧图像数据是否数据异常，可以包括：当第一校验值等于第二校验值时，确定视频帧图像数据正常。
可以理解的是，由于第一校验值为编码端根据校验行号对重建图像数据进行校验得到，且重建图像数据与编码前的视频帧图像数据相同，因此，可以根据第一校验值与第二校验值判断解码得到的视频帧图像数据是否与编码前的视频帧图像数据保持一致。
需要说明的是，当第一校验值等于第二校验值，说明解码得到的视频帧图像数据与编码数据保持一致，编码数据在传输过程中并未被篡改，同时编码数据在解码过程中也未被篡改或出现解码错误。因此，可以确定解码后的视频帧图像数据正常。
在本发明实施例中，当确定视频帧图像数据正常时，显示视频帧图像数据。
示例性的，可以在显示屏中显示视频帧图像数据。其中，该显示屏为解码端对应的视频会议设备中的显示屏。
在另一些实施例中，根据第一校验值和第二校验值确定视频帧图像数据是否数据异常，可以包括：当第一校验值不等于第二校验值时，确定视频帧图像数据异常。
需要说明的是，当第一校验值不等于第二校验值，说明解码得到的视频帧图像数据与编码数据不一致，因此，可以确定解码后的视频帧图像数据异常。异常发生的原因可能是，编码数据在网络传输过程中被篡改，或者编码数据在解码过程中被篡改或出现解码错误。
通过将第一校验值和第二校验值进行对比，可以方便、准确地确定视频帧图像数据是否数据异常，从而可以提高图像数据误检的效率和准确性。
在一些实施例中，当确定视频帧图像数据异常时，向编码端请求立即刷新图像帧。
需要说明的是，IDR(Instantaneous Decoding Refresh，立即刷新图像)帧的作用是立刻刷新，使错误不致传播，从IDR帧开始，重新确定一张新的序列开始解码。
示例性的，解码端可以通过有线或无线的通信方式，向编码端发送IDR帧请求消息，以使编码端根据接收到的IDR帧请求消息返回IDR帧。
在本发明实施例中，解码端可以基于SIP协议(Session Initiation Protocol，会话发起协议)、H323协议(音视频传输协议)或RTCP协议(Real-time Control Protocol，实时传输控制协议)等协议与编码端建立通信连接，并向编码端发送IDR帧请求消息。
示例性的，当解码端在收到IDR帧后，在对IDR帧的图像数据进行编码时，可以立即将参考帧队列清空，将已解码的视频帧图像数据全部输出或抛弃，重新查找参数集，并开始一个新的序列。这样，如果前一个视频帧图像数据出现错误，在这里可以获得重新同步的机会。
通过在确定视频帧图像数据异常时，向编码端请求立即刷新图像帧，可以实现自动刷新图像，从而提升了用户的体验度。
上述实施例提供的图像数据误检方法、视频会议设备和存储介质，通过获取编码端输出的编码数据和补充增强信息，可以通过补充增强信息得到校验行号与第一校验值，后续可以通过校验行号与第一校验值对解码后的视频帧图像数据进行校验；通过对编码数据进行解码，可以得到编码数据对应的视频帧图像数据；通过根据校验行号对视频帧图像数据进行校验，无需对每个语法元素做正则性判断，从而可以提高图像数据误检的效率；通过基于预设的像素获取策略，根据校验行号获取视频帧图像数据对应的至少一个目标像素，从而可以通过计算至少一个目标像素的像素值之和，方便且准确地确定第二校验值；通过将第一校验值和第二校验值进行对比，可以方便、准确地确定视频帧图像数据是否数据异常，从而可以提高图像数据误检的效率和准确性；通过在确定视频帧图像数据异常时，向编码端请求立即刷新图像帧，可以实现自动刷新图像，从而提升了用户的体验度。
请参阅图8，图8是本发明实施例提供的另一种图像数据误检方法的示意性流程图。该图像数据误检方法可以应用于编码端，通过将编码数据和补充增强信息一起输出至解码端，可以使得解码端根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。该图像数据误检方法包括步骤S201和步骤S202。
步骤S201、获取编码数据和补充增强信息。
请参阅图9，图9是本发明实施例提供的一种获取编码数据和补充增强信息的子步骤的示意性流程图，具体可以包括步骤S2011至步骤S2013。
步骤S2011、获取拍摄装置采集的原始的视频帧图像数据。
示例性的，在视频会议过程中，编码端可以获取拍摄装置实时采集原始的视频帧图像数据。
可以理解的是，原始的视频帧图像数据是指拍摄装置采集的且未进行编码的图像数据。
示例性的，拍摄装置可以包括笔记本、移动手机以及监控摄像头等具有拍摄功能的电子设备。其中，拍摄装置可以是编码端所在的视频会议设备自带的电子设备，也可以是外置的具有拍摄功能的电子设备。
示例性的，可以在获取拍摄装置采集的原始的视频帧图像数据时，对原始的视频帧图像数据进行编号。例如，第1帧视频帧图像数据、第2帧视频帧图像数据、第3帧视频帧图像数据。从而在对原始的视频帧图像数据进行编码时，得到每一帧视频帧图像数据对应的重建图像数据。
步骤S2012、对原始的所述视频帧图像数据进行编码，得到所述编码数据与所述编码数据对应的重建图像数据。
在本发明实施例中，编码端可以对原始的视频帧图像数据进行编码，得到编码数据与重建图像数据。
请参阅图10，图10是本发明实施例提供的一种对原始的视频帧图像数据进行编码的示意性框图。如图10所示，可以基于H.264/H.265编解码协议，编码端将原始的视频帧图像数据输入编码器中进行编码，输出编码数据与重建图像数据。
需要说明的是，编码器为单输入双输出的通道；因此，在编码过程中，编码器对每一帧图像数据进行编码，输出编码数据，同时在重建区生成重建图像数据。
示例性的，在对第1帧视频帧图像数据进行编码后，可以得到第1帧视频帧图像数据对应的第1帧编码数据与第1帧重建图像数据。
通过对原始的视频帧图像数据进行编码，可以得到编码数据与编码数据对应的重建图像，后续可以对重建图像数据进行校验，从而得到补充增强信息。
步骤S2013、对所述重建图像数据进行校验，得到所述补充增强信息。
在一些实施例中，对重建图像数据进行校验，得到补充增强信息，可以包括：根据重建图像数据对应的帧号与高度值，确定重建图像数据对应的校验行号；根据校验行号对重建图像数据进行校验，得到重建图像数据对应的第一校验值；根据第一校验值与校验行号，确定补充增强信息。
可以理解的是，重建图像数据的高度值可以是重建图像数据的像素的总行数。因此，高度值可以根据重建图像数据的实际像素的总行数来确定。
示例性的，在根据重建图像数据对应的帧号与高度值，确定重建图像数据对应的校验行号时，可以根据帧号与高度值之比的余数，确定校验行号。
例如，对于第1帧重建图像数据，其帧号为1；若第1帧重建图像数据的高度值为10，则帧号1与高度值10之比的余数为1，即校验行号为1。
例如，对于第2帧重建图像数据，其帧号为2；若第2帧重建图像数据的高度值为10，则帧号2与高度值10之比的余数为2，即校验行号为2。
又例如，对于第11帧重建图像数据，其帧号为11；若第11帧重建图像数据的高度值为10，则帧号11与高度值10之比的余数为1，即校验行号为1。
在一些实施例中，根据校验行号对重建图像数据进行校验，得到重建图像数据对应的第一校验值，可以包括：基于预设的像素获取策略，根据校验行号获取重建图像数据对于的至少一个目标像素；根据至少一个目标像素的像素值之和，确定第一校验值。
在本发明实施例中，确定第二校验值的过程，可以通过循环条件表达式来实现，如下所示：
Figure BDA0002858466310000101
其中，checkSum表示第一校验值。
其中，确定第一校验值的具体过程，可以参见上述实施例确定第二校验值的详细说明，具体过程在此不再赘述。
在一些实施例中，在确定重建图像数据对应的第一校验值之后，可以根据第一校验值与校验行号，确定补充增强信息。
示例性的，若第一校验值为A，校验行号为B，则补充增强信息包括第一校验值A与校验行号B。
通过根据重建图像数据对应的帧号与高度值，可以确定重建图像数据对应的校验行号；通过根据校验行号对重建图像数据进行校验，可以方便且准确地得到重建图像数据对应的第一校验值，进而可以根据第一校验值与校验行号，得到补充增强信息。
步骤S202、将所述编码数据和所述补充增强信息输出至解码端，以使所述解码端对所述编码数据进行解码得到视频帧图像数据，并根据所述补充增强信息确定所述视频帧图像数据是否数据异常。
在本发明实施例中，编码端可以通过有线/无线的传输方式，将编码数据和补充增强信息输出至解码端，还可以通过外部存储设备的拷贝方式将编码数据和补充增强信息输出至解码端。具体的输出方式，在此不作限定。
示例性的，解码端在接收到编码端输出的编码数据与补充增强信息之后，解码端可以对编码数据进行解码得到视频帧图像数据，并根据补充增强信息确定视频帧图像数据是否数据异常。例如，解码端可以根据补充增强信息中的第一校验值确定视频帧图像数据是否数据异常。
其中，确定视频帧图像数据是否数据异常，可以参见上述实施例的详细说明，具体过程在此不再赘述。
通过将编码数据和补充增强信息一起输出至解码端，可以使得解码端根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性。
在一些实施例中，将编码数据和补充增强信息输出至解码端之后，还可以包括：若接收到解码端发送的IDR帧请求信息，则根据IDR帧请求信息向解码端返回IDR帧。
通过向解码端返回IDR帧，可以使得解码端根据IDR帧重新确定一个新的序列并开始解码，实现自动刷新图像，从而提升了用户的体验度。
上述实施例提供的图像数据误检方法、视频会议设备和存储介质，通过对原始的视频帧图像数据进行编码，可以得到编码数据与编码数据对应的重建图像数据，后续可以对重建图像数据进行校验，从而得到补充增强信息；通过根据重建图像数据对应的帧号与高度值，可以确定重建图像数据对应的校验行号；通过根据校验行号对重建图像数据进行校验，可以方便且准确地得到重建图像数据对应的第一校验值，进而可以根据第一校验值与校验行号，得到补充增强信息；通过将编码数据和补充增强信息一起输出至解码端，可以使得解码端根据补充增强信息对解码得到的视频帧图像数据进行校验，解决了现有编解码系统在图像数据误检过程中，需要对每个语法元素做正则性判断导致检测开销过大的问题，提高了编解码系统的图像数据误检的效率和准确性；通过向解码端返回IDR帧，可以使得解码端根据IDR帧重新确定一个新的序列并开始解码，实现自动刷新图像，从而提升了用户的体验度。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例说明书提供的任一项图像数据误检方法的步骤。
例如，该程序被处理器加载，可以执行如下步骤：
获取编码端输出的编码数据和补充增强信息，其中，所述补充增强信息至少包括第一校验值；对所述编码数据进行解码，获得所述编码数据对应的视频帧图像数据；确定所述视频帧图像数据对应的第二校验值，根据所述第一校验值和所述第二校验值确定所述视频帧图像数据是否数据异常。
又例如，该程序被处理器加载，可以执行如下步骤：
获取编码数据和补充增强信息；将所述编码数据和所述补充增强信息输出至解码端，以使所述解码端对所述编码数据进行解码得到视频帧图像数据，并根据所述补充增强信息确定所述视频帧图像数据是否数据异常。
其中，所述存储介质可以是前述实施例所述的视频会议设备的内部存储单元，例如所述视频会议设备的硬盘或内存。所述存储介质也可以是所述视频会议设备的外部存储设备，例如所述视频会议设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像数据误检方法，应用于解码端，所述方法包括：
获取编码端输出的编码数据和补充增强信息，其中，所述补充增强信息至少包括第一校验值；
对所述编码数据进行解码，获得所述编码数据对应的视频帧图像数据；
确定所述视频帧图像数据对应的第二校验值，根据所述第一校验值和所述第二校验值确定所述视频帧图像数据是否数据异常。
2.根据权利要求1所述的图像数据误检方法，其特征在于，所述补充增强信息还包括校验行号，所述第一校验值为所述编码端根据所述校验行号对重建图像数据进行校验得到，所述重建图像数据由所述编码端对原始的视频帧图像数据进行编码得到所述编码数据时生成；
所述确定所述视频帧图像数据对应的第二校验值，包括：
根据所述校验行号对所述视频帧图像数据进行校验，得到所述视频帧图像数据对应的所述第二校验值。
3.根据权利要求2所述的图像数据误检方法，其特征在于，所述根据所述校验行号对所述视频帧图像数据进行校验，得到所述视频帧图像数据对应的第二校验值，包括：
基于预设的像素获取策略，根据所述校验行号获取所述视频帧图像数据对应的至少一个目标像素；
根据所述至少一个目标像素的像素值之和，确定所述第二校验值。
4.根据权利要求3所述的图像数据误检方法，其特征在于，所述基于预设的像素获取策略，根据所述校验行号获取所述视频帧图像数据对应的至少一个目标像素，包括：
对所述校验行号对应的目标行的全部像素进行编号，并确定所述目标行的末尾像素的编号；
确定所述目标行的首个所述目标像素，并基于预设的像素间隔值以及所述末尾像素的编号，依次确定下一个所述目标像素。
5.根据权利要求1-4任一项所述的图像数据误检方法，其特征在于，所述方法还包括：
当确定所述视频帧图像数据正常时，显示所述视频帧图像数据；
当确定所述视频帧图像数据异常时，向所述编码端请求立即刷新图像帧。
6.一种图像数据误检方法，应用于编码端，所述方法包括：
获取编码数据和补充增强信息；
将所述编码数据和所述补充增强信息输出至解码端，以使所述解码端对所述编码数据进行解码得到视频帧图像数据，并根据所述补充增强信息确定所述视频帧图像数据是否数据异常。
7.根据权利要求6所述的图像数据误检方法，其特征在于，所述获取编码数据和补充增强信息，包括：
获取拍摄装置采集的原始的视频帧图像数据；
对原始的所述视频帧图像数据进行编码，得到所述编码数据与所述编码数据对应的重建图像数据；
对所述重建图像数据进行校验，得到所述补充增强信息。
8.根据权利要求7所述的图像数据误检方法，其特征在于，所述对所述重建图像数据进行校验，得到所述补充增强信息，包括：
根据所述重建图像数据对应的帧号与高度值，确定所述重建图像数据对应的校验行号；
根据所述校验行号对所述重建图像数据进行校验，得到所述重建图像数据对应的第一校验值；
根据所述第一校验值与所述校验行号，确定所述补充增强信息。
9.一种视频会议设备，其特征在于，所述视频会议设备包括编码端和/或解码端，其中，
所述编码端包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像数据误检方法；
所述解码端包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时实现如权利要求6至8中任一项所述的图像数据误检方法。
10.一种存储介质，用于可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现：
如权利要求1至5中任一项所述的图像数据误检方法，或
如权利要求6至8中任一项所述的图像数据误检方法。
CN202011556473.1A 2020-12-24 2020-12-24 图像数据误检方法、视频会议设备和存储介质 Pending CN114666528A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011556473.1A CN114666528A (zh) 2020-12-24 2020-12-24 图像数据误检方法、视频会议设备和存储介质
PCT/CN2021/130308 WO2022134923A1 (zh) 2020-12-24 2021-11-12 图像数据误检方法、视频会议设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556473.1A CN114666528A (zh) 2020-12-24 2020-12-24 图像数据误检方法、视频会议设备和存储介质

Publications (1)

Publication Number Publication Date
CN114666528A true CN114666528A (zh) 2022-06-24

Family

ID=82024612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556473.1A Pending CN114666528A (zh) 2020-12-24 2020-12-24 图像数据误检方法、视频会议设备和存储介质

Country Status (2)

Country Link
CN (1) CN114666528A (zh)
WO (1) WO2022134923A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884624B (zh) * 2022-07-08 2022-12-09 广州思德医疗科技有限公司 数据处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101796846B (zh) * 2007-04-17 2013-03-13 诺基亚公司 基于反馈的可缩放视频编码
US9154749B2 (en) * 2012-04-08 2015-10-06 Broadcom Corporation Power saving techniques for wireless delivery of video
CN104320673B (zh) * 2014-10-30 2017-05-03 山东泰信电子股份有限公司 一种防止非法篡改节目内容的方法
CN105828066A (zh) * 2016-04-19 2016-08-03 广东威创视讯科技股份有限公司 一种传输信号的检测方法及系统
CN111345768A (zh) * 2018-12-20 2020-06-30 重庆金山医疗器械有限公司 一种图片完整性检验方法、通信装置及胶囊内窥镜系统

Also Published As

Publication number Publication date
WO2022134923A1 (zh) 2022-06-30

Similar Documents

Publication Publication Date Title
US10827182B2 (en) Video encoding processing method, computer device and storage medium
US10944970B2 (en) Video coding method, computer device, and storage medium
US10476928B2 (en) Network video playback method and apparatus
US9609338B2 (en) Layered video encoding and decoding
WO2021082667A1 (zh) 视频数据编码方法、装置、设备和存储介质
RU2011142754A (ru) Система и способ использования прямой коррекции ошибок со сжатием видео
CN102648584B (zh) 使用前向纠错检验可用带宽的系统、方法和介质
US11922972B2 (en) Method and apparatus for video coding
CN111669577A (zh) 一种硬件解码检测方法、装置、电子设备及存储介质
CN112423140A (zh) 视频播放方法、装置、电子设备和存储介质
CN110738657A (zh) 视频质量评估方法、装置、电子设备及存储介质
CN114666528A (zh) 图像数据误检方法、视频会议设备和存储介质
WO2017020737A1 (zh) 视频流的存储方法、读取方法及装置
CN111385576A (zh) 视频编码方法、装置、移动终端及存储介质
CN111464835B (zh) 基于动态验证的在线视频输出检测方法及服务器
CN109660806B (zh) 一种编码方法、装置和电子设备
CN112468883A (zh) 视频流播放方法及视频流播放设备
CN112055174B (zh) 一种视频传输方法、装置及计算机可读存储介质
CN112911390B (zh) 一种视频数据的播放方法及终端设备
CN109769129B (zh) 一种汽车液晶仪表中的防解析失败的解码方法
CN114584781A (zh) 视频压缩方法及装置、计算机可读存储介质
CN112004112A (zh) 硬件视频编码器的验证方法、装置、电子设备及存储介质
CN112688834A (zh) 会议接通率测试方法、装置、终端及存储介质
CN110519599B (zh) 一种基于分布式分析的视频编码方法和装置
US10341665B2 (en) Method of providing random access for video data based on random accessible P-frame

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination