CN113614724A - 实况流视频的低延迟内容消除和重构(cdr) - Google Patents

实况流视频的低延迟内容消除和重构(cdr) Download PDF

Info

Publication number
CN113614724A
CN113614724A CN202080021868.3A CN202080021868A CN113614724A CN 113614724 A CN113614724 A CN 113614724A CN 202080021868 A CN202080021868 A CN 202080021868A CN 113614724 A CN113614724 A CN 113614724A
Authority
CN
China
Prior art keywords
video stream
encoded video
encoded
quantization parameter
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080021868.3A
Other languages
English (en)
Inventor
O.阿祖莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN113614724A publication Critical patent/CN113614724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种消除和重构编码视频流以使潜在地嵌入在所述编码视频流中的恶意代理无效的方法，包括：对接收到的编码视频流进行解码以获得解码的视频流，从编码的视频流提取由发起编码器计算的用以创建编码的视频流的编码信息，通过用基于从量化参数值的范围中的随机选择值所计算的一个或多个相应的调整的量化参数替换在编码信息中定义的一个或多个量化参数来调整编码信息，使用调整的编码信息对解码的视频流进行编码以产生修改的编码的视频流，以及传输修改的编码的视频流。

Description

实况流视频的低延迟内容消除和重构(CDR)
背景技术
本发明在其一些实施例中涉及编码的视频流的CDR(Content Disarm andReconstruction)，并且更具体地但非排他地涉及使用从编码的视频提取的并且被调整以产生修改的编码视频流的编码信息来流式传输编码的实况视频流的低延迟CDR。
现代生活服务、应用、系统和平台对信息技术、信息共享和分布式计算的日益增长的依赖为恶意方(例如，黑客)发起的网络威胁和网络攻击开辟了广泛的途径，以尝试暴露、更改、禁用、破坏、窃取、获得未经授权的访问或未经授权地利用此类信息和计算机资源。
因此，网络安全已经成为主要挑战，并且在设计恶意网络攻击的恶意方与开发和部署对策以识别、阻止和/或中和这些恶意网络攻击的网络安全努力之间保持持续的竞争。
作为网络安全努力的一部分，已经开发了许多方法、技术和工具来集中并利用网络威胁的不同方面和特征。然而，由于网络威胁的性质、足迹、类型、图案、特性、效果和/或操作模式不断改变，所以网络安全挑战一直存在。
发明内容
根据本发明的第一方面，提供了一种消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的方法，包括使用一个或多个处理器用于：
-对接收的编码的视频流进行解码以获得解码的视频流。
-从编码的视频流中提取由发起编码器计算的编码信息以创建编码的视频流。
-通过用基于从量化参数值的范围中的随机选择值所计算的相应的调整的量化参数替换在编码信息中定义的一个或多个量化参数来调整编码信息。
-使用调整的编码信息对解码的视频流进行编码以产生修改的编码的视频流。
-传输该修改的编码的视频流。
根据本发明的第二方面，提供了一种用于消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的系统，包括执行代码的一个或多个处理器。该代码包括：
-用于对接收的编码视频流进行解码以获得解码视频流的编码指令。
-对指令进行编码以从编码的视频流中提取由发起编码器计算的用以创建编码的视频流的编码信息。
-用于利用基于从量化参数值范围中的随机选择值所计算的相应的调整的量化参数替换在编码信息中定义的一个或多个量化参数来调整编码信息的指令。
-使用调整的编码信息对解码的视频流进行编码以产生修改的编码的视频流的编码指令。
-对用于传输修改的编码的视频流的指令进行编码。
根据本发明的第三方面，提供了一种用于消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的计算机程序产品，包括：
-一种非瞬态计算机可读存储介质。
-第一程序指令，用于解码接收到的编码视频流以获得解码视频流。
-第二程序指令，用于从编码视频流中提取由发起编码器计算的用以创建编码的视频流的编码信息。
-第三程序指令，用于通过用基于从量化参数值范围中的随机选择值所计算的相应的调整的量化参数替换在所述编码信息中定义的一个或多个量化参数来调整所述编码信息。
-第四程序指令，用于使用调整的编码信息对解码的视频流进行编码以产生修改的编码的视频流。
-第五程序指令，用于传输所述修改的编码的视频流。
其中第一、第二、第三、第四和第五程序指令由一个或多个处理器从非暂时性计算机可读存储介质执行。
在第一、第二和/或第三方面的另一实现形式中，从封装编码的视频流的接收的传输流提取接收的编码的视频流。
在第一、第二和/或第三方面的另一实施形式中，修改的编码的视频流封装于输出传输流中。
在第一、第二和/或第三方面的进一步实施形式中，编码的视频流为描绘实况事件的实况编码的视频流。
在第一、第二和/或第三方面的另一实施形式中，根据视频编码协议，例如MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264和H.265，对编码的视频流进行编码。
在第一、第二和/或第三方面的另一实施形式中，编码信息包括由始发编码器为在编码的视频流中编码的多个帧生成的运动向量、量化参数和宏块类型。
在第一、第二和/或第三方面的进一步实施形式中，相应调整的量化的量化参数值等于或低于相应量化参数的量化参数值。
在检查以下附图和详细描述时，本公开的其他系统、方法、特征和优点对于本领域的技术人员将是或变得显而易见。所有这样的附加系统、方法、特征和优点旨在被包括在本说明书内，在本公开的范围内，并且受所附权利要求的保护。
除非另外定义，在此使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。虽然类似或等效于在此描述的那些方法和材料的方法和材料可以用于本发明的实施例的实践或测试中，但以下描述了示例性方法和/或材料。在冲突的情况下，将以本专利说明书(包括定义)为准。此外，材料、方法和实例仅是说明性的，并且不旨在必须是限制性的。
本发明的实施例的方法和/或系统的实现方式可以涉及手动地、自动地、或其组合地执行或完成所选择的任务。此外，根据本发明的方法和/或系统的实施例的实际仪器和设备，若干所选任务可以通过使用操作系统的硬件、软件或固件或其组合来实现。
例如，用于执行根据本发明的实施例的所选任务的硬件可以被实现为芯片或电路。作为软件，根据本发明的实施例的所选任务可以被实现为由计算机使用任何合适的操作系统执行的多个软件指令。在本发明的示例性实施例中，根据本文描述的方法和/或系统的示例性实施例的一个或多个任务由数据处理器执行，诸如用于执行多个指令的计算平台。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器和/或用于存储指令和/或数据的非易失性存储器，例如，磁性硬盘和/或可移动介质。可选地，还提供了网络连接。还可选地提供显示器和/或用户输入设备，诸如键盘或鼠标。
附图说明
参考附图，在此仅通过举例来描述本发明的一些实施例。现在具体详细地参照附图，应强调的是，所示出的细节是通过举例的方式并且出于本发明的实施例的说明性讨论的目的。在这点上，结合附图进行的描述使得本领域技术人员清楚可以如何实施本发明的实施例。
在附图中：
图1是根据本发明的一些实施例的消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的示例性过程的流程图；以及
图2是根据本发明的一些实施例的用于消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的示例性系统的示意图。
具体实施方式
本发明在其一些实施例中涉及编码的视频流的CDR，并且更具体地但非排他地涉及使用从编码的视频提取的并且被调整以产生修改的编码视频流的编码信息来流式传输编码的实况视频流的低延迟CDR。
根据本发明的一些实施例，提供了用于对所接收的编码的视频流进行内容消除和重构(CDR)以使潜在地嵌入在包括根据一个或多个编码协议(例如，MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264、H.265等)编码的帧序列的编码的视频流中的恶意代理无效的方法、系统和计算机程序产品。
具体地，CDR旨在增加安全(内部)网络(例如，私有网络、公司网络、组织网络、工厂网络、机构网络等)对源自外部不可信网络(例如，互联网)的网络威胁的免疫性。照此，接收的编码视频流的CDR可由一个或多个接入系统和/或设备(例如，充当安全(内部)网络与外部不信任网络之间的门的网关、路由器、代理服务器等)应用。
由于编码的视频流是从不可信网络接收的，一个或多个恶意程序部件(例如，病毒、蠕虫、特洛伊木马、恶意代理、勒索软件、间谍软件、广告软件、惊吓软件等可能潜在地驻留在所接收(输入)的编码的视频流中。这样的恶意程序组件可以被配置为暴露、更改、禁用、破坏、窃取、获得对安全网络中的资源的未授权访问和/或利用安全网络中的资源的未授权使用。
在CDR过程期间，首先对接收到的编码的视频流进行解码以对编码的视频进行解码，然后对解码的视频进行重构，即，根据原始编码协议重新编码以产生输出编码的视频流，该输出编码的视频流相比于接收到的编码的视频流可被修改。由于视频被解码并随后被重新编码，任何冗余组件，特别是被添加、注入和/或驻留在接收的编码视频流中的任何恶意程序组件可被移除或至少被改变到使恶意程序组件无效的程度，从而防止恶意程序组件的恶意操作。
对输入的编码视频流进行解码可以相对简单，因此消耗有限的计算资源，诸如例如处理能力、处理时间、存储资源等。然而，重新编码解码的视频以产生输出的编码的视频流可能需要大量的计算资源，因为应用于压缩视频流同时保持高视频质量的编码协议可能极其消耗资源。
视频流的压缩主要基于减少视频流的后续帧之间的空间和时间冗余。为了识别和利用此冗余，应用先进运动估计技术来计算编码信息(例如，运动向量、量化参数、宏块类型等)以产生编码的视频流。运动估计涉及复杂的图像处理和运动预测算法，这可能需要大量计算资源，例如，可能进一步导致大量功耗的处理功率、处理时间、存储资源等。
因此，为了减少重新编码视频流以产生输出编码视频流所需的计算资源，由编码所接收(输入)编码视频流的发起编码器计算的编码信息可从输入编码视频流中提取并用于产生输出编码视频流。因此，在CDR过程期间，不执行运动估计计算来产生输出编码的视频流，而是使用由发起编码器计算的编码信息来产生(编码)输出编码的视频流。
具体地，使用所提取的编码信息生成输出编码视频流可以显著地减少CDR时间，从而显著地减少从接收输入编码视频流的时间到传输输出编码视频流的时间的延迟。这在编码的视频流为描绘实况事件的实况流式编码的视频流的情况下可能是特别重要的。
然而，恶意方(人类的和/或自动的)可能能够预测重构的输出编码视频流的结构并且可以以可以允许这些恶意程序组件中的一个或多个恶意程序组件忍受(幸存)CDR过程并且在输出编码视频流中维持其恶意功能的方式注入(多个)恶意程序组件。
为了防止这种利用，从输入编码视频流提取的编码信息可在用于产生(编码)输出编码视频流之前被调整，该输出编码视频流与接收的编码视频流相比可被修改。具体来说，可通过用经调整的量化参数替换在编码信息中定义的量化参数中的一个或多个来调整编码信息。为了确保经修改的编码视频流的结构和/或模式的不可预测性，可以基于从量化参数值的范围和/或群组中随机选择值来计算(多个)经调整的量化参数。经修改的编码视频流的随机且不可预测地修改的结构和/或模式可因此防止恶意方注入恶意程序组件，所述恶意程序组件可能忍受CDR过程或至少致使此类注入尝试无效。
在调整之后，使用调整的编码信息来产生(编码)输出编码视频流，该输出编码视频流因此被修改成输入(接收)编码视频流。然后，可以将修改的编码视频流传输、分发和/或提供给连接至安全网络的一个或多个解码客户端，例如，服务器、网络节点、计算节点、计算机、智能电话等。
量化参数直接与量化步长相关，该量化步长定义用于对编码的视频流中的帧进行采样的采样率和样本号。因此，量化步长相对于编码视频流的比特率影响编码视频流的质量。量化步长与质量成反比，因为样本速率和数目被转换成质量，使得量化步长越低视频质量越高，且反之亦然，量化步长越高，质量越低。然而，采样率和数量还转换成比特率，并且量化步长与编码视频的比特率成反比，从而使得量化步长越低比特率越高，并且反之亦然，量化步长越高，比特率越低。
为了保持视频质量并且防止与输入编码视频流相比输出(以及可能修改的)编码视频流的劣化，将调整的量化参数随机选择为等于或低于在从输入编码视频流中提取的编码信息中定义的原始量化参数。因为调整后的量化参数等于或低于原始量化参数，所以修改视频流的相应量化步长也较低，从而导致修改视频流相比于原始接收的编码视频流没有质量下降。
应强调的是，使用调整的编码信息产生(编码)修改的编码视频流对于符合编码协议的任何解码器是透明的，从而允许解码器类似于针对原始编码的视频流所做的那样对修改的视频流进行解码。
与现有的CDR和/或网络安全方法和系统相比，应用基于调整的编码信息的CDR可以呈现显著的优点和益处。
首先，基于调整的编码信息的CDR可以移除或至少更改未知恶意程序组件的结构，所述未知恶意程序组件可以驻留在或可以不驻留在编码的视频流中并且可以具有未知占用面积、模式、特性、效果、操作模式等。因此，CDR不必被设计和/或训练来识别已知的网络威胁，即可以由一些网络安全方法完成的已知的恶意程序组件。此外，此类恶意程序组件的数量可能极高，从而导致计算资源的广泛利用和/或将接收到的编码的视频流传送到安全网络上的客户端的延迟。另一方面，基于调整的编码信息的CDR不处理编码的视频流以识别已知的恶意程序组件，并且可因此使用显著减少的计算资源以及施加显著减少的延迟来将编码的视频流传输到安全网络客户端。虽然低延迟编码的视频传输可以为任何视频流提供主要优势，但在传输编码的实时视频流时，低延迟可能更有利，其中传输延迟可以显著减少用户体验等。
此外，一些现有CDR方法可以对接收的编码的视频流进行解码，并且然后对解码的视频进行编码以产生输出编码的视频流。如本文前面所述，对解码的视频进行编码可能需要大量计算资源，这可能潜在地由于应用于计算编码的视频流的编码信息的复杂且消耗资源的运动预测算法而导致主要延迟。因此，现有的CDR方法可能需要大量的计算资源来重构输出编码视频流，并且通常在将输出编码视频流传送至安全网络客户端时会造成显著的延迟。另一方面，基于调整的编码信息的CDR不进行任何用于计算编码信息的运动估计计算，而是使用基于由原始编码器计算并从接收的编码视频流提取的原始编码信息的编码信息。基于调整的编码信息的CDR可因此显著减少用于重构输出编码的视频流的计算资源。由于计算时间减少，所以使用基于调整的编码信息的CDR还可显著减少将接收的编码的视频流递送到安全网络客户端的延迟。
此外，由于基于调整后的编码信息的CDR基于随机调整编码信息并且使用其来创建修改的编码视频流，修改的编码视频流可以具有随机且不可预测的结构和/或模式。恶意方可能无法预测修改的编码的视频流的结构和/或模式，因此可能无法设计恶意程序组件，当驻留在编码视频流中时，该恶意程序组件将经受(生存)基于调整的编码信息的CDR过程。
在详细解释本发明的至少一个实施例之前，应理解的是，本发明的应用不一定限于在以下描述中阐述和/或在附图和/或示例中示出的部件和/或方法的构造和安排的细节。本发明能够有其它实施例或者以各种方式实践或执行。
如本领域技术人员将认识到的，本发明的多个方面可以体现为系统、方法或计算机程序产品。相应地，本发明的多个方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了软件和硬件方面的实施例的形式，这些实施例在此可以全部统称为“电路”、“模块”或“系统。”此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有体现在其上的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读存储介质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接，便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)，可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)，光存储设备、磁存储设备、或前述各项的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储程序的任何有形介质，该程序由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用。
计算机可读信号介质可以包括例如在基带中或者作为载波的一部分传播的数据信号，其中传播的数据信号具有在其中体现的计算机可读程序代码。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且可以传送、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何计算机可读介质。
可以使用任何适当的介质(包括但不限于无线、有线线路、光缆、RF等、或前述各项的任何适合的组合)来传输包括在计算机可读介质上体现的计算机可读程序指令的计算机程序代码。
能够以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。
程序代码可以完全地在用户的计算机上执行、部分地在用户的计算机上执行、作为一个独立的软件包执行、部分地在用户的计算机上部分在远程计算机上执行、或者完全地在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。程序代码可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。
本文中参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。
附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个方框可以代表模块、段或指令的一部分，其包括用于实现规定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中所标注的功能可以不以图中所标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。
现在参考附图，图1是根据本发明的一些实施例的消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的示例性过程的流程图。可执行示例性过程100以在将编码的视频流传输到安全(内部)网络的客户端之前将CDR应用于从不受信任(外部)源接收的编码的视频流，以便增加安全网络对源自可潜在地驻留在所接收的编码的视频流中的一个或一个以上恶意程序组件的网络威胁的免疫性。
还参见图2，图2是根据本发明的一些实施例的用于消除和重构编码的视频流以使潜在地嵌入在编码的视频流中的恶意代理无效的示例性系统的示意性图示。示例性内容消除和重构(CDR)系统200(例如，计算机、服务器、计算节点、计算节点群集等)可执行诸如用于消除和重构输入编码视频流202和重构解码视频以产生输出编码视频流204的过程100的过程。
根据一或多个编码协议(例如，MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264、H.265等)来编码包括帧序列的输入编码视频流202。输入编码视频流202可为描绘当前在进行中的实况事件(例如，体育赛事、音乐会、实况演出、公共表演等)的实况流式编码的视频流。
具体而言，CDR系统200可以在一个或多个接入系统和/或设备中实现，例如，用作安全(内部)网络240之间的门的网关、路由器、代理服务器等，例如，专用网络、公司网络、组织网络、工厂网络、机构网络等以及外部不可信网络242，例如，互联网。
CDR系统200可以包括用于接收输入编码视频流202并且传输输出编码视频流204的网络接口210、用于执行过程100的处理器212以及用于存储代码和/或数据的存储214。
网络接口210可以包括用于连接到一个或多个有线和/或无线网络的一个或多个网络接口，例如，局域网(LAN)、广域网(WAN)、市域网(MAN)，蜂窝网络、互联网等，以促进与连接至安全网络240的一个或多个网络节点的通信以及用于与连接至不可信网络242的一个或多个远程资源通信。
处理器212包括同构或异构的一个或多个处理器，每个处理器包括被安排用于并行处理的一个或多个处理节点，作为集群和/或作为一个或多个多核处理器。处理器212可进一步包含一个或一个以上硬件特定组件，例如，专用集成电路(ASIC)、实况可编程门阵列(FPGA)、数字信号处理器(DSP)、图形处理器单元(GPU)、网络处理器等，以支持过程100的执行。
用于存储数据和/或程序代码的存储器214可以包括一个或多个非瞬态存储器设备，永久非易失性设备，例如，硬盘驱动器、固态驱动器(SSD)，磁盘、闪存阵列等和/或易失性设备，例如，随机存取存储器(RAM)设备、高速缓存存储器等。存储器214可以进一步包括通过网络接口210经由一个或多个网络可访问的一个或多个网络存储资源，例如，存储服务器、网络附加存储(NAS)、网络驱动器等。
处理器212可以执行一个或多个软件模块，例如，过程，应用、代理、实用程序、工具、脚本、操作系统(OS)等，每个包括存储在诸如存储器214的非临时性介质中并且由诸如处理电路212的一个或多个处理器执行的多个程序指令。
处理器212可执行可由软件模块中的一个或多个、硬件特定组件中的一个或多个和/或其组合实施的一个或多个功能模块。功能模块可包括例如解复用(de-multiplexing)220、解码模块222、编码信息提取模块224、量化参数计算模块226、编码模块228、复用模块230等。
解复用模块220可以被配置为经由网络接口210从不可信网络242接收输入编码视频流202。输入编码视频流202可通常封装在输入传输流中，该输入传输流是标准数字容器格式，该标准数字容器格式通常由广播系统中使用以用于传输和存储音频、视频和节目和系统信息协议(PSIP)数据。因此，解复用模块220可被配置为解复用输入传输流并提取封装的输入编码视频流202。
解码模块222可被配置为解码从输入传输流提取的输入编码视频流202以产生解码视频流。
编码信息提取模块224可被配置为从输入编码视频流202提取由发起编码器计算的编码信息，所述发起编码器编码和产生输入编码视频流202。
量化参数计算模块226可以被配置为调整在所提取的编码信息中定义的一个或多个量化参数以产生调整的编码信息。
编码模块228可被配置为使用调整的编码信息重新编码从输入编码视频流202解码的视频，以产生输出编码视频流204。
复用模块220可被配置为将输出编码的视频流204封装在输出传输流中，该输出传输流可经由网络接口210传输至连接至安全网络240的一个或多个客户端。
如在102所示，过程100开始于解复用模块220经由网络接口210接收输入编码视频流202。
由于输入编码视频流202通常从不可信网络接收，所以一个或多个恶意程序组件可潜在地驻留在输入编码视频流202中，例如，病毒、蠕虫、特洛伊木马、恶意代理、勒索软件、间谍软件、广告软件、惊恐软件等。
如104所示，在输入编码视频流202封装在输入传输流中的情况下，解复用模块220可解复用输入传输流并提取封装的输入编码视频流202。
如在106处所示，解码模块222可对输入编码视频流202进行解码以提取在其中编码的视频流。
如在108处所示，编码信息提取模块224可从输入编码视频流202提取编码信息。由编码和产生输入编码视频流202的始发编码器计算和生成的编码信息可包括例如输入编码视频流202的运动矢量、量化参数、宏块类型等。如本文之前所描述，编码信息主要涉及运动估计，且因此产生编码信息涉及可能需要大量计算资源的资源密集计算。
如在110所示，量化参数计算模块226可以调整编码信息。具体地，量化参数计算模块226可以调整在输入编码视频流202的编码信息中定义的量化参数中的一个或多个量化参数。
量化参数直接与编码的视频流的一个或多个帧的量化步长相关，并且因此影响视频的采样率和样本数量，从而影响编码的视频相对于编码的视频的比特率的质量。量化步长与质量成反比，因为样本速率和数目被转换成质量，使得量化步长越低视频质量越高，且反之亦然，量化步长越高，质量越低。然而，采样率和数量还转换成比特率，并且量化步长与编码视频的比特率成反比，从而使得量化步长越低比特率越高，并且反之亦然，量化步长越高，比特率越低。
量化参数计算模块226可以通过用基于从量化参数值范围中随机选择量化参数值所计算的相应的调整的量化参数替换量化参数中的一个或多个量化参数来调整这些量化参数中的一个或多个。然而，量化参数计算模块226被配置成将调整的量化参数计算为等于或低于原始量化参数，以便在使用调整的量化参数来重新编码视频以产生输出编码视频流204之后避免输出编码视频流204的质量与输入编码视频流202相比降级。
可选地，量化参数计算模块226被配置成用于在最大比特率约束下计算一个或多个调整的量化参数，从而使得使用一个或多个调整的量化参数编码(产生)的输出编码视频流204将具有不超过最大比特率的比特率。
例如，假设根据H.264编码协议对输入编码视频流202进行编码，所述H.264编码协议针对量化参数定义范围0至51。假设从输入编码视频流202中提取的编码信息包括具有值15的某个量化参数。在这种情况下，量化参数计算模块226可以基于从包括较低量化参数值的某个量化参数值范围10-15中对相应的调整的量化参数的随机选择来计算相应的调整的量化参数，以避免视频质量下降。
如112所示，编码模块228对从输入编码视频流202解码的视频进行编码以产生输出编码视频流204，与输入编码视频流202相比，输出编码视频流204通常可以是修改的编码视频流。然而，编码模块228不执行任何运动估计计算，而是使用基于由产生输入编码视频流202的始发编码器计算的编码信息的调整的编码信息。编码模块228因此需要显著降低的计算资源来产生(编码)输出编码视频流204。
如114所示，复用230可将输出编码视频流204封装在输出传输流中。
如116处所示，复用230可经由网络接口210传输可选地封装在输出传输流中的输出编码视频流204。因此，可将输出编码视频流204传输、分配和/或传送至连接至安全网络240的一个或多个网络节点(客户端)。由于输出编码视频流204是根据与原始输入编码视频流202相同的编码协议来编码的，因此CDR过程100对于符合选定的编码协议的任何解码器可为透明的。因此，能够对输入编码视频流202进行解码的任何解码器都能够对输出编码视频流204进行解码。
预计在本申请的专利期限内，将开发许多相关系统、方法和计算机程序，并且术语视频编码协议和传输流协议的范围旨在先验地包括所有这些新技术。
如在此所用，术语“约”是指±10％。
术语“包含”、“含有”、“包括”、“具有”及其变化形式是指“包括但不限于”。
术语“由……组成”是指“包括并且限于”。
如在本文中使用的，单数形式“一个”、“一种”和“该”包括复数引用，除非上下文另外明确指出。例如，术语“一种化合物”或“至少一种化合物”可以包括多种化合物，包括其混合物。
在本申请中，本发明的各种实施例可以以范围的形式呈现。应当理解，范围形式的描述仅仅是为了方便和简洁，而不应当被解释为对本发明范围的硬性限制。因此，范围的描述应被认为具体公开了所有可能的子范围以及该范围内的单个数值。例如，对范围如1-6的描述应被认为具体公开了子范围如1-3、1-4、1-5、2-4、2-6、3-6等，以及该范围内的单个数值如1、2、3、4、5和6，这与范围的宽度无关。
每当在此指示数值范围时，它意在包括在所指示范围内的任何引用的数字(分数或整数)。短语“第一指示数字和第二指示数字之间的范围/区间”和“从”第一指示数字“到”第二指示数字“的范围/区间”在本文中可互换使用，并且旨在包括第一和第二指示数字以及其间的所有分数和整数。
应了解，为了清楚起见，在单独实施例的上下文中描述的本发明的某些特征也可以组合地提供在单个实施例中。相反，为了简洁起见，在单个实施例的上下文中描述的本发明的各种特征也可以分开提供或以任何合适的子组合提供或如在本发明的任何其他描述的实施例中合适地提供。在各种实施方式的上下文中描述的某些特征不被认为是那些实施方式的必要特征，除非在没有那些元件的情况下实施例是不可操作的。
尽管已经结合其具体实施例描述了本发明，但是显然，许多替换、修改和变化对于本领域技术人员来说是显而易见的。因此，本发明旨在包括所有这些落入所附权利要求的精神和宽范围内的替代、修改和变化。
本说明书中提及的所有出版物、专利和专利申请在此通过引用整体并入本说明书，其程度如同每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用并入本文中。此外，本申请中任何参考文献的引用或识别不应被解释为承认这些参考文献可作为本发明的现有技术。就使用部分标题来说，它们不应被解释为必然是限制性的。此外，本申请的任何优先权文件在此通过引用整体并入本文。

Claims (20)

1.一种消除和重构编码的视频流以使潜在地嵌入在所述编码的视频流中的恶意代理无效的方法，包括：
使用至少一个处理器用于：
对接收的编码的视频流进行解码以获得解码的视频流；
从所述编码的视频流提取由发起编码器计算的用以创建所述编码的视频流的编码信息；
通过用基于从量化参数值的范围中的随机选择值所计算的相应的调整的量化参数替换在所述编码信息中定义的至少一个量化参数来调整所述编码信息；
使用所述调整的编码信息对所述解码的视频流进行编码以产生修改的编码的视频流；以及
传输所述修改的编码的视频流。
2.如权利要求1所述的方法，其中所述接收的编码的视频流从封装所述编码的视频流的接收的传输流中提取。
3.如权利要求1所述的方法，其中所述修改的编码的视频流被封装在输出传输流中。
4.如权利要求1所述的方法，其中所述编码的视频流为描绘实况事件的实况编码的视频流。
5.如权利要求1所述的方法，其中根据视频编码协议对所述编码的视频流进行编码，所述视频编码协议是由MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264和H.265组成的组中的成员。
6.如权利要求1所述的方法，其中所述编码信息包括由所述发起编码器针对在所述编码的视频流中编码的多个帧生成的运动向量、量化参数和宏块类型。
7.如权利要求1所述的方法，其中所述相应调整的量化的所述量化参数值等于或低于所述至少一个量化参数的所述量化参数值。
8.一种用于消除和重构编码的视频流以使潜在地嵌入在所述编码的视频流中的恶意代理无效的系统，包括：
至少一个执行代码的处理器，所述代码包括：
用于对接收的编码的视频流进行解码以获得解码的视频流的编码指令；
用以从所述编码的视频流提取由发起编码器计算的用以创建所述编码的视频流的编码信息的代码指令；
用于以下操作的代码指令：通过用基于从量化参数值的范围中的随机选择值所计算的相应的调整的量化参数替换在所述编码信息中定义的至少一个量化参数来调整所述编码信息；
用于使用所述调整的编码信息对所述解码的视频流进行编码以产生修改的编码的视频流的代码指令；并且
对指令进行编码以发送所述经修改的编码视频流。
9.如权利要求8所述的系统，其中所述接收的编码的视频流从封装所述编码的视频流的接收的传输流中提取。
10.如权利要求8所述的系统，其中所述修改的编码的视频流被封装在输出传输流中。
11.如权利要求8所述的系统，其中所述编码的视频流为描绘实况事件的实况编码的视频流。
12.如权利要求8所述的系统，其中根据视频编码协议对所述编码的视频流进行编码，所述视频编码协议是由MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264和H.265组成的组中的成员。
13.如权利要求8所述的系统，其中所述编码信息包括由所述发起编码器针对在所述编码的视频流中编码的多个帧生成的运动向量、量化参数和宏块类型。
14.如权利要求8所述的系统，其中所述相应调整的量化的所述量化参数值等于或低于所述至少一个量化参数的所述量化参数值。
15.一种用于消除和重构编码的视频流以使潜在地嵌入在所述编码的视频流中的恶意代理无效的计算机程序产品，包括：
非暂态计算机可读存储介质；
第一程序指令，用于对接收的编码的视频流进行解码以获得解码的视频流；
第二程序指令，用于从所述编码的视频流提取由发起编码器计算的用以创建所述编码的视频流的编码信息；
第三程序指令，用于通过用基于从量化参数值的范围中的随机选择值所计算的相应的调整的量化参数替换在所述编码信息中定义的至少一个量化参数来调整所述编码信息；
第四程序指令，用于使用所述调整的编码信息对所述解码的视频流进行编码以产生修改的编码的视频流；以及
第五程序指令，用于传输所述修改的编码的视频流；
其中所述第一程序指令、所述第二程序指令、所述第三程序指令、所述第四程序指令和所述第五程序指令由来自所述非暂时性计算机可读存储介质的至少一个处理器执行。
16.如权利要求15所述的计算机程序产品，其中所述接收的编码的视频流从封装所述编码的视频流的接收的传输流提取。
17.如权利要求15所述的计算机程序产品，其中所述修改的编码视频流被封装在输出传输流中。
18.如权利要求15所述的计算机程序产品，其中所述编码的视频流为描绘实况事件的实况编码的视频流。
19.如权利要求15所述的计算机程序产品，其中所述编码信息包括由所述发起编码器针对在所述编码的视频流中编码的多个帧生成的运动向量、量化参数和宏块类型。
20.如权利要求15所述的计算机程序产品，其中所述相应调整的量化的所述量化参数值等于或低于所述至少一个量化参数的所述量化参数值。
CN202080021868.3A 2019-03-17 2020-03-12 实况流视频的低延迟内容消除和重构(cdr) Pending CN113614724A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/355,775 2019-03-17
US16/355,775 US11115661B2 (en) 2019-03-17 2019-03-17 Low delay content disarm and reconstruction (CDR) of live streaming video
PCT/IB2020/052222 WO2020188421A1 (en) 2019-03-17 2020-03-12 Low delay content disarm and reconstruction (cdr) of live streaming video

Publications (1)

Publication Number Publication Date
CN113614724A true CN113614724A (zh) 2021-11-05

Family

ID=72423589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080021868.3A Pending CN113614724A (zh) 2019-03-17 2020-03-12 实况流视频的低延迟内容消除和重构(cdr)

Country Status (6)

Country Link
US (1) US11115661B2 (zh)
JP (1) JP7372013B2 (zh)
CN (1) CN113614724A (zh)
DE (1) DE112020001299B4 (zh)
GB (1) GB2595426B (zh)
WO (1) WO2020188421A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760988B (zh) * 2023-08-18 2023-11-10 瀚博半导体(上海)有限公司 基于人类视觉系统的视频编码方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9607591D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Playback and monitoring of compressed bitstreams
US6278385B1 (en) * 1999-02-01 2001-08-21 Yamaha Corporation Vector quantizer and vector quantization method
US7295610B2 (en) 2002-03-27 2007-11-13 Scientific-Atlanta, Inc. Hybrid rate control in a digital stream transcoder
JP4139416B2 (ja) 2006-05-29 2008-08-27 日本電信電話株式会社 符号化ストリーム再符号化装置、符号化ストリーム再符号化方法、符号化ストリーム再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4624321B2 (ja) * 2006-08-04 2011-02-02 株式会社メガチップス トランスコーダおよび符号化画像変換方法
JP5418756B2 (ja) 2007-01-22 2014-02-19 日本電気株式会社 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
US8220051B2 (en) 2007-09-28 2012-07-10 Vantrix Corporation Generation and delivery of multimedia content-adaptation notifications
CN101909211B (zh) 2010-01-04 2012-05-23 西安电子科技大学 基于快速模式判决的h.264/avc高效转码器
CN102572413B (zh) * 2012-02-08 2014-07-23 北京数码视讯科技股份有限公司 传输流台标字幕插入系统的输出码率控制方法与装置
CN102831893B (zh) * 2012-05-07 2014-07-16 电子科技大学 一种快速破坏广播音频文件病毒的方法
US20140037005A1 (en) * 2012-08-02 2014-02-06 Penne Y. LEE Transcoding video data
US8887276B2 (en) 2012-11-21 2014-11-11 Owl Computing Technologies, Inc. System for providing a secure video display
US9877034B2 (en) * 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
US9549203B2 (en) * 2014-04-28 2017-01-17 Arris Enterprises, Inc. Error recovery for video delivery via a segmentation process
US20160234496A1 (en) 2015-02-09 2016-08-11 Qualcomm Incorporated Near visually lossless video recompression
JP2017184092A (ja) * 2016-03-31 2017-10-05 株式会社メガチップス 画像処理装置
US9858424B1 (en) * 2017-01-05 2018-01-02 Votiro Cybersec Ltd. System and method for protecting systems from active content
US10331890B2 (en) * 2017-03-20 2019-06-25 Votiro Cybersec Ltd. Disarming malware in protected content
US10013557B1 (en) 2017-01-05 2018-07-03 Votiro Cybersec Ltd. System and method for disarming malicious code
US10904313B2 (en) * 2017-06-20 2021-01-26 Telefonaktiebolaget Lm Ericsson (Publ) Apparatuses, methods, computer programs, and computer program products for live uplink adaptive streaming

Also Published As

Publication number Publication date
US20200296373A1 (en) 2020-09-17
DE112020001299B4 (de) 2023-02-23
US11115661B2 (en) 2021-09-07
JP2022524963A (ja) 2022-05-11
WO2020188421A1 (en) 2020-09-24
GB2595426A (en) 2021-11-24
GB2595426B (en) 2022-04-13
DE112020001299T5 (de) 2021-12-16
JP7372013B2 (ja) 2023-10-31

Similar Documents

Publication Publication Date Title
Zhou et al. Designing an efficient image encryption-then-compression system via prediction error clustering and random permutation
JP2020522153A (ja) ニューラルネットワークを使用するタイル型画像圧縮
JP2017519269A (ja) 通信ネットワーク上の情報の安全な記憶と加速された伝送
Peng et al. A selective encryption scheme for protecting H. 264/AVC video in multimedia social network
JP6608436B2 (ja) エンコーダ、デコーダ、及び部分的データ暗号化を用いる方法
BR122020024474B1 (pt) Método para decodificar uma imagem, método de codificação de uma imagem, aparelho para codificar uma imagem, e meio de armazenamento não transitório legível por computador que armazena um fluxo de bits
Chuman et al. Image manipulation on social media for encryption-then-compression systems
CN113473138B (zh) 视频帧编码方法、装置、电子设备及存储介质
CN111294591B (zh) 视频信息处理方法、多媒体信息处理方法、装置
CN111787319A (zh) 一种视频信息处理方法、多媒体信息处理方法及、装置
JP5719386B2 (ja) Ｎ個のチャネルを用いてデータを安全に分散させ格納する方法および装置
JP7372013B2 (ja) ライブ・ストリーミング・ビデオの低遅延のコンテンツの無害化および再構築（ｃｄｒ）
KR20220085760A (ko) 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법
Zhu et al. A joint source-channel adaptive scheme for wireless H. 264/AVC video authentication
WO2021142118A1 (en) L-type partitioning tree
KR102296987B1 (ko) 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템
CN111294592A (zh) 视频信息处理方法、多媒体信息处理方法、装置
Maazouz et al. Parallel implementation of Kvazaar HEVC on multicore ARM processor
Ammous et al. Encryption of lossless coded videos
CN112448937B (zh) 一种数权保护方法、系统和装置
JP7315700B2 (ja) クロマ成分に関する柔軟なブロックパーティション分割
Challa et al. Towards video secure streaming-feasibility study of using an obscuring algorithm in conjunction of H. 264 encoding and compression
CN113709461A (zh) 视频信息处理方法、多媒体信息处理方法及装置
JP2018056957A (ja) 符号化装置、復号装置、符号化方法、及び、復号方法
Deshpande et al. Data security and storage module in cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination