CN116546214A - 面向人机混合的视频编码方法、装置、系统、设备及介质 - Google Patents

面向人机混合的视频编码方法、装置、系统、设备及介质 Download PDF

Info

Publication number
CN116546214A
CN116546214A CN202210086997.1A CN202210086997A CN116546214A CN 116546214 A CN116546214 A CN 116546214A CN 202210086997 A CN202210086997 A CN 202210086997A CN 116546214 A CN116546214 A CN 116546214A
Authority
CN
China
Prior art keywords
video image
image
code stream
binary code
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210086997.1A
Other languages
English (en)
Inventor
王慧芬
张园
杨明川
史敏锐
薛俊达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210086997.1A priority Critical patent/CN116546214A/zh
Publication of CN116546214A publication Critical patent/CN116546214A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本公开提供了一种面向人机混合的视频编码方法、装置、系统、设备及介质，涉及视频编码技术领域。该方法包括：首先对采集的原始视频图像执行编码前图像预处理得到第一视频图像，并对第一视频图像进行编码得到第一二进制码流，传输到解码端；然后对第一视频图像执行编码前图像后处理得到第二视频图像，并根据第二视频图像和原始视频图像生成残差视频图像，对残差视频图像进行编码得到第二二进制码流，传输至解码端；最后使得解码端对第一二进制码流和第二二进制码流分别进行解码，并根据解码结果合成待输入到人眼视觉任务模型的视频图像。本公开能够在满足机器视觉任务的基础上，合成高质量的视频图像，以满足人眼视觉任务等高保真需求场景。

Description

面向人机混合的视频编码方法、装置、系统、设备及介质
技术领域
本公开涉及视频编码技术领域，尤其涉及一种面向人机混合的视频编码方法、装置、系统、设备及介质。
背景技术
随着机器学习应用的增长，车联网、视频监控、智慧城市等领域已经采用了许多智能平台，这些平台与大量传感器之间产生了海量的数据通信。数据量的增长直接导致先前面向人类视觉的编码方法效率降低，在延时和规模上也难以满足现实，面向智能机器的特征编码提上议程。
在机器视觉任务中，解码端往往需要对输入机器视觉任务模型的视频图像进行维度、尺寸、对比度等方面的变换操作，这些变换操作统称为图像预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
相关技术中，为了降低视频图像传输过程中数据量，编码端会对采集的视频图像进行压缩编码，在解码端解压缩恢复出原始尺寸信息的视频图像，为了满足机器视觉任务的需求，可能需要通过解码端的图像预处理对解码端的视频图像进行尺寸调整，若此时也是需要缩小视频图像的尺寸，则信源与下游视觉任务模型输入层之间的大小之差会带来冗余。为了消除这种冗余，可以考虑将解码端的图像预处理前移到编码端执行，从而实现消除冗余的同时尽可能保留后续机器视觉任务的精度。
这种将图像预处理前移的方案，虽然能够在消除冗余的尽可能保留后续机器视觉任务的精度，但对于解码端的人眼视觉任务来说，可能出现视频图像保真度比较低的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种面向人机混合的视频编码方法、装置、系统、设备及介质，至少在一定程度上克服相关技术中将图像预处理前移到编码端的方案可能导致人眼视觉任务效果较差的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供了一种面向人机混合的视频编码方法，该方法包括：对第一视频图像进行编码得到第一二进制码流，其中，所述第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；对残差视频图像进行编码得到第二二进制码流，其中，所述残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，所述第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；将所述第一二进制码流和所述第二二进制码流分别传输至解码端，其中，所述解码端用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
在一些实施例中，在对第一视频图像进行编码得到第一二进制码流之前，所述方法还包括：在采集视频图像之前或在采集视频图像的过程中，向图像解码端请求待执行视觉任务信息；根据所述待执行视觉任务信息，判断所述原始视频图像是否满足编码前图像预处理条件；若所述原始视频图像满足编码前图像预处理条件，则对所述原始视频图像执行编码前图像预处理，得到所述第一视频图像。
在一些实施例中，在对所述原始视频图像执行编码前图像预处理，得到所述第一视频图像之后，所述方法还包括：获取对所述原始视频图像执行编码前图像预处理的预处理信息；根据所述预处理信息，对所述第一视频图像执行对应的编码前图像后处理，得到第二视频图像；根据所述第二视频图像和原始视频图像生成所述残差视频图像。
在一些实施例中，采用传统编码器对第一视频图像或残差视频图像进行编码。
在一些实施例中，采用端到端神经网络编码器对第一视频图像或残差视频图像进行编码。
根据本公开的一个方面，还提供了一种面向人机混合的视频解码方法，该方法包括：接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，所述第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，所述第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，所述第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，所述残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
在一些实施例中，在接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像之后，所述方法还包括：根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；若待执行视觉任务为人眼视觉任务，则将第三视频图像输入到人眼视觉任务模型；若待执行视觉任务为机器视觉任务，则将第三视频图像输入到机器视觉任务模型。
在一些实施例中，所述将第三视频图像输入到机器视觉任务模型包括：判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第三视频图像直接输入到机器视觉任务模型；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第三视频图像执行图像预处理后输入到机器视觉任务模型。
在一些实施例中，采用传统解码器对第一二进制码流或第二二进制码流进行解码。
在一些实施例中，采用端到端神经网络解码器对第一二进制码流或第二二进制码流进行解码。
根据本公开的一个方面，还提供了一种面向人机混合的视频处理系统，包括：编码设备和解码设备；其中，所述编码设备用于：对第一视频图像进行编码得到第一二进制码流；对残差视频图像进行编码得到第二二进制码流；将所述第一二进制码流和所述第二二进制码流分别传输至解码端；其中，所述第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；所述残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，所述第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；所述解码设备用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
根据本公开的一个方面，还提供了一种编码设备，包括：第一编码模块，用于对第一视频图像进行编码得到第一二进制码流，其中，所述第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；第二编码模块，用于对残差视频图像进行编码得到第二二进制码流，其中，所述残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，所述第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；传输模块，用于将所述第一二进制码流和所述第二二进制码流分别传输至解码端；其中，所述解码端用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
根据本公开的一个方面，还提供了一种解码设备，该解码设备包括：第一解码模块，用于接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，所述第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，所述第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；第二解码模块，用于接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，所述第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，所述残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；图像合成模块，用于对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
根据本公开的一个方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的面向人机混合的视频编码方法，或上述任意一项所述的面向人机混合的视频解码方法。
根据本公开的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的面向人机混合的视频编码方法，或上述任意一项所述的面向人机混合的视频解码方法。
本公开的实施例中提供的面向人机混合的视频编码方法、装置、系统、设备及介质，在采集到原始视频图像后，首先对采集的原始视频图像执行编码前图像预处理得到第一视频图像，并对第一视频图像进行编码得到第一二进制码流，传输到解码端；然后对第一视频图像执行编码前图像后处理得到第二视频图像，并根据第二视频图像和原始视频图像生成残差视频图像，对残差视频图像进行编码得到第二二进制码流，传输至解码端；最后使得解码端对第一二进制码流和第二二进制码流分别进行解码，并根据解码结果合成待输入到人眼视觉任务模型的视频图像。
本公开实施例中，在对采集的原始视频图像执行编码前预处理后，对预处理后的视频图像进行后处理，然后对后处理后视频图像与原始视频图像产生的残差进行编码，形成增强流传输到解码端，能够在满足机器视觉任务的基础上，合成高质量的视频图像，以满足人眼视觉任务等高保真需求场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出相关技术中一种传统视频编解码系统架构示意图；
图2示出本公开实施例中一种面向人机混合的视频编解码系统架构示意图；
图3示出本公开实施例中一种应用系统架构示意图；
图4示出本公开实施例中一种面向人机混合的视频编码方法流程图；
图5示出本公开实施例中一种编码前预处理方法流程图；
图6示出本公开实施例中一种编码前后处理方法流程图；
图7示出本公开实施例中一种面向人机混合的视频解码方法流程图；
图8示出本公开实施例中一种视觉任务执行方法流程图；
图9示出本公开实施例中一种面向人机混合的视频处理系统示意图；
图10示出本公开实施例中一种编码设备内部组成模块示意图；
图11示出本公开实施例中一种解码设备内部组成模块示意图；
图12示出本公开实施例中一种电子设备的结构框图；
图13示出本公开实施例中一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
为便于理解，在介绍本公开实施例之前，首先对本公开实施例中涉及到的几个名词进行解释如下：
机器视觉：是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
VTM：全称为Video Test Model，译为编码器测试模型。
下面结合附图，对本公开实施例的具体实施方式进行详细说明。
视频编码技术是指通过压缩技术，将原始视频格式的文件转换成二进制码流的方式，通过传输码流的方式，更高效的实现发送端和接收端之间的视频图像数据传输。视频图像数据具有很强的相关性，也即存在有大量的冗余信息。其中冗余信息可分为时域冗余信息和空域冗余信息。压缩技术就是将数据中的冗余信息去掉(去除数据之间的相关性)，压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。去空域冗余主要使用帧内编码技术和熵编码技术，主要包括变换编码、量化编码和熵编码等方法。去时域冗余可以使用帧间编码技术，主要包括运动补偿、运动表示、运动估计等方法。帧间编码利用视频时间域的相关性，使用时域相邻已编码图像像素预测当前图像的像素，以达到有效去除视频时域冗余的目的。
目前主流的视频编码标准都是采用基于块的运动补偿技术，原理是为当前图像的每个像素块在之前已编码图像中通过运动估计寻找一个最佳匹配块。用于预测的图像称为参考图像，参考块到当前像素块的位移称为运动矢量，当前块原始像素值与参考块进行运动补偿后的预测块的像素值之间的差值称为残差。帧间预测只需要将编码块的最优MV(Motion Vector，运动矢量)、参考帧索引和残差值经编码后写入码流传输给解码器端。解码器端根据最优MV和参考帧索引在参考帧找到对应的参考块，然后再加上解码后残差值，从而恢复出该解码块的原始像素值。
不同的视觉任务对视频图像的要求不同，例如，人眼视觉任务可对任意尺寸大小的视频图像进行识别；但机器视觉任务往往要求输入固定尺寸大小的视频图像，因而，将采集的视频图像输入到机器视觉任务模型前，往往需要判断是否需要对输入的视频图形进行图像预处理，并当需要执行时，对输入到机器视觉任务模型的视频图像执行图像预处理，包括但不限于对视频图像的尺寸信息进行修改。
图1示出相关技术中一种传统视频编解码系统架构示意图，如图1所示，传统视频编码技术以人眼保真为编码目的，技术方案如图一所示，对于采集的视频图像V统一进入视频编码器，形成二进制码流，解码端采用对应的视频解码器进行解码生成解码视频图像V’。视频图像V’直接用于人眼视觉，对于机器视觉任务，视频图像V’需要首先进行图像预处理成机器视觉任务所需的统一形式，再进入机器视觉模型处理。
传统视频编码方案对图像的图像预处理操作是在解码端进行的。由于视频图像编码是为了降低视频图像传输时的数据量，在编码端对视频进行压缩；在解码端进行解压缩，以恢复出原始尺寸信息的视频图像。而为满足机器视觉任务需求，有时候也会涉及到通过图像预处理操作对视频图像进行缩小，以得到机器视觉任务模型所需的固定尺寸的视频图像，若在解码端执行图像预处理操作，可能会带来冗余问题。
图2示出本公开实施例中一种面向人机混合的视频编解码系统架构示意图，如图2所示，本公开实施例中，对于需要执行编码前图像预处理操作的视频图像，先执行图像预处理后再进行编码压缩，使得解码端解码得到的视频图像为执行图像预处理后的视频图像，可直接输入机器视觉任务模型，从而在尽可能保留后续机器视觉任务精度的情况下，消除原始信源于下游智能任务网络输入层之间的冗余，提高压缩比。
进一步地，为了防止解码端解码出的视频图像输入到人眼视觉任务模型，可能导致保真度下降的问题，本公开实施例中提供的面向人机混合的视频编解码方案，在编码端执行完编码前图像预处理后，一方面，将预处理后的图像编码为数据流传输到解码端；另一方面，对预处理后的视频图像进行编码前后处理，进而将后处理后的图像与原始图像的残差编码后形成增强流传输到解码端，使得解码端在根据预处理图像的解码结果和增强流的解码结果，合成高质量的图像，输入至人眼视觉任务模型，满足人眼高保真需求场景。
图3示出了可以应用本公开实施例中面向人机混合的视频编码方法或视频解码方法的示例性应用系统架构示意图。如图3所示，该系统架构可以包括终端设备301、网络302和服务器303。
网络302用以在终端设备301和服务器303之间提供通信链路的介质，可以是有线网络，也可以是无线网络。
可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
终端设备301可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、增强现实设备、虚拟现实设备等。
可选地，不同的终端设备301中安装的应用程序的客户端是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端等。
服务器303可以是提供各种服务的服务器，例如对用户利用终端设备301所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
可选地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本领域技术人员可以知晓，图3中的终端设备、网络和服务器的数量仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。
在上述系统架构下，本公开实施例中提供了一种面向人机混合的视频编码方法，该方法可以由任意具备计算处理能力的电子设备执行。在一些实施例中，本公开实施例中提供的面向人机混合的视频编码方法可以由图3中所示的终端设备来执行；在另外一些实施例中，本公开实施例中提供的面向人机混合的视频编码方法可以由图3中所示的服务器来执行。
图4示出本公开实施例中一种面向人机混合的视频编码方法流程图，如图4所示，本公开实施例中提供的面向人机混合的视频编码方法包括如下步骤：
S402，对第一视频图像进行编码得到第一二进制码流，其中，第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像。
在一些实施例中，可以采用VTM编码器(例如，VTM8.2编码器)或类似传统编码器对第一视频图像进行编码。在另外一些实施例中，可以采用端到端神经网络编码器(例如，mbt2018-mean编码器)对第一视频图像进行编码。
S404，对残差视频图像进行编码得到第二二进制码流，其中，残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像。
需要说明的是，本公开实施例中执行的编码前后处理与编码前预处理是对应的，若编码前预处理是将缩小图像尺寸，则编码前后处理是放大图像尺寸，放大和缩小的比例，可以灵活调整，不一定要将预处理后的图像放大到原始尺寸，在具体实施时，可根据解码端人眼视觉所需的图像保真度确定。
在一些实施例中，可以采用VTM编码器(例如，VTM8.2编码器)或类似传统编码器对残差视频图像进行编码。在另外一些实施例中，可以采用端到端神经网络编码器对残差视频图像进行编码。
S406，将第一二进制码流和第二二进制码流分别传输至解码端。
需要说明的是，本公开实施例中的解码端在接收到第一二进制码流和第二二进制码流后，可以对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
由上可知，本公开实施例中，针对机器视觉任务，将图像预处理前移到编码端，在编码前执行图像预处理，能够针对机器视觉任务实际需要的图像进行编码，从而降低传输的数据量，提高压缩率；针对不同的编码前图像预处理，对预处理图像进行后处理后与采集的原始图像产生的残差进行编码，形成增强流，能够满足高质量的人眼视觉需求。
在一些实施例中，在对第一视频图像进行编码得到第一二进制码流之前，如图5所示，本公开实施例中提供的面向人机混合的视频编码方法还可以通过如下步骤对视频图像执行编码前预处理：
S502，在采集视频图像之前或在采集视频图像的过程中，向图像解码端请求待执行视觉任务信息；
S504，根据待执行视觉任务信息，判断原始视频图像是否满足编码前图像预处理条件；
S506，若原始视频图像满足编码前图像预处理条件，则对原始视频图像执行编码前图像预处理，得到第一视频图像；
S508，若原始视频图像不满足编码前图像预处理条件，则不对原始视频图像执行编码前图像预处理。
需要说明的是，上述待执行视觉任务信息包括但不限于对采集的视频图像待执行的视觉任务的任务类型、执行相应任务类型视觉任务所需执行的图像预处理操作。
在一些实施例中，可以在采集视频图像之前，向图像解码端请求待编码视频图像对应的视觉任务信息。通过这种方式，能够实现一次获取多次使用的目的，比较适用于机器视觉任务和人眼视觉任务按一定规律执行的场景。
在另外一些实施例中，在采集视频图像的过程中，向图像解码端请求待编码视频图像对应的视觉任务信息。通过这种方式能够满足实时任务处理，尤其适用于机器视觉任务和人眼视觉任务交叉执行的场景。
在获取到待执行视觉任务信息后，可以根据待执行视觉任务信息，判断待编码视频图像是否需要执行图像预处理操作，也即是否满足编码前图像预处理条件。对于人眼视觉任务，大多数情况下不需要执行图像预处理，因而，若待编码视频图像待执行的视觉任务为人眼视觉任务，则表明待编码视频图像无需执行图像预处理操作，因而判断结果为待编码视频图像不满足编码前图像预处理条件。而对于机器视觉任务，往往要求输入固定尺寸信息的图像，在将图像输入到机器视觉任务模型之前，需要进行图像预处理(包括但不限于：图像高度和/或宽度的调整)，而图像编码过程往往也会涉及到图像大小的调整，因而，在根据机器视觉任务信息判断待编码视频图像是否满足编码前图像处理条件的时候，可以根据机器视觉任务所需的视频图像尺寸信息以及编码前视频图像的尺寸信息，确定待编码视频图像是否满足编码前图像预处理条件。
在一些实施例中，在对原始视频图像执行编码前图像预处理，得到第一视频图像之后，如图6所示，本公开实施例中提供的面向人机混合的视频编码方法还可以通过如下步骤对预处理后的视频图像执行编码前后处理：
S602，获取对原始视频图像执行编码前图像预处理的预处理信息；
S604，根据预处理信息，对第一视频图像执行对应的编码前图像后处理，得到第二视频图像；
S606，根据第二视频图像和原始视频图像生成残差视频图像。
基于同一发明构思，本公开实施例中还提供了一种面向人机混合的视频解码方法，该方法可以由任意具备计算处理能力的电子设备执行。在一些实施例中，本公开实施例中提供的面向人机混合的视频解码方法可以由图3中所示的终端设备来执行；在另外一些实施例中，本公开实施例中提供的面向人机混合的视频解码方法可以由图3中所示的服务器来执行。
需要说明的是，本公开实施例中提供的面向人机混合的视频编码方法和视频解码方法可以同时由图3中所示的终端设备来执行，也可以同时由图3中所示的服务器来执行；还可以是视频编码方法在终端设备上执行，而视频解码方法在服务器上执行；或者，视频编码方法在服务器上执行，而视频解码方法在终端设备上执行。
图7示出本公开实施例中一种面向人机混合的视频解码方法流程图，如图7所示，该方法可以包括如下步骤：
S702，接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；
S704，接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；
S706，对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
由上可知，本公开的实施例中提供的面向人机混合的视频解码方法，对第一二进制码流和第二二进制码流分别进行解码，并根据解码结果合成待输入到人眼视觉任务模型的视频图像，由于第一二进制码流是数据流，第二二进制码流是增强流，因而，根据第一二进制码流和第二二进制码流的解码结果合成的图像是高质量图像，能够满足人眼视觉任务等高保真需求场景。
在一些实施例中，在接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像之后，如图8所示，本公开实施例中提供的面向人机混合的视频解码方法，还可以通过如下步骤来执行视觉任务：
S802，根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；
S804，若待执行视觉任务为人眼视觉任务，则将第三视频图像输入到人眼视觉任务模型；
S806，若待执行视觉任务为机器视觉任务，则执行下述S608～S612来执行机器视觉任务：
S808，判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；
S810，当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第三视频图像直接输入到机器视觉任务模型；
S812，当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第三视频图像执行图像预处理后输入到机器视觉任务模型。
在一些实施例中，可以采用VTM解码器(例如，VTM8.2解码器)或类似传统解码器对第一二进制码流或第二二进制码流进行解码；在另外一些实施例中，可以采用端到端神经网络解码器对第一二进制码流或第二二进制码流进行解码。
本公开中提供的面向人机混合的视频编解码方法，在具体实施时：
编码端在正式开始图像采集前，向解码端请求模式图像预处理模式mode、增强流等级q配置；也可图像采集开始后，在线向解码端请求图像预处理模式mode、增强流等级q配置。
1)对于采集的视频图像x进行图像预处理模式为mode的预处理，形成预处理后的视频图像x1，其中mode也可为空，表示不需要经过图像预处理；图像预处理模式可为下采样方法、机器视觉神经网络骨干网图像预处理方法等。
2)将视频图像x1输入编码器1进行编码，将编码器1的输出和(mode，h，w)形成二进制码流；其中编码器1可为传统编码器VTM，也可为端到端神经网络编码器等。
3)解码端采用解码器1对二进制码流进行解码得到解码视频图像x’、(mode，h，w)；其中，当mode为空时，不需要参数h和w。
4)对图像预处理模式mode进行判断，若mode与当前机器视觉图像预处理方式一致，直接进入机器视觉模型处理，其中h和w用于获取目标位置信息时在原图中的定位；若mode与当前机器视觉图像预处理方式不一致，对解码视频图像x’先进行图像预处理操作，再进入机器视觉模型处理。
5)对于解码视频图像x’，可直接进入人眼视觉，也可经过图像后处理/图像增强等形成原始尺寸视频图像x”处理后进入人眼视觉。
可选地，对于增强流等级配置q不为0的情况，需要进行残差视频编码，具体方法如下：①对视频图像x1进行对应mode的图像后处理操作，形成视频图像x2，将采集视频图像x和视频图像x2形成残差视频图像Δx；②将视频图像Δx输入编码器2进行编码，将编码器2的输出形成二进制码流；其中编码器2可为传统编码器VTM，也可为端到端神经网络编码器等，编码器2和编码器1可为相同视频编码器，也可为不同视频编码器；③解码端采用解码器2对二进制码流进行解码得到解码残差视频图像Δx’；④将解码残差视频图像Δx’和视频图像x”进行合并形成视频图像x”’进入人眼视觉。
其中增强流等级配置q可与编码器1采用的等级配置不同。
下面列举几个实际的例子，来对本公开中提供的面向人机混合的视频编解码方法进行详细说明。
实施例一：
以采集的传统2k分辨率视频图像1920x1080x3用于目标检测任务为例，目标检测网络模型为Faster R-CNN X101 FPN，具体实施如下：
编码端在正式开始图像采集前，向解码端请求模式图像预处理模式mode、增强流等级q配置，设置mode为ResNetX101，q为0。
1)对于采集的视频图像x进行图像预处理模式为mode的预处理，形成预处理后的视频图像x1。
2)将视频图像x1输入VTM8.2编码器进行量化等级q为27的编码，将VTM8.2编码器的输出和(mode，h，w)形成二进制码流，mode为ResNetX101，h为采集图像的高度1920，w为采集图像的宽度1080；
3)解码端采用VTM8.2解码器对二进制码流进行解码得到解码视频图像x’和(mode，h，w)。
4)对图像预处理模式mode进行判断，mode与当前机器视觉图像预处理方式一致，直接进入机器视觉模型处理，其中h和w用于获取目标位置信息时在原图中的定位。
5)对于解码视频图像x’，经过mode对应的图像后处理形成原始尺寸视频图像x”处理后进入人眼视觉。
由于增强流等级配置q为0，不需要进行残差视频编码。
实施例二
以采集的传统2k分辨率视频图像1920x1080x3用于目标检测任务为例，目标检测网络模型为MobileNet为例，具体实施如下：
编码端在正式开始图像采集前，向解码端请求模式图像预处理模式mode、增强流等级q配置，设置mode为MobileNet，q为27。
1)对于采集的视频图像x进行图像预处理模式为mode的预处理，形成预处理后的视频图像x1。
2)将视频图像x1输入VTM8.2编码器进行量化等级q为27的编码，将VTM8.2编码器的输出和(mode，h，w)形成二进制码流，mode为MobileNet，h为采集图像的高度1920，w为采集图像的宽度1080。
3)解码端采用VTM8.2解码器对二进制码流进行解码得到解码视频图像x’和(mode，h，w)。
4)对图像预处理模式mode进行判断，mode与当前机器视觉图像预处理方式一致，直接进入机器视觉模型处理，其中h和w用于获取目标位置信息时在原图中的定位。
5)对于解码视频图像x’，经过mode对应的图像后处理形成原始尺寸视频图像x”处理后进入人眼视觉。
由于增强流等级配置q不为0，需要进行残差视频编码，具体实施方法如下：①对视频图像x1进行对应mode的图像后处理操作，形成视频图像x2，将采集视频图像x和视频图像x2形成残差视频图像Δx；②将视频图像Δx输入端到端神经网络mbt2018-mean编码器进行编码，将端到端神经网络编码器的输出形成二进制码流；③解码端采用端到端神经网络mbt2018-mean解码器对二进制码流进行解码得到解码残差视频图像Δx’；④将解码残差视频图像Δx’和视频图像x”进行合并形成视频图像x”’进入人眼视觉。
实施例三：
以采集的传统2k分辨率视频图像1920x1080x3用于目标检测任务为例，目标检测网络模型为MobileNet为例，具体实施如下：
编码端在正式开始图像采集前，向解码端请求模式图像预处理模式mode、增强流等级q配置，设置mode为下采样0.5，q为32。
1)对于采集的视频图像x进行图像预处理模式为mode的预处理，形成预处理后的视频图像x1。
2)将视频图像x1输入VTM8.2编码器进行量化等级q为32的编码，将VTM8.2编码器的输出和(mode，h，w)形成二进制码流，mode为下采样0.5，h为采集图像的高度1920，w为采集图像的宽度1080。
3)解码端采用VTM8.2解码器对二进制码流进行解码得到解码视频图像x’和(mode，h，w)。
4)对图像预处理模式mode进行判断，mode与当前机器视觉图像预处理方式不同，对解码视频图像x’先进行图像预处理操作，再进入机器视觉模型处理，其中h和w用于获取目标位置信息时在原图中的定位。
5)对于解码视频图像x’，直接进入人眼视觉。
由于增强流等级配置q不为0，需要进行残差视频编码，具体实施方法如下：①对视频图像x1进行对应mode的图像后处理操作，形成视频图像x2，将采集视频图像x和视频图像x2形成残差视频图像Δx；②将视频图像Δx输入VTM8.2编码器进行编码，将VTM8.2编码器的输出形成二进制码流；③解码端采VTM8.2解码器对二进制码流进行解码得到解码残差视频图像Δx’；④将解码残差视频图像Δx’和视频图像x”进行合并形成视频图像x”’进入人眼视觉。
实施例四：
以采集的传统2k分辨率视频图像1920x1080x3用于目标检测任务为例，目标检测网络模型为MobileNet为例，具体实施如下：
编码端在正式开始图像采集前，向解码端请求模式图像预处理模式mode、增强流等级q配置，设置mode为空，q为空。
1)对于采集的视频图像x输入VTM8.2编码器进行量化等级q为32的编码，将VTM8.2编码器的输出和(mode，h，w)形成二进制码流，mode为空，h为采集图像的高度1920，w为采集图像的宽度1080。
2)解码端采用VTM8.2解码器对二进制码流进行解码得到解码视频图像x’和(mode，h，w)。
3)对图像预处理模式mode进行判断，mode与当前机器视觉图像预处理方式不同，对解码视频图像x’先进行图像预处理操作，再进入机器视觉模型处理，其中h和w用于获取目标位置信息时在原图中的定位。
4)对于解码视频图像x’，直接进入人眼视觉。
由于增强流等级配置q为0，不需要进行残差视频编码。
本公开实施例中提供的面向人机混合的视频编码与解码方案，在智慧交通、智慧工业等视频高吞吐场景下，采用特征编码方式进行视频编码和传输等任务场景以及人机混合场景中具有广泛的应用前景。能够实现但不限于如下技术效果：
1)以机器视觉任务为主的人机混合编码方案，图像预处理有效融合在视频编码中，降低数据量，保证机器视觉任务的同时提高视频压缩率。
2)对于不同保真度的人眼视觉需求，通过图像预处理后处理残差视频流进行分级编码；同时对于预处理后的视频图像主码流和增强码流可根据需要采用不同压缩等级配置，框架灵活。
基于同一发明构思，本公开实施例中还提供了一种面向人机混合的视频处理系统，如下面的实施例所述。由于该系统实施例解决问题的原理与上述方法实施例相似，因此该系统实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图9示出本公开实施例中一种面向人机混合的视频处理系统示意图，如图9所示，该系统包括：编码设备901和解码设备902。
其中，编码设备901用于：对第一视频图像进行编码得到第一二进制码流；对残差视频图像进行编码得到第二二进制码流；将第一二进制码流和第二二进制码流分别传输至解码端；其中，第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；解码设备902用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
在一些实施例中，上述编码设备901还可以用于：在采集视频图像之前或在采集视频图像的过程中，向图像解码端请求待执行视觉任务信息；根据待执行视觉任务信息，判断原始视频图像是否满足编码前图像预处理条件；若原始视频图像满足编码前图像预处理条件，则对原始视频图像执行编码前图像预处理，得到第一视频图像。
在一些实施例中，上述编码设备901还可以用于：获取对原始视频图像执行编码前图像预处理的预处理信息；根据预处理信息，对第一视频图像执行对应的编码前图像后处理，得到第二视频图像；根据第二视频图像和原始视频图像生成残差视频图像。
在一些实施例中，上述编码设备901还可以用于采用传统编码器对第一视频图像或残差视频图像进行编码。
在一些实施例中，上述编码设备901还可以用于采用端到端神经网络编码器对第一视频图像或残差视频图像进行编码。
在一些实施例中，上述解码设备902还可以用于：根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；若待执行视觉任务为人眼视觉任务，则将第三视频图像输入到人眼视觉任务模型；若待执行视觉任务为机器视觉任务，则将第三视频图像输入到机器视觉任务模型。
在一些实施例中，上述解码设备902还可以用于：判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第三视频图像直接输入到机器视觉任务模型；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第三视频图像执行图像预处理后输入到机器视觉任务模型。
在一些实施例中，上述解码设备902还可以用于采用传统解码器对第一二进制码流或第二二进制码流进行解码。
在一些实施例中，上述解码设备902还可以用于采用端到端神经网络解码器对第一二进制码流或第二二进制码流进行解码。
基于同一发明构思，本公开实施例中还提供了一种编码设备，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图10示出本公开实施例中一种编码设备内部组成模块示意图，如图10所示，该编码设备包括：第一编码模块101、第二编码模块102和传输模块103。
其中，第一编码模块101，用于对第一视频图像进行编码得到第一二进制码流，其中，第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；第二编码模块102，用于对残差视频图像进行编码得到第二二进制码流，其中，残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；传输模块103，用于将第一二进制码流和第二二进制码流分别传输至解码端；其中，解码端用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
此处需要说明的是，上述第一编码模块101、第二编码模块102和传输模块103对应于方法实施例中的S402～S406，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一些实施例中，如图10所示，本公开实施例中提供的编码设备还可以包括：图像预处理模块104，用于：在采集视频图像之前或在采集视频图像的过程中，向图像解码端请求待执行视觉任务信息；根据待执行视觉任务信息，判断原始视频图像是否满足编码前图像预处理条件；若原始视频图像满足编码前图像预处理条件，则对原始视频图像执行编码前图像预处理，得到第一视频图像。
在一些实施例中，如图10所示，本公开实施例中提供的编码设备还可以包括：图像后处理模块105，用于：获取对原始视频图像执行编码前图像预处理的预处理信息；根据预处理信息，对第一视频图像执行对应的编码前图像后处理，得到第二视频图像；根据第二视频图像和原始视频图像生成残差视频图像。
在一些实施例中，上述第一编码模块101可以采用VTM编码器(例如，VTM8.2编码器)或类似传统编码器对第一视频图像进行编码；上述第二编码模块102可以采用VTM编码器(例如，VTM8.2编码器)或类似传统编码器对残差视频图像进行编码。
在一些实施例中，上述第一编码模块101可以采用端到端神经网络编码器对第一视频图像进行编码；上述第二编码模块102可以采用端到端神经网络编码器对残差视频图像进行编码。
基于同一发明构思，本公开实施例中还提供了一种解码设备，如下面的实施例所述。由于该解码设备实施例解决问题的原理与上述方法实施例相似，因此该解码设备实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图11示出本公开实施例中一种解码设备内部组成模块示意图，如图11所示，该解码设备包括：第一解码模块111、第二解码模块112和图像合成模块113。
其中，第一解码模块111，用于接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；第二解码模块112，用于接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；图像合成模块113，用于对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
此处需要说明的是，上述第一解码模块111、第二解码模块112和图像合成模块113对应于方法实施例中的S702～S706，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一些实施例中，如图11所示，本公开实施例中提供的解码设备还可以包括：视觉任务执行模块114，用于：根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；若待执行视觉任务为人眼视觉任务，则将第三视频图像输入到人眼视觉任务模型；若待执行视觉任务为机器视觉任务，则将第三视频图像输入到机器视觉任务模型。
在一些实施例中，上述视觉任务执行模块114还用于：判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第三视频图像直接输入到机器视觉任务模型；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第三视频图像执行图像预处理后输入到机器视觉任务模型。
在一些实施例中，上述第一解码模块111可以采用VTM解码器(例如，VTM8.2解码器)或类似传统解码器对第一二进制码流进行解码；上述第二解码模块112可以采用VTM解码器(例如，VTM8.2解码器)或类似传统解码器对第二二进制码流进行解码。
在另一些实施例中，上述第一解码模块111可以采用端到端神经网络解码器对第一二进制码流进行解码；上述上述第二解码模块112可以采用端到端神经网络解码器对第二二进制码流进行解码。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本公开的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
当上述处理单元1210为编码端设备时，该处理单元1210可以执行上述方法实施例的如下步骤：对第一视频图像进行编码得到第一二进制码流，其中，第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；对残差视频图像进行编码得到第二二进制码流，其中，残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；将第一二进制码流和第二二进制码流分别传输至解码端，其中，解码端用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
当上述处理单元1210为解码端设备时，该处理单元1210可以执行上述方法实施例的如下步骤：接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；对第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据第四视频图像和第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元(ROM)12203。
存储单元1220还可以包括具有一组(至少一个)程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1240(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。图13示出本公开实施例中一种计算机可读存储介质示意图，如图13所示，该计算机可读存储介质1300上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (15)

1.一种面向人机混合的视频编码方法，其特征在于，包括：
对第一视频图像进行编码得到第一二进制码流，其中，所述第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；
对残差视频图像进行编码得到第二二进制码流，其中，所述残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，所述第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；
将所述第一二进制码流和所述第二二进制码流分别传输至解码端，其中，所述解码端用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
2.根据权利要求1所述的面向人机混合的视频编码方法，其特征在于，在对第一视频图像进行编码得到第一二进制码流之前，所述方法还包括：
在采集视频图像之前或在采集视频图像的过程中，向图像解码端请求待执行视觉任务信息；
根据所述待执行视觉任务信息，判断所述原始视频图像是否满足编码前图像预处理条件；
若所述原始视频图像满足编码前图像预处理条件，则对所述原始视频图像执行编码前图像预处理，得到所述第一视频图像。
3.根据权利要求2所述的面向人机混合的视频编码方法，其特征在于，在对所述原始视频图像执行编码前图像预处理，得到所述第一视频图像之后，所述方法还包括：
获取对所述原始视频图像执行编码前图像预处理的预处理信息；
根据所述预处理信息，对所述第一视频图像执行对应的编码前图像后处理，得到第二视频图像；
根据所述第二视频图像和原始视频图像生成所述残差视频图像。
4.根据权利要求1～3中任意一项所述的面向人机混合的视频编码方法，其特征在于，采用传统编码器对第一视频图像或残差视频图像进行编码。
5.根据权利要求1～3中任意一项所述的面向人机混合的视频编码方法，其特征在于，采用端到端神经网络编码器对第一视频图像或残差视频图像进行编码。
6.一种面向人机混合的视频解码方法，其特征在于，包括：
接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，所述第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，所述第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；
接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，所述第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，所述残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；
对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
7.根据权利要求6所述的面向人机混合的视频解码方法，其特征在于，在接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像之后，所述方法还包括：
根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；
若待执行视觉任务为人眼视觉任务，则将第三视频图像输入到人眼视觉任务模型；
若待执行视觉任务为机器视觉任务，则将第三视频图像输入到机器视觉任务模型。
8.根据权利要求7所述的面向人机混合的视频解码方法，其特征在于，所述将第三视频图像输入到机器视觉任务模型包括：
判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；
当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第三视频图像直接输入到机器视觉任务模型；
当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第三视频图像执行图像预处理后输入到机器视觉任务模型。
9.根据权利要求6～8中任意一项所述的面向人机混合的视频解码方法，其特征在于，采用传统解码器对第一二进制码流或第二二进制码流进行解码。
10.根据权利要求6～8中任意一项所述的面向人机混合的视频解码方法，其特征在于，采用端到端神经网络解码器对第一二进制码流或第二二进制码流进行解码。
11.一种面向人机混合的视频处理系统，其特征在于，包括：编码设备和解码设备；
其中，所述编码设备用于：对第一视频图像进行编码得到第一二进制码流；对残差视频图像进行编码得到第二二进制码流；将所述第一二进制码流和所述第二二进制码流分别传输至解码端；其中，所述第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；所述残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，所述第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；
所述解码设备用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
12.一种编码设备，其特征在于，包括：
第一编码模块，用于对第一视频图像进行编码得到第一二进制码流，其中，所述第一视频图像为对采集的原始视频图像执行编码前图像预处理得到的视频图像；
第二编码模块，用于对残差视频图像进行编码得到第二二进制码流，其中，所述残差视频图像为根据第二视频图像和原始视频图像生成的视频图像，所述第二视频图像为对第一视频图像执行编码前图像后处理得到的视频图像；
传输模块，用于将所述第一二进制码流和所述第二二进制码流分别传输至解码端；
其中，所述解码端用于：对接收到的第一二进制码流进行解码得到第三视频图像，对接收到的第二二进制码流进行解码得到第四视频图像，对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
13.一种解码设备，其特征在于，包括：
第一解码模块，用于接收到第一二进制码流，并对第一二进制码流进行解码得到第三视频图像，其中，所述第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，所述第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；
第二解码模块，用于接收到第二二进制码流，并对第二二进制码流进行解码得到第四视频图像，其中，所述第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，所述残差视频图像为编码端对第一视频图像执行编码前图像后处理得到的视频图像；
图像合成模块，用于对所述第三视频图像执行图像后处理或图像增强处理得到第五视频图像，并根据所述第四视频图像和所述第五视频图像合成待输入到人眼视觉任务模型的第六视频图像。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～5中任意一项所述的面向人机混合的视频编码方法，或权利要求6～10中任意一项所述的面向人机混合的视频解码方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5中任意一项所述的面向人机混合的视频编码方法，或权利要求6～10中任意一项所述的面向人机混合的视频解码方法。
CN202210086997.1A 2022-01-25 2022-01-25 面向人机混合的视频编码方法、装置、系统、设备及介质 Pending CN116546214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210086997.1A CN116546214A (zh) 2022-01-25 2022-01-25 面向人机混合的视频编码方法、装置、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210086997.1A CN116546214A (zh) 2022-01-25 2022-01-25 面向人机混合的视频编码方法、装置、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN116546214A true CN116546214A (zh) 2023-08-04

Family

ID=87445759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210086997.1A Pending CN116546214A (zh) 2022-01-25 2022-01-25 面向人机混合的视频编码方法、装置、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN116546214A (zh)

Similar Documents

Publication Publication Date Title
WO2018150083A1 (en) A method and technical equipment for video processing
CN111163318B (zh) 一种基于反馈优化的人机视觉编码方法和装置
CN114363623A (zh) 图像处理方法、装置、介质及电子设备
CN112702592A (zh) 端到端双目图像联合压缩方法、装置、设备和介质
He et al. Beyond coding: Detection-driven image compression with semantically structured bit-stream
CN112580481A (zh) 基于边缘节点和云端协同视频处理方法、装置、服务器
CN114979672A (zh) 视频编码方法、解码方法、电子设备及存储介质
EP4018410A1 (en) Watermark-based image reconstruction
JP7166382B2 (ja) 画像処理の方法、装置、機器及び記憶媒体
WO2023124461A1 (zh) 面向机器视觉任务的视频编解码方法、装置、设备及介质
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
CN112261417A (zh) 视频推送方法及系统、设备及可读存储介质
CN116546214A (zh) 面向人机混合的视频编码方法、装置、系统、设备及介质
CN116546220A (zh) 面向人机混合的视频编码与解码方法、系统、设备及介质
CN114391259A (zh) 信息处理方法、终端设备及存储介质
CN113132732B (zh) 一种人机协同的视频编码方法及视频编码系统
Wang et al. End-to-end video compression for surveillance and conference videos
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN112866715B (zh) 一种支持人机混合智能的通用视频压缩编码系统
US10694216B2 (en) Video coding using separate learning and filtering pathways
CN111988621A (zh) 视频处理器训练方法、装置、视频处理装置及视频处理方法
CN114257817B (zh) 一种多任务数字视网膜特征流的编码方法及解码方法
WO2024067405A1 (zh) 视频传输方法、装置、电子设备、存储介质及程序产品
WO2024093627A1 (zh) 一种视频压缩方法、视频解码方法和相关装置
Bao et al. Image Compression Based on Hybrid Domain Attention and Postprocessing Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination