CN110662080A

CN110662080A - 面向机器的通用编码方法

Info

Publication number: CN110662080A
Application number: CN201910943248.4A
Authority: CN
Inventors: 陈志波; 孙思萌
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2020-01-07
Anticipated expiration: 2039-09-30
Also published as: CN110662080B

Abstract

本发明公开了一种面向机器的通用编码方法，包括：压缩编码阶段：针对不同机器智能分析任务，采用独立任务模式和/或多任务共享模式对相应视频或者图像数据进行压缩得到相应的特征信息；将特征信息放入视频或者图像数据对应的码流中，同时结合压缩模式给定解码中需要的标注信息，从而得到特征码流；解码阶段：读取特征码流的头信息，根据其中的标注信息确定压缩阶段所使用的压缩模式，从而采用相应的方式读取特征信息，再将特征信息作为机器智能分析任务的输入，得到分析结果。该方法能够实现针对各个任务所需视频/图像特征信息的编码，从而提高智能任务分析实现效率，减轻传输压力，支持边缘分析计算等等未来可能的需求。

Description

面向机器的通用编码方法

技术领域

本发明涉及视频/图像编码技术领域，尤其涉及一种面向机器的通用编码方法。

背景技术

现有视频/图像压缩标准主要针对的是面向人眼的压缩，而随着机器学习的算法逐渐成熟，机器智能分析任务也逐渐开始被应用于人类社会生活生产的各个领域，例如智能工厂，智能城市，智能交通等等。实现这一系列应用往往伴随着对于大量视频/图像数据的分析，采用传统面向人眼的压缩方法，分析前需要码流进行解码操作得到完整视频/图像，不仅会给传输带来沉重的负担，还将会造成时延，导致用户体验不佳，分析出现错误甚至更加严重的问题。同时随着边缘计算和5G技术的发展，更多的机器智能分析应用能够在边缘对视频/图像进行处理分析，因此如果能够实现面向机器的编码方法，得益于面向机器和面向人眼压缩之间的信息需求差异，将会大大降低机器智能分析任务需要处理的数据量，减少计算时延，提高处理效率。

现有技术中，视觉搜索紧凑描述子国际标准(CDVS，CompactDescriptorsforVisualSearch)尝试针对检索任务实现视频/图像特征的压缩，但应用范围不够广泛，不足以满足未来智能应用对于压缩编码的需求。

发明内容

本发明的目的是提供一种面向机器的通用编码方法，能够实现针对各个任务所需视频/图像特征信息的编码，从而提高智能任务分析实现效率，减轻传输压力，支持边缘分析计算等等未来可能的需求。

本发明的目的是通过以下技术方案实现的：

一种面向机器的通用编码方法，包括：

压缩编码阶段：针对不同机器智能分析任务，采用独立任务模式和/或多任务共享模式对相应视频或者图像数据进行压缩得到相应的特征信息；将特征信息放入视频或者图像数据对应的码流中，同时结合压缩模式给定解码中需要的标注信息，从而得到特征码流；

解码阶段：读取特征码流的头信息，根据其中的标注信息确定压缩阶段所使用的压缩模式，从而采用相应的方式读取特征信息，再将特征信息作为机器智能分析任务的输入，得到分析结果。

由上述本发明提供的技术方案可以看出，针对机器智能分析任务进行压缩，将会得到能够实现相同机器智能分析任务时相较针对人眼压缩更小的压缩比，减少需要传输的信息，减轻传输负担；针对机器智能分析任务进行压缩，压缩得到特征能够直接应用于机器智能分析任务，不需要额外解码和处理，减少计算量，加速机器分析任务的进行，支持边缘计算的实现。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种面向机器的通用编码方法的流程图；

图2为本发明实施例提供的特征码流的结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

针对现有的甚至未来可能出现的多种机器智能分析任务，对视频/图像定义通用的编码框架，以实现针对各个任务所需视频/图像特征信息的编码，从而提高智能任务分析实现效率，减轻传输压力，支持边缘分析计算等等未来可能的需求。

本发明实施例提供一种面向机器的通用编码方法，如图1所示，其主要包括：

一、压缩编码阶段。

针对不同机器智能分析任务，采用独立任务模式和/或多任务共享模式对相应视频或者图像数据进行压缩得到相应的特征信息；将特征信息放入视频或者图像数据对应的码流中，同时结合压缩模式给定解码中需要的标注信息，从而得到特征码流；

本发明实施例中，根据任务之间的相关性，针对各种任务提出了两种压缩模式，一种是独立任务模式：压缩得到的特征信息仅支持特定任务。另一种是多任务共享模式，即压缩得到的将支持多个对特征需求相同的子任务；其中，对于公共部分仅压缩一次，得到公共部分特征；附加部分针对各个子任务分别压缩，得到各个子任务的针对性特征信息；以上两种模式单独执行或者全部执行；如果全部执行，则压缩得到的特征信息，按照任务顺序依次排列在码流中，互相不造成影响。

本发明实施例中，标注信息至少包括：当前码流中所支持的任务编号(也即码流与具体任务的对应关系)、是否支持多任务共享模式的标志、起始标志和结束标志、特征长度信息、以及特征的分辨率信息(特征的长和宽的定义)；其中起始标志和结束标志分别标注了对一段待分析的视频数据编码时，解码端分析任务应该开始进行的标志和结束分析任务的标志；

如果使用了多任务共享模式，则标注信息还包括：码流中所支持的子任务的任务编号；且标注信息中的特征长度信息包含了公共部分特征部分的长度信息与各个子任务的针对性特征的长度信息；

其中，当前码流中所支持的任务编号、是否支持多任务共享模式的标志、起始标志和结束标志作为特征码流的头信息，也即公共的头信息；

对于独立任务模式压缩得到的特征信息，将相应的特征长度信息、以及特征的分辨率信息设置在相应特征信息之前，作为独立任务模式头信息，这部分将在解码阶段使用。

对于多任务共享模式得到的特征信息，将所支持的子任务的任务编号、特征长度信息、以及特征的分辨率信息设置在相应特征信息之前，作为多任务共享模式，这部分将在解码阶段使用。

图2示例性的给出了特征码流的结构。该示例中，同时独立任务模式与多任务共享模式。图2部分标注信息构成特征码流的头信息(公共的头信息)部分用斜线条填充，横线条填充的部分表示独立任务模式头信息，竖线条填充部分表示多任务共享模式头信息，空白的矩形框则表示对应的特征信息。需要说明的是，该特征码流中各个特定任务的特征的顺序和任务编号顺序对应，特征码流支持任务种类的组合可根据终端的需求确定；同时两种模式可分别出现在不同码流中也可同时出现在同一码流中。

如表1所示，为特征码流结构的语法(syntax)表示，表1中定义了特征码流结构的相关语法内容和比特数目的配置(Descriptor部分标明了数据类型和数目)，与图2中的码流结构相对应。表1最右侧的一列表示数据类型(括号外的字母)与相应比特数(括号内的数字)。

feature_decoding_set_rbsp(){	Descriptor
		task_enabled_flag	f(32)
subtask_enabled_flag	f(32)
		task_max_num	u(5)
start_flag	u(8)
		for(i＝0；i<＝task_max_num；i++){
if(task_seq_enabled_flag[i]＝1){
		if(subtask_enabled_flag[i]＝1){
subtask_seq_enabled_flag	f(16)
		sub_task_max_num	u(4)
sub_common_feature_length_minus1	u(32)
		feature_width_max_minus1	ue(v)
feature_height_max_minus1	ue(v)
		read_bits(sub_base_layer_feature_length)
for(j＝0；j<＝sub_task_max_num；j++){
		sub_individual_feature_length_minus1	u(32)
read_bits(sub_enhancement_layer_feature_length)
		}
}else{
		feature_length_minus1	u(32)
feature_width_max_minus1	ue(v)
		feature_height_max_minus1	ue(v)
read_bits(feature_length)
		}
}
		end_flag	u(8)
rbsp_trailing_bits()
		}

表1码流结构的语法(syntax)表示

二、解码阶段。

读取特征码流的头信息，根据其中的标注信息确定压缩阶段所使用的压缩模式，从而采用相应的方式读取特征信息，再将特征信息作为机器智能分析任务的输入，得到分析结果。

本阶段主要分为，读取头部信息与读取特征信息两个部分：

1、读取公共头部信息。

先读取特征码流公共的头信息，也即，图2所示的公共的头信息，获得码流中所支持的任务编号、码流的起始标志、结束标志(对于图像起始标志和结束标志同时出现)、以及是否支持多任务共享模式的标志。

编码端对于每一段特征码流都会用起始标志和结束标志告知解码端任务开始处理和结束任务的命令，若当前特征码流开始标志为启动状态，则对码流中的特征开始执行分析任务；若当前特征码流中检测到结束标志为启动状态，则终止分析任务。

2、读取特征信息。

根据是否支持多任务共享模式的标志，确定压缩阶段所使用的压缩模式，从而结合当前码流中所支持的任务编号、码流的起始标志、以及结束标志，采用相应的方式读取特征信息。具体来说：

1)对于独立任务模式，先读取标注信息中包含的特征长度信息以及分辨率信息，然后，结合当前码流中所支持的任务编号特征信息；

2)对于多任务共享模式，将分为公共部分特征读取和各个子任务针对性特征读取，同时，标注信息中的特征长度信息包含：公共部分特征的长度信息和各个子任务针对性特征的长度信息，读取方式如下：

首先，读取标注信息中包含的码流中所支持的子任务的任务编号，确定相应特征码流能够支持的子任务；

然后，读取标注信息中包含的公共部分特征的长度信息和分辨率信息，结合码流的起始帧标志、以及结束帧标志读取公共部分特征；

最后，读取各个子任务针对性特征：各个子任务针对性特征的分辨率信息和公共部分特征部分公用一套参数，结合各个子任务针对性特征的长度信息，以及起始帧标志、以及结束帧标志，读取对应子任务的针对性特征信息，将各个子任务针对性特征分别和公共信息进行合并得到各个子任务的完整特征信息。

通过上述方式，可以得到码流中所支持的所有任务对应的特征信息，如图1所示，将这些特征信息作为智能分析任务的输入，即输入至相应的终端中，然后由终端进行相应的分析，最终得到分析结果，完成码流的解码和分析操作。

需要说明的是，图1所示的特征码流的数量仅为举例，并非构成限制，在实际应用中，用户可以根据情况来考虑特征码流的数量。同时，图1中特征码流填充标识也与图2相同，图1所示的特征码流包含了两种模式提出特征信息，但图1给出的特征码流的结构也仅为举例，并非说明两种模式必须同时执行，实际应用中，用户可以根据情况来选两种模式中的任一种，或者同时选择两种。

本发明主要优点和积极效果体现在以下四个方面：

(一)本发明能够支持多种现有甚至未来可能出现的任务，应用范围广泛，具有较强的实际应用价值。

(二)本发明中，针对机器智能分析任务进行压缩，将会得到能够实现相同机器智能分析任务时相较针对人眼压缩更小的压缩比，减少需要传输的信息，减轻传输负担。

(三)本发明中，针对机器智能分析任务进行压缩，压缩得到特征能够直接应用于机器智能分析任务，不需要额外解码和处理，减少计算量，加速机器分析任务的进行，支持边缘计算的实现。

(四)本发明中，该通用方法，在支持现有机器智能分析任务的同时，也能够支持未来可能出现的任务，具有较高的实用价值和较好发展前景。

综上所述，本发明能够使得面向机器进行视频/图像压缩这一过程更加的通用、灵活、高效。

为了便于裂解，下面结合具体的示例来对本发明进行介绍。

首先，特征的压缩编码过程可以在边缘针对某些特定任务实现，也可以选择在云端针对多样的任务进行实现；再者，对于特征的提取和压缩可以选择采用基于深度学习的方法实现，也可以采用传统方法实现。

例如，进行视频/图像转文字的任务(属于机器智能分析任务)，该认为是指将输入视频/图片中的内容信息用自然语言进行描述，压缩端提取特征进行压缩编码后，设置对应的支持任务编号，即对应于二进制码流中相应位置设为1，其余不支持的任务位置为0。然后顺序设置相对应的参数(起始标志、以及结束标志等等，如图二所示)，均用二进制码流形式表示；然后将特征信息编码放入相应位置，如图二所示。

又如同时能够支持多任务模式的一系列任务，例如对象的语义分析，需要实现对象检测，语义分割等语义层面的任务(属于机器智能分析任务)，其中，对象检测是指，对输入视频/图像中的不同对象进行定位(在视频/图像中的位置坐标)和分类；语义分割是指，对输入视频/图像中的不同对象进行像素级别的分类，得到对象的轮廓描述；这两个任务对特征的需求相似，需要开启多任务共享模式，即在二进制码流中设置支持的任务编号相应位置的标志为1，同时将多任务共享模式标志中相应位置设为1，其余不支持位置仍然为0。然后顺序设置相对应的参数(起始标志、以及结束标志等等)，均用二进制码流形式表示；然后将特征信息编码放入相应位置。

之后，采用前文解码阶段提供的方案进行后续操作。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种面向机器的通用编码方法，其特征在于，包括：

2.根据权利要求1所述的一种面向机器的通用编码方法，其特征在于，

独立任务模式：压缩得到的特征信息仅支持特定任务；

多任务共享模式，即压缩得到的将支持多个对特征需求相同的子任务；其中，对于公共部分仅压缩一次，得到公共部分特征；附加部分针对各个子任务分别压缩，得到各个子任务的针对性特征信息；

以上两种模式单独执行或者全部执行；如果全部执行，则压缩得到的特征信息，按照任务顺序依次排列在码流中；所述任务是指机器智能分析任务。

3.根据权利要求1所述的一种面向机器的通用编码方法，其特征在于，所述标注信息至少包括：

当前码流中所支持的任务编号、是否支持多任务共享模式的标志、码流的起始标志、以及结束标志、特征长度信息、以及特征的分辨率信息；

如果使用了多任务共享模式，则标注信息还包括：码流中所支持的子任务的任务编号；且标注信息中的特征长度信息包含公共部分特征的长度信息与各个子任务的针对性特征的长度信息；

其中，当前码流中所支持的任务编号、是否支持多任务共享模式的标志、码流的起始标志、以及结束标志作为特征码流的头信息；

对于独立任务模式压缩得到的特征信息，将相应的特征长度信息、以及特征的分辨率信息设置在相应特征信息之前，作为独立任务模式头信息；

对于多任务共享模式得到的特征信息，将所支持的子任务的任务编号、特征长度信息、以及特征的分辨率信息设置在相应特征信息之前，作为多任务共享模式头信息。

4.根据权利要求1或2或3所述的一种面向机器的通用编码方法，其特征在于，所述读取特征码流的头信息，根据其中的标注信息确定压缩阶段所使用的压缩模式，从而采用相应的方式读取特征信息包括：

读取特征码流的头信息，获得码流中所支持的任务编号、码流的起始标志、以及结束标志、以及是否支持多任务共享模式的标志；

根据是否支持多任务共享模式的标志，确定压缩阶段所使用的压缩模式，从而结合当前码流中所支持的任务编号、码流的起始标志、以及结束标志，采用相应的方式读取特征信息。

5.根据权利要求1或2或3所述的一种面向机器的通用编码方法，其特征在于，解码阶段，采用相应的方式读取特征信息包括：

对于独立任务模式，先读取标注信息中包含的特征长度信息以及分辨率信息，然后，结合当前码流中所支持的任务编号、码流的起始标志、以及结束标志读取相应的特征信息；

对于多任务共享模式，将分为公共部分特征读取和各个子任务针对性特征读取，同时，标注信息中的特征长度信息包含：公共部分特征的长度信息和各个子任务针对性特征的长度信息，读取方式如下：

然后，读取标注信息中包含的公共部分特征的长度信息和分辨率信息，结合码流的起始标志、以及结束标志读取公共部分特征；

最后，读取各个子任务针对性特征：各个子任务针对性特征的分辨率信息和公共部分特征部分公用一套参数，结合各个子任务针对性特征的长度信息，以及码流的起始标志、以及结束标志，读取对应子任务的针对性特征信息，将各个子任务针对性特征分别和公共信息进行合并得到各个子任务的完整特征信息。