CN118138784A - 视频分割压缩方法、装置、设备以及介质 - Google Patents

Abstract

本发明涉及一种视频分割压缩方法、装置、设备以及介质，涉及图像识别领域，该方法包括：通过预设的语义分割模型确定第一码流的第一待压缩图像；根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，所述映射关系为所述第一码流与所述第二码流基于分辨率的比例得到的映射关系表；基于所述第一待压缩图像压缩所述第一码流；基于所述第二待压缩图像压缩所述第二码流。实现了缩短高码率视频耗费时间，提高压缩视频的效率低的效果。

Description

视频分割压缩方法、装置、设备以及介质

技术领域

本发明涉及图像识别领域，尤其涉及一种视频分割压缩方法、装置、设备以及介质。

背景技术

现有的监控设备采用双码流技术同时输出高码率以及低码率视频，并采用语义分割模型分别对高码率视频、低码率视频进行压缩，然而，当高码率视频为4k分辨率时，采用语义分割模型对高码率视频压缩仍然需要耗费大量时间。

发明内容

本发明提供了一种视频分割压缩方法，以解决压缩高码率视频耗费时间长，压缩视频的效率低的问题。

第一方面，本发明提供了一种视频分割压缩方法，所述方法包括：

通过预设的语义分割模型确定第一码流的第一待压缩图像；

根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，所述映射关系为所述第一码流与所述第二码流基于分辨率的比例得到的映射关系表；

基于所述第一待压缩图像压缩所述第一码流；

基于所述第二待压缩图像压缩所述第二码流。

第二方面，本发明提供了一种基于UDP的指令集下载装置，包括用于执行如第一方面任一项实施例所述的视频分割压缩方法的单元。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的视频分割压缩方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的视频分割压缩方法的步骤。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

第一码流为低码率的码流，由于低码率的码流数据量小，基于语义分割模型分割低码率的码流可以极大地提高压缩视频流的总效率。第一码流可为高码率的码流，例如：在处理时长1分钟以内的视频流时，基于语义分割模型分割高码率的码流一方面可实现提高压缩视频流的总效率，另一方面，分割后的第一码流可直接用于压缩，得到压缩后的高码率的码流，实现快速得到高码率的压缩视频。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频分割压缩方法的流程示意图；

图2为本发明实施例提供的一种视频分割压缩方法的子流程示意图；

图3为本发明实施例提供的一种视频分割压缩方法的子流程示意图；

图4为本发明实施例提供的一种视频分割压缩方法的子流程示意图；

图5为本发明实施例提供的一种视频分割压缩装置的结构示意图；

图6为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1为本发明实施例提供的一种视频分割压缩方法的流程示意图。本发明实施例提出了一种视频分割压缩方法，具体地，参见图1，该视频分割压缩方法包括如下步骤S101-S104。

S101，通过预设的语义分割模型确定第一码流的第一待压缩图像。

具体实施中，第一码流由预设的视频采集装置采集得到，视频采集装置包括摄像机。语义分割模型，用于将图像或视频中的每个像素分配到其所属的语义类别中，从而实现像素级别的物体识别，具体地，语义分割模型能够将整张图像的每个部分分割开，使每个部分都有标上类别意义，和目标检测模型不同的是，目标检测只需要找到图片中目标，打上框然后标示类别，语义分割是以描边的形式，将整张图不留缝隙的分割成多个区域，每个区域是一个类别，没有标示类别的区域默认为背景。

在一实施例中，视频采集装置采集得到视频流后，基于双码流采用一路高码率的码流用于本地高清存储，例如4k分辨率，一路低码率的码流用于网络传输，同时兼顾本地存储和远程网络传输，例如720p或1080p，在该实施例中，第一码流为低码率的码流，由于低码率的码流数据量小，基于语义分割模型分割低码率的码流可以极大地提高压缩视频流的总效率，在其它一些实施例中，第一码流可为高码率的码流，例如：在处理时长1分钟以内的视频流时，基于语义分割模型分割高码率的码流一方面可实现提高压缩视频流的总效率，另一方面，分割后的第一码流可执行步骤S103，得到压缩后的高码率的码流，实现快速得到高码率的压缩视频。基于语义分割模型对第一码流的帧图像进行语义分割，将帧图像分割得到多个第一语义区域，在视频压缩中，不是每个帧图像都具有相同的重要性，通过对视频各帧进行语义分割，可以确定哪些帧包含了重要的语义信息，然后，可以选择仅编码这些帧，而对于其他帧进行丢弃或更低质量的压缩，从而减小文件大小。对于每一帧图像，可以将不同的语义区域分别编码，从而允许在解码时选择性地加载或卸载特定的语义区域。在视频中，物体通常会移动。通过将语义分割与运动估计和补偿结合使用，可以减少帧之间的冗余信息，从而实现更高效的压缩。

在一实施例中，参见图2，图2为本发明实施例提供的一种视频分割压缩方法的子流程示意图。以上步骤S101包括步骤S201-S203：

S201，将所述第一码流输入所述语义分割模型，通过所述语义分割模型对所述第一码流的第一关键帧图像进行特征提取，得到第一语义区域。

具体实施中，基于语义分割模型对第一码流的帧图像进行语义分割，将帧图像分割得到多个第一语义区域，在视频压缩中，不是每个帧图像都具有相同的重要性，通过对视频各帧进行语义分割，可以确定哪些帧包含了重要的语义信息，然后，可以选择仅编码这些帧，而对于其他帧进行丢弃或更低质量的压缩，从而减小文件大小。第一关键帧图像指关键帧，在构成一段视频的若干帧中，起到决定性作用的2-3帧的图像，关键帧的获取原理具体为可参考现有资料确定，对此本发明不做具体限定。

S202，判断所述第一关键帧图像之后的连续帧图像是否存在所述第一语义区域。

S203，若是，则将所有所述连续帧图像的第一语义区域处的图像作为所述第一待压缩图像。

具体实施中，语义分割模型对第一码流的第一关键帧图像进行语义分割，得到多个第一语义区域，例如：语义分割模型对第一关键帧图像提取了“汽车1”以及“行人1”三个第一语义区域。获取第一关键帧图像之后的连续多帧图像作为目标图像，判断目标图像是否存在“汽车1”第一语义区域，将存在“汽车1”第一语义区域的目标图像的帧数、目标图像对应的第一语义区域、目标图像对应的第一语义区域的轮廓坐标、目标图像对应的第一语义区域的类别，一并作为第一待压缩图像，编码为“第一待压缩图像1”并存储到预设的存储装置；判断目标图像是否存在“行人1”第一语义区域，将存在“行人1”第一语义区域的目标图像的帧数、目标图像对应的第一语义区域、目标图像对应的第一语义区域的轮廓坐标、目标图像对应的第一语义区域的类别，一并作为第一待压缩图像，编码为“第一待压缩图像2”并存储到预设的存储装置。

需要说明的是，第一语义区域包括轮廓坐标仅仅是一个示例，在其它一些实施例中，第一语义区域可包括第一语义区域内所有像素的坐标，这并不会超出本发明的保护，范围轮廓坐标、第一语义区域内所有像素的坐标，分别用于与映射关系确定缩放后在第二码流中的映射坐标，例如：双码流得到第一码流为1920x1080，第二码流为3840*2160，则第一语义区域内的坐标(20，20)基于映射关系确定的映射坐标为(40，40)。

S102，根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，所述映射关系为所述第一码流与所述第二码流基于分辨率的比例得到的映射关系表。

具体实施中，分辨率指图像中可以区分的细节或像素的数量，表示图像或视频的水平和垂直方向上的像素数量。常见的图像和视频分辨率包括流畅600×360像素，高清分辨率为1280x720像素，全高清分辨率为1920x1080像素，4K分辨率为3840x2160像素，8K分辨率为7680x4320像素。映射关系指第一码流的分辨率与第二码流的分辨率的比值，映射关系表指常见的多个分辨率之间的比例。

在一实施例中，参见图3，图3为本发明实施例提供的一种视频分割压缩方法的子流程示意图。以上步骤S102包括步骤S301-S303：

S301，根据图像帧数确定所述第二码流的目标帧图像，所述第一待压缩图像包括所述图像帧数以及第一轮廓坐标。

具体实施中，第一码流与第二码流的画面帧数相等，通过获取第一待压缩图像的图像帧数，获取第二码流的图像帧数处的图像作为目标帧图像，目标帧图像与第一待压缩图像分别为视频流两个码率的同一时长处的画面帧，第一轮廓坐标指以像素为单位建立直角坐标系，第一语义区域的轮廓处的坐标值。

S302，根据所述第一轮廓坐标以及所述映射关系确定映射坐标。

具体实施中，第一码流与第二码流的分辨率分别为预设所得，映射关系表包括两个预设的分辨率的缩放比例，通过第一轮廓坐标以及缩放比例，可确定第一轮廓坐标缩放后的坐标，将缩放后的第一轮廓坐标作为映射坐标。

在一实施例中，参见图4，图4为本发明实施例提供的一种视频分割压缩方法的子流程示意图。以上步骤S302包括步骤S401-S403：

S401，根据所述第一轮廓坐标、所述映射关系以及预设的浮动范围，确定多个目标坐标。

S402，判断所述第二待压缩图像的所述目标坐标处的像素与所述第一待压缩图像的所述第一轮廓坐标处的像素是否匹配。

S403，若是，则将所述目标坐标作为所述映射坐标。

具体实施中，基于映射关系转换第一轮廓坐标，通常地，转换后的坐标值无法在第二码流的帧图像中确定唯一的像素，通过预设浮动范围，将转换后的坐标值在浮动范围内的像素处的坐标作为目标坐标，从多个目标坐标中确定与第一轮廓坐标处的像素最匹配的一个像素所对应的坐标作为映射坐标。

S303，根据所述目标帧图像以及所述映射坐标，确定所述目标帧图像的第二语义区域，将所有所述目标帧图像的第二语义区域处的图像作为所述第二待压缩图像。

具体实施中，多个映射坐标连接围成轮廓，第二语义区域指该围合的区域，第二语义区域由第二码流、第一语义区域以及映射关系确定，在该实施例中，第二待压缩图像为第一语义区域缩放到高码率的区域图像，可用于复现多帧画面中物体的移动状态。

S103，基于所述第一待压缩图像压缩所述第一码流。

具体实施中，第一待压缩图像保留了相对于关键帧移动的物体(即重要的语义信息)，丢弃了静止的语义信息(例如：背景)，通过第一待压缩图像，可以减少帧之间的冗余信息，从而实现更高效的压缩。

在一实施例中，以上步骤S103，包括：压缩所述第一关键帧图像以及所述第一待压缩图像，得到压缩后的第一码流。

具体实施中，第一关键帧图像保留多个重要信息，压缩第一码流的步骤中，保留第一关键帧图像，将第一关键帧图像与第一待压缩图像进行压缩，得到压缩后的第一码流。

S104，基于所述第二待压缩图像压缩所述第二码流。

具体实施中，具体实施中，第二待压缩图像保留了相对于关键帧移动的物体(即重要的语义信息)，丢弃了静止的语义信息(例如：背景)，通过第二待压缩图像，可以减少帧之间的冗余信息，从而实现更高效的压缩。

在一实施例中，以上步骤S104，包括：压缩第二关键帧图像以及第二语义区域，得到压缩后的第二码流，所述第二码流包括所述第二关键帧图像，所述第二语义区域由多个所述映射坐标连接得到。

具体实施中，第二关键帧图像保留多个重要信息，压缩第二码流的步骤中，保留第二关键帧图像，将第二关键帧图像与第二待压缩图像进行压缩，得到压缩后的第二码流。

在一实施例中，分别将所述第一待压缩图像以及所述第二待压缩图像编码并存储到预设的存储装置。

将第一待压缩图像以及第二待压缩图像分别编码并存储，有利于提高资源的使用，第一待压缩图像保留了物体移动的状态，将物体进行了关联，通过第一待压缩图像可快速查找目标，例如：在翻阅监控录像时，可快速地根据类别进行筛选，并通过第一待压缩图像将该类别的视频片段在显示终端呈现。

本发明实施例可实现以下优点：

第一码流为低码率的码流，由于低码率的码流数据量小，基于语义分割模型分割低码率的码流可以极大地提高压缩视频流的总效率。第一码流可为高码率的码流，例如：在处理时长1分钟以内的视频流时，基于语义分割模型分割高码率的码流一方面可实现提高压缩视频流的总效率，另一方面，分割后的第一码流可直接用于压缩，得到压缩后的高码率的码流，实现快速得到高码率的压缩视频。

参见图5本发明实施例还提供了一种视频分割压缩装置600，该视频分割压缩装置包括第一确定单元601、第二确定单元602、第一压缩单元603以及第二压缩单元604。

第一确定单元601,用于通过预设的语义分割模型确定第一码流的第一待压缩图像。

在一实施例中，所述通过预设的语义分割模型确定第一码流的第一待压缩图像，包括：

将所述第一码流输入所述语义分割模型，通过所述语义分割模型对所述第一码流的第一关键帧图像进行特征提取，得到第一语义区域；

判断所述第一关键帧图像之后的连续帧图像是否存在所述第一语义区域；

若是，则将所有所述连续帧图像的第一语义区域处的图像作为所述第一待压缩图像。

第二确定单元602,用于根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，所述映射关系为所述第一码流与所述第二码流基于分辨率的比例得到的映射关系表。

在一实施例中，根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，包括：

根据图像帧数确定所述第二码流的目标帧图像，所述第一待压缩图像包括所述图像帧数以及第一轮廓坐标；

根据所述第一轮廓坐标以及所述映射关系确定映射坐标；

根据所述目标帧图像以及所述映射坐标，确定所述目标帧图像的第二语义区域，将所有所述目标帧图像的第二语义区域处的图像作为所述第二待压缩图像。

在一实施例中，所述根据所述第一轮廓坐标以及所述映射关系确定映射坐标，包括：

根据所述第一轮廓坐标、所述映射关系以及预设的浮动范围，确定多个目标坐标；

判断所述第二待压缩图像的所述目标坐标处的像素与所述第一待压缩图像的所述第一轮廓坐标处的像素是否匹配；

若是，则将所述目标坐标作为所述映射坐标。

第一压缩单元603，基于所述第一待压缩图像压缩所述第一码流。

在一实施例中，所述基于所述第一待压缩图像压缩所述第一码流，包括：

压缩所述第一关键帧图像以及所述第一待压缩图像，得到压缩后的第一码流。

第二压缩单元604，基于所述第二待压缩图像压缩所述第二码流。

在一实施例中，所述基于所述第二待压缩图像压缩所述第二码流，包括：

压缩第二关键帧图像以及第二语义区域，得到压缩后的第二码流，所述第二码流包括所述第二关键帧图像，所述第二语义区域由多个所述映射坐标连接得到。

在一实施例中，还包括：分别将所述第一待压缩图像以及所述第二待压缩图像编码并存储到预设的存储装置。

如图6所示，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种视频分割压缩方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种视频分割压缩方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，上述结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。

所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频分割压缩方法，其特征在于，所述方法包括：

通过预设的语义分割模型确定第一码流的第一待压缩图像；

根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，所述映射关系为所述第一码流与所述第二码流基于分辨率的比例得到的映射关系表；

基于所述第一待压缩图像压缩所述第一码流；

基于所述第二待压缩图像压缩所述第二码流。

2.根据权利要求1所述的方法，其特征在于，所述通过预设的语义分割模型确定第一码流的第一待压缩图像，包括：

将所述第一码流输入所述语义分割模型，通过所述语义分割模型对所述第一码流的第一关键帧图像进行特征提取，得到第一语义区域；

判断所述第一关键帧图像之后的连续帧图像是否存在所述第一语义区域；

若是，则将所有所述连续帧图像的第一语义区域处的图像作为所述第一待压缩图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一待压缩图像压缩所述第一码流，包括：

压缩所述第一关键帧图像以及所述第一待压缩图像，得到压缩后的第一码流。

4.根据权利要求1所述的方法，其特征在于，根据所述第一待压缩图像以及预设的映射关系，确定第二码流的第二待压缩图像，包括：

根据图像帧数确定所述第二码流的目标帧图像，所述第一待压缩图像包括所述图像帧数以及第一轮廓坐标；

根据所述第一轮廓坐标以及所述映射关系确定映射坐标；

根据所述目标帧图像以及所述映射坐标，确定所述目标帧图像的第二语义区域，将所有所述目标帧图像的第二语义区域处的图像作为所述第二待压缩图像。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一轮廓坐标以及所述映射关系确定映射坐标，包括：

根据所述第一轮廓坐标、所述映射关系以及预设的浮动范围，确定多个目标坐标；

判断所述第二待压缩图像的所述目标坐标处的像素与所述第一待压缩图像的所述第一轮廓坐标处的像素是否匹配；

若是，则将所述目标坐标作为所述映射坐标。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第二待压缩图像压缩所述第二码流，包括：

压缩第二关键帧图像以及第二语义区域，得到压缩后的第二码流，所述第二码流包括所述第二关键帧图像，所述第二语义区域由多个所述映射坐标连接得到。

7.根据权利要求1所述的方法，其特征在于，还包括：

分别将所述第一待压缩图像以及所述第二待压缩图像编码并存储到预设的存储装置。

8.一种视频分割压缩装置，其特征在于，包括用于执行如权利要求1-7任一项所述方法的单元。

9.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。