CN112995665A - 一种用于摄像装置的视频编码方法及装置 - Google Patents

Abstract

本发明公开了一种用于摄像装置的视频编码方法及装置。所述用于摄像装置的视频编码方法包括：获取摄像装置传递的图像信息；获取经过训练的视频对象提取模型；将所述图像信息输入至所述视频对象提取模型从而获取待编码信息，所述待编码信息包括视频对象信息；根据所述待编码信息和/或所述图像信息进行视频编码。本申请的用于摄像装置的视频编码方法通过视频对象提取模型提取出视频对象信息，从而摒弃了之前采用图像像素进行编码的方式，转而变成通过视频对象信息进行编码，可降低传输信息的数量。

Description

一种用于摄像装置的视频编码方法及装置

技术领域

本申请涉及视频编码技术领域，具体涉及一种用于摄像装置的视频编码方法及装置。

背景技术

现有技术的编解码都是针对像素进行操作的，压缩效率很难再有进一步的提升。如目前流行的H.264/H.265编码框架，主要定义了针对像素的变换、处理、预测、压缩以及编码过程。

现有技术的方法，具有效率低下的缺点。

因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。

发明内容

本发明的目的在于提供一种用于摄像装置的视频编码方法来克服或至少减轻现有技术的至少一个上述缺陷。

名词解释：

视频对象信息：在MPEG-4标准中，视频对象(VO)主要定义为画面中分割出来的不同物体，并由三类信息描述:运动信息、形状信息、纹理信息。

本发明的一个方面，提供一种用于摄像装置的视频编码方法，所述用于摄像装置的视频编码方法包括：

获取摄像装置传递的图像信息；

获取经过训练的视频对象提取模型；

将所述图像信息输入至所述视频对象提取模型从而获取待编码信息，所述待编码信息包括视频对象信息；

根据所述待编码信息和/或所述图像信息进行视频编码。

可选地，所述待编码信息进一步包括背景信息。

可选地，所述根据所述待编码信息进行视频编码包括：

根据所述待编码信息中的背景信息和/或所述视频对象信息进行视频编码。

可选地，将所述图像信息输入至所述视频对象提取模型从而获取待编码信息包括：

根据所述图像信息分别获取背景信息以及所述视频对象信息；

获取上一帧背景信息；

判断获取的背景信息与上一帧背景信息是否相同，若是，

则获取的待编码信息包括视频对象信息。

可选地，将所述图像信息输入至所述视频对象提取模型从而获取待编码信息进一步包括：

判断获取的背景信息与上一帧背景信息是否相同，若否，

则获取的待编码信息包括视频对象信息以及背景信息。

可选地，所述根据所述待编码信息和/或所述图像信息进行视频编码包括：

对所述视频对象信息进行判断，判断所述视频对象信息是否失真，若否，则

根据所述待编码信息进行视频编码。

可选地，所述根据所述待编码信息和/或所述图像信息进行视频编码进一步包括：

对所述视频对象信息进行判断，判断所述视频对象信息是否失真，若是，则

根据所述图像信息进行视频编码。

可选地，所述根据所述待编码信息和/或所述图像信息进行视频编码进一步包括：

根据所述待编码信息进行视频编码从而获取第一编码信息；

根据所述图像信息进行视频编码从而获取第二编码信息；

将所述第一编码信息与第二编码信息进行比对，获取其中传输量小的编码信息作为视频编码。

可选地，所述视频对象提取模型包括：

对象识别模型以及至少两个对象提取模型；

所述将所述图像信息输入至所述视频对象提取模型从而获取待编码信息包括：

通过所述对象识别模型从而获取对象识别信息；

根据对象识别信息选择相应的对象提取模型，从而获取待编码信息。

可选地，所述视频对象提取模型的数量至少为两个，各个所述视频对象提取模型不同，每个视频对象提取模型能够获取一个待编码信息；

在所述根据所述待编码信息和/或所述图像信息进行视频编码之前，所述用于摄像装置的视频编码方法进一步包括：

获取标准编码信息；

获取每个待编码信息与标准编码信息的相似度，选取相似度最大的待编码信息作为供视频编码使用的待编码信息。

本申请还提供了一种用于摄像装置的视频编码装置，所述用于摄像装置的视频编码装置包括：

图像信息获取模块，所述图像信息获取模块用于获取摄像装置传递的图像信息；

模型获取模块，所述模型获取模块用于获取经过训练的视频对象提取模型；

待编码信息获取模块，所述待编码信息获取模块用于将所述图像信息输入至所述视频对象提取模型从而获取待编码信息，所述待编码信息包括视频对象信息；

视频编码模块，所述视频编码模块用于根据所述待编码信息和/或所述图像信息进行视频编码。

有益效果

本申请的用于摄像装置的视频编码方法通过视频对象提取模型提取出视频对象信息，从而摒弃了之前采用图像像素进行编码的方式，转而变成通过视频对象信息进行编码，可降低传输信息的数量。

附图说明

图1为本申请第一实施例的用于摄像装置的视频编码方法的流程示意图。

图2是一种电子设备，用于实现图1所示的用于摄像装置的视频编码方法。

图3是能够用于图1的用于摄像装置的视频编码方法的一种人工神经网络结构模型。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。

图1为本申请第一实施例的用于摄像装置的视频编码方法的流程示意图。

如图1所示的用于摄像装置的视频编码方法包括：

步骤1：获取摄像装置传递的图像信息；

步骤2：获取经过训练的视频对象提取模型；

步骤3：将图像信息输入至视频对象提取模型从而获取待编码信息，待编码信息包括视频对象信息；

步骤4：根据待编码信息和/或图像信息进行视频编码。

本申请的用于摄像装置的视频编码方法通过视频对象提取模型提取出视频对象信息，从而摒弃了之前采用图像像素进行编码的方式，转而变成通过视频对象信息进行编码，可降低传输信息的数量。尤其是，本申请可以直接使用现有的框架，例如，直接使用目前流行的H.264/H.265编码框架，而不需要单独再设置其他框架使用。

本申请可以单独使用待编码信息进行视频编码。

本申请可以单独使用图像信息进行视频编码。

本申请还可以同时使用待编码信息和图像信息进行视频编码。

在本实施例中，待编码信息进一步包括背景信息。

在本实施例中，根据所述待编码信息进行视频编码包括：

根据待编码信息中的背景信息和/或视频对象信息进行视频编码。

在本实施例中，将图像信息输入至视频对象提取模型从而获取待编码信息包括：

根据图像信息分别获取背景信息以及视频对象信息；

获取上一帧背景信息；

判断获取的背景信息与上一帧背景信息是否相同，若是，

则获取的待编码信息包括视频对象信息，此时，单独对带编码信息进行视频编码即可。

在本实施例中，判断获取的背景信息与上一帧背景信息是否相同可以采用如下方式进行：

例如，比较两幅图像的形似度，如果大于某一阈值，可以视为相同。

度量指标也有多种如：汉明距离，余弦距离、结构化相似度(SSIM)、峰值信噪比(PSNR)

可以理解的是，还可以通过训练神经网络模型完成检测背景图像是否发生变化。

在本实施例中，将图像信息输入至视频对象提取模型从而获取待编码信息进一步包括：

判断获取的背景信息与上一帧背景信息是否相同，若否，

则获取的待编码信息包括视频对象信息以及背景信息，此时，同时对视频对象信息以及背景信息进行视频编码。

在一个实施例中，也可以是根据待编码信息中的背景信息进行视频编码。

采用这种方式，进行视频编码时，如果采用本申请的用于摄像装置的视频编码方法进行处理的帧(下称当前帧)与上一帧(与当前帧连续的、在时间上早于当前帧的一帧，可以理解的是，上一帧可以也采用本申请的用于摄像装置的视频编码方法进行处理，也可以采用其他方法进行处理，只要具有背景信息即可。)进行对比，若对比相同，则可以认为，摄像装置在这两帧中所拍摄的背景信息没有变化，此时，待编码信息只单独包括视频对象信息，这样可以进一步减小传输量。

在本实施例中，根据待编码信息和/或图像信息进行视频编码包括：

对视频对象信息进行判断，判断视频对象信息是否失真，若否，则

根据待编码信息进行视频编码。

在本实施例中，判断视频对象信息是否失真可以采用如下方式进行：

例如，比较两幅图像的形似度，如果大于某一阈值，可以视为相同。

度量指标也有多种如：汉明距离，余弦距离、结构化相似度(SSIM)、峰值信噪比(PSNR)等。

在本实施例中，通过对视频对象信息进行重建，并将之与获取的图像信息进行对比，从而能够判断视频图像信息是否失真。在本实施例中，根据待编码信息和/或所述图像信息进行视频编码进一步包括：

对视频对象信息进行判断，判断视频对象信息是否失真，若是，则

根据图像信息进行视频编码。

采用这种方式，可以防止采用视频对象信息进行视频编码时，由于模型错误或者其他原因，导致根据待编码信息进行视频编码后获得的码流失真。

在本实施例中，根据待编码信息和/或图像信息进行视频编码进一步包括：

根据待编码信息进行视频编码从而获取第一编码信息；

根据图像信息进行视频编码从而获取第二编码信息；

将第一编码信息与第二编码信息进行比对，获取其中传输量小的编码信息作为视频编码。

采用这种方式，可以根据实际的传输量的大小，选择合适的编码信息进行视频编码。

在本实施例中，视频对象提取模型包括：对象识别模型以及至少两个对象提取模型；

将图像信息输入至视频对象提取模型从而获取待编码信息包括：

通过对象识别模型从而获取对象识别信息；

根据对象识别信息选择相应的对象提取模型，从而获取待编码信息。

在本实施例中，根据对象识别信息选择相应的对象提取模型，从而获取待编码信息具体为：

视频帧原始图像通过对象识别模型，获得前景的各个视频对象的类型和坐标参数；各视频对象的原始数据，根据对象识别模型识别出的类别被输入第二级对象提取模型，输出描述对象的待编码信息。举例来说，假设一个视频帧原始图像通过对象识别模型识别出如下类别：树、人、车，则根据对象识别模型识别出的类别被输入第二级对象提取模型，即第二级对象提取模型包括用于树的第二级对象提取模型，用于人的第二级对象提取模型以及用于车的第二级对象提取模型。

在一个实施例中，视频对象提取模型的数量至少为两个，各个视频对象提取模型不同，每个视频对象提取模型能够获取一个待编码信息；

在根据所述待编码信息和/或图像信息进行视频编码之前，所述用于摄像装置的视频编码方法进一步包括：

获取标准编码信息；

获取每个待编码信息与标准编码信息的相似度，选取相似度最大的待编码信息作为供视频编码使用的待编码信息。

采用这种方式，通过设置多个视频对象提取模型，且每个视频对象提取模型的具体结构都不同，从而在每次获取待编码信息的时候，都能够通过各个待编码信息进行相似度对比，从而获取最为合适的待编码信息进行视频编码。

本申请还提供了一种用于摄像装置的视频编码装置，所述用于摄像装置的视频编码装置包括图像信息获取模块、模型获取模块、待编码信息获取模块以及视频编码模块，其中，

图像信息获取模块用于获取摄像装置传递的图像信息；

模型获取模块用于获取经过训练的视频对象提取模型；

待编码信息获取模块用于将所述图像信息输入至视频对象提取模型从而获取待编码信息，待编码信息包括视频对象信息；

视频编码模块用于根据所述待编码信息和/或所述图像信息进行视频编码。

在本实施例中，视频对象提取模型可采取现有技术，例如，主体以VGG-16、ResNet\MobilNet等模型为核心骨架构建。

参见图3，图3是一种可用的人工神经网络结构模型，模型输入为图像，输出为图像中包含对象的类别和所在的矩形区域坐标。

需要说明的是，前述对方法实施例的解释说明也适用于本实施例的系统，此处不再赘述。本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的用于摄像装置的视频编码方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的用于摄像装置的视频编码方法。

图2是能够实现根据本申请一个实施例提供的用于摄像装置的视频编码方法的电子设备的示例性结构图。

如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。

也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的用于摄像装置的视频编码方法。

在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的用于摄像装置的视频编码方法。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。

虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种用于摄像装置的视频编码方法，其特征在于，所述用于摄像装置的视频编码方法包括：

获取摄像装置传递的图像信息；

获取经过训练的视频对象提取模型；

将所述图像信息输入至所述视频对象提取模型从而获取待编码信息，所述待编码信息包括视频对象信息；

根据所述待编码信息和/或所述图像信息进行视频编码。

2.如权利要求1所述的用于摄像装置的视频编码方法，其特征在于，所述待编码信息进一步包括背景信息。

3.如权利要求2所述的用于摄像装置的视频编码方法，其特征在于，所述根据所述待编码信息进行视频编码包括：

根据所述待编码信息中的背景信息和/或所述视频对象信息进行视频编码。

4.如权利要求3所述的用于摄像装置的视频编码方法，其特征在于，将所述图像信息输入至所述视频对象提取模型从而获取待编码信息包括：

根据所述图像信息分别获取背景信息以及所述视频对象信息；

获取上一帧背景信息；

判断获取的背景信息与上一帧背景信息是否相同，若是，

则获取的待编码信息包括视频对象信息。

5.如权利要求4所述的用于摄像装置的视频编码方法，其特征在于，将所述图像信息输入至所述视频对象提取模型从而获取待编码信息进一步包括：

判断获取的背景信息与上一帧背景信息是否相同，若否，

则获取的待编码信息包括视频对象信息以及背景信息。

6.如权利要求5所述的用于摄像装置的图像编码方法，其特征在于，所述根据所述待编码信息和/或所述图像信息进行视频编码包括：

对所述视频对象信息进行判断，判断所述视频对象信息是否失真，若否，则

根据所述待编码信息进行视频编码。

7.如权利要求6所述的用于摄像装置的图像编码方法，其特征在于，所述根据所述待编码信息和/或所述图像信息进行视频编码进一步包括：

对所述视频对象信息进行判断，判断所述视频对象信息是否失真，若是，则

根据所述图像信息进行视频编码。

8.如权利要求5所述的用于摄像装置的图像编码方法，其特征在于，所述根据所述待编码信息和/或所述图像信息进行视频编码进一步包括：

根据所述待编码信息进行视频编码从而获取第一编码信息；

根据所述图像信息进行视频编码从而获取第二编码信息；

将所述第一编码信息与第二编码信息进行比对，获取其中传输量小的编码信息作为视频编码。

9.如权利要求1所述的用于摄像装置的视频编码方法，其特征在于，所述视频对象提取模型包括：

对象识别模型以及至少两个对象提取模型；

所述将所述图像信息输入至所述视频对象提取模型从而获取待编码信息包括：

通过所述对象识别模型从而获取对象识别信息；

根据对象识别信息选择相应的对象提取模型，从而获取待编码信息。

10.一种用于摄像装置的视频编码装置，其特征在于，所述用于摄像装置的视频编码装置包括：

图像信息获取模块，所述图像信息获取模块用于获取摄像装置传递的图像信息；

模型获取模块，所述模型获取模块用于获取经过训练的视频对象提取模型；

待编码信息获取模块，所述待编码信息获取模块用于将所述图像信息输入至所述视频对象提取模型从而获取待编码信息，所述待编码信息包括视频对象信息；

视频编码模块，所述视频编码模块用于根据所述待编码信息和/或所述图像信息进行视频编码。

Images