CN118138756A - 一种编码方法、装置、设备及介质 - Google Patents

一种编码方法、装置、设备及介质 Download PDF

Info

Publication number
CN118138756A
CN118138756A CN202410150603.3A CN202410150603A CN118138756A CN 118138756 A CN118138756 A CN 118138756A CN 202410150603 A CN202410150603 A CN 202410150603A CN 118138756 A CN118138756 A CN 118138756A
Authority
CN
China
Prior art keywords
macro block
target
image
determining
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410150603.3A
Other languages
English (en)
Inventor
黄晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202410150603.3A priority Critical patent/CN118138756A/zh
Publication of CN118138756A publication Critical patent/CN118138756A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，尤其涉及一种编码方法、装置、设备及介质。在本申请实施例中，电子设备中保存有图像模板以及每个图像模板对应的编码参数，并通过计算图像模板和待编码的目标图像的相似度，确定与目标图像相似度最高的目标图像模板，之后采用目标图像模板对应的编码参数，对目标图像进行编码，提高了编码效果。

Description

一种编码方法、装置、设备及介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种编码方法、装置、设备及介质。
背景技术
现有技术中在进行编码时，主要通过机器学习的方法或场景匹配的方法决定对待编码的图像进行编码时所使用的编码参数，并基于编码参数对待编码的图像进行编码处理。
但是，机器学习需要消耗大量算力、性能可能存在瓶颈，使得模型无法应用于高分辨率高帧率场景，进而导致编码质量差。并且，由于编码是像素级的分析统计及频域、时域下的量化损失优化，如果仅仅根据场景决定编码参数，也会导致编码质量差。
发明内容
本申请提供了一种编码方法、装置、设备及介质，用以解决现有技术中由于确定的编码参数不合适的原因导致的编码质量差的问题。
第一方面，本申请实施例提供了一种编码方法，所述方法包括：
采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；
根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；
根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
进一步地，所述确定所述目标图像中的第一背景区域和第一目标的位置信息之后，所述方法还包括：
根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
进一步地，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
进一步地，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
进一步地，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
进一步地，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据
进一步地，若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，所述根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板包括：
针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
进一步地，所述确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板之后，根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度之前，所述方法还包括：
针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
进一步地，所述根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块包括：
针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
第二方面，本申请实施例还提供了一种编码装置，所述装置包括：
处理模块，用于采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
编码模块，用于根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
进一步地，所述处理模块，还用于根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
进一步地，所述处理模块，具体用于针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
进一步地，所述处理模块，具体用于针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
进一步地，所述处理模块，具体用于根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
进一步地，所述处理模块，具体用于将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据
进一步地，所述处理模块，具体用于若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，则针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
进一步地，所述处理模块，还用于针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
进一步地，所述处理模块，具体用于针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
第三方面，本申请实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所编码方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述编码方法的步骤。
在本申请实施例中，电子设备采用卷积神经网络CNN模型对目标图像进行特征检测，确定目标图像中的第一背景区域和第一目标的位置信息；根据预设的特征提取算法，确定位置信息的第一背景区域的第一背景特征数据和第一目标对应的第一目标特征数据；根据第一背景特征数据、第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与目标图像相似度最高的目标图像模板；根据预先保存的目标图像模板对应的编码参数，对目标图像进行编码。在本申请实施例中，电子设备中保存有图像模板以及每个图像模板对应的编码参数，并通过计算图像模板和待编码的目标图像的相似度，确定与目标图像相似度最高的目标图像模板，之后采用目标图像模板对应的编码参数，对目标图像进行编码，提高了编码效果。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种编码过程示意图；
图2为本申请实施例提供的一种图像示例图；
图3为本申请实施例提供的编码示意图；
图4为本申请实施例提供的目标的匹配示意图；
图5为本申请实施例提供的编码流程示意图；
图6为本申请实施例提供的一种编码装置的结构示意图；
图7为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
传统基于损失(cost)计算对图像进行块划分时通常采用二叉树划分方法。每个块存在预选的参考队列。针对相似的目标或物体(特别是背景)进行块划分和预测时，存在大量的冗余计算。并且，由于实际安防业务存在大量碎片化场景，每个场景下关注的重点不一样，每个时段的亮度、锐度、曝光时间等图像信号处理(Image Signal Processing，ISP)信息也不同，原有的基于残差和失真的算法在现有硬件性能下无法精确的获取像素级的编码参数、划分和预测结果，当硬件计算精度和性能差、码率不足时可能产生比较严重的编码失真。
如果能针对具体实时场景匹配模版获取一套最佳的编码参数、块划分和预测结果，就能大大改善原有基于残差、参考帧、MV、搜索匹配等编码机制造成的失真和精度问题，进而提高编码质量、降低码率。
基于此，为了提高编码质量，本申请实施例提供了一种编码方法、装置、设备及介质。
在本申请实施例中，电子设备采用卷积神经网络CNN模型对目标图像进行特征检测，确定目标图像中的第一背景区域和第一目标的位置信息；根据预设的特征提取算法，确定位置信息的第一背景区域的第一背景特征数据和第一目标对应的第一目标特征数据；根据第一背景特征数据、第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与目标图像相似度最高的目标图像模板；根据预先保存的目标图像模板对应的编码参数，对目标图像进行编码。
实施例1：
图1为本申请实施例提供的一种编码过程示意图，该过程包括：
S101：采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据。
本申请实施例提供的一种编码方法应用于电子设备，该电子设备可以是PC或服务器。
在本申请实施例中，电子设备通过卷积神经网络模型(Convolutional NeuralNetworks，CNN)对目标图像进行特征检测，将目标图像分为第一背景区域和第一目标。
具体的，在本申请实施例中，电子设备将目标图像输入到CNN模型中，该CNN模型对该进行特征分析和提取，并确定目标图像中的第一背景区域和第一目标。其中，CNN模型可以输出标记有第一背景区域和第一目标的目标图像，还可以输出第一背景区域和第一目标的位置信息，在此不做限制。
S102：根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板。
为了能够准确的确定用于编码的编码参数，电子设备中保存有多个图像模板，并保存有每个图像模板对应的编码参数。该电子设备可以通过确定与目标图像最相似的目标图像模板的方式，将保存的该目标图像模板对应编码参数确定为该目标模板对应的编码参数。
具体的，在本申请实施例中，电子设备中还保存每个图像目标的第二背景区域对应的第二背景特征数据和第二目标对应的第二目标特征数据。该电子设备根据第一背景特征数据、第一目标特征数据以及该每个图像模板的第二背景特征数据和第二目标特征数据，确定与目标图像相似度最高的目标图像模板。
可选的，针对每个图像模板，电子设备确定目标图像的第一背景特征数据与该图像模板的第二背景区域的相似度，在确定目标图像的第一目标特征数据与该图像模板的第二目标的相似度。
该电子设备基于每个图像模板与目标图像的两个相似度，确定与目标图像相似度最高的目标图像模板。
可选地，电子设备可以通过目标图像的第一背景特征数据与每个图像模板的第二背景区域的相似度对目标图像模板进行筛选，再基于目标图像的第一目标特征数据与每个图像模板的第二目标特征数据的相似度，确定被筛选出的图像模板中与该目标图像相似度最高的目标图像模板。
可选地，该电子设备还可以保存背景区域的相似度对应的第一权重和目标的相似度对应的第二权重，并基于该第一权重和第二权重，对每个图像模板与目标图像的两个相似度进行合并，得到每个图像模板与目标图像的合并相似度，再确定合并相似度最高的图像模板为目标图像模板。例如，电子设备可以通过公式S＝a*s1+b*s2确定合并相似度，其中S表示合并相似度，a表示第一权重，s1表示目标图像的第一背景特征数据与图像模板的第二背景区域的相似度，b表示第二权重，s2表示目标图像的第一目标特征数据与图像模板的第二目标特征数据的相似度。
此外，在本申请实施例中，电子设备还可以根据结构相似性(StructuralSimilarity，SSIM)确定第一背景区域与第二背景区域的相似度。
S103：根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
在本申请实施例中，电子设备确定了与目标图像的相似度最高的目标图像模板之后，该电子设备获取保存的该目标图像模板对应的编码参数，并使用该编码参数对该目标图像进行编码。
其中，该编码参数包括宏块划分、图像组(Group of picture，GOP)、帧级量化参数(Quantization Parameter，QP)以及宏块级QP。
在本申请实施例，基于编码参数对目标图像进行编码的过程为现有技术，在此不再进行赘述。
在本申请实施例中，电子设备中保存有图像模板以及每个图像模板对应的编码参数，并通过计算图像模板和待编码的目标图像的相似度，确定与目标图像相似度最高的目标图像模板，之后采用目标图像模板对应的编码参数，对目标图像进行编码，提高了编码效果。
实施例2：
为了提高编码的效果，在上述实施例的基础上，在本申请实施例中，所述确定所述目标图像中的第一背景区域和第一目标的位置信息之后，所述方法还包括：
根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
相关技术中，图像分割可以基于图像的特征、相似性、不连续性进行分割，将特征目标、相似纹理的背景和前景区域进行图像边缘的分割。而当前的编码协议如多功能视频编码(Versatile Video Coding，VVC)基本是基于宏块(四叉树)进行分割。这两种分割方式的精度都取决于对边缘的像素处理。
视频/图像编码的基本处理单元是宏块，便于像素的矩阵运算，但也带来了图像边缘的处理精度差的问题。而基于特征目标或基于灰度的边缘区域分割，分割精度较高，却不便于像素的矩阵运算，性能和通用性较差。
基于此，在本申请实施例中，提出了将两种分割方式进行融合的处理方式，能较大程度的避免宏块划分在编码过程中的像素精度损失。
其中，在本申请实施例中，电子设备根据CNN模型将目标图像划分为了第一背景区域和第一目标，针对第一背景区域，电子设备根据保存的宏块尺寸信息，对该第一背景区域进行分割，再基于分割得到的宏块进行相似度的计算。
具体的，在本申请实施例中，电子设备中保存有宏块的宏块尺寸信息，该电子设备根据该宏块尺寸信息，对该第一背景区域进行分割。该电子设备根据每个宏块中包含的像素点的像素值，确定每个宏块对应的图像熵，其中，该图像熵用于表示每个宏块的纹理信息。其中，在本申请实施例中，基于每个宏块中包含的像素点的像素值，确定每个宏块对应的图像熵为现有技术，在此不在进行赘述，该图像熵也被称为纹理信息熵。
在本申请实施例中，电子设备根据每个宏块对应的图像熵，将纹理相近的宏块确定归属于同一实体，其中，该实体可以为树、街道、马路等。可选地，电子设备可以通过计算每两个宏块的图像熵的差值，并根据该差值的大小确定该两个宏块是否归属于同一实体。
电子设备确定归属于同一实体的宏块组，在本申请实施例中，电子设备可以将目标图像的第一背景区域中包含的宏块组与图像模板的第二背景区域中包含的宏块组的相似度确定为第一背景区域与第二背景区域的相似度。
其中，在本申请实施例中，为了更好的第一背景区域和第二背景区域中包含的宏块组的相似度，电子设备可以根据每个宏块组中包含的每个宏块，确定每个宏块组对应的中间宏块，其中，该中间宏块用于体现宏块组中包含的每个宏块的像素均值。
具体的，在本申请实施例中，针对每个宏块组，电子设备根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；该电子设备将每个实体对应的中间宏块确定为第一背景区域。
实施例3：
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在本申请实施例中，电子设备在确定第一背景区域的第一背景特征区域时，该电子设备可以通过感知哈希算法计算。
具体的，在本申请实施例中，针对第一背景区域中的每个中间宏块，电子设备根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将第一字符串确定为该中间宏块对应的子背景特征数据。
电子设备将至少一个中间宏块对应的子背景特征数据确定为第一背景区域对应的第一背景特征数据。
具体的，在本申请实施例中，电子设备可以将一个中间宏块对应的子背景特征数据确定为第一背景区域对应的第一背景特征数据；或者，电子设备将每个中间宏块对应的子背景特征数据的集合确定为第一背景区域对应的第一背景特征数据。
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在本申请实施例中，电子设备在确定第一背景区域的第一背景特征区域时，该电子设备还可以通过特征提取模型确定。
具体的，在本申请实施例中，针对第一背景区域中的每个中间宏块，电子设备将该中间宏块对应的图像输入到训练好的特征提取模型中，获取特征提取模型输出的第一特征向量，并将第一特征向量确定为该中间宏块对应的子背景特征数据。
电子设备将至少一个中间宏块对应的子背景特征数据确定为第一背景区域对应的第一背景特征数据。
具体的，在本申请实施例中，电子设备可以将一个中间宏块对应的子背景特征数据确定为第一背景区域对应的第一背景特征数据；或者，电子设备将每个中间宏块对应的子背景特征数据的集合确定为第一背景区域对应的第一背景特征数据。
实施例4：
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
在本申请实施例中，电子设备在确定第一目标的第一目标特征区域时，该电子设备可以通过感知哈希算法计算。
具体的，在本申请实施例中，电子设备对第一目标对应的图像进行哈希处理，确定第一目标对应的第二字符串，并将第二字符串确定为第一目标特征数据。
此外，在本申请实施例中，电子设备还可以根据预先保存的宏块尺寸信息对第一目标进行分割，根据分割后的每个宏块，确定该第一目标对应的中间宏块，并采用哈希算法确定该第一目标对应的中间宏块的字符串，将该字符串确定为第一目标对应的第一目标特征数据。
其中，电子设备确定第一目标对应的中间宏块的过程与电子设备确定第一背景区域对应的中间宏块的过程一致，在此不再进行赘述。
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据
在本申请实施例中，电子设备在确定第一目标的第一目标特征区域时，该电子设备可以通过特征提取模型确定。
具体的，在本申请实施例中，电子设备将第一目标对应的图像输入到训练好的特征提取模型中，获取特征提取模型输出的第二特征向量，并将第二特征向量确定为第一目标特征数据。
此外，在本申请实施例中，电子设备还可以根据预先保存的宏块尺寸信息对第一目标进行分割，根据分割后的每个宏块，确定该第一目标对应的中间宏块，并采用特征提取模型确定该第一目标对应的中间宏块的特征向量，将该特征向量确定为第一目标对应的第一目标特征数据。
其中，电子设备确定第一目标对应的中间宏块的过程与电子设备确定第一背景区域对应的中间宏块的过程一致，在此不再进行赘述。
实施例5：
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，所述根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板包括：
针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
为了减少电子设备的运行压力，在本申请实施例中，该电子设备在确定与目标图像相似度最高的目标图像模板时，该电子设备可以先根据第一背景特征数据以及预先保存的每个图像模板的第二背景特征区域，对每个图像模板进行初步筛选，得到候选图像模板。之后，电子设备在基于候选图像模板确定目标图像模板。
其中，若第一背景特征数据中包含至少两个中间宏块的子背景特征数据，则电子设备需要根据该第一背景特征数据中的每个子特征数据分别对应的中间宏块对图像模板进行筛选。
具体的，在本申请实施例中，针对第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，电子设备获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵。该电子设备根据第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；该电子设备根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的目标图像与每个图像模板的初始相似度。
该电子设备将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组。
其中，在本申请实施例中，包括第一中间图像熵和第二中间图像熵在内的中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值。
在本申请实施例中，电子设备在确定了每个中间宏块对应的候选图像模板组之后，该电子设备确定每个候选图像模板组中均包含的每个候选图像模板。该电子设备根据每个候选图像模板对应的第二目标特征数据和第一目标特征数据，确定目标图像与每个候选图像模板的目标相似度，并将数值最大的目标相似度对应的候选图像模板确定为目标图像模板。
其中，在本申请实施例中，包括第一目标特征数据和第二目标特征数据在内的特征数据可以为目标的坐标、宽高和类型等。
图2为本申请实施例提供的一种图像示例图，如该图2所示，上下图中的背景区域几乎不会变化，目标(例如上图的人脸、人体和下图的车)在图像中存在较大差异。由于目标的纹理存在较强的规律性，例如一辆同一品牌同一型号的车，经过上下两图背景所在的道路时，这个目标(机动车)所在的区域的特征数据几乎一样。
在图2的基础上，图3为本申请实施例提供的编码示意图，如该图3所示，针对左图进行宏块划分和编码参数设置，只需要先针对第一背景区域进行图像模版匹配，并针对第一目标进行二次匹配过滤，就能得到相似的目标图像模版。
在进行视频编码时，电子设备针对划分好的第一目标和第一背景区域匹配各自的图像模版，并作为一个块(tile)进行单独编码，进行宏块划分和编码参数设置，构造独立的参考关系，并计算残差：
1、由于静止区域tile纹理的相似性一致，且编码参数使用了模版参数，因此预测失真能达到最小。
2、运动区域是按目标进行独立划分tile，通过AI目标检测能获取到目标ID、类型、坐标和宽高，相比于原有基于残差的预测搜索，本申请实施例基于目标检测构建参考关系能减少目标运动的mv参考失真。
在上述实施例的基础上，图4为本申请实施例提供的目标的匹配示意图，如该图4所示，同一个目标在运动过程中会发生遮挡、非平移运动(形变、缩放)，选择合适的参考块就决定了该目标对应的区域的预测失真大小。在本申请实施例中，电子设备可以将目标划分独立的tile建立参考关系，并将该目标进行最小宏块划分进行预测匹配，目标遮挡、形变、缩放都能找到最匹配的参考宏块。
针对新增目标频繁出现和消失的场景：
1、电子设备将新增的目标图像tile与I帧中的目标图像tile进行相似度计算，当两个目标比较相似时(例如都是同一品牌的机动车)，可以与其建立参考关系。
2、如新增目标无法在I帧中匹配到相似图像tile，则将改帧标记为I帧，重新建立参考关系。
实施例6：
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，所述确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板之后，根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度之前，所述方法还包括：
针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
在本申请实施例中，为了进一步地提高确定的目标图像模板与目标图像的相似度，电子设备在确定了每个中间宏块对应的候选图像模板组之后，针对每个候选图像模板的每个候选中间宏块，该电子设备可以根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，对该候选图像模板进行进一步的筛选。
具体的，在本申请实施例中，电子设备确定该第一数量与第二数量的数量差值，若该数量差值超过预设的数量差值阈值，则该电子设备确定该候选图像模板不符合要求，则删除该候选图像模板。即，在本申请实施例中，若该数量差值超过预设的数量差值阈值，则该电子设备确定该候选图像模板中候选中间宏块对应的实体的面积与目标图像中中间宏块对应的实体面积差距较大，若根据该候选图像模板对目标图像进行编码，编码误差较大，因此，电子设备删除该候选图像模板。
若第一数量与第二数量的数量差值未超过预设的数量差值阈值，则电子设备保留该候选图像模板。即，在本申请实施例中，若该数量差值超过预设的数量差值阈值，则该电子设备确定该候选图像模板中候选中间宏块对应的实体的面积与目标图像中中间宏块对应的实体面积差距较小，该电子设备可以保留该候选图像模板。
此外，基于此同样的发明构思，在本申请实施例中，电子设备在根据每个候选图像模板对应的第二目标特征数据和第一目标特征数据，确定目标图像与每个候选图像模板的目标相似度之后，该电子设备还可以根据每个候选图像模板中第二目标对应的第三宏块数量以及目标图像中第一目标对应的第四宏块数量，对每个候选图像模板进行筛选，确定与该第四宏块数量的差值在预设的数量差值阈值内的每个目标候选图像模板，并根据数值最大的目标相似度对应的目标候选模板确定为目标模板。
实施例7：
为了提高编码的效果，在上述各实施例的基础上，在本申请实施例中，所述根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块包括：
针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
在本申请实施例中，电子设备在根据第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块时，针对每个图像模板，该电子设备确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
在实际应用过程中，可能会出现最小图像熵差值的数值很大，即最小图像熵差值的第二中间图像熵对应的中间宏块与目标图像中的中间宏块归属于不同的实体。基于此，为了避免电子设备进行不必要的运算，在本申请实施例中，电子设备中还可以预先配置有最小图像熵差值阈值，若电子设备确定图像模板的最小图像熵差值小于该最小图像熵差值阈值，则该电子设备确定该图像模板中不存在与该中间宏块匹配的候选中间宏块，该电子设备可以确定预设数值为基于该中间宏块确定的该目标图像与该图像模板的初始相似度。
图5为本申请实施例提供的编码流程示意图，如该图5所示，该过程包括：
S501：采集现场的典型背景YUV图像。
S502：对YUV图像进行滤波操作。
S503：根据前景目标、背景纹理相似度进行宏块划分，离线调试最佳的分割方式和编码参数，保证图像质量最优。
S504：实时采集当前图像，根据纹理相似度进行背景分割。
S505：使用算法检测获取当前图像的目标的坐标、宽高和类型。
S506：根据目标和纹理的相似度分割目标和背景宏块。
S507：与图像库进行相似度匹配目标图像模板，获取对应的分割方式和编码参数。
S508：单帧图像划分无目标区域和目标块单独构建tile和参考关系进行编码。
如图5，图像分割可以基于图像的特征、相似性、不连续性进行分割，将特征目标、相似纹理的背景和前景区域进行图像边缘的分割。而当前的编码协议(如VVC)基本是基于宏块(四叉树)进行分割。两种分割方式的精度都取决于对边缘的像素处理。
视频编码的基本处理单元是宏块，便于像素的矩阵运算，但也带来了图像边缘的处理精度差的问题。而基于特征目标或基于灰度的边缘区域分割，分割精度较高，却不便于像素的矩阵运算，性能和通用性较差。
本申请实施例提出了一种将两种分割方式进行融合的处理方式，能较大程度的避免宏块划分在编码过程中的像素精度损失。
实施例8：
在上述各实施例的基础上，本申请实施例还提供了一种编码装置，图6为本申请实施例提供的一种编码装置的结构示意图，该装置包括：
处理模块601，用于采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
编码模块602，用于根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
在一种可能的实施方式中，所述处理模块601，还用于根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
在一种可能的实施方式中，所述处理模块601，具体用于针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在一种可能的实施方式中，所述处理模块601，具体用于针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在一种可能的实施方式中，所述处理模块601，具体用于根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
在一种可能的实施方式中，所述处理模块601，具体用于将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据
在一种可能的实施方式中，所述处理模块601，具体用于若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，则针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
在一种可能的实施方式中，所述处理模块601，还用于针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
在一种可能的实施方式中，所述处理模块601，具体用于针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
实施例9：
在上述各实施例的基础上，图7为本申请实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请实施例提供了一种电子设备，如图7所示，包括：处理器71、通信接口72、存储器73和通信总线74，其中，处理器71，通信接口72，存储器73通过通信总线74完成相互间的通信；
所述存储器73中存储有计算机程序，当所述程序被所述处理器71执行时，使得所述处理器71执行如下步骤：
采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；
根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；
根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
在一种可能的实施方式中，所述确定所述目标图像中的第一背景区域和第一目标的位置信息之后，所述方法还包括：
根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据
在一种可能的实施方式中，若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，所述根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板包括：
针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
在一种可能的实施方式中，所述确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板之后，根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度之前，所述方法还包括：
针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
在一种可能的实施方式中，所述根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块包括：
针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
由于上述电子设备解决问题的原理与编码方法相似，因此上述电子设备的实施可以参见方法的实施例，重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口72用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例10：
在上述各实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；
根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；
根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
在一种可能的实施方式中，所述确定所述目标图像中的第一背景区域和第一目标的位置信息之后，所述方法还包括：
根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
在一种可能的实施方式中，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据
在一种可能的实施方式中，若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，所述根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板包括：
针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
在一种可能的实施方式中，所述确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板之后，根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度之前，所述方法还包括：
针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
在一种可能的实施方式中，所述根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块包括：
针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
由于上述计算机可读存储介质解决问题的原理与编码方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施例，重复之处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种编码方法，其特征在于，所述方法包括：
采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；
根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；
根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像中的第一背景区域和第一目标的位置信息之后，所述方法还包括：
根据预先保存的宏块尺寸信息，对所述第一背景区域进行分割；
根据每个宏块中包含的像素点的像素值，确定所述每个宏块对应的图像熵；其中，所述图像熵用于表示每个宏块的纹理信息；
根据所述每个宏块对应的图像熵，确定所述第一背景区域中至少一组归属于同一实体的宏块组；
针对每个宏块组，根据该宏块组包含的每个宏块中各对应位置的像素点的像素值，确定该宏块组对应的中间宏块，其中，所述中间宏块中各对应位置的像素点的像素值为该宏块组中各对应位置的像素值均值；
将每个实体对应的中间宏块确定为所述第一背景区域。
3.根据权利要求2所述的方法，其特征在于，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，根据预先配置的感知哈希算法，对该中间宏块对应的图像进行哈希处理，确定该中间宏块对应的第一字符串，并将所述第一字符串确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
4.根据权利要求2所述的方法，其特征在于，所述根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据包括：
针对所述第一背景区域中的每个中间宏块，将该中间宏块对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第一特征向量，并将所述第一特征向量确定为该中间宏块对应的子背景特征数据；
将至少一个中间宏块对应的子背景特征数据确定为所述第一背景区域对应的第一背景特征数据。
5.根据权利要求1所述的方法，其特征在于，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
根据预先配置的感知哈希算法，对所述第一目标对应的图像进行哈希处理，确定所述第一目标对应的第二字符串，并将所述第二字符串确定为所述第一目标特征数据。
6.根据权利要求1所述的方法，其特征在于，所述根据预设的特征提取算法，确定所述第一目标对应的第一目标特征数据包括：
将所述第一目标对应的图像输入到训练好的特征提取模型中，获取所述特征提取模型输出的第二特征向量，并将所述第二特征向量确定为所述第一目标特征数据。
7.根据权利要求3或4所述的方法，其特征在于，若所述第一背景特征数据中包含至少两个中间宏块的子背景特征数据，所述根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板包括：
针对所述第一背景区域中作为第一背景特征数据的子背景特征数据对应的每个中间宏块，获取该中间宏块对应的第一中间图像熵，以及每个图像模板中每个中间宏块对应的第二中间图像熵，其中，中间图像熵为中间宏块对应的宏块组中的宏块的图像熵均值；根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块；根据保存的该中间宏块对应的子背景特征数据，以及每个候选中间宏块对应的子背景特征数据，确定基于该中间宏块确定的所述目标图像与每个图像模板的初始相似度；将每个初始相似度按照数值大小进行排序，确定该中间宏块对应的初始相似度排序结果；将所述初始相似度排序结果中相似度最高的预设数量个候选图像模板组成该中间宏块对应的候选图像模板组；
确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板；
根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度；
将最高目标相似度对应的候选图像模板确定为所述目标图像模板。
8.根据权利要求7所述的方法，其特征在于，所述确定每个中间宏块对应的候选图像模板组中均包含的每个候选图像模板之后，根据所述每个候选图像模板对应的第二目标特征数据和所述第一目标特征数据，确定所述目标图像与所述每个候选图像模板的目标相似度之前，所述方法还包括：
针对每个候选图像模板的每个候选中间宏块，根据保存的确定该候选中间宏块时，该候选中间宏块归属的宏块组中包含的宏块的第一数量，以及保存的确定对应的中间宏块时，该中间宏块归属的宏块组中包含的宏块的第二数量，确定所述第一数量与所述第二数量的数量差值，若所述数量差值超过预设的数量差值阈值，则删除所述候选图像模板；若所述第一数量与所述第二数量的数量差值未超过预设的数量差值阈值，则保留所述候选图像模板。
9.根据权利要求7所述的方法，其特征在于，所述根据所述第一中间图像熵和每个中间宏块对应的第二中间图像熵，确定每个图像模板中与该中间宏块匹配的候选中间宏块包括：
针对每个图像模板，确定该图像模板中包含的每个中间宏块对应的第二中间图像熵与所述第一中间图像熵的图像熵差值；将最小图像熵差值的第二中间图像熵对应的中间宏块确定为该图像模板与该中间宏块匹配的候选中间宏块。
10.一种编码装置，其特征在于，所述装置包括：
处理模块，用于采用卷积神经网络CNN模型对目标图像进行特征检测，确定所述目标图像中的第一背景区域和第一目标的位置信息；根据预设的特征提取算法，确定所述位置信息的第一背景区域的第一背景特征数据和所述第一目标对应的第一目标特征数据；根据所述第一背景特征数据、所述第一目标特征数据以及预先保存的每个图像模板的第二背景特征数据和第二目标特征数据，确定与所述目标图像相似度最高的目标图像模板；
编码模块，用于根据预先保存的所述目标图像模板对应的编码参数，对所述目标图像进行编码。
11.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-9任一所述编码方法的步骤。
12.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述编码方法的步骤。
CN202410150603.3A 2024-02-02 2024-02-02 一种编码方法、装置、设备及介质 Pending CN118138756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410150603.3A CN118138756A (zh) 2024-02-02 2024-02-02 一种编码方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410150603.3A CN118138756A (zh) 2024-02-02 2024-02-02 一种编码方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN118138756A true CN118138756A (zh) 2024-06-04

Family

ID=91239843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410150603.3A Pending CN118138756A (zh) 2024-02-02 2024-02-02 一种编码方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN118138756A (zh)

Similar Documents

Publication Publication Date Title
Li et al. Learning convolutional networks for content-weighted image compression
CN108337515B (zh) 一种视频编码方法及装置
US20230030020A1 (en) Defining a search range for motion estimation for each scenario frame set
CN104268900B (zh) 一种运动目标检测方法及装置
CN101689295A (zh) 用于减少图像中的伪像的设备和方法
CN107770525B (zh) 一种图像编码的方法及装置
CN112312133B (zh) 一种视频编码方法、装置、电子设备及可读存储介质
CN109963151B (zh) 编码单元划分确定方法及装置、终端设备及可读存储介质
CN107623848B (zh) 一种视频编码方法及装置
CN114051139B (zh) 视频编码方法和装置
Zhang et al. Low-complexity intra coding scheme based on Bayesian and L-BFGS for VVC
CN112087624A (zh) 基于高效率视频编码的编码管理方法
CN105263026A (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
CN110177278B (zh) 一种帧间预测方法、视频编码方法及装置
CN118138756A (zh) 一种编码方法、装置、设备及介质
CN110519597B (zh) 一种基于hevc的编码方法、装置、计算设备和介质
JP2018191246A (ja) 動画像符号化装置、動画像符号化方法及びプログラム
CN104168482B (zh) 一种视频编解码方法及装置
Liu et al. Fast intra coding algorithm for depth map with end-to-end edge detection network
CN115955564A (zh) 一种视频编码方法、装置、设备和介质
CN115022641A (zh) 图像编码、解码方法、电子设备和计算机可读存储介质
Chao et al. Edge adaptive graph-based transforms: Comparison of step/ramp edge models for video compression
CN113992911A (zh) 全景视频h264编码的帧内预测模式确定方法和设备
CN114095683B (zh) 基于差分块的视频噪声估计方法、装置、设备和存储介质
CN110097583B (zh) 图片筛选方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination