CN108848382B - 一种编解码方法及装置 - Google Patents

一种编解码方法及装置 Download PDF

Info

Publication number
CN108848382B
CN108848382B CN201810601899.0A CN201810601899A CN108848382B CN 108848382 B CN108848382 B CN 108848382B CN 201810601899 A CN201810601899 A CN 201810601899A CN 108848382 B CN108848382 B CN 108848382B
Authority
CN
China
Prior art keywords
code stream
coding
coding block
information
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810601899.0A
Other languages
English (en)
Other versions
CN108848382A (zh
Inventor
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201810601899.0A priority Critical patent/CN108848382B/zh
Publication of CN108848382A publication Critical patent/CN108848382A/zh
Application granted granted Critical
Publication of CN108848382B publication Critical patent/CN108848382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种编码方法及装置，在本发明实施例中，针对高级权限用户，其可以获取保留字段中的数据，从而获取每个第二码流，每个第三码流，以及分别对应的通道号和编码类型，对每个第二码流和每个第三码流进行解码处理，得到每个编码块的第一预测信息和第一残差信息，基于每个编码块的第一预测信息和第一残差信息，对每个编码块进行解码处理，得到解码处理后的待隐藏区域图像，并对编码处理后的每个第一码流进行解码处理，得到解码处理后的非待隐藏区域图像，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的原始图像。实现对待隐藏区域的恢复。

Description

一种编解码方法及装置
技术领域
本发明涉及编解码技术领域，尤其涉及一种编解码方法及装置。
背景技术
随着经济社会的日益发展，对多媒体的安全隐私要求日益凸显，为了实现媒体的安全隐私，我们通常需要对图像或视频中关键的人脸区域、车牌区域等进行各种方式的保护，其主要目的是当别人播放视频时无法根据视频解码得到的图像视频观察到用户期望隐藏的内容，同时要保证清晰观看非隐藏内容。
现有区域隐藏编码方案主要包括以下步骤：(1)对视频的I帧和P帧进行解码，以分别获取I帧块的帧内预测模式和P帧块的运动向量；(2)根据I帧块的帧内预测模式并结合I帧的隐私区域范围判断I帧块是否是I帧补偿块，如果是则转入步骤(4)，否则过程结束；(3)根据P帧块的运动向量并结合P帧的隐私区域范围判断P帧块是否是P帧补偿块，如果是则转入步骤(4)，否则过程结束；(4)获取并存储I帧补偿块或P帧补偿块的亮度值；(5)再次对视频的I帧和P帧进行解码，在解码过程中扰乱I帧或P帧的隐私区域中I帧块或P帧块的非零系数符号位，并获取和存储I帧补偿块或P帧补偿块的错误亮度值；(6)将步骤(4)获取的亮度值减去步骤(5)获取的错误亮度值，并根据H.264标准对差值进行整数变换和量化，以生成压缩域补偿信号，并对压缩域补偿信号进行熵编码。
根据现有区域隐藏编码方案可知，对于隐藏区域的宏块，需要对原始码流中变换量化后的残差信息中的AC分量进行随机的抽取并将残差做少量修改，比如残差符号的修改，然后将原始残差和修改后的残差的插值进一步传递过去，通过这种方式将隐藏区域的纹理在解码端解码时显示成非真正原始纹理。这种方法区域隐藏效果好，但是存在的问题是，这种方法对于隐藏区域的隐藏是单向不可逆的，无法在需要时对隐藏区域进行恢复。
发明内容
本发明实施例提供了一种编解码方法及装置，用以解决现有技术中无法在需要时对隐藏区域进行恢复的问题。
本发明实施例提供了一种编码方法，所述方法包括：
获取图像中待隐藏区域的位置信息；
针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；
针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
进一步地，得到每个第一码流之后，所述方法还包括：
根据所述每个编码块的编码先后顺序，将每个第一码流进行排序。
进一步地，所述待隐藏区域的位置信息包括：
待隐藏区域的最小外接矩形区域的顶点坐标信息；或
待隐藏区域掩膜图。
进一步地，所述保留字段包括：
辅助增强信息SEI中有效载重payload为保留字类型的payload_type；或
保留字的网络抽象层单元NALU。
进一步地，如果所述保留字段为SEI中payload为保留字类型的payload_type，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中包括：
将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。
进一步地，所述任意一个第一码流标准包括：H.264标准或H.265标准；
表示所述payload的payload_type为大于181的值。
进一步地，如果所述保留字段为保留字的NALU，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中包括：
将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。
进一步地，所述任意一个第一码流标准包括：H.264标准或H.265标准；
如果所述任意一个第一码流标准为H.264标准，所述任意一个第一码流标准中的保留字段为22-31中的值；
如果所述任意一个第一码流标准为H.265标准，所述任意一个第一码流标准中的保留字段为41-63中的值。
进一步地，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中之后，所述方法还包括：
对所述保留字段中的数据进行加密处理。
本发明实施例提供了一种解码方法，所述方法包括：
接收编码端发送的标识信息，确定与所述标识信息对应的第一码流，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流；
基于所述通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；
根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
进一步地，如果所述保留字段为SEI中payload为保留字类型的payload_type，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流包括：
对所述第一码流标准中的SEI的保留字payload中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
进一步地，如果所述保留字段为保留字的NALU，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流包括：
对所述第一码流标准中的保留字的NALU中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
进一步地，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析之前，所述方法还包括：
判断编码处理后的所述第一码流标准中的保留字段中的数据是否经过加密处理；
如果是，对编码处理后的所述第一码流标准中的保留字段中的数据进行解密处理，并进行后续步骤，如果否，直接进行后续步骤。
另一方面，本发明实施例提供了一种编码装置，所述装置包括：
获取模块，用于获取图像中待隐藏区域的位置信息；
编码模块，用于针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；
第一融合模块，用于针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
进一步地，所述编码模块，还用于根据所述每个编码块的编码先后顺序，将每个第一码流进行排序。
进一步地，所述待隐藏区域的位置信息包括：
待隐藏区域的最小外接矩形区域的顶点坐标信息；或
待隐藏区域掩膜图。
进一步地，所述保留字段包括：
辅助增强信息SEI中有效载重payload为保留字类型的payload_type；或
保留字的网络抽象层单元NALU。
进一步地，如果所述保留字段为SEI中payload为保留字类型的payload_type，所述第一融合模块，具体用于将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。
进一步地，所述任意一个第一码流标准包括：H.264标准或H.265标准；
表示所述payload的payload_type为大于181的值。
进一步地，如果所述保留字段为保留字的NALU，所述第一融合模块，具体用于将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。
进一步地，所述任意一个第一码流标准包括：H.264标准或H.265标准；
如果所述任意一个第一码流标准为H.264标准，所述任意一个第一码流标准中的保留字段为22-31中的值；
如果所述任意一个第一码流标准为H.265标准，所述任意一个第一码流标准中的保留字段为41-63中的值。
进一步地，所述装置还包括：
加密模块，用于对所述保留字段中的数据进行加密处理。
再一方面，本发明实施例提供了一种解码装置，所述装置包括：
解析模块，用于接收编码端发送的标识信息，确定与所述标识信息对应的第一码流，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流；
解码模块，用于基于所述通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；
第二融合模块，用于根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
进一步地，如果所述保留字段为SEI中payload为保留字类型的payload_type，所述解析模块，具体用于对所述第一码流标准中的SEI的保留字payload中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
进一步地，如果所述保留字段为保留字的NALU，所述解析模块，具体用于对所述第一码流标准中的保留字的NALU中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
进一步地，所述装置还包括：
解密模块，用于判断编码处理后的所述第一码流标准中的保留字段中的数据是否经过加密处理；如果是，对编码处理后的所述第一码流标准中的保留字段中的数据进行解密处理，并触发所述解析模块，如果否，直接触发所述解析模块。
本发明实施例提供了一种编码方法及装置，所述方法包括：获取图像中待隐藏区域的位置信息；针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
由于在本发明实施例中，针对高级权限用户，其可以获取保留字段中的数据，从而获取每个第二码流，每个第二码流对应的每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流，基于通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的原始图像。实现对待隐藏区域的恢复。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的编码过程示意图；
图2为本发明实施例7提供的解码过程示意图；
图3为本发明实施例10提供的编解码流程示意图；
图4为本发明实施例提供的编码装置结构示意图；
图5为本发明实施例提供的解码装置结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种编码过程示意图，该过程包括以下步骤：
S101：获取图像中待隐藏区域的位置信息。
本发明实施例提供的编码方法应用于电子设备，该电子设备可以是PC、个人电脑等设备，也可以是图像采集设备，只要电子设备中包含编码端即可。
电子设备针对待编码的图像，可以获取图像中的待隐藏区域，待隐藏区域可以是人脸区域、机动车区域、车牌区域等等。待隐藏区域的数量可以是一个，也可以是多个，在本发明实施例中，不对待隐藏区域的数量进行限定。根据需要，还可以对待隐藏区域进行自定义设置，例如，可以将图像中的某个人脸区域作为一个待隐藏区域；也可以将某个人脸图像和某个机动车区域作为一个待隐藏区域。其中，获取图像中的待隐藏区域的过程属于现有技术，在此不对该过程进行赘述。
电子设备获取图像中的待隐藏区域之后，可以获取待隐藏区域的位置信息，例如获取待隐藏区域的最小外接矩形，待隐藏区域的位置信息可以是待隐藏区域的最小外接矩形起始像素点的坐标信息(x，y)和最小外接矩形的宽高(width，height)。
S102：针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同。
电子设备针对图像中的每个编码块，可以确定出该编码块的第一预测信息和第一残差信息。其中，可以通过代价计算确定出该编码块的第一预测信息和第一残差信息，也可以通过其他的方法确定该编码块的第一预测信息和第一残差信息。确定编码块的第一预测信息和第一残差信息的过程属于现有技术，在此不再对该过程进行赘述。
电子设备针对图像中的每个编码块，可以获取该编码块的坐标信息。在本发明实施例中，不对编码块的大小进行限定，编码块的尺寸可以是8*8至64*64。在判断该编码块是否为待隐藏区域的编码块时，可以根据该编码块的坐标信息和待隐藏区域的位置信息，计算该编码块和待隐藏区域的重叠面积。电子设备中可以保存预设的面积阈值，当该编码块和待隐藏区域的重叠面积大于预设的面积阈值时，确定该编码块为待隐藏区域的编码块。预设的面积阈值可以是编码块面积的一半、编码块面积的三分之二等等。
针对每个编码块，如果该编码块不是待隐藏区域的编码块，则采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流，如果该编码块是待隐藏区域的编码块，则采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流。其中，预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同。也就是说，可以是预设的第二预测信息与第一预测信息不同，预设的第二残差信息与第一残差信息相同；也可以是预设的第二预测信息与第一预测信息相同，预设的第二残差信息与第一残差信息不同；也可以是预设的第二预测信息与第一预测信息不同，预设的第二残差信息与第一残差信息不同。
需要说明的是，对于待隐藏区域的编码块，采用预设的第二预测信息和第二残差信息对该编码块进行编码，是为了对待隐藏区域的编码块进行隐藏处理，使得后续普通权限用户对第一码流进行解码后，无法看到待隐藏区域的原始图像信息。在预设的第二残差信息与第一残差信息不同的情况下，可以使预设的第二残差信息中的交流分量与第一残差信息的交流分量不同，预设的第二残差信息中的直流分量与第一残差信息的直流分量相同，也可以使预设的第二残差信息中的全部数据与第一残差信息的全部数据不同。为了提高对待隐藏区域的隐藏效果，可以使得预设的第二预测信息与第一预测信息相差尽量大，和/或预设的第二残差信息与第一残差信息相差尽量大。
并且，针对每个编码块，如果判断该编码块为待隐藏区域的编码块，电子设备还将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流，将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流。
具体的，如果预设的第二预测信息与第一预测信息不同，预设的第二残差信息与第一残差信息相同，则可以只将该编码块的第一预测信息进行编码，得到第二码流，此时在解码时，通过对第二码流解码得到该编码块的第一预测信息，通过对第一码流中与该编码块对应的编码块解码得到该编码块的第一残差信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
如果预设的第二预测信息与第一预测信息相同，预设的第二残差信息与第一残差信息不同，则可以只将该编码块的第一残差信息进行编码，得到第二码流，此时在解码时，通过对第二码流解码得到该编码块的第一残差信息，通过对第一码流中与该编码块对应的编码块解码得到该编码块的第一预测信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
如果预设的第二预测信息与第一预测信息不同，预设的第二残差信息与第一残差信息不同，则可以将该编码块的第一残差信息和第一预测信息进行编码，得到第二码流，此时在解码时，通过对第二码流解码得到该编码块的第一残差信息和第一预测信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
当然，在只有预设的第二预测信息与第一预测信息不同，或只有预设的第二残差信息与第一残差信息不同的情况下，也可以将该编码块的第一残差信息和第一预测信息进行编码，得到第二码流，这样也可以通过对第二码流解码得到该编码块的第一残差信息和第一预测信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
其中，确定第一码流、第二码流的编码通道可以相同，也可以不同。每个编码通道的编码类型可以是相同的，也可以是不同的。例如，确定第一码流的编码通道的编码类型为H.264，确定第二码流的编码通道的编码类型为H.265等等。
S103：针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
电子设备经过编码得到每个第二码流和每个第三码流之后，针对每个第二码流，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，在本发明实施例中，任意一个第一码流标准可以是任何一种包括保留字的码流标准，保留字段可以是JPEG中的app头，可以是AVS/AVS2中的扩展数据定义，包括已有标准和未来H.266或AV1等标准中的各个扩展保留字段区域。并且电子设备采用现有的技术手段可以将第一码流对应的通道号和编码类型进行保存。
每个第一码流都有区别于其他第一码流的标识信息，为了便于高级权限用户在解码端获取保留字段中的数据，电子设备将保留字段中写入有每个第二码流，每个第二码流对应的每个第三码流，以及每个第二码流对应的通道号和编码类型的第一码流的标识信息发送至解码端。
针对普通权限用户，无法获取保留字段中的数据，只能基于保存的第一码流对应的通道号和编码类型，对编码处理后的第一码流进行解码处理，得到解码后的非待隐藏区域图像，解码后的非待隐藏区域图像中每个待隐藏区域无法显示出原始的图像信息。
在本发明实施例中，针对高级权限用户，其可以获取保留字段中的数据，从而获取每个第二码流，每个第二码流对应的每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流，基于通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的原始图像。实现对待隐藏区域的恢复。
实施例2：
为了便于解码端对码流进行解码，在上述实施例的基础上，在本发明实施例中，得到每个第一码流之后，所述方法还包括：
根据所述每个编码块的编码先后顺序，将每个第一码流进行排序。
电子设备在对图像中的每个编码块进行编码时，是存在先后顺序的，例如先对图像中第一行的第一个编码块进行编码，最后对图像中最后一行的最后一个编码块进行编码。在本发明实施例中，在得到每个第一码流之后，根据每个编码块的编码先后顺序，将每个第一码流进行排序。这样在后续解码时，只需对排序后的码流依次解码即可。
实施例3：
在上述实施例的基础上，在本发明实施例中，所述待隐藏区域的位置信息包括：
待隐藏区域的最小外接矩形区域的顶点坐标信息；或
待隐藏区域掩膜图。
在本发明实施例中，待隐藏区域的位置信息包括待隐藏区域的最小外接矩形区域的顶点坐标信息，例如，待隐藏区域的最小外接矩形区域的顶点分别为A，B，C，D。四个顶点的坐标信息分别为A(x1，y1)，B(x2，y2)，C(x3，y3)，D(x4，y4)。
或者待隐藏区域的位置信息包括待隐藏区域掩膜图。待隐藏区域掩膜图可以进行任意不规则区域的表示，无论待隐藏区域的形状如何，只要将待隐藏区域和非待隐藏区域用不同的像素值表示即可。例如，待隐藏区域掩膜图中非待隐藏区域的像素值为0，待隐藏区域的像素值为255。需要说明的是，本发明实施例中不对待隐藏区域的数量进行限定，当待隐藏区域的数量为多个时，只要保证任意两个待隐藏区域的像素值不同即可。例如，待隐藏区域的数量为3个，则待隐藏区域掩膜图中非待隐藏区域的像素值为0，第一个待隐藏区域的像素值为64，第二个待隐藏区域的像素值为128，第三个待隐藏区域的像素值为255。上述具体的像素值仅是其中的一个例子，本发明实施例不对具体的像素值进行限定，只要能够区分出每个待隐藏区域即可。
另外，在本发明实施例中，所述保留字段包括：
辅助增强信息(Supplement Enhancement Information，SEI)中payload为保留字类型的payload_type；或
保留字的网络抽象层单元(Network Abstract Layer Unit，NALU)。
实施例4：
在上述各实施例的基础上，在本发明实施例中，如果所述保留字段为SEI中payload为保留字类型的payload_type，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中包括：
将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。
每个第二码流和每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流中包括多个NALU，每个NALU包括NALU head和NALU body两部分内容。针对每个第二码流，将该第二码流、该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU中的NALU head数据和NALU body数据写入任意一个第一码流标准中的SEI保留字的payload中。payload用payload_type和payload size表示，payload_type表示该payload的类型，payload size表示该payload的大小。其中，表示该payload的payload_type为保留字段中的值。
所述任意一个第一码流标准包括：H.264标准或H.265标准；
表示所述payload的payload_type为大于181的值。
实施例5：
在上述各实施例的基础上，在本发明实施例中，如果所述保留字段为保留字的NALU，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中包括：
将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。
在本发明实施例中，每个第二码流和每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流中包括多个NALU，每个NALU包括NALU head和NALU body两部分内容。针对每个第二码流，去除该第二码流中的每个NALU的NALU head中的数据，去除该第二码流对应的第三码流以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的NALU head中的数据，并保留每个NALU的NALU body中的数据。然后将每个NALU的NALU body中的数据写入任意一个第一码流标准中的保留字的NALU，其中，每个NALU的NALUhead采用该任意一个第一码流标准中的保留字的NALU head。保留字的NALU采用该任意一个第一码流标准中的保留字段进行表示。
所述任意一个第一码流标准包括：H.264标准或H.265标准；
如果所述任意一个第一码流标准为H.264标准，所述任意一个第一码流标准中的保留字段为22-31中的值；
如果所述任意一个第一码流标准为H.265标准，所述任意一个第一码流标准中的保留字段为41-63中的值。
实施例6：
为了保证数据的安全性，在上述各实施例的基础上，在本发明实施例中，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中的保留字段中之后，所述方法还包括：
对所述保留字段中的数据进行加密处理。
在本发明实施例中，可以采用现有的数据加密算法对保留字段中的数据进行加密处理。其中数据加密算法可以是AES算法、RSA/ECC算法、Diffie-hellman算法、SHA-1/SHA-256算法等等。
实施例7：
在上述各实施例的基础上，本发明实施例提供了一种解码方法，图2为本发明实施例提供的解码过程示意图，该过程包括以下步骤：
S201：接收编码端发送的标识信息，确定与所述标识信息对应的第一码流，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流。
本发明实施例提供的解码方法应用于电子设备，该电子设备可以是PC、个人电脑等设备，也可以是图像采集设备，只要电子设备中包含解码端即可。
针对普通权限用户，无法获取保留字段中的数据，只能基于保存的第一码流对应的通道号和编码类型，对编码处理后的第一码流进行解码处理，得到解码后的非待隐藏区域图像，解码后的非待隐藏区域图像中每个待隐藏区域无法显示出原始的图像信息。
而针对高级权限用户，可以获取保留字段中的数据，具体的，高级权限用户可以向电子设备发送恢复隐藏区域的指示信息，电子设备接收到指示信息后，根据接收到的编码端发送的标识信息，确定与标识信息对应的第一码流，然后获取该第一码流的保留字段中的数据，从而获取每个第二码流，每个第二码流对应的每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流。
S202：基于所述通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
对每个第二码流的通道号和编码类型分别对应的码流进行解析，可以确定每个第二码流对应的通道号和编码类型，基于每个第二码流分别对应的通道号和编码类型，对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到解码处理后的非待隐藏区域图像。
确定解码处理后的非待隐藏区域图像的过程具体为，对编码处理后的每个第一码流进行解码处理，得到非待隐藏区域的每个编码块的第一预测信息和第一残差信息，基于非待隐藏区域的每个编码块的第一预测信息和第一残差信息，对非待隐藏区域的每个编码块进行解码处理，得到非待隐藏区域部分的图像，基于预设的第二预测信息和第二残差信息对待隐藏区域的每个编码块进行解码处理，得到隐藏后的待隐藏区域部分的图像，非待隐藏区域部分的图像和隐藏后的待隐藏区域部分的图像构成非待隐藏区域图像。
具体的，如果在编码时预设的第二预测信息与第一预测信息不同，预设的第二残差信息与第一残差信息相同，只将该编码块的第一预测信息进行编码，得到第二码流，此时在解码时，通过对第二码流解码得到该编码块的第一预测信息，通过对第一码流中与该编码块对应的编码块解码得到该编码块的第一残差信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
如果在编码时预设的第二预测信息与第一预测信息相同，预设的第二残差信息与第一残差信息不同，只将该编码块的第一残差信息进行编码，得到第二码流，此时在解码时，通过对第二码流解码得到该编码块的第一残差信息，通过对第一码流中与该编码块对应的编码块解码得到该编码块的第一预测信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
如果在编码时预设的第二预测信息与第一预测信息不同，预设的第二残差信息与第一残差信息不同，则可以将该编码块的第一残差信息和第一预测信息进行编码，得到第二码流，此时在解码时，通过对第二码流解码得到该编码块的第一残差信息和第一预测信息，进而根据该编码块的第一残差信息和第一预测信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像。
S203：根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
在得到解码处理后的待隐藏区域图像和非待隐藏区域图像之后，根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。该完整图像中可以显示出待隐藏区域的原始图像信息和非待隐藏区域的原始图像信息。
在本发明实施例中，针对高级权限用户，其可以获取保留字段中的数据，从而获取每个第二码流，每个第二码流对应的每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流，基于通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的原始图像。实现对待隐藏区域的恢复。
实施例8：
在上述各实施例的基础上，在本发明实施例中，保留字段包括：辅助增强信息SEI中payload为保留字类型的payload_type；或保留字的网络抽象层单元NALU。
如果所述保留字段为SEI中payload为保留字类型的payload_type，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流包括：
对所述第一码流标准中的SEI的保留字payload中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
由于在编码时，针对每个第二码流，将该第二码流和该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。在解码时，高级权限用户可以对该任意一个第一码流标准中的SEI保留字的payload中的数据进行解析，得到每个NALU的NALU head中的数据，每个NALU的NALU body中的数据，根据每个NALU的NALU head中的数据，每个NALU的NALU body中的数据，可以确定该第二码流对应的通道号和编码类型，基于该第二码流对应的通道号和编码类型，对该第二码流进行解码处理，得到解码处理后的待隐藏区域图像，并对每个第三码流进行解码处理，得到待隐藏区域中的每个编码块的坐标信息，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到解码处理后的非待隐藏区域图像。最后，根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
实施例9：
在上述各实施例的基础上，在本发明实施例中，如果所述保留字段为保留字的NALU，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流包括：
对所述第一码流标准中的保留字的NALU中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
由于在编码时，针对每个第二码流，将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。在解码时，高级权限用户可以对保留字的NALU中的数据进行解析，获取每个NALU的NALU head中的数据，每个NALU的NALU body中的数据，根据每个NALU的NALU head中的数据，每个NALU的NALU body中的数据，可以确定该第二码流对应的通道号和编码类型，基于该第二码流对应的通道号和编码类型，对该第二码流进行解码处理，得到解码处理后的待隐藏区域图像，并对每个第三码流进行解码处理，得到待隐藏区域中的每个编码块的坐标信息，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到解码处理后的非待隐藏区域图像。最后，根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
实施例10：
所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析之前，所述方法还包括：
判断编码处理后的所述第一码流标准中的保留字段中的数据是否经过加密处理；
如果是，对编码处理后的所述第一码流标准中的保留字段中的数据进行解密处理，并进行后续步骤，如果否，直接进行后续步骤。
由于在编码时，针对每个第二码流，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中之后，可以对保留字段中的数据进行加密处理。从而保证数据的安全。因此在解码时，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析之前，先判断编码处理后的第一码流标准中的保留字段中的数据是否经过加密处理，如果是，则先对编码处理后的第一码流标准中的保留字段中的数据进行解密处理，再进行后续解码的过程，如果否，直接进行后续解码的过程。
其中，对数据进行加密和解密的过程属于现有技术，在此不对该过程进行赘述。
图3为本发明实施例提供的解码流程示意图，如图3所示，编码端获取原始编码图像中待隐藏区域的位置信息，针对待隐藏区域中的编码块，采用预设的第二预测模式和第二残差信息进行编码得到第一码流，并对待隐藏区域中的编码块的第一预测模式和第一残差信息进行编码得到第二码流；针对非待隐藏区域中的编码块，采用第一预测模式和第一残差信息进行编码得到第一码流。第一码流为仅包含非隐藏区域的图像NALU码流。将每个第二码流、每个第三码流、每个第二码流和每个第三码流的通道号和编码类型分别对应的码流写入任意一个第一码流的保留字段中，即码流融合。解码端进行码流解混合，得到保留字段中的数据和第一码流数据。解码第一码流得到非隐藏区域纹理图像，非隐藏区域纹理图像为有隐藏区域的解码重建图。解码保留字段中数据得到待隐藏区域的编码块的坐标信息和第一残差信息、第一预测信息。基于第一残差信息、第一预测信息对待隐藏区域的编码块进行解码，得到待隐藏区域图像，基于待隐藏区域的编码块的坐标信息将待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像，也就是无隐藏的解码重建图。
图4为本发明实施例提供的编码装置结构示意图，所述装置包括：
获取模块41，用于获取图像中待隐藏区域的位置信息；
编码模块42，用于针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；
第一融合模块43，用于针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
所述编码模块42，还用于根据所述每个编码块的编码先后顺序，将每个第一码流进行排序。
所述待隐藏区域的位置信息包括：
待隐藏区域的最小外接矩形区域的顶点坐标信息；或
待隐藏区域掩膜图。
所述保留字段包括：
辅助增强信息SEI中有效载重payload为保留字类型的payload_type；或
保留字的网络抽象层单元NALU。
如果所述保留字段为SEI中payload为保留字类型的payload_type，所述第一融合模块43，具体用于将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。
所述任意一个第一码流标准包括：H.264标准或H.265标准；
表示所述payload的payload_type为大于181的值。
如果所述保留字段为保留字的NALU，所述第一融合模块43，具体用于将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。
所述任意一个第一码流标准包括：H.264标准或H.265标准；
如果所述任意一个第一码流标准为H.264标准，所述任意一个第一码流标准中的保留字段为22-31中的值；
如果所述任意一个第一码流标准为H.265标准，所述任意一个第一码流标准中的保留字段为41-63中的值。
所述装置还包括：
加密模块44，用于对所述保留字段中的数据进行加密处理。
图5为本发明实施例提供的解码装置结构示意图，所述装置包括：
解析模块51，用于接收编码端发送的标识信息，确定与所述标识信息对应的第一码流，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流；
解码模块52，用于基于所述通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；
第二融合模块53，用于根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
如果所述保留字段为SEI中payload为保留字类型的payload_type，所述解析模块51，具体用于对所述第一码流标准中的SEI的保留字payload中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
如果所述保留字段为保留字的NALU，所述解析模块51，具体用于对所述第一码流标准中的保留字的NALU中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
所述装置还包括：
解密模块54，用于判断编码处理后的所述第一码流标准中的保留字段中的数据是否经过加密处理；如果是，对编码处理后的所述第一码流标准中的保留字段中的数据进行解密处理，并触发所述解析模块51，如果否，直接触发所述解析模块51。
本发明实施例提供了一种编码方法及装置，所述方法包括：获取图像中待隐藏区域的位置信息；针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
由于在本发明实施例中，针对高级权限用户，其可以获取保留字段中的数据，从而获取每个第二码流，每个第二码流对应的每个第三码流，以及每个第二码流的通道号和编码类型分别对应的码流，基于通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的原始图像。实现对待隐藏区域的恢复。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (26)

1.一种编码方法，其特征在于，所述方法包括：
获取图像中待隐藏区域的位置信息；
针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；
针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
2.如权利要求1所述的方法，其特征在于，得到每个第一码流之后，所述方法还包括：
根据所述每个编码块的编码先后顺序，将每个第一码流进行排序。
3.如权利要求1所述的方法，其特征在于，所述待隐藏区域的位置信息包括：
待隐藏区域的最小外接矩形区域的顶点坐标信息；或
待隐藏区域掩膜图。
4.如权利要求1所述的方法，其特征在于，所述保留字段包括：
辅助增强信息SEI中有效载重payload为保留字类型的payload_type；或
保留字的网络抽象层单元NALU。
5.如权利要求4所述的方法，其特征在于，如果所述保留字段为SEI中payload为保留字类型的payload_type，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中包括：
将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。
6.如权利要求5所述的方法，其特征在于，所述任意一个第一码流标准包括：H.264标准或H.265标准；
表示所述payload的payload_type为大于181的值。
7.如权利要求4所述的方法，其特征在于，如果所述保留字段为保留字的NALU，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中包括：
将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。
8.如权利要求7所述的方法，其特征在于，所述任意一个第一码流标准包括：H.264标准或H.265标准；
如果所述任意一个第一码流标准为H.264标准，所述任意一个第一码流标准中的保留字段为22-31中的值；
如果所述任意一个第一码流标准为H.265标准，所述任意一个第一码流标准中的保留字段为41-63中的值。
9.如权利要求1所述的方法，其特征在于，将该第二码流，该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中之后，所述方法还包括：
对所述保留字段中的数据进行加密处理。
10.一种基于权利要求1-9任一项所述的编码方法的解码方法，其特征在于，所述方法包括：
接收编码端发送的标识信息，确定与所述标识信息对应的第一码流，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流；
基于所述通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；
根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
11.如权利要求10所述的方法，其特征在于，如果所述保留字段为SEI中payload为保留字类型的payload_type，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流包括：
对所述第一码流标准中的SEI的保留字payload中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
12.如权利要求10所述的方法，其特征在于，如果所述保留字段为保留字的NALU，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流包括：
对所述第一码流标准中的保留字的NALU中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
13.如权利要求10所述的方法，其特征在于，所述对编码处理后的所述第一码流标准中的保留字段中的数据进行解析之前，所述方法还包括：
判断编码处理后的所述第一码流标准中的保留字段中的数据是否经过加密处理；
如果是，对编码处理后的所述第一码流标准中的保留字段中的数据进行解密处理，并进行后续步骤，如果否，直接进行后续步骤。
14.一种编码装置，其特征在于，所述装置包括：
获取模块，用于获取图像中待隐藏区域的位置信息；
编码模块，用于针对图像中的每个编码块，确定该编码块的第一预测信息和第一残差信息；根据该编码块的坐标信息，判断该编码块是否为待隐藏区域的编码块；如果否，采用该编码块的第一预测信息和第一残差信息对该编码块进行编码，得到该编码块对应的第一码流；如果是，采用预设的第二预测信息和第二残差信息对该编码块进行编码，得到该编码块对应的第一码流，并将该编码块的第一预测信息和/或第一残差信息进行编码，得到第二码流；将该编码块的坐标信息进行编码，得到该编码块的坐标信息对应的第三码流；其中，所述预设的第二预测信息与所述第一预测信息不同，和/或预设的第二残差信息与所述第一残差信息不同；
第一融合模块，用于针对每个第二码流，将该第二码流、该第二码流对应的第三码流、以及该第二码流的通道号和编码类型分别对应的码流写入任意一个第一码流标准中的保留字段中，并将所述任意一个第一码流的标识信息发送至解码端。
15.如权利要求14所述的装置，其特征在于，所述编码模块，还用于根据所述每个编码块的编码先后顺序，将每个第一码流进行排序。
16.如权利要求14所述的装置，其特征在于，所述待隐藏区域的位置信息包括：
待隐藏区域的最小外接矩形区域的顶点坐标信息；或
待隐藏区域掩膜图。
17.如权利要求14所述的装置，其特征在于，所述保留字段包括：
辅助增强信息SEI中有效载重payload为保留字类型的payload_type；或
保留字的网络抽象层单元NALU。
18.如权利要求17所述的装置，其特征在于，如果所述保留字段为SEI中payload为保留字类型的payload_type，所述第一融合模块，具体用于将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的SEI保留字的payload中，其中，表示所述payload的payload_type为保留字段中的值。
19.如权利要求18所述的装置，其特征在于，所述任意一个第一码流标准包括：H.264标准或H.265标准；
表示所述payload的payload_type为大于181的值。
20.如权利要求17所述的装置，其特征在于，如果所述保留字段为保留字的NALU，所述第一融合模块，具体用于将该第二码流和该第二码流对应的第三码流，以及该第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据写入任意一个第一码流标准中的保留字的NALU，其中，所述保留字的NALU采用所述任意一个第一码流标准中的保留字段进行表示。
21.如权利要求20所述的装置，其特征在于，所述任意一个第一码流标准包括：H.264标准或H.265标准；
如果所述任意一个第一码流标准为H.264标准，所述任意一个第一码流标准中的保留字段为22-31中的值；
如果所述任意一个第一码流标准为H.265标准，所述任意一个第一码流标准中的保留字段为41-63中的值。
22.如权利要求14所述的装置，其特征在于，所述装置还包括：
加密模块，用于对所述保留字段中的数据进行加密处理。
23.一种基于权利要求14-22任一项所述的编码装置的解码装置，其特征在于，所述装置包括：
解析模块，用于接收编码端发送的标识信息，确定与所述标识信息对应的第一码流，对编码处理后的所述第一码流标准中的保留字段中的数据进行解析，获取每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流；
解码模块，用于基于所述通道号和编码类型，分别对每个第二码流进行解码处理，并基于每个第一码流分别对应的通道号和编码类型，对编码处理后的每个第一码流进行解码处理，得到待隐藏区域中的每个编码块的第一预测信息和第一残差信息，以及解码处理后的非待隐藏区域图像；基于所述每个编码块的第一预测信息和第一残差信息，对所述每个编码块进行解码处理，得到解码处理后的待隐藏区域图像；
第二融合模块，用于根据待隐藏区域中的每个编码块的坐标信息，将解码处理后的待隐藏区域图像和非待隐藏区域图像进行融合，得到恢复后的完整图像。
24.如权利要求23所述的装置，其特征在于，如果所述保留字段为SEI中payload为保留字类型的payload_type，所述解析模块，具体用于对所述第一码流标准中的SEI的保留字payload中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
25.如权利要求23所述的装置，其特征在于，如果所述保留字段为保留字的NALU，所述解析模块，具体用于对所述第一码流标准中的保留字的NALU中的数据进行解析，得到每个第二码流、每个第三码流、以及每个第二码流的通道号和编码类型分别对应的码流中的每个NALU的数据。
26.如权利要求23所述的装置，其特征在于，所述装置还包括：
解密模块，用于判断编码处理后的所述第一码流标准中的保留字段中的数据是否经过加密处理；如果是，对编码处理后的所述第一码流标准中的保留字段中的数据进行解密处理，并触发所述解析模块，如果否，直接触发所述解析模块。
CN201810601899.0A 2018-06-12 2018-06-12 一种编解码方法及装置 Active CN108848382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810601899.0A CN108848382B (zh) 2018-06-12 2018-06-12 一种编解码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810601899.0A CN108848382B (zh) 2018-06-12 2018-06-12 一种编解码方法及装置

Publications (2)

Publication Number Publication Date
CN108848382A CN108848382A (zh) 2018-11-20
CN108848382B true CN108848382B (zh) 2020-04-03

Family

ID=64211011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810601899.0A Active CN108848382B (zh) 2018-06-12 2018-06-12 一种编解码方法及装置

Country Status (1)

Country Link
CN (1) CN108848382B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118042162A (zh) * 2022-11-14 2024-05-14 杭州海康威视数字技术股份有限公司 一种图像解码、图像编码方法、装置及其设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681803A (zh) * 2016-01-21 2016-06-15 宁波大学 一种大容量的hevc视频信息隐藏方法
EP3340624A1 (en) * 2016-12-20 2018-06-27 Axis AB Encoding a privacy masked image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932045B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681803A (zh) * 2016-01-21 2016-06-15 宁波大学 一种大容量的hevc视频信息隐藏方法
EP3340624A1 (en) * 2016-12-20 2018-06-27 Axis AB Encoding a privacy masked image

Also Published As

Publication number Publication date
CN108848382A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN108965882B (zh) 一种编解码方法及装置
CN101867750B (zh) 应用于视频监控系统的osd信息处理方法及其装置
CN104185998B (zh) 用于视频的密码访问控制的方法和系统
US8401188B1 (en) System and method for partial encryption of frame-based electronic content
US20160294781A1 (en) Partial or complete image obfuscation and recovery for privacy protection
JP4812117B2 (ja) コンテンツ暗号化装置及びそのプログラム、並びに、コンテンツ復号装置及びそのプログラム
EP3668104B1 (en) Video scrambling method and device with adaptive mode selection, network camera and readable storage medium
CN102547254A (zh) 一种基于水印和加密的数字视频图像版权保护方法及系统
CN101389005A (zh) 一种对图像特定位置进行遮挡的方法及装置
CN113422882B (zh) 图像压缩编码的分级加密方法、系统、设备与存储介质
CN102724552B (zh) 一种图像编码方法、图像解码方法及装置
CN106664203A (zh) 用于保护结合独立编码的方格的单元位流的系统和方法
US9615131B2 (en) System and method of motion detection on encrypted or scrambled video data streams
CN104038761A (zh) 一种基于cabac二进制串映射的加密域h.264/avc视频数据隐藏方法
CN100456668C (zh) 信息处理方法和信息处理设备
KR101535694B1 (ko) 오디오비주얼 데이터의 안전한 분배 방법 및 시스템
CN108848382B (zh) 一种编解码方法及装置
Korshunov et al. Scrambling-based tool for secure protection of JPEG images
CN108833921B (zh) 一种编解码方法及装置
US20050094810A1 (en) Architecture and method of multilayered DRM protection for multimedia service
KR20180102455A (ko) 고효율비디오코딩 파일 영상내 개인정보 보호 방법
CN111614930B (zh) 一种视频监控方法、系统、设备及计算机可读存储介质
CN103533457A (zh) 多媒体数字水印嵌入及分离方法和装置
CN104272748A (zh) 抗加密水印
CN116827914A (zh) 一种用于移动端的视频信息防劫持、盗取的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant