CN106341664B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN106341664B
CN106341664B CN201610866254.0A CN201610866254A CN106341664B CN 106341664 B CN106341664 B CN 106341664B CN 201610866254 A CN201610866254 A CN 201610866254A CN 106341664 B CN106341664 B CN 106341664B
Authority
CN
China
Prior art keywords
roi
image
area
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610866254.0A
Other languages
English (en)
Other versions
CN106341664A (zh
Inventor
吴参毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Yushi Intelligent Technology Co ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201610866254.0A priority Critical patent/CN106341664B/zh
Publication of CN106341664A publication Critical patent/CN106341664A/zh
Application granted granted Critical
Publication of CN106341664B publication Critical patent/CN106341664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种数据处理方法及装置，所述方法包括：确定监控图像中的ROI区域；对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像；对所述第一图像进行JPEG编码，并将编码后的第一图像携带在JPEG码流的Frame字段中；对所述第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的APP字段中，并对该APP字段进行加密；将所述JPEG码流发送给解码端设备。应用本发明实施例可以保证授权用户和未授权用户可以观看到不同的监控图像。

Description

一种数据处理方法及装置
技术领域
本发明涉及视频监控技术领域，尤其涉及一种数据处理方法及装置。
背景技术
在视频监控系统中，安全问题变得日益重要。视频监控系统的安全包括设备访问安全、用户访问安全、码流传输安全、存储安全，等等。由此来说，对视频监控系统中的图片传输和存储来讲，也必须是安全的。所谓图片安全是指在视频监控系统中传输和存储的图片，即使被不法分子获取，也无法看到图片中的重要信息，但可以看到图片中不重要的信息。
目前较为普遍的保证图片安全的方式是通过对图片中特定对象的主要身份部位(比如脸部)打马赛克的方式，观看者无法通过对象的其他部位也无法识别该对象身份。这种方式是在将图像编码为JPEG(Joint Photographic Experts Group，联合图像专家小组)图片之前就打马赛克，然后进行JPEG编码，即通过解码JPEG图片无法恢复打马赛克前的图像效果。
然而实践发现，上述方式并不适用于视频监控应用。在视频监控应用中，需要保证未授权用户观看到的为进行安全处理后的图片，同时，授权用户仍然能够看到原始清晰的图片的所有信息。即对同一个JPEG图片，需要保证未授权用户和授权用户可以观看到不同的内容。
发明内容
本发明提供一种数据处理方法及装置，以解决现有视频监控应用中授权用户和未授权用户观看到的监控图像相同的问题。
根据本发明的第一方面，提供一种数据处理方法，应用于视频监控系统中的编码端设备，所述方法包括：
确定监控图像中的感兴趣区域ROI区域；
对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像；其中，所述第一图像为隐藏处理后的监控图像，所述第二图像为与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像；
对所述第一图像进行联合图像专家小组JPEG编码，并将编码后的第一图像携带在JPEG码流的帧Frame字段中；
对所述第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的应用APP字段中，并对该APP字段进行加密；
将所述JPEG码流发送给解码端设备。
根据本发明的第二方面，提供一种数据处理装置，应用于视频监控系统中的编码端设备，所述装置包括：
确定单元，用于确定监控图像中的感兴趣区域ROI区域；
处理单元，用于对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像；其中，所述第一图像为隐藏处理后的监控图像，所述第二图像为与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像；
编码单元，用于对所述第一图像进行联合图像专家小组JPEG编码，并将编码后的第一图像携带在JPEG码流的帧Frame字段中；对所述第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的应用APP字段中；
加密单元，用于并对该APP字段进行加密；
发送单元，用于将所述JPEG码流发送给解码端设备。
应用本发明公开的技术方案，通过确定监控图像中的ROI区域，并对监控图像中的ROI区域进行隐藏处理，得到第一图像和第二图像，并对第一图像进行JPEG编码，将编码后的第一图像携带在JPEG码流的Frame字段中；对第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的APP字段中，并对该APP字段进行加密，进而，将JPEG码流发送给解码端设备，从而使得具有解密口令的解码设备能够对编码且加密后的第二图像进行解密和解码，进而根据解密和解码后的第二图像与解码后的第一图像恢复隐藏处理前的监控图像，而不具有解密口令的解码设备仅能得到解码后的第一图像，即隐藏处理后的监控图像，从而保证了授权用户和未授权用户可以观看到不同的监控图像。
附图说明
图1是本发明实施例提供的一种数据处理方法的流程示意图；
图2A～2B是JEGP码流的结构示意图；
图3是本发明实施例提供的ROI区域残差图像处理的流程示意图；
图4是本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，图1为本发明实施例提供的一种数据处理方法的流程示意图，该方法可以应用于视频监控系统中的编码端设备，如图1所示，该视频摘要生成方法可以包括以下步骤：
步骤101、确定监控图像中的ROI区域。
本发明实施例中，编码端设备可以包括但不限于编码器或者具有编码功能的视频采集设备，如IPC(Internet Protocol Camera，网络摄像机)等。
由于对于视频监控应用来说，摄像机通常安装在固定的位置，因此场景也固定，同时每个摄像机需要监控的对象类型也是固定的。比如对卡口应用摄像机都是安装在城市道路的路干，拍摄场景都是机动车道，监控对象都是机动车。对电子警察应用摄像机，都是安装在城市道路的交叉路口，拍摄场景是包含有人行斑马线的交叉路口，监控对象是机动车、非机动车、行人。对轨道交通车站监控应用来讲，监控对象一般都是行人。对银行室内监控应用来讲，监控对象一般是人，但是需要对象身份隐藏的除了场景中的人，还有一些银行特有的标示牌等。对家庭监控应用来讲，可能为家里的一些特有标识物。
因此，监控图像中需要隐藏的对象类型依视频监控应用和场景而定。当编码端设备需要对采集的视频图像编码为图片(本文中以IPEG格式图片为例)时，出于安全需要都需要对设定的对象进行隐藏，以免JPEG图片在传输或者存储的过程中，在未经授权的情况下造成对象身份信息泄露。
本发明实施例中，考虑到大部分的视频监控场景需要监控的对象都是运动的，因此，为了更准确的确定被隐藏对象区域，首先需要基于视频进行背景建模，然后进行前景检测(比如最简单的前后帧求差法)。但是运动前景不一定真正的就是要隐藏的对象，因此，在检测到的前景检测区域上进一步使用对象模型(比如训练轿车CNN(Convolutional NeuralNetwork，卷积神经网络)模型、大客车CNN模型、非机动车CNN模型、行人CNN模型)进行对象检测。
本发明实施例中，编码端设备检测到监控图像中需要隐藏的对象之后，可以根据需要隐藏的对象在监控图像中的位置确定监控图像中的ROI(Region of Interest，感兴趣区域)区域。其中，每个监控图像中可以对多种类型的对象进行身份隐藏，每种类型的对象可以包括多个对象。
举例来说，假设监控图像中需要隐藏N类对象，每类有J个对象(共对应N*J个ROI区域)，每个对象的对象检测输出的ROI为roi_i_j(0≤i<N，0≤j<J),每类对象的ROI(roi_i)可以认为是监控图像中该类对象的所有对象的汇总，例如，假设监控图像中包含J个行人。roi_i(0≤i<N)为:
0≤j＜J-1
0≤i＜N-1
本发明实施例中，编码端设备确定监控图像中的ROI区域之后，可以标识每个ROI区域在整个图像中的位置以及大小，并使用对象区域矩阵(M_i_j)进行标识。
步骤102、对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像，其中，该第一图像为隐藏处理后的监控图像，第二图像为与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像。
本发明实施例中，编码端设备确定了监控图像中的ROI区域时，可以对该监控图像中的ROI区域进行隐藏处理，分别得到隐藏处理后的监控图像(本文中称为第一图像)以及与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像(本文中称为第二图像)。
其中，ROI区域残差图像用于将隐藏处理后的监控图像中的ROI区域恢复为隐藏处理前的状态，即根据隐藏处理后的监控图像以及ROI区域残差图像可以将隐藏处理后的监控图像恢复为隐藏处理前的状态。
作为一种可选的实施方式，上述步骤102中，对监控图像进行隐藏处理，可以包括：
对于监控图像中的任一ROI区域，当该ROI区域为矩形区域时，将预设掩码模板的大小缩放为该ROI区域的大小一致，并覆盖该ROI区域；
根据该ROI区域以及该ROI区域对应的掩码模板确定该ROI区域对应ROI区域残差图像。
在该实施方式中，当监控图像中的ROI区域为矩形区域时，可以通过掩码模板覆盖的方式对监控图像中的ROI区域进行隐藏处理。
举例来说，假设预设掩码模板为一个尺寸为W_m×H_m的图像mask_i_j，若ROI区域(roi_i_j)的尺寸为W_roi×H_roi，则需要把掩码模板图像尺寸缩放到和ROI尺寸一样大，然后使用缩放后的mask_i_j覆盖ROI区域roi_i_j，并根据该ROI区域以及该ROI区域对应的掩码模板确定该ROI区域对应ROI区域残差图像。
例如，可以将ROI区域与该ROI区域对应的掩码模板的差值确定该ROI区域对应的ROI区域残差图像diff_roi_i_j，其中：ROI区域、ROI区域对应的掩码模板以及ROI区域残差图像的像素值满足以下公式：
diff_roi_i_j(l,r)＝roi_i_j(l,r)-mask_i_j(l,r)
其中，(l，r)为ROI区域中各像素点相对于其左上角的坐标，即ROI区域残差图像中任一位置的像素点的像素值为ROI区域中该位置的像素点的像素值与对应的掩码模板中该位置的像素点的像素值的差值。
作为另一种可选的实施方式，上述步骤102中，对监控图像中的ROI区域进行掩藏处理，可以包括：
对于监控图像中任一ROI区域，将该ROI区域划分为多个块区域；
对于任一块区域，将该块区域内各像素点的像素值的平均值进行预设偏移后的值确定为该区域内各像素点的像素值；
根据该ROI区域以及该ROI区域中各块区域确定该ROI区域对应ROI区域残差图像。
在该实施方式中，可以通过对ROI区域打马赛克的方式对监控图像中的ROI区域进行隐藏。
举例来说，假设ROI区域尺寸为W_roi×H_roi，可以将ROI区域以尺寸W_blk×H_blk进行块划分，对于每一个块区域，可以使用某个特定像素值取代该块区域内各像素点的像素值，例如，可以将该块区域内各像素点的像素值的平均值再进行一定偏移得到的值，作为该块区域内各像素点的像素值，实现马赛克效果。其中，进行隐藏处理后的ROI区域内各像素点的像素值满足以下公式：
其中，(bl，br)为ROI区域内以块区域为单位的坐标(同一块区域内各像素点坐标相同)，ROI区域中左上角的块区域坐标为(0，0)，右下角的块区域的坐标为offset为0时，则块区域内的所有像素点值取值该区域内的像素平均值。其中，ROI区域、ROI区域中各块区域以及ROI区域残差图像的像素值满足以下公式：
diff_roi_i_j_bl_br(l,r)＝roi_i_j_bl_br(l,r)-pix_roi_i_j(bl,br)
其中，(l，r)为各块区域内像素点相对于其左上角的坐标，即ROI区域残差图像的任一块区域内任一位置的像素点的像素值等于ROI区域内该块区域内该位置的像素点的原始像素值与上述偏移处理后的该块区域内该位置的像素点的像素值的差值。
进一步地，在该实施方式中，考虑到对ROI区域进行马赛克处理时，若块区域尺寸太小，即分割粒度过小，容易导致细节信息隐藏效果差；若块区域尺寸过大，将对导致ROI区域残差图像的差值很大，最后残差图像编码时得到的码流会比较大。
相应地，在该实施方式的一实施例中，ROI区域中各操作块的大小需要满足以下公式：
其中，W_roi和H_roi分别为ROI区域的宽和高，W_blk和H_blk分别为块区域的宽和高，β为预先设定的常数。
此外，以图像编码为JPEG编码为例，由于在JPEG标准中，图像亮度平面是以8*8为单位进行处理的，故块区域的宽和高均应为8的整数倍。
进一步地，在该实施方式中，考虑到当监控图像的ROI区域内存在大面积的相同颜色，如对象为某种颜色的机动车时，为了保证充分的马赛克现象，需要保证相邻块区域内的像素点的像素值的差值大于预设阈值。
例如，ROI区域内相邻块区域内像素点的像素值的差值可以满足以下公式：
pix_roi_i_j(bl,br)-pix_roi_i_j(bl,br-1)＞βoffset
pix_roi_i_j(bl,br)-pix_roi_i_j(bl-1,br)＞βoffset
pix_roi_i_j(bl,br)-pix_roi_i_j(bl-1,br-1)＞αoffset
pix_roi_i_j(bl,br)-pix_roi_i_j(bl+1,br-1)＞αoffset
即当前块区域(本文中称为目标块区域，可以为ROI区域中任一块区域)和相邻上方块区域的像素值偏移、和相邻左方块区域的像素值偏移必须大于βoffset(本文中称为第一阈值)，当前块区域和相邻左上方块区域的像素值偏移、和相邻右上方块区域的像素值偏移必须大于αoffset(本文中称为第二阈值)。其中，αoffset＜βoffset。
值得说明的是，在本发明实施例中，对图像进行求差处理得到残差图像时需要分别在每个颜色通道实现。若输入的图像使用RGB(Red，Green，Blue，红、绿、蓝)颜色空间，则分别在R平面、G平面、B平面求差值；若输入图像使用YUV(一种颜色编码方法)颜色空间，则分别在Y(明亮度)平面、U(色度)平面、V(色度)平面求差值，其具体实现在此不再赘述。
步骤103、对第一图像进行JPEG编码，并将编码后的第一图像携带在JPEG码流的Frame字段中。
步骤104、对第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的APP字段中，并对该APP字段进行加密。
步骤105、将该JPEG码流发送给解码端设备。
需要说明的是，在本发明实施中，对第一图像进行JPEG编码和对第二图像进行JPEG增强编码之间并不存在必然的时序关系，即可以按照图1所示方法流程中的先对第一图像进行JPEG编码，后对第二图像进行JPEG增强编码，也可以先对第二图像进行JPEG增强编码，后对第一图像进行JPEG增强编码，本发明实施例后续不再复述。
本发明实施例中，编码端设备对监控图像进行隐藏处理得到第一图像和第二图像之后，可以分别对第一图像以及第二图像进行编码，并对编码后的第二图像进行加密，进而，将编码后的第一图像以及编码且加密后的第二图像发送给解码设备。
对于未授权用户，由于无法对编码且加密后的第二图像进行解密和解码，因此，只能看到隐藏处理后的监控图像。
对于授权用户，可以对编码且加密后的第二图像进行解码和解码，并根据解码后得到的第二图像以及解码后得到的第一图像恢复隐藏处理前的监控图像。
作为一种可选的实施方式，在本发明实施例中，可以对现有JPEG码流进行扩展，在JPEG码流中新增用户自定义的APP(Application，应用)字段，用于携带ROI区域残差图像编码后的码流。
具体地，编码端设备可以对ROI区域残差图像进行JPEG增强编码，编码码流作为JPEG主码流的APP字段(本文中可以称为Frame_advance字段)，放在EOI(End of Image，图像结束)字段的前面；而隐藏处理后的监控图像编码后的编码码流可以作为JPEG主码流的Frame字段(本文中可以称为Frame_main字段，在SOI(Start of Image，图像开始)字段的后面)；其中，Frame_advance字段需要进行加密，只有授权用户得到解码口令后才能对其进行解密。
此外，由于兼容ITU-T T.81(一种JPEG标准)的JPEG解码器是无法解码APP字段的，因此，授权用户在得到解码口令后，需要通过具有相应的APP解码模块的JPEG解码器对该APP字段进行解密和解码，以得到ROI区域残差图像，并正确地将该ROI区域残差图像叠加到隐藏处理后的监控图像中的相应位置，恢复出原始图像。
举例来说，参见图2A和图2B，图2A为标准JPEG码流的结构示意图图，图2B为本发明实施例提供的扩展并修改后的JPEG码流的结构示意图。
在该示例中，编码端设备可以将各ROI区域对应的ROI区域残差图像增强编码为Frame_advance字段，该Frame_advance字段是标准的Frame字段的扩展。其中，Frame_advance字段中的Frame_advance_header_ext()部分是对JPEG标准中Frame字段中的Frame_header_ext()的扩展，其具体语法格式可以如表1所示：
表1
其中，app_header：0XFFE0～0XFFEF；
app_version：用于表示版本号。
encrpt_mode：用于标识本APP段加密模式。
protect_mode：用于表示本APP段中的类型i中的所有对象的信息隐藏模式，包括使用掩码模板对ROI区域进行隐藏或使用马赛克对ROI区域进行隐藏。
Frame_advance(增强编码帧)字段中的每个Scan_advance(增强扫描)字段中包含每个类型的所有ROI残差图像增强编码，scan_advance_0中，其对应着第0个ROI区域中的所有颜色分量平面中的所有ECS(Entropy-Coded Segment，熵编码字段)，通过Scan_advance_header可以获知每个颜色分量平面MCU(Minimum Coded Unit，最小编码单元)块的数目，进而确定每个ECS中的每个MCU所属的颜色分量平面。其中Scan_advance_header中的Scan_advance_header_ext()部分是对JPEG标准中Scan_header_ext()的扩展，其具体语法格式如表2和表3所示，其他部分的语法参数的语义和JPEG标准相同。
表2
其中，object_i_type：标识本APP段进行信息隐藏的对象类型。
object_i_num：标识本APP段类型i对象的所有数目。
qp_i_j_factor_num、qp_i_j_factor_den:为对主图像的量化表进行缩放的的缩放因子。由于diff_roi_i_j的值相比roi_i_j的原始图像值小很多，此时不能使用和主图像的量化表中的值再进行量化，否则要损失很多图像纹理，故需要是要使用更小的量化因子进行量化，所以必须要对主图像使用的量化表中的量化值进行一定的缩放。
roi_i_j_lt_x和roi_i_j_lt_y：本APP段中类型i的第j个对象的ROI区域左上角像素相对于图像左上角像素坐标(0,0)的坐标。
roi_i_j_width和roi_i_j_height：本APP段中类型i的第j个对象的ROI区域的亮度平面像素宽和高。
roi_i_j_blk_cols和roi_i_j_blk_rows：本APP段中类型i的第j个对象的ROI区域分割块的行数和列数。即ROI以块为单位，水平方向分为roi_i_j_blk_cols块，竖直方向分为roi_i_j_blk_rows块。
M_i_j[row][col]：本APP段中类型i的第j个对象的ROI区域分割块矩阵，M_i_j[row][col]为1标识该块属于ROI区域；为0标识该块不属于ROI区域。
表3
其中，alignment_zero_bit：当表2中的M_i_j包含的比特数达不到8的整数倍时，需要在末尾填充alignment_zero_bit(0)，实现字节对齐。
Scan_advance字段中包含的ECS_advance是对JPEG标准中的ECS的扩展，每个Scan_adbance_i段中的ECS_advance_j段对应于类型i的第i个ROI区域中的所有MCU的熵编码码流。其中ECS_advance_j是对JPEG标准的ECS段的扩展，标准的ECS段中的MCU满足：在图像中基于先左后右，先上后下，每MCU行的MCU数目相等。但是在ECS_advance中，尤其是非矩形ROI区域，其中的MCU虽然也满足先上后下，先左后右的扫描顺序，但是每个MCU行的MCU数目不一定相等。
可选地，在该实施方式中，对APP字段(即扩展的Frame字段-Frame_advance字段)进行加密时，可以仅对扩展的Frame字段的Scan字段中的ECS字段进行加密，其它部分不进行加密。
下面结合具体场景对ROI区域残差图像的处理进行说明。
请参见图3，假设监控图像中需要隐藏N类对象，每类有J个对象(共对应N*J个ROI区域)，每个对象的对象检测输出的ROI为roi_i_j(0≤i<N，0≤j<J)，每类对象的ROI(roi_i)可以认为是监控图像中该类对象的所有对象的汇总，编码端设备确定监控图像中的ROI区域之后，可以标识每个ROI区域在整个图像中的位置以及大小，并使用对象区域矩阵(M_i_j)进行标识。
基于上述场景，对监控图像进行隐藏处理流程如下：
1、类i对象区域roi_i确认；
即编码端设备对监控图像中的N类对象进行检测，并确定每一类对象的ROI区域；其中，对于每一类对象的ROI区域(roi_i)都可以包括J个ROI区域(可以表示为roi_i_j)；
2、类i对象区域roi_i矩阵M_i确认；
即编码端设备使用对象区域矩阵对各类对象的ROI区域进行标识；其中，对于每一类对象区域(roi_i)对应的对象区域矩阵(M_i)均可以包括J个对象区域矩阵(可以表示为M_i_j)；
3、类i对象区域roi_i隐藏处理；
即编码端设备确定了各类对象对应的ROI区域进行隐藏处理，其中，对于每一类对象区域(roi_i)需要分别对该类对象包括的J个对象区域(即roi_i_j)进行隐藏处理；
4、类i对象区域roi_i求差值；
即编码端设备通过像素值求差的方式确定各ROI区域对应的ROI区域残差图像(本文中称为diff_roi_i)；其中，对于每一类对象区域(roi_i)需要分别确定该类对象包括的J个对象区域对应的ROI区域残差图像(diff_roi_i_j)；
5、类i对象区域差值域增强编码；
即编码端设备对各ROI区域残差图像进行增强编码(类i对象对应的ROI区域残差图像编码后的码流可以称为JPEG_diff_roi_i)；其中，对于每一类对象区域对应的J个ROI区域残差图像，需要分别进行JPEG增强编码(编码后的码流可以分别称为JPEG_diff_roi_i_j)；
6、所有类对象差值域JPEG码合并，添加APP头部；
即编码端设备将所有类对象差值域(共N*J个)JPEG增强编码后的码流进行合并，并添加APP头部；其中，当该APP字段为扩展并修改后的Frame字段时，即添加扩展并修改后的Frame头部；
7、所有类对象差值域JPEG码流加密。
即编码端设备对APP字段中包括的类对象差值域JPEG码流进行加密；其中，当APP字段为扩展并修改后的Frame字段时，可以仅对Scan字段中的ECS字段进行加密。
其中，步骤1～7中的实现细节可以参见图1所示方法流程中的相关描述，本发明实施例在此不再赘述。
通过以上描述可以看出，在本发明实施例提供的技术方案中，通过确定监控图像中的ROI区域，并对监控图像中的ROI区域进行隐藏处理，得到第一图像和第二图像，并对第一图像进行JPEG编码，将编码后的第一图像携带在JPEG码流的Frame字段中；对第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的APP字段中，并对该APP字段进行加密，进而，将JPEG码流发送给解码端设备，从而使得具有解密口令的解码设备能够对编码且加密后的第二图像进行解密和解码，进而根据解密和解码后的第二图像与解码后的第一图像恢复隐藏处理前的监控图像，而不具有解密口令的解码设备仅能得到解码后的第一图像，即隐藏处理后的监控图像，从而保证了授权用户和未授权用户可以观看到不同的监控图像。
请参见图4，为本发明实施例提供的一种数据处理装置的结构示意图，其中，该数据处理装置可以应用于上述方法实施例中的编码端设备，如图4所示，该数据处理装置可以包括：
确定单元410，用于确定监控图像中的感兴趣区域ROI区域；
处理单元420，用于对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像；其中，所述第一图像为隐藏处理后的监控图像，所述第二图像为与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像；
编码单元430，用于对所述第一图像进行联合图像专家小组JPEG编码，并将编码后的第一图像携带在JPEG码流的帧Frame字段中；对所述第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的应用APP字段中；
加密单元440，用于并对该APP字段进行加密；
发送单元450，用于将所述JPEG码流发送给解码端设备。
在可选实施例中，所述处理单元420，可以具体用于对于所述监控图像中的任一ROI区域，当该ROI区域为矩形区域时，将预设掩码模板的大小缩放为该ROI区域的大小一致，并覆盖该ROI区域；根据该ROI区域以及该ROI区域对应的掩码模板确定该ROI区域对应ROI区域残差图像。
在可选实施例中，所述处理单元420，可以具体用于对于所述监控图像中任一ROI区域，将该ROI区域划分为多个块区域；对于任一块区域，将该块区域内各像素点的像素值的平均值进行预设偏移后的值确定为该块区域内各像素点的像素值；根据该ROI区域以及该ROI区域中各块区域确定该ROI区域对应ROI区域残差图像。
在可选实施例中，ROI区域内相邻块区域内像素点的像素值的差值满足以下条件：
所述ROI区域中任一目标块区域内的像素点的像素值与相邻上方块区域内像素点的像素值的差值大于第一阈值；
所述目标块区域内的像素点的像素值与相邻左方块区域内像素点的像素值的差值大于第一阈值；
所述目标块区域内的像素点的像素值与相邻左上方块区域内像素点的像素值的差值大于第二阈值；
所述目标块区域内的像素点的像素值与相邻右上方块区域内像素点的像素值的差值大于第二阈值；
其中，第一阈值大于第二阈值。
在可选实施例中，所述加密单元440，具体用于对扩展并修改后的Frame字段的Scan字段中的ECS字段进行加密。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，通过确定监控图像中的ROI区域，并对监控图像中的ROI区域进行隐藏处理，得到第一图像和第二图像，并对第一图像进行JPEG编码，将编码后的第一图像携带在JPEG码流的Frame字段中；对第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的APP字段中，并对该APP字段进行加密，进而，将JPEG码流发送给解码端设备，从而使得具有解密口令的解码设备能够对编码且加密后的第二图像进行解密和解码，进而根据解密和解码后的第二图像与解码后的第一图像恢复隐藏处理前的监控图像，而不具有解密口令的解码设备仅能得到解码后的第一图像，即隐藏处理后的监控图像，从而保证了授权用户和未授权用户可以观看到不同的监控图像。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种数据处理方法，应用于视频监控系统中的编码端设备，其特征在于，所述方法包括：
确定监控图像中的感兴趣区域ROI区域；
对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像；其中，所述第一图像为隐藏处理后的监控图像，所述第二图像为与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像；
对所述第一图像进行联合图像专家小组JPEG编码，并将编码后的第一图像携带在JPEG码流的帧Frame字段中；
对所述第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的扩展并修改后的Frame字段中，并对扩展并修改后的Frame字段的扫描Scan字段中的熵编码字段ECS字段进行加密；
将所述JPEG码流发送给解码端设备。
2.根据权利要求1所述的方法，其特征在于，所述对监控图像中的ROI区域进行隐藏处理，包括：
对于所述监控图像中的任一ROI区域，当该ROI区域为矩形区域时，将预设掩码模板的大小缩放为与该ROI区域的大小一致，并覆盖该ROI区域；
根据该ROI区域以及该ROI区域对应的掩码模板确定该ROI区域对应ROI区域残差图像。
3.根据权利要求1所述的方法，其特征在于，所述对监控图像中的ROI区域进行隐藏处理，包括：
对于所述监控图像中任一ROI区域，将该ROI区域划分为多个块区域；
对于任一块区域，将该块区域内各像素点的像素值的平均值进行预设偏移后的值确定为该块区域内各像素点的像素值；
根据该ROI区域以及该ROI区域中各块区域确定该ROI区域对应ROI区域残差图像。
4.根据权利要求3所述的方法，其特征在于，ROI区域内相邻块区域内像素点的像素值的差值满足以下条件：
所述ROI区域中任一目标块区域内的像素点的像素值与相邻上方块区域内像素点的像素值的差值大于第一阈值；
所述目标块区域内的像素点的像素值与相邻左方块区域内像素点的像素值的差值大于第一阈值；
所述目标块区域内的像素点的像素值与相邻左上方块区域内像素点的像素值的差值大于第二阈值；
所述目标块区域内的像素点的像素值与相邻右上方块区域内像素点的像素值的差值大于第二阈值；
其中，第一阈值大于第二阈值。
5.一种数据处理装置，应用于视频监控系统中的编码端设备，其特征在于，所述装置包括：
确定单元，用于确定监控图像中的感兴趣区域ROI区域；
处理单元，用于对监控图像中的ROI区域进行隐藏处理，以得到第一图像和第二图像；其中，所述第一图像为隐藏处理后的监控图像，所述第二图像为与隐藏处理后的监控图像中的ROI区域对应的ROI区域残差图像；
编码单元，用于对所述第一图像进行联合图像专家小组JPEG编码，并将编码后的第一图像携带在JPEG码流的帧Frame字段中；对所述第二图像进行JPEG增强编码，将编码后的第二图像携带在JPEG码流的应用APP字段中；所述APP字段为扩展并修改后的Frame字段；
加密单元，用于对扩展并修改后的Frame字段的Scan字段中的熵编码字段ECS字段进行加密；
发送单元，用于将所述JPEG码流发送给解码端设备。
6.根据权利要求5所述的装置，其特征在于，
所述处理单元，具体用于对于所述监控图像中的任一ROI区域，当该ROI区域为矩形区域时，将预设掩码模板的大小缩放为该ROI区域的大小一致，并覆盖该ROI区域；根据该ROI区域以及该ROI区域对应的掩码模板确定该ROI区域对应ROI区域残差图像。
7.根据权利要求5所述的装置，其特征在于，
所述处理单元，具体用于对于所述监控图像中任一ROI区域，将该ROI区域划分为多个块区域；对于任一块区域，将该块区域内各像素点的像素值的平均值进行预设偏移后的值确定为该块区域内各像素点的像素值；根据该ROI区域以及该ROI区域中各块区域确定该ROI区域对应ROI区域残差图像。
8.根据权利要求7所述的装置，其特征在于，ROI区域内相邻块区域内像素点的像素值的差值满足以下条件：
所述ROI区域中任一目标块区域内的像素点的像素值与相邻上方块区域内像素点的像素值的差值大于第一阈值；
所述目标块区域内的像素点的像素值与相邻左方块区域内像素点的像素值的差值大于第一阈值；
所述目标块区域内的像素点的像素值与相邻左上方块区域内像素点的像素值的差值大于第二阈值；
所述目标块区域内的像素点的像素值与相邻右上方块区域内像素点的像素值的差值大于第二阈值；
其中，第一阈值大于第二阈值。
CN201610866254.0A 2016-09-29 2016-09-29 一种数据处理方法及装置 Active CN106341664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610866254.0A CN106341664B (zh) 2016-09-29 2016-09-29 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610866254.0A CN106341664B (zh) 2016-09-29 2016-09-29 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN106341664A CN106341664A (zh) 2017-01-18
CN106341664B true CN106341664B (zh) 2019-12-13

Family

ID=57839545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866254.0A Active CN106341664B (zh) 2016-09-29 2016-09-29 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN106341664B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071455B (zh) * 2017-05-03 2019-11-29 西安科技大学 基于数据流的jpeg图像信息隐藏方法
CN110392261B (zh) * 2018-04-20 2022-02-01 浙江宇视科技有限公司 视频加解扰方法及系统
CN108833921B (zh) * 2018-06-12 2022-06-17 浙江大华技术股份有限公司 一种编解码方法及装置
CN108965882B (zh) * 2018-06-12 2020-08-14 浙江大华技术股份有限公司 一种编解码方法及装置
CN111614930B (zh) * 2019-02-22 2022-11-25 浙江宇视科技有限公司 一种视频监控方法、系统、设备及计算机可读存储介质
CN112351275A (zh) * 2019-08-06 2021-02-09 浙江宇视科技有限公司 一种基于原始图像的特征区域隐私保护的方法及装置
CN110780356A (zh) * 2019-10-16 2020-02-11 上海众应信息科技有限公司 地铁站台间隙异物检测系统
CN111667014B (zh) * 2020-06-11 2022-12-02 重庆紫光华山智安科技有限公司 训练方法、图像编辑方法、装置及电子设备
CN111901522A (zh) * 2020-07-10 2020-11-06 杭州海康威视数字技术股份有限公司 图像处理方法、系统、装置及电子设备
CN113473142B (zh) * 2021-09-03 2022-10-04 浙江智慧视频安防创新中心有限公司 视频编码、视频解码方法及装置、电子设备、存储介质
CN114205587A (zh) * 2021-12-29 2022-03-18 杭州海康威视数字技术股份有限公司 一种图像显示方法、装置、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
CN103152556A (zh) * 2013-03-15 2013-06-12 云南大学 一种用于隐私保护的监控视频加密方法
CN103179378A (zh) * 2011-12-26 2013-06-26 天津市亚安科技股份有限公司 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法
CN103605928A (zh) * 2013-11-18 2014-02-26 清华大学 一种图像隐私保护方法和系统
CN103890783A (zh) * 2012-10-11 2014-06-25 华为技术有限公司 一种实现视频遮挡的方法、装置和系统
CN104660975A (zh) * 2013-11-22 2015-05-27 安讯士有限公司 梯度隐私屏蔽
CN104967875A (zh) * 2015-07-28 2015-10-07 浙江宇视科技有限公司 控制监控视频查看权限的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
CN103179378A (zh) * 2011-12-26 2013-06-26 天津市亚安科技股份有限公司 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法
CN103890783A (zh) * 2012-10-11 2014-06-25 华为技术有限公司 一种实现视频遮挡的方法、装置和系统
CN103152556A (zh) * 2013-03-15 2013-06-12 云南大学 一种用于隐私保护的监控视频加密方法
CN103605928A (zh) * 2013-11-18 2014-02-26 清华大学 一种图像隐私保护方法和系统
CN104660975A (zh) * 2013-11-22 2015-05-27 安讯士有限公司 梯度隐私屏蔽
CN104967875A (zh) * 2015-07-28 2015-10-07 浙江宇视科技有限公司 控制监控视频查看权限的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频隐私保护技术综述;佟玲玲;《通信学报》;20130831;第34卷(第8期);正文第3.2节 *

Also Published As

Publication number Publication date
CN106341664A (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN106341664B (zh) 一种数据处理方法及装置
US11601674B2 (en) Encoding a privacy masked image
US10636263B2 (en) Method of encoding an image including a privacy mask
EP3402205B1 (en) Image encoding/decoding method and device
US10277901B2 (en) Encoding a video stream having a privacy mask
CN111355964B (zh) 对图像帧序列进行编码的方法、设备、相机和介质
Rabie et al. The pixogram: Addressing high payload demands for video steganography
CN112543327B (zh) 对视频流提供隐私屏蔽的方法、编码器系统和存储介质
Liang et al. Detection of double compression for HEVC videos with fake bitrate
EP3043313A1 (en) Jpeg picture composite method and method and apparatus for superimposing osd information
CN113453012B (zh) 一种编解码方法、装置及电子设备
CN108965882B (zh) 一种编解码方法及装置
CN106664442A (zh) 发送装置、发送方法、接收装置和接收方法
CN112351275A (zh) 一种基于原始图像的特征区域隐私保护的方法及装置
Asikuzzaman et al. A blind and robust video watermarking scheme using chrominance embedding
KR101860728B1 (ko) 깊이변화지도를 이용한 dibr 공격의 강인성 블라인드 워터마킹 방법
Wei et al. Trustworthy authentication on scalable surveillance video with background model support
CN108833921B (zh) 一种编解码方法及装置
CN111066322A (zh) 通过透视信息进行视频编码的帧内预测
CN108848382B (zh) 一种编解码方法及装置
CN116320471B (zh) 视频信息隐藏方法、系统、设备及视频隐藏信息提取方法
Kuroiwa et al. Codestream domain scrambling of moving objects based on DCT sign-only correlation for motion JPEG movies
Kim et al. Image Scramble Algorithm with Robustness under Transcoding
Ernawan et al. A New Embedding Technique Based On Psychovisual Threshold for Robust and Secure Compressed Video Steganography
CN108111875B (zh) 一种基于cabac的h.264/avc加密视频运动检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221110

Address after: 250101 4th floor, building 5, zone A2, Hanyu Jingu, Shunhua South Road, high tech Zone, Jinan City, Shandong Province

Patentee after: Jinan Yushi Intelligent Technology Co.,Ltd.

Address before: 310051 Zhejiang Jiangling Hangzhou Road, Binjiang District, Jiangling, 88, No. 10 South Block 1-11.

Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right