CN108364282A - 图像马赛克检测方法、图像马赛克检测系统 - Google Patents

图像马赛克检测方法、图像马赛克检测系统 Download PDF

Info

Publication number
CN108364282A
CN108364282A CN201810036515.5A CN201810036515A CN108364282A CN 108364282 A CN108364282 A CN 108364282A CN 201810036515 A CN201810036515 A CN 201810036515A CN 108364282 A CN108364282 A CN 108364282A
Authority
CN
China
Prior art keywords
image
angle point
horizontal
detected
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810036515.5A
Other languages
English (en)
Other versions
CN108364282B (zh
Inventor
高永英
武宇文
彭兴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macrovision Technology Dev Co Ltd Of Beijing Huaxing
Original Assignee
Macrovision Technology Dev Co Ltd Of Beijing Huaxing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macrovision Technology Dev Co Ltd Of Beijing Huaxing filed Critical Macrovision Technology Dev Co Ltd Of Beijing Huaxing
Priority to CN201810036515.5A priority Critical patent/CN108364282B/zh
Publication of CN108364282A publication Critical patent/CN108364282A/zh
Application granted granted Critical
Publication of CN108364282B publication Critical patent/CN108364282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种图像马赛克检测方法、图像马赛克检测系统、计算机设备和计算机可读存储介质。其中，图像马赛克检测方法包括：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。

Description

图像马赛克检测方法、图像马赛克检测系统
技术领域
本发明涉及数字图像信号检测技术领域，具体而言，涉及一种图像马赛克检测方法、图像马赛克检测系统、计算机设备、计算机可读存储介质。
背景技术
视频信号的图像马赛克通常是指图像中局部出现的块状特征，使得该区域看上去像是由一个一个的小格子组成的。图像马赛克的成因有两种：一种是人为生成的，其目的是使目标区域的细节无法辨认；另一种是在视频在编码、传输和解码的某一环节的故障导致了解码后的视频图像出现了马赛克。第二种情况又可分为两类，一类是由于编码过程中码率太低或者编码性能太差导致出现马赛克现象，另一类是由于传输过程中由于丢包等原因产生误码导致解码发生错误而出现马赛克。
在实际应用中对这两大类图像马赛克均有检测和报警的需求。对于数字电视广播的前端信号监测和后端播出安全监控系统，以及IPTV(交互式网络电视)的播出质量监测系统，更关注如何检测视频在编码、传输以及解码过程中产生的图像马赛克故障。然而，无论是哪种原因产生的图像马赛克，目前并没有被广泛认可或者应用的检测图像马赛克的技术标准，主要原因是与常见的静帧、黑场、亮度异常、色度异常等图像故障相比，图像马赛克的检测技术难度要大得多。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明第一个方面在于提出一种图像马赛克检测方法。
本发明的第二个方面在于提出一种图像马赛克检测系统。
本发明的第三个方面在于提出一种计算机设备。
本发明的第四个方面在于提出一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种图像马赛克检测方法，包括：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的图像马赛克检测方法，从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是HarrisCorner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic andHedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
根据本发明的上述图像马赛克检测方法，还可以具有以下技术特征：
在上述技术方案中，优选地，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，还包括：对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像。
在该技术方案中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在上述任一技术方案中，优选地，对获取的待检测图像进行预处理，获得待检测图像的差分图像的步骤，具体包括：采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像；其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子(一种空域微分算子)、Prewitt算子(一种空域微分算子)。
在该技术方案中，通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在上述任一技术方案中，优选地，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体包括：根据水平差分图像和垂直差分图像获得水平和垂直边缘图像。
在该技术方案中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在上述任一技术方案中，优选地，若空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的步骤，具体包括：采用第一预设公式获得水平差分图像和垂直差分图像：
其中，A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像。
在该技术方案中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在上述任一技术方案中，优选地，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的步骤，具体包括：采用第二预设公式提取差分图像的垂直边缘和水平边缘：
采用第三预设公式获取水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
在该技术方案中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在上述任一技术方案中，优选地，基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的步骤，具体包括：针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；若判断结果为是，则将其确定为所述目标角点；若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；其中，NP0为坐标轴Y轴正方向的垂直边缘点数目，NP1为坐标轴X轴正方向的水平边缘点数目，NP2为坐标轴Y轴负方向的垂直边缘点数目，NP3为坐标轴X轴负方向的水平边缘点数目，MosaicSize为预设马赛克图像大小，Probm(i',j')为第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该技术方案中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i',j')进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
在上述任一技术方案中，优选地，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像之后，还包括：针对检测到的马赛克图像进行报警。
在该技术方案中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
根据本发明的第二个方面，提出了一种图像马赛克检测系统，包括：差分单元，用于对获取的待检测图像进行预处理，获得待检测图像的差分图像；角点检测单元，用于对差分图像进行角点检测，获得差分图像的角点图像；边缘检测单元，用于对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；筛选单元，用于基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报点，以获得目标角点；判定单元，用于在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的图像马赛克检测系统，从正在处理的视频信号的亮度图像中获取待检测图像，差分单元对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为角点检测单元对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，CornerDetector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley cornerdetector(Trajkovic and Hedley角点检测，一种角点检测算法)，边缘检测单元通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后筛选单元对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定单元判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
根据本发明的上述图像马赛克检测系统，还可以具有以下技术特征：
在上述技术方案中，优选地，还包括：抽取单元，用于对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像。
在该技术方案中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV(交互式网络电视)视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是抽取单元对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在上述任一技术方案中，优选地，差分单元具体包括：差分子单元，用于采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像；其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子、Prewitt算子(一种空域微分算子)。
在该技术方案中，差分子单元通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在上述任一技术方案中，优选地，边缘检测单元具体包括：边缘检测子单元，用于根据水平差分图像和垂直差分图像获得水平和垂直边缘图像。
在该技术方案中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是边缘检测子单元根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在上述任一技术方案中，优选地，若空域微分算子为Sobel算子，则差分子单元具体包括：第一运算单元，用于采用第一预设公式获得水平差分图像和垂直差分图像：
其中，A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像。
在该技术方案中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，第一运算单元分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在上述任一技术方案中，优选地，边缘检测子单元具体包括：第二运算单元，用于采用第二预设公式提取差分图像的垂直边缘和水平边缘：
第三运算单元，用于采用第三预设公式获取水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
在该技术方案中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，第二运算单元通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，第三运算单元再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在上述任一技术方案中，优选地，筛选单元具体用于针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；若判断结果为是，则将其确定为所述目标角点；若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；其中，NP0为坐标轴Y轴正方向的垂直边缘点数目，NP1为坐标轴X轴正方向的水平边缘点数目，NP2为坐标轴Y轴负方向的垂直边缘点数目，NP3为坐标轴X轴负方向的水平边缘点数目，MosaicSize为预设马赛克图像大小，Probm(i',j')为第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该技术方案中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i′,j′)进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
在上述任一技术方案中，优选地，还包括：报警单元，用于针对检测到的马赛克图像进行报警。
在该技术方案中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，报警单元进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
根据本发明的第三个方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机设备，处理器执行计算机程序时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，CornerDetector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley cornerdetector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的图像马赛克检测方法的流程示意图；
图2示出了本发明的另一个实施例的图像马赛克检测方法的流程示意图；
图3示出了本发明的再一个实施例的图像马赛克检测方法的流程示意图；
图4示出了本发明的一个实施例的典型的马赛克角点的示意图；
图5示出了本发明的一个实施例的图像马赛克检测系统的示意框图；
图6示出了本发明的一个具体实施例的IPTV视频质量监测系统的架构示意图；
图7示出了本发明的一个具体实施例的离线视频文件质量监测系统的架构示意图；
图8示出了本发明的一个具体实施例的图像马赛克检测方法的流程示意图；
图9示出了本发明的一个实施例的计算机设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种图像马赛克检测方法，图1示出了本发明的一个实施例的图像马赛克检测方法的流程示意图：
步骤102，对获取的待检测图像进行预处理，获得待检测图像的差分图像；
步骤104，对差分图像进行角点检测，获得差分图像的角点图像；
步骤106，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；
步骤108，基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；
步骤110，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的图像马赛克检测方法，从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是HarrisCorner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic andHedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
图2示出了本发明的另一个实施例的图像马赛克检测方法的流程示意图。其中，该方法包括：
步骤202，对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像；
步骤204，采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像水平差分图像和垂直差分图像；
步骤206，对差分图像进行角点检测，获得差分图像的角点图像；
步骤208，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像；
步骤210，基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；
步骤212，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像；
步骤214，针对检测到的马赛克图像进行报警。
其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子(一种空域微分算子)、Prewitt算子(一种空域微分算子)。
在该实施例中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV(交互式网络电视)视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在该实施例中，通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在该实施例中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在该实施例中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
图3示出了本发明的再一个实施例的图像马赛克检测方法的流程示意图。其中，该方法包括：
步骤302，对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像；
步骤304，采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像水平差分图像和垂直差分图像；
步骤306，对差分图像进行角点检测，获得差分图像的角点图像；
步骤308，采用第二预设公式提取差分图像的垂直边缘和水平边缘，采用第三预设公式获取水平和垂直边缘图像；
步骤310，针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域，以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量；
步骤312，按照第五预设公式计算角点概率，按照第六预设公式获得角点概率图像，根据所述角点概率图像获得所述备选角点；
步骤314，设置以任一备选角点为中心的预设矩形，获取预设矩形范围内除任一备选角点之外的其他备选角点；
步骤316，判断任一备选角点是否为预设矩形内取值最大的M个备选角点之一，是，则进入步骤318，否，则进入步骤320；
步骤318，将其确定为目标角点；
步骤320，将其确定为误报角点，并删除误报角点；
步骤322，在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像，针对检测到的马赛克图像进行报警。
其中，第一预设公式为：
第二预设公式为：
第三预设公式为：
第四预设公式为：
第五预设公式为：
第六预设公式为：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像；Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像；NP0为所述坐标轴Y轴正方向的垂直边缘点数目，NP1为所述坐标轴X轴正方向的水平边缘点数目，NP2为所述坐标轴Y轴负方向的垂直边缘点数目，NP3为所述坐标轴X轴负方向的水平边缘点数目，MosaicSize为所述预设马赛克图像大小，Probm(i',j')为所述第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该实施例中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在该实施例中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在该实施例中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，如图4所示，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i′,j′)进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
本发明第二方面的实施例，提出一种图像马赛克检测系统500，图5示出了本发明的一个实施例的图像马赛克检测系统500的示意框图，如图5所示，图像马赛克检测系统500包括：差分单元50、角点检测单元52、边缘检测单元54、筛选单元56和判定单元58。
本发明提供的图像马赛克检测系统500，从正在处理的视频信号的亮度图像中获取待检测图像，差分单元50对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为角点检测单元52对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley cornerdetector(Trajkovic and Hedley角点检测，一种角点检测算法)，边缘检测单元54通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后筛选单元56对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定单元58判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
在上述实施例中，优选地，图像马赛克检测系统500还包括：抽取单元，用于对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得待检测图像。
在该实施例中，在对获取的待检测图像进行预处理，获得待检测图像的差分图像之前，根据检测视频的类型，获取待检测图像的方式不同，如对IPTV(交互式网络电视)视频进行质量监测，通过接收IPTV管理平台发送的视音频信号来获取待检测图像，如对离线视频进行质量监测，通过主动读取视频文件来获取待检测图像，具体是抽取单元对视频进行逐帧抽取图像或按照预设周期抽取图像，或随机抽取图像。
在上述实施例中，优选地，差分单元50具体包括：差分子单元，用于采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像；其中，空域微分算子包括Sobel(索贝尔)算子、Roberts(罗伯茨)算子、Canny算子、Prewitt算子。
在该实施例中，差分子单元通过采用空域微分算子或频域高通滤波或频域带通滤波对待检测图像进行预处理，经过处理，提取到待检测图像的水平差分图像和垂直差分图像，为后续检测步骤提供基础。
在上述实施例中，优选地，边缘检测单元54具体包括：边缘检测子单元，用于根据水平差分图像和垂直差分图像获得水平和垂直边缘图像。
在该实施例中，对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像的步骤，具体就是边缘检测子单元根据水平差分图像和垂直差分图像进一步处理，最终获得水平和垂直边缘图像。
在上述实施例中，优选地，若空域微分算子为Sobel算子，则差分子单元具体包括：第一运算单元，用于采用第一预设公式获得水平差分图像和垂直差分图像：
其中，A为待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为水平差分图像，Gy为垂直差分图像。
在该实施例中，空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子，其中，索贝尔Sobel算子应用广泛且算法简单，如果空域微分算子为Sobel算子，则采用索贝尔Sobel算子对待检测图像进行预处理，获取待检测图像的水平差分图像和垂直差分图像的过程，第一运算单元分别采用索贝尔Sobel算子中检测图像垂直边缘的索贝尔Sobel算子和检测图像水平边缘的索贝尔Sobel算子与待检测图像乘积，获得水平差分图像和垂直差分图像。
在上述实施例中，优选地，边缘检测子单元具体包括：第二运算单元，用于采用第二预设公式提取差分图像的垂直边缘和水平边缘：
采用第三预设公式获取水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，第二阈值大于第三阈值；P(i,j)为差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
在该实施例中，根据水平差分图像和垂直差分图像获得水平和垂直边缘图像的过程，第二运算单元通过采用第二预设公式获得图像的垂直边缘点和水平边缘点，以及非水平或非垂直边缘点，第三运算单元再进而根据第三预设公式获取水平和垂直边缘图像，为角点筛选提供基础。
在上述实施例中，优选地，筛选单元56具体用于针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；若判断结果为是，则将其确定为所述目标角点；若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；其中，NP0为坐标轴Y轴正方向的垂直边缘点数目，NP1为坐标轴X轴正方向的水平边缘点数目，NP2为坐标轴Y轴负方向的垂直边缘点数目，NP3为坐标轴X轴负方向的水平边缘点数目，MosaicSize为预设马赛克图像大小，Probm(i',j')为第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
在该实施例中，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的过程，因一个典型的马赛克角点应该连接四条边缘线，两条水平两条垂直，分别用l0，l1，l2和l3表示，这四条线段的长度代表了马赛克块的大小，用MosaicSize表示，对于角点图像Corner中的每一个角点Cor(i,j)，对Cor(i,j)为中心的某一区域Rc内的每一个像素点P(i',j')进行如下处理：
以P(i',j')点为起始点，以MosaicSize为搜索维度，沿l0和l2的方向统计垂直边缘点的数目，分别记为NP0和NP2；沿11和l3的方向统计水平边缘点的数目，分别记为NP1和NP3：
计算P(i',j')点的“马赛克角点概率”：
其中Tm为预先设定的阈值且满足Tm≤MosaicSize。马赛克角点概率图像MosaicCorner如下式计算：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
对于每一个备选马赛克角点MosaicCorner(i,j)，设定以其为中心的一个SxS的区域(满足S≤2MosaicSize-3)，遍历该区域内部全部的备选马赛克角点MosaicCorner(i',j')，如果MosaicCorner(i,j)属于取值最大的M个备选马赛克角点(M为预先设定的参数)，则认为该点是真正的马赛克角点予以保留，否则将其确定为误报角点，并删除误报角点。如此，通过对马赛克角点的筛选降低了误检率，提高了马赛克图像检测的准确度。
在上述实施例中，优选地，图像马赛克检测系统500还包括：报警单元，用于针对检测到的马赛克图像进行报警。
在该实施例中，在提取到了全部的马赛克角点且目标角点的数量大于第一阈值，判定待检测图像为马赛克图像之后，报警单元进行报警处理，使得监测部门或人员根据报警信号及时进行处理。报警阈值可以根据实际应用采取不同的方法来确定。
图6示出了一个具体实施例的IPTV视频质量监测系统600的架构示意图。如图6所示，IPTV视频质量监测系统600因为IPTV视频质量监测系统考察视频信号在传输、播放环节中产生的故障，所以图像马赛克的特征与视频编码的格式紧密相关。对于目前常见的H.264(一种视频编码标准)、MPEG-2(一种视频编码标准)视频编码标准，图像都是以16x16的分块(称为宏块)作为编码单元，因此如果由于传输丢包或其他原因在解码过程中产生图像马赛克，则此种马赛克的位置一定是以宏块为准的，即图像马赛克的水平和垂直边缘是宏块的边界。因此第二预设公式为：
在提取二值化角点图像Corner的步骤，也对角点的位置进行限定。理想情况下角点的坐标(i,j)均是16的整数倍，考虑到误差的存在，可以进行适当松弛，例如限定i％16＝0,1,or 15；j％16＝0,1,or 15。马赛克块的大小MosaicSize设定为16。报警阈值的设定，可以设定为一个常数；也可以根据视频本身的属性来设定，例如将报警阈值与视频图像的分辨率相关，分辨率越高则报警阈值取值越大。
图7示出了一个具体实施例的离线视频文件质量监测系统700架构示意图。如图7所示，离线视频文件质量监测系统700的整体架构与IPTV视频质量监测系统600相似，主要区别在于：第一，由接收实时视频流改变为读取视频文件；第二，离线视频文件质量监测系统700需要检测的图像马赛克有可能是人工生成，因此检测机制更复杂。具体来说，由于MosaicSize未知，因此需要选取多个MosaicSize进行处理，具体工作流程如图8所示：
步骤802，获取一帧待检测图像数据；
步骤804，提取水平差分图像和垂直差分图像；
步骤806，提取水平和垂直边缘图像Edge；
步骤808，提取图像中角点Corner；
步骤810，根据角点Corner和边缘图像Edge检测马赛克边缘；
步骤812，计算马赛克角点概率图像MosaicCornerM1：选取最大的MosaicSize取值M1；
步骤814，判断MosaicCornerM1的数据是否大于给定阈值，是，则进入步骤816，否，则进入步骤818；
步骤816，报警处理；
步骤818，令Mk＝Mk-1-△M，△M为迭代步长，之后重复步骤812，直到最后一个可选的MosaicSize取值；
步骤820，判断是否为读取全部视频数据，是则结束，否则重复步骤802。
通过上述过程，离线视频文件质量监测系统700实现了对离线文件的质量监测，实现了对不同尺寸马赛克图像、不同成因的马赛克图像的检测。
本发明第三方面的实施例，提出一种计算机设备，图9示出了本发明的一个实施例的计算机设备900的示意框图。其中，该计算机设备900包括：
存储器902、处理器904及存储在存储器902上并可在处理器904上运行的计算机程序，处理器904执行计算机程序时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机设备900，处理器904执行计算机程序时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley cornerdetector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
本发明第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对获取的待检测图像进行预处理，获得待检测图像的差分图像；对差分图像进行角点检测，获得差分图像的角点图像；对差分图像进行边缘检测，获得差分图像的水平和垂直边缘图像；基于水平和垂直边缘图像，对角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：从正在处理的视频信号的亮度图像中获取待检测图像，对待检测图像进行预处理，获取差分图像，获得的差分图像作为下一检测过程的输入数据；下一检测过程为对差分图像进行角点检测，角点检测的方法可以是Harris Corner Detector(Harris角点检测，一种角点检测算法)，Corner Detector(Corner角点检测，一种角点检测算法)，Trajkovic and Hedley corner detector(Trajkovic and Hedley角点检测，一种角点检测算法)，通过角点检测获得角点图像，对差分图像进行边缘检测，获得水平和垂直边缘图像，其中，对差分图像进行角点检测和边缘检测可以先后进行，也可以并行进行；然后对角点图像中所有角点进行筛选，去除误报角点，获得目标角点(真实角点)；在目标角点的数量大于第一阈值时，判定待检测图像为马赛克图像。本发明能够对不同成因下，包括人为生成的和视频传输过程中故障导致的图像马赛克进行自动检测，实现了视频质量监测中图像马赛克的检测，且在检测过程中去除误报角点，提高了图像马赛克的检测准确性。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像马赛克检测方法，其特征在于，包括：
对获取的待检测图像进行预处理，获得所述待检测图像的差分图像；
对所述差分图像进行角点检测，获得所述差分图像的角点图像；
对所述差分图像进行边缘检测，获得所述差分图像的水平和垂直边缘图像；
基于所述水平和垂直边缘图像，对所述角点图像中所有角点进行筛选，去除误报角点，以获得目标角点；
在所述目标角点的数量大于第一阈值时，判定所述待检测图像为马赛克图像。
2.根据权利要求1所述的图像马赛克检测方法，其特征在于，在所述对获取的待检测图像进行预处理，获得所述待检测图像的差分图像之前，还包括：
对待检测视频进行逐帧抽取图像或按照预设周期抽取图像，获得所述待检测图像。
3.根据权利要求1所述的图像马赛克检测方法，其特征在于，所述对获取的待检测图像进行预处理，获得所述待检测图像的差分图像的步骤，具体包括：
采用空域微分算子或频域高通滤波或频域带通滤波对所述待检测图像进行预处理，获取所述待检测图像的水平差分图像和垂直差分图像；
其中，所述空域微分算子包括索贝尔Sobel算子、罗伯茨Roberts算子、Canny算子、Prewitt算子。
4.根据权利要求3所述的图像马赛克检测方法，其特征在于，所述对所述差分图像进行边缘检测，获得所述差分图像的水平和垂直边缘图像的步骤，具体包括：
根据所述水平差分图像和所述垂直差分图像获得所述水平和垂直边缘图像。
5.根据权利要求4所述的图像马赛克检测方法，其特征在于，若所述空域微分算子为所述索贝尔Sobel算子，则采用索贝尔Sobel算子对所述待检测图像进行预处理，获取所述待检测图像的水平差分图像和垂直差分图像的步骤，具体包括：
采用第一预设公式获得所述水平差分图像和所述垂直差分图像：
其中，A为所述待检测图像，Sobel_Gx为检测图像垂直边缘的索贝尔Sobel算子，Sobel_Gy为检测图像水平边缘的索贝尔Sobel算子，Gx为所述水平差分图像，Gy为所述垂直差分图像。
6.根据权利要求5所述的图像马赛克检测方法，其特征在于，所述根据所述水平差分图像和所述垂直差分图像获得所述水平和垂直边缘图像的步骤，具体包括：
采用第二预设公式提取差分图像的垂直边缘和水平边缘：
采用第三预设公式获取所述水平和垂直边缘图像：
其中，Thigh为第二阈值，Tlow为第三阈值，所述第二阈值大于所述第三阈值；
P(i,j)为所述差分图像的任一像素点，Gx(i,j)为P(i,j)的水平差分图像，Gy(i,j)为P(i,j)的垂直差分图像，Edge(i,j)为P(i,j)的水平和垂直边缘图像。
7.根据权利要求1所述的图像马赛克检测方法，其特征在于，所述基于所述水平和垂直边缘图像，对所述角点图像中所有角点进行筛选，去除误报角点，以获得目标角点的步骤，具体包括：
针对所述角点图像中每一个角点，设置以其为中心点的XY方向的坐标轴以及第一预设区域；
以预设马赛克图像大小为搜索维度，按照第四预设公式统计在所述坐标轴X轴正方向和X轴负方向统计所述第一预设区域内所述角点的水平边缘点数量，以及在所述坐标轴Y轴正方向和Y轴负方向统计所述第一预设区域内所述角点的垂直边缘点数量：
按照第五预设公式计算角点概率：
按照第六预设公式获得角点概率图像MosaicCorner(i,j)：
MosaicCorner(i,j)＝max{Probm(i',j'),P(i',j')∈Rc}
根据所述角点概率图像MosaicCorner(i,j)获得所述备选角点；
设置以任一备选角点为中心的预设矩形，获取所述预设矩形范围内除所述任一备选角点之外的其他备选角点；
判断所述任一备选角点是否为所述预设矩形内取值最大的M个备选角点之一；
若判断结果为是，则将其确定为所述目标角点；
若判断结果为否，则将其确定为所述误报角点，并删除所述误报角点；
其中，NP0为所述坐标轴Y轴正方向的垂直边缘点数目，NP1为所述坐标轴X轴正方向的水平边缘点数目，NP2为所述坐标轴Y轴负方向的垂直边缘点数目，NP3为所述坐标轴X轴负方向的水平边缘点数目，MosaicSize为所述预设马赛克图像大小，Probm(i',j')为所述第一预设区域内任一点P(i',j')的角点概率，Tm为第四阈值，Tm≤MosaicSize，M为大于等于1的正整数。
8.根据权利要求1至7中任一项所述的图像马赛克检测方法，其特征在于，在所述目标角点的数量大于第一阈值时，判定所述待检测图像为马赛克图像之后，还包括：
针对检测到的马赛克图像进行报警。
9.一种图像马赛克检测系统，其特征在于，包括：
差分单元，用于对获取的待检测图像进行预处理，获得所述待检测图像的差分图像；
角点检测单元，用于对所述差分图像进行角点检测，获得所述差分图像的角点图像；
边缘检测单元，用于对所述差分图像进行边缘检测，获得所述差分图像的水平和垂直边缘图像；
筛选单元，用于基于所述水平和所述垂直边缘图像，对所述角点图像中所有角点进行筛选，去除误报点，以获得目标角点；
判定单元，用于在所述目标角点的数量大于第一阈值时，判定所述待检测图像为马赛克图像。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述图像马赛克检测方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述图像马赛克检测方法的步骤。
CN201810036515.5A 2018-01-15 2018-01-15 图像马赛克检测方法、图像马赛克检测系统 Active CN108364282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810036515.5A CN108364282B (zh) 2018-01-15 2018-01-15 图像马赛克检测方法、图像马赛克检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810036515.5A CN108364282B (zh) 2018-01-15 2018-01-15 图像马赛克检测方法、图像马赛克检测系统

Publications (2)

Publication Number Publication Date
CN108364282A true CN108364282A (zh) 2018-08-03
CN108364282B CN108364282B (zh) 2022-02-11

Family

ID=63006241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810036515.5A Active CN108364282B (zh) 2018-01-15 2018-01-15 图像马赛克检测方法、图像马赛克检测系统

Country Status (1)

Country Link
CN (1) CN108364282B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919129A (zh) * 2019-03-21 2019-06-21 南京威翔科技有限公司 一种基于图像的异物检测方法
CN111062331A (zh) * 2019-12-18 2020-04-24 银河互联网电视有限公司 图像的马赛克检测方法、装置、电子设备及存储介质
TWI697871B (zh) * 2019-04-01 2020-07-01 中華電信股份有限公司 影像中含有馬賽克之檢查系統及其方法
CN111757182A (zh) * 2020-07-08 2020-10-09 深圳创维－Rgb电子有限公司 图像花屏检测方法、设备、计算机设备和可读存储介质
CN113542864A (zh) * 2020-04-24 2021-10-22 腾讯科技（深圳）有限公司 视频的花屏区域检测方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551900A (zh) * 2008-03-31 2009-10-07 新奥特（北京）视频技术有限公司 一种视频马赛克图像检测方法
CN102087652A (zh) * 2009-12-08 2011-06-08 百度在线网络技术（北京）有限公司 图像筛选方法及其系统
CN102307275A (zh) * 2011-09-09 2012-01-04 杭州海康威视数字技术股份有限公司 对监控图像进行不规则多边形马赛克处理的方法及其装置
CN102542282A (zh) * 2010-12-16 2012-07-04 北京大学 一种无源图像马赛克检测方法及装置
CN103473772A (zh) * 2013-09-05 2013-12-25 北京捷成世纪科技股份有限公司 一种马赛克图像的检测方法和装置
CN106372584A (zh) * 2016-08-26 2017-02-01 浙江银江研究院有限公司 一种视频图像马赛克检测方法
CN106780529A (zh) * 2016-12-14 2017-05-31 贵州电网有限责任公司电力调度控制中心 基于外接矩形的会议视频马赛克检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551900A (zh) * 2008-03-31 2009-10-07 新奥特（北京）视频技术有限公司 一种视频马赛克图像检测方法
CN102087652A (zh) * 2009-12-08 2011-06-08 百度在线网络技术（北京）有限公司 图像筛选方法及其系统
CN102542282A (zh) * 2010-12-16 2012-07-04 北京大学 一种无源图像马赛克检测方法及装置
CN102307275A (zh) * 2011-09-09 2012-01-04 杭州海康威视数字技术股份有限公司 对监控图像进行不规则多边形马赛克处理的方法及其装置
CN103473772A (zh) * 2013-09-05 2013-12-25 北京捷成世纪科技股份有限公司 一种马赛克图像的检测方法和装置
CN106372584A (zh) * 2016-08-26 2017-02-01 浙江银江研究院有限公司 一种视频图像马赛克检测方法
CN106780529A (zh) * 2016-12-14 2017-05-31 贵州电网有限责任公司电力调度控制中心 基于外接矩形的会议视频马赛克检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919129A (zh) * 2019-03-21 2019-06-21 南京威翔科技有限公司 一种基于图像的异物检测方法
TWI697871B (zh) * 2019-04-01 2020-07-01 中華電信股份有限公司 影像中含有馬賽克之檢查系統及其方法
CN111062331A (zh) * 2019-12-18 2020-04-24 银河互联网电视有限公司 图像的马赛克检测方法、装置、电子设备及存储介质
CN111062331B (zh) * 2019-12-18 2023-09-05 银河互联网电视有限公司 图像的马赛克检测方法、装置、电子设备及存储介质
CN113542864A (zh) * 2020-04-24 2021-10-22 腾讯科技（深圳）有限公司 视频的花屏区域检测方法、装置、设备及可读存储介质
CN111757182A (zh) * 2020-07-08 2020-10-09 深圳创维－Rgb电子有限公司 图像花屏检测方法、设备、计算机设备和可读存储介质
CN111757182B (zh) * 2020-07-08 2022-05-31 深圳创维－Rgb电子有限公司 图像花屏检测方法、设备、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN108364282B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN108364282A (zh) 图像马赛克检测方法、图像马赛克检测系统
EP3104327B1 (en) Anomalous pixel detection
US6906743B1 (en) Detecting content based defects in a video stream
US8964030B2 (en) Surveillance camera system having camera malfunction detection function to detect types of failure via block and entire image processing
US8200024B2 (en) Image monitoring system
US9679202B2 (en) Information processing apparatus with display control unit configured to display on a display apparatus a frame image, and corresponding information processing method, and medium
US6359658B1 (en) Subjective noise measurement on active video signal
EP2375374B1 (en) Noise detection and estimation techniques for picture enhancement
US20080144958A1 (en) Method for removing noise in image using statistical information and system thereof
US20090040303A1 (en) Automatic video quality monitoring for surveillance cameras
CN101299269A (zh) 静止场景的标定方法及装置
CN103997620B (zh) 用于检测压缩视频中的运动的系统和方法
JP4073131B2 (ja) 圧縮ビデオ・シーケンス内のエラー・ブロック検出方法
CN105554494B (zh) 雪点图像检测方法和装置以及视频质量检测装置和系统
CN109905670A (zh) 一种多级平台监控系统
US8311345B2 (en) Method and system for detecting flame
KR102349112B1 (ko) 영상데이터를 분석 갱신하는 영상처리 시스템
CN115118934A (zh) 一种直播效果监控处理方法及系统
CN102737225A (zh) 图像监视系统以及人数推算方法
CN106898020B (zh) 基于视频处理的监控图像对比度异常识别方法及系统
CN110798680A (zh) 一种单帧无参考自适应的视频雪花噪声检测方法
CN111222428B (zh) 一种基于监控视频的器件紧固操作的检测方法
Mori et al. Real-time noise level detection for general video
Rattanapitak et al. PIXEL-BASED FOREGROUND DETECTION IN REPETITIVE TIME-SERIES REGION
Malekmohamadi et al. A new reduced reference objective quality metric for stereoscopic video

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant