CN111783524B - 一种场景变换检测方法、装置、存储介质及终端设备 - Google Patents

一种场景变换检测方法、装置、存储介质及终端设备 Download PDF

Info

Publication number
CN111783524B
CN111783524B CN202010427753.6A CN202010427753A CN111783524B CN 111783524 B CN111783524 B CN 111783524B CN 202010427753 A CN202010427753 A CN 202010427753A CN 111783524 B CN111783524 B CN 111783524B
Authority
CN
China
Prior art keywords
image
sub
mask
detected
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010427753.6A
Other languages
English (en)
Other versions
CN111783524A (zh
Inventor
张文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulian International Co ltd
Original Assignee
Pulian International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pulian International Co ltd filed Critical Pulian International Co ltd
Priority to CN202010427753.6A priority Critical patent/CN111783524B/zh
Publication of CN111783524A publication Critical patent/CN111783524A/zh
Application granted granted Critical
Publication of CN111783524B publication Critical patent/CN111783524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种场景变换检测方法、装置、存储介质及终端设备，包括：对待检测图像和预设的参考图像分别进行显著性目标检测，并对获得的第一显著性目标掩码和第二显著性目标掩码进行逻辑运算，获得背景掩码；对背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；对待检测图像和参考图像分别进行特征提取，并计算提取的第一特征图和第二特征图在每一个子区域上的局部特征直方图的相似度；当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；根据所有子区域的标记情况对待检测图像中的场景变换情况进行检测。采用本发明的技术方案能够提高场景变换检测的鲁棒性，并且抗干扰能力强。

Description

一种场景变换检测方法、装置、存储介质及终端设备
技术领域
本发明涉及视频监控技术领域，尤其涉及一种场景变换检测方法、装置、计算机可读存储介质及终端设备。
背景技术
视频监控中的场景变换检测是视频自动分段的基础技术，许多场景相关的视频应用，如视频摘要和自动色彩调节都依赖于快速有效的场景检测方法。
目前，现有技术大多是先对图像全图进行特征提取，然后对两帧图像的特征进行比对，以对图像中的场景变换进行检测；其中，像素级方法的抗干扰能力不强，同一场景下，树叶的细微摆动会造成很多的帧差，局部的光照变化(例如阴影)或者是局部运动的前景物体，也会对局部区域造成很多帧差，从而带来很大的噪声，对场景变换的检测结果产生影响；另外，基于特征点匹配的方法不够鲁棒，当场景中存在显著性目标前景时，很多的特征点都在显著性的目标前景上，例如，如果在同一背景下，一辆相同的汽车处于两个不同的位置时，汽车上的特征点匹配将导致估计的变换矩阵会判定两张图像存在很大的偏移量，从而引起常见变换的误检测，并且当一个场景下存在不同的显著性目标时，也会对特征点的匹配带来很大的噪声，造成变换矩阵的错估，对场景变换的检测结果产生影响。
发明内容
本发明实施例所要解决的技术问题在于，提供一种场景变换检测方法、装置、计算机可读存储介质及终端设备，能够提高场景变换检测的鲁棒性，并且抗干扰能力强。
为了解决上述技术问题，本发明实施例提供了一种场景变换检测方法，包括：
对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；
对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；
对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；
对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；
统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；
当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；
根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测。
进一步地，所述著性目标检测至少采用以下模型中的一种：使用图像内在线索的基于块的检测模型、使用图像内在线索的基于区域的检测模型、基于卷积神经网络的深度学习模型。
进一步地，所述对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码，具体包括：
对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
进一步地，所述方法还包括：
根据所述待检测图像对所述第一显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第一显著性目标掩码；
根据所述参考图像对所述第二显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第二显著性目标掩码；
则，所述对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码，具体包括：
对所述处理后的第一显著性目标掩码和所述处理后的第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
进一步地，所述方法还包括：
将所述待检测图像转换为灰度图，并进行滤波处理，获得第一滤波后的灰度图；
将所述参考图像转换为灰度图，并进行滤波处理，获得第二滤波后的灰度图；
则，所述对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图，具体包括：
对所述第一滤波后的灰度图进行特征提取，获得所述第一特征图；
对所述第二滤波后的灰度图进行特征提取，获得所述第二特征图。
进一步地，所述根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，具体包括：
统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
当N1/(N1+N0)的值小于预设的第一占比阈值时，判定所述待检测图像中的场景发生变化；
当N1/(N1+N0)的值不小于预设的第一占比阈值时，判定所述待检测图像中的场景未发生变化；
或，所述根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，具体包括：
统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
当N1/N0的值小于预设的第二占比阈值时，判定所述待检测图像中的场景发生变化；
当N1/N0的值不小于预设的第二占比阈值时，判定所述待检测图像中的场景未发生变化。
进一步地，所述方法还包括：
当判定所述待检测图像中的场景发生变化时，根据所述待检测图像更新所述参考图像。
为了解决上述技术问题，本发明实施例还提供了一种场景变换检测装置，包括：
显著性检测模块，用于对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；
逻辑运算模块，用于对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；
连通区域划分模块，用于对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；
特征提取模块，用于对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；
相似度计算模块，用于统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；
子区域标记模块，用于当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；
场景变换检测模块，用于根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的场景变换检测方法。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的场景变换检测方法。
与现有技术相比，本发明实施例提供了一种场景变换检测方法、装置、计算机可读存储介质及终端设备，通过对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，从而能够提高场景变换检测的鲁棒性，并且抗干扰能力强。
附图说明
图1是本发明提供的一种场景变换检测方法的一个优选实施例的流程图；
图2A～图2C是本发明提供的一种显著性目标检测方法的应用效果示意图；
图3是本发明提供的一种场景变换检测装置的一个优选实施例的结构框图；
图4是本发明提供的一种终端设备的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种场景变换检测方法，参见图1所示，是本发明提供的一种场景变换检测方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S17：
步骤S11、对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；
步骤S12、对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；
步骤S13、对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；
步骤S14、对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；
步骤S15、统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；
步骤S16、当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；
步骤S17、根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测。
具体的，对待检测图像进行显著性目标检测，相应获得第一显著性目标掩码，对预先设置的参考图像进行显著性目标检测，相应获得第二显著性目标掩码；根据获得的第一显著性目标掩码和第二显著性目标掩码进行逻辑运算，相应获得公共背景区域的背景掩码；对获得的背景掩码进行连通区域标记，至少获得一个标记后的连通区域，将每一个标记后的连通区域划分为若干个子区域(子区域的表示方法包括但不限于外接矩形表示、外界椭圆形表示等)；对待检测图像进行特征提取，相应获得第一特征图，对预先设置的参考图像进行特征提取，相应获得第二特征图(特征提取的方法包括但不限于HOG、LBP、XCS-LBP等算法)；基于每一个子区域，在获得的第一特征图和第二特征图上分别进行局部特征直方图统计，相应统计获得的第一特征图和第二特征图在每一个子区域上的局部特征直方图，并对应计算第一特征图和第二特征图在每一个子区域上的局部特征直方图的相似度(相似度的计算方法包括但不限于jaccard相似度计算、cosine相似度计算等)；将计算获得的每一个子区域上对应的第一特征图的局部特征直方图和第二特征图的局部特征直方图的相似度与预先设置的相似度阈值进行比较，当任意一个子区域上对应的相似度小于预先设置的相似度阈值时，将该子区域标记为0，当任意一个子区域上对应的相似度不小于预先设置的相似度阈值时，将该子区域标记为1；在所有的子区域标记完成之后，根据所有子区域的标记情况对待检测图像中的场景变换情况进行检测，以检测待检测图像中的场景相对于参考图像中的场景是否发生变化。
需要说明的是，待检测图像可以通过电子设备获取，例如，网络摄像头、智能手机以及平板电脑等具备图像获取功能的电子设备，本发明实施例不做具体限定；第一次设置的参考图像是从获取的视频流或者视频文件中提取的第一帧处于静默状态的图像(静默状态的判断可以使用移动侦测算法等)，之后每次检测到图像中的场景发生变化，将该图像作为下一次检测时设置的参考图像。
本发明实施例所提供的一种场景变换检测方法，通过对待检测图像和参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码，通过对第一显著性目标掩码和第二显著性目标掩码进行逻辑运算，获得背景掩码，并对背景掩码进行连通区域标记，将标记后的连通区域划分为若干个子区域；通过对待检测图像和参考图像分别进行特征提取，对应获得第一特征图和第二特征图，并基于每一个子区域统计第一特征图和第二特征图在每一个子区域上的局部特征直方图，计算第一特征图和第二特征图在每一个子区域上的局部特征直方图的相似度；当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1，从而根据所有子区域的标记情况对待检测图像中的场景变换情况进行检测，本发明实施例能够提高场景变换检测的鲁棒性，并且抗干扰能力强。
在另一个优选实施例中，所述著性目标检测至少采用以下模型中的一种：使用图像内在线索的基于块的检测模型、使用图像内在线索的基于区域的检测模型、基于卷积神经网络的深度学习模型。
具体的，结合上述实施例，可以至少采用使用图像内在线索的基于块的检测模型、使用图像内在线索的基于区域的检测模型、基于卷积神经网络的深度学习模型中的任意一种模型对待检测图像和预先设置的参考图像分别进行显著性目标检测，并且模型的网络结构可以根据实测效果以及用户实际需求进行个性化定制，例如，根据感兴趣的区域添加注意力机制、为提高检测效率而使用可分离卷积等。
结合图2所示，是本发明提供的一种显著性目标检测方法的应用效果示意图，采用基于卷积神经网络(CNN)的深度学习模型对图2A中的图像进行显著性目标检测，相应获得的显著性目标检测的效果图如图2B所示。
在又一个优选实施例中，所述对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码，具体包括：
对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
具体的，结合上述实施例，由于待检测图像中的显著性目标和参考图像中的显著性目标所在的位置可能不同，可以先将获得的第一显著性目标掩码和第二显著性目标掩码进行逻辑或运算，即取得两者的并集，再对并集进行逻辑取反运算，则取反运算后获得的掩码就是背景掩码，即为待检测图像和参考图像的共同背景区域。
在又一个优选实施例中，所述方法还包括：
根据所述待检测图像对所述第一显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第一显著性目标掩码；
根据所述参考图像对所述第二显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第二显著性目标掩码；
则，所述对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码，具体包括：
对所述处理后的第一显著性目标掩码和所述处理后的第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
具体的，结合上述实施例，为了提高准确性，在获得背景掩码之前，可以先根据待检测图像的图像数据对第一显著性目标掩码依次进行导向滤波处理、二值化处理和形态学处理，相应获得处理后的第一显著性目标掩码，根据参考图像的图像数据对第二显著性目标掩码依次进行导向滤波处理、二值化处理和形态学处理，相应获得处理后的第二显著性目标掩码，再对获得的处理后的第一显著性目标掩码和处理后的第二显著性目标掩码依次进行逻辑或运算、逻辑取反运算，相应获得待检测图像和参考图像的共同背景区域的背景掩码。
需要说明的是，经过进一步处理后的显著性目标检测的效果图如图2C所示，通过导向滤波处理、二值化处理和形态学处理，能够在保持显著性目标边缘轮廓的情况下使显著性目标掩码更加饱满、真实，其中，导向滤波是以自身图像作为引导图的保边滤波技术，形态学处理包括图像膨胀和图像腐蚀等，常见的形态学组合操作包括开运算以及闭运算等，与图像二值化处理一样，都是图像处理中常用的技术。
在又一个优选实施例中，所述方法还包括：
将所述待检测图像转换为灰度图，并进行滤波处理，获得第一滤波后的灰度图；
将所述参考图像转换为灰度图，并进行滤波处理，获得第二滤波后的灰度图；
则，所述对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图，具体包括：
对所述第一滤波后的灰度图进行特征提取，获得所述第一特征图；
对所述第二滤波后的灰度图进行特征提取，获得所述第二特征图。
具体的，结合上述实施例，为了提高准确性，在获得第一特征图和第二特征图之前，可以先将待检测图像转换为灰度图，并对该灰度图进行滤波处理，相应获得第一滤波后的灰度图，将参考图像转换为灰度图，并对该灰度图进行滤波处理，相应获得第二滤波后的灰度图，再对获得的第一滤波后的灰度图进行特征提取，相应获得第一特征图，对获得的第二滤波后的灰度图进行特征提取，相应获得第二特征图。
需要说明的是，通过对灰度图进行滤波处理，能够滤除图像噪声；其中，滤波处理方法包括但不限于高斯滤波法、中值滤波法等。
在又一个优选实施例中，所述根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，具体包括：
统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
当N1/(N1+N0)的值小于预设的第一占比阈值时，判定所述待检测图像中的场景发生变化；
当N1/(N1+N0)的值不小于预设的第一占比阈值时，判定所述待检测图像中的场景未发生变化；
或，所述根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，具体包括：
统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
当N1/N0的值小于预设的第二占比阈值时，判定所述待检测图像中的场景发生变化；
当N1/N0的值不小于预设的第二占比阈值时，判定所述待检测图像中的场景未发生变化。
具体的，结合上述实施例，在根据所有子区域的标记情况对待检测图像中的场景变换情况进行检测时，可以先统计获得所有子区域中被标记为1的子区域对应的数量N1和被标记为0的子区域对应的数量N0，再计算N1/(N1+N0)的值，并将N1/(N1+N0)的值与预先设置的第一占比阈值进行比较，当N1/(N1+N0)的值小于预先设置的第一占比阈值时，判定待检测图像中的场景发生变化，当N1/(N1+N0)的值不小于预先设置的第一占比阈值时，判定待检测图像中的场景未发生变化；或者再计算N1/N0的值，并将N1/N0的值与预先设置的第二占比阈值进行比较，当N1/N0的值小于预先设置的第二占比阈值时，判定待检测图像中的场景发生变化，当N1/N0的值不小于预先设置的第二占比阈值时，判定待检测图像中的场景未发生变化。
在又一个优选实施例中，所述方法还包括：
当判定所述待检测图像中的场景发生变化时，根据所述待检测图像更新所述参考图像。
可以理解的，当判定待检测图像中的场景与预先设置的参考图像中的场景相比发生变化时，可以根据该待检测图像更新预先设置的参考图像，即将该待检测图像作为新的参考图像，以在下一次进行场景变换检测时使用更新后的参考图像作为对照。
本发明实施例还提供了一种场景变换检测装置，能够实现上述任一实施例所述的场景变换检测方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的场景变换检测方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图3所示，是本发明提供的一种场景变换检测装置的一个优选实施例的结构框图，所述装置包括：
显著性检测模块11，用于对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；
逻辑运算模块12，用于对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；
连通区域划分模块13，用于对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；
特征提取模块14，用于对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；
相似度计算模块15，用于统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；
子区域标记模块16，用于当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；
场景变换检测模块17，用于根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测。
优选地，所述著性目标检测至少采用以下模型中的一种：使用图像内在线索的基于块的检测模型、使用图像内在线索的基于区域的检测模型、基于卷积神经网络的深度学习模型。
优选地，所述逻辑运算模块12具体包括：
第一逻辑运算单元，用于对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
优选地，所述装置还包括显著性处理模块；所述显著性处理模块用于：
根据所述待检测图像对所述第一显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第一显著性目标掩码；
根据所述参考图像对所述第二显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第二显著性目标掩码；
则，所述逻辑运算模块12具体包括：
第二逻辑运算单元，用于对所述处理后的第一显著性目标掩码和所述处理后的第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
优选地，所述装置还包括图像处理模块；所述图像处理模块用于：
将所述待检测图像转换为灰度图，并进行滤波处理，获得第一滤波后的灰度图；
将所述参考图像转换为灰度图，并进行滤波处理，获得第二滤波后的灰度图；
则，所述特征提取模块14具体包括：
第一特征提取单元，用于对所述第一滤波后的灰度图进行特征提取，获得所述第一特征图；
第二特征提取单元，用于对所述第二滤波后的灰度图进行特征提取，获得所述第二特征图。
优选地，所述场景变换检测模块17具体包括：
第一数量统计单元，用于统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
第一场景变换检测单元，用于当N1/(N1+N0)的值小于预设的第一占比阈值时，判定所述待检测图像中的场景发生变化；
第二场景变换检测单元，用于当N1/(N1+N0)的值不小于预设的第一占比阈值时，判定所述待检测图像中的场景未发生变化；
或，所述场景变换检测模块17具体包括：
第二数量统计单元，用于统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
第三场景变换检测单元，用于当N1/N0的值小于预设的第二占比阈值时，判定所述待检测图像中的场景发生变化；
第四场景变换检测单元，用于当N1/N0的值不小于预设的第二占比阈值时，判定所述待检测图像中的场景未发生变化。
优选地，所述装置还包括：
参考图像更新模块，用于当判定所述待检测图像中的场景发生变化时，根据所述待检测图像更新所述参考图像。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的场景变换检测方法。
本发明实施例还提供了一种终端设备，参见图4所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的场景变换检测方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、……)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图4结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种场景变换检测方法、装置、计算机可读存储介质及终端设备，具有以下有益效果：
(1)通过显著性目标检测能够高层次地对图像进行分析，能够有效地去除图像场景中前景目标的干扰，从而提高抗干扰能力；
(2)相比于对像素差异进行直接的数理统计，使用HOG、LBP及其衍生的多种算子等对图像进行特征提取，能够有效地抵抗光照变化等带来的噪声，高效地提取出图像的特征；
(3)使用局部特征直方图进行统计，基于局部区域的特征进行对比，可以有效抵抗局部晃动或者阴影变化的影响，从而提高场景变换检测的鲁棒性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种场景变换检测方法，其特征在于，包括：
对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；
对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；
对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；
对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；
统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；
当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；
根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测。
2.如权利要求1所述的场景变换检测方法，其特征在于，所述著性目标检测至少采用以下模型中的一种：使用图像内在线索的基于块的检测模型、使用图像内在线索的基于区域的检测模型、基于卷积神经网络的深度学习模型。
3.如权利要求1所述的场景变换检测方法，其特征在于，所述对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码，具体包括：
对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
4.如权利要求1所述的场景变换检测方法，其特征在于，所述方法还包括：
根据所述待检测图像对所述第一显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第一显著性目标掩码；
根据所述参考图像对所述第二显著性目标掩码进行导向滤波、二值化和形态学处理，获得处理后的第二显著性目标掩码；
则，所述对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码，具体包括：
对所述处理后的第一显著性目标掩码和所述处理后的第二显著性目标掩码进行逻辑或运算和取反运算，获得所述背景掩码。
5.如权利要求1所述的场景变换检测方法，其特征在于，所述方法还包括：
将所述待检测图像转换为灰度图，并进行滤波处理，获得第一滤波后的灰度图；
将所述参考图像转换为灰度图，并进行滤波处理，获得第二滤波后的灰度图；
则，所述对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图，具体包括：
对所述第一滤波后的灰度图进行特征提取，获得所述第一特征图；
对所述第二滤波后的灰度图进行特征提取，获得所述第二特征图。
6.如权利要求1所述的场景变换检测方法，其特征在于，所述根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，具体包括：
统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
当N1/(N1+N0)的值小于预设的第一占比阈值时，判定所述待检测图像中的场景发生变化；
当N1/(N1+N0)的值不小于预设的第一占比阈值时，判定所述待检测图像中的场景未发生变化；
或，所述根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测，具体包括：
统计获得被标记为1的子区域的数量N1和被标记为0的子区域的数量N0；
当N1/N0的值小于预设的第二占比阈值时，判定所述待检测图像中的场景发生变化；
当N1/N0的值不小于预设的第二占比阈值时，判定所述待检测图像中的场景未发生变化。
7.如权利要求1～6任一项所述的场景变换检测方法，其特征在于，所述方法还包括：
当判定所述待检测图像中的场景发生变化时，根据所述待检测图像更新所述参考图像。
8.一种场景变换检测装置，其特征在于，包括：
显著性检测模块，用于对待检测图像和预设的参考图像分别进行显著性目标检测，对应获得第一显著性目标掩码和第二显著性目标掩码；
逻辑运算模块，用于对所述第一显著性目标掩码和所述第二显著性目标掩码进行逻辑运算，获得背景掩码；
连通区域划分模块，用于对所述背景掩码进行连通区域标记，并将标记后的连通区域划分为若干个子区域；
特征提取模块，用于对所述待检测图像和所述参考图像分别进行特征提取，对应获得第一特征图和第二特征图；
相似度计算模块，用于统计所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图，并计算所述第一特征图和所述第二特征图在每一个子区域上的局部特征直方图的相似度；
子区域标记模块，用于当任一子区域上对应的相似度小于预设的相似度阈值时，将该子区域标记为0，否则标记为1；
场景变换检测模块，用于根据所有子区域的标记情况对所述待检测图像中的场景变换情况进行检测。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的场景变换检测方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的场景变换检测方法。
CN202010427753.6A 2020-05-19 2020-05-19 一种场景变换检测方法、装置、存储介质及终端设备 Active CN111783524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010427753.6A CN111783524B (zh) 2020-05-19 2020-05-19 一种场景变换检测方法、装置、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010427753.6A CN111783524B (zh) 2020-05-19 2020-05-19 一种场景变换检测方法、装置、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN111783524A CN111783524A (zh) 2020-10-16
CN111783524B true CN111783524B (zh) 2023-10-17

Family

ID=72754254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010427753.6A Active CN111783524B (zh) 2020-05-19 2020-05-19 一种场景变换检测方法、装置、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN111783524B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686122B (zh) * 2020-12-25 2023-09-29 浙江大华技术股份有限公司 人体及影子的检测方法、装置、电子设备、存储介质
CN112699834B (zh) * 2021-01-12 2022-06-17 腾讯科技（深圳）有限公司 交通标识检测方法、装置、计算机设备和存储介质
CN113225461A (zh) * 2021-02-04 2021-08-06 江西方兴科技有限公司 一种检测视频监控场景切换的系统及方法
CN113763439A (zh) * 2021-02-07 2021-12-07 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN113781571A (zh) * 2021-02-09 2021-12-10 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN113489895B (zh) * 2021-06-23 2022-05-31 荣耀终端有限公司 确定推荐场景的方法及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007076890A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Segmentation of video sequences
CN101159859A (zh) * 2007-11-29 2008-04-09 北京中星微电子有限公司 一种运动检测方法、装置以及一种智能监控系统
CN102509290A (zh) * 2011-10-25 2012-06-20 西安电子科技大学 基于显著性的sar图像机场跑道边缘检测方法
US8699767B1 (en) * 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN107346409A (zh) * 2016-05-05 2017-11-14 华为技术有限公司 行人再识别方法和装置
CN107767404A (zh) * 2017-06-23 2018-03-06 北京理工大学 一种基于改进ViBe背景模型的遥感图像序列动目标检测方法
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN108805018A (zh) * 2018-04-27 2018-11-13 淘然视界(杭州)科技有限公司 道路交通标志检测识别方法、电子设备、存储介质及系统
CN109034001A (zh) * 2018-07-04 2018-12-18 安徽大学 一种基于时空线索的跨模态视频显著性检测方法
CN110428916A (zh) * 2019-07-10 2019-11-08 湖南大学 一种包覆颗粒的厚度检测方法、装置和计算设备
CN110599516A (zh) * 2019-08-22 2019-12-20 普联技术有限公司 一种运动目标检测方法、装置、存储介质及终端设备
CN110992381A (zh) * 2019-12-17 2020-04-10 嘉兴学院 一种基于改进Vibe+算法的运动目标背景分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202137B2 (en) * 2008-11-13 2015-12-01 Google Inc. Foreground object detection from multiple images
US9042648B2 (en) * 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9619708B2 (en) * 2012-04-30 2017-04-11 Niko Corporation Method of detecting a main subject in an image

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007076890A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Segmentation of video sequences
US8699767B1 (en) * 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
CN101159859A (zh) * 2007-11-29 2008-04-09 北京中星微电子有限公司 一种运动检测方法、装置以及一种智能监控系统
CN102509290A (zh) * 2011-10-25 2012-06-20 西安电子科技大学 基于显著性的sar图像机场跑道边缘检测方法
CN107346409A (zh) * 2016-05-05 2017-11-14 华为技术有限公司 行人再识别方法和装置
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN107767404A (zh) * 2017-06-23 2018-03-06 北京理工大学 一种基于改进ViBe背景模型的遥感图像序列动目标检测方法
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN108805018A (zh) * 2018-04-27 2018-11-13 淘然视界(杭州)科技有限公司 道路交通标志检测识别方法、电子设备、存储介质及系统
CN109034001A (zh) * 2018-07-04 2018-12-18 安徽大学 一种基于时空线索的跨模态视频显著性检测方法
CN110428916A (zh) * 2019-07-10 2019-11-08 湖南大学 一种包覆颗粒的厚度检测方法、装置和计算设备
CN110599516A (zh) * 2019-08-22 2019-12-20 普联技术有限公司 一种运动目标检测方法、装置、存储介质及终端设备
CN110992381A (zh) * 2019-12-17 2020-04-10 嘉兴学院 一种基于改进Vibe+算法的运动目标背景分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征的视频镜头检测方法;彭太乐 等;《仪器仪表学报》;第36卷(第09期);2013-2020 *

Also Published As

Publication number Publication date
CN111783524A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783524B (zh) 一种场景变换检测方法、装置、存储介质及终端设备
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
EP3806064A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN110659659A (zh) 一种智能识别和预警害虫的方法及系统
CN110910420A (zh) 一种基于图像流的移动目标检测追踪方法
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
WO2022142417A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114049499A (zh) 用于连续轮廓的目标对象检测方法、设备及存储介质
Meher et al. Efficient method of moving shadow detection and vehicle classification
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN110599516A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN111179302B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
Yépez et al. Deep learning‐based embedded license plate localisation system
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
Ianasi et al. A fast algorithm for background tracking in video surveillance, using nonparametric kernel density estimation
CN112101148B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
CN110210425B (zh) 人脸识别方法、装置、电子设备及存储介质
CN112101323A (zh) 标题列表的识别方法、系统、电子设备及存储介质
CN116863458A (zh) 车牌识别方法、装置、系统及存储介质
Singh et al. ANPR Indian system using surveillance cameras
Wang et al. A vision-based method for parking space surveillance and parking lot management
CN113569771B (zh) 视频分析方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant