CN108280386B - 监控场景检测方法及装置 - Google Patents

监控场景检测方法及装置 Download PDF

Info

Publication number
CN108280386B
CN108280386B CN201710007824.5A CN201710007824A CN108280386B CN 108280386 B CN108280386 B CN 108280386B CN 201710007824 A CN201710007824 A CN 201710007824A CN 108280386 B CN108280386 B CN 108280386B
Authority
CN
China
Prior art keywords
scene image
real
offset distance
historical
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710007824.5A
Other languages
English (en)
Other versions
CN108280386A (zh
Inventor
楼先濠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201710007824.5A priority Critical patent/CN108280386B/zh
Publication of CN108280386A publication Critical patent/CN108280386A/zh
Application granted granted Critical
Publication of CN108280386B publication Critical patent/CN108280386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种监控场景检测方法及装置,所述方法包括:获取实时场景图像与对应的历史场景图像;根据实时场景图像与历史场景图像确定响应阈值;基于响应阈值获取所述实时场景图像中的第一特征点集与历史场景图像中的第二特征点集;对第一特征点集与所述第二特征点集进行匹配,得到至少一个特征点对;获取至少一个特征点对中的第一特征点与第二特征点之间的相对偏移距离;根据相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度。应用该方法,可以实现自动检测视频监控系统中摄像机所监控到的视频场景是否偏离预设的待监控场景,有效地确定实际监控到的视频场景偏离预设的待监控场景的程度,提升用户体验,同时避免监控资源的浪费。

Description

监控场景检测方法及装置
技术领域
本申请涉及视频监控技术领域,尤其涉及一种监控场景检测方法及装置。
背景技术
在视频监控系统中,摄像机是实现场景监控不可或缺的设备。然而,在实际应用中,摄像机由于受到外力影响,例如人力作用、风吹作用等影响,改变了拍摄角度,会造成实际监控到的视频场景偏离预设的待监控场景;同时,由于视频监控系统的管理人员很可能无法及时获知摄像机所出现的异常情况,从而无法及时对出现异常情况的摄像机进行维护,最终将导致摄像机实际监控到的视频场景长时间偏离预设的待监控场景,对视频监控系统以及用户体验造成影响,同时浪费监控资源。
发明内容
有鉴于此,本申请提供一种监控场景检测方法及装置,以实现自动检测视频监控系统中摄像机所监控到的视频场景是否偏离预设的待监控场景,并有效地确定实际监控到的视频场景偏离预设的待监控场景的程度,提升用户体验,同时避免监控资源的浪费。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种监控场景检测方法,所述方法包括:
获取实时场景图像与对应的历史场景图像;
根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值;
基于所述响应阈值获取所述实时场景图像中的第一特征点集与所述历史场景图像中的第二特征点集;
对所述第一特征点集与所述第二特征点集进行匹配,得到至少一个特征点对,其中,每个所述特征点对包括一个第一特征点与一个第二特征点;
获取所述至少一个特征点对中的第一特征点与第二特征点之间的相对偏移距离;
根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度。
可选的,在所述根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值之前,所述方法还包括:
对所述实时场景图像与所述历史场景图像进行图像缩小;
对图像缩小后的实时场景图像与历史场景图像进行图像增强。
可选的,所述根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值包括:
分别对所述实时场景图像与所述历史场景图像进行卷积操作,得到所述实时场景图像中每个像素点对应的第一像素变化值与所述历史场景图像中每个像素点对应的第二像素变化值;
分别对所述第一像素变化值与所述第二像素变化值按照从大到小的顺序进行排序;
根据排序结果,分别获取排在前M位的第一像素变化值的第一平均值与排在前M位的第二像素变化值的第二平均值,其中,M为大于0的自然数;
根据预设的第一公式计算得出海森矩阵的响应阈值;
所述第一公式为:海森矩阵的响应阈值=K1+K2*min(第一平均值,第二平均值),其中,K1表示基础响应阈值,且K1为大于0的自然数,K2表示调整系数,且K2为0到1之间的小数,min(第一平均值,第二平均值)表示第一平均值与第二平均值之间的较小值。
可选的,所述根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度包括:
统计得出相对偏移距离相同的特征点对的数量;
将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离;
基于预设的误差值,确定以所述参考偏移距离为中心的偏移范围;
统计得出所述偏移范围内的所有相对偏移距离所对应的特征点对的总数量;
确定所述对应的特征点对的总数量占所有的特征点对的总数量的比例;
若所述比例达到预设的比例阈值,则将所述参考偏移距离确定为所述实时场景图像与所述历史场景图像之间的实际偏移距离;
根据预设的函数关系,确定所述实际偏移距离对应的分值,所述分值与所述实时场景图像与所述历史场景图像之间的场景变换程度成负相关。
可选的,在所述统计得出相对偏移距离相同的特征点对的数量之后,在所述将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离之前,所述方法还包括:
若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃所述相对偏移距离相同的特征点对。
根据本申请实施例的第二方面,提供一种监控场景检测装置,所述装置包括:
图像获取模块,用于获取实时场景图像与对应的历史场景图像;
阈值确定模块,用于根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值;
特征点获取模块,用于基于所述响应阈值获取所述实时场景图像中的第一特征点集与所述历史场景图像中的第二特征点集;
匹配模块,用于对所述第一特征点集与所述第二特征点集进行匹配,得到至少一个特征点对,其中,每个所述特征点对包括一个第一特征点与一个第二特征点;
距离获取模块,用于获取所述至少一个特征点对中的第一特征点与第二特征点之间的相对偏移距离;
确定模块,用于根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度。
可选的,所述装置还包括:
第一处理模块,用于对所述实时场景图像与所述历史场景图像进行图像缩小;
第二处理模块,用于对图像缩小后的实时场景图像与历史场景图像进行图像增强。
可选的,所述阈值确定模块包括:
卷积子模块,用于分别对所述实时场景图像与所述历史场景图像进行卷积操作,得到所述实时场景图像中每个像素点对应的第一像素变化值与所述历史场景图像中每个像素点对应的第二像素变化值;
排序子模块,用于分别对所述第一像素变化值与所述第二像素变化值按照从大到小的顺序进行排序;
均值获取子模块,用于根据排序结果,分别获取排在前M位的第一像素变化值的第一平均值与排在前M位的第二像素变化值的第二平均值,其中,M为大于0的自然数;
阈值获取子模块,用于根据预设的第一公式计算得出海森矩阵的响应阈值;
所述第一公式为:海森矩阵的响应阈值=K1+K2*min(第一平均值,第二平均值),其中,K1表示基础响应阈值,且K1为大于0的自然数,K2表示调整系数,且K2为0到1之间的小数,min(第一平均值,第二平均值)表示第一平均值与第二平均值之间的较小值。
可选的,所述确定模块包括:
统计子模块,用于统计得出相对偏移距离相同的特征点对的数量;
参考确定子模块,用于将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离;
范围确定子模块,用于基于预设的误差值,确定以所述参考偏移距离为中心的偏移范围;
数量确定子模块,用于统计得出所述偏移范围内的所有相对偏移距离所对应的特征点对的总数量;
比例确定子模块,用于确定所述对应的特征点对的总数量占所有的特征点对的总数量的比例;
距离确定子模块,用于若所述比例达到预设的比例阈值,则将所述参考偏移距离确定为所述实时场景图像与所述历史场景图像之间的实际偏移距离;
分值确定子模块,用于根据预设的函数关系,确定所述实际偏移距离对应的分值,所述分值与所述实时场景图像与所述历史场景图像之间的场景变换程度成负相关。
可选的,所述装置还包括:
过滤模块,用于若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃所述相对偏移距离相同的特征点对。
由上述实施例可见,通过根据实时场景图像与历史场景图像获取海森矩阵的响应阈值,可以有效地控制后续根据该响应阈值所获取到的图像中特征点的数量以及有效性;并且,通过特征点对中的两个特征点之间的相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度,实现了自动检测视频监控系统中摄像机所监控到的视频场景是否偏离预设的待监控场景,以及偏离的程度,从而提升用户体验,避免监控资源的浪费,同时,整个计算过程简便,节省设备性能。
附图说明
图1A为本申请监控场景检测方法的一个实施例流程图;
图1B为历史场景图像的一个示例;
图1C为实时场景图像的一个示例;
图2为本申请监控场景检测方法的另一个实施例流程图;
图3A为本申请监控场景检测方法的又一个实施例流程图;
图3B为距离直方图的一个示例;
图3C为距离直方图的另一个示例;
图3D为距离直方图的又一个示例;
图3E为对图3D所示的距离直方图进行无效特征点对过滤后的距离直方图;
图4为本申请监控场景检测装置所在网络设备的一种硬件结构图;
图5为本申请监控场景检测装置的一个实施例框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在视频监控系统中,出于某种原因,例如摄像机被安装在距离监控中心较偏远的位置,导致该摄像机受维护的频次较低,从而有可能导致该摄像机受到外力影响,例如人力作用、风力作用等影响改变拍摄角度;或者摄像机被恶意地调转拍摄方向,甚至被完全遮盖,在该些情况下,若视频监控系统的管理人员无法及时获知摄像机所出现的异常情况,将导致摄像机实际监控到的视频场景长时间偏离预设的待监控场景,甚至摄像机完全无法监控预设的待监控场景,从而将对用户体验造成严重影响,并浪费监控资源。
为了有效地避免上述问题,本申请提供一种监控场景检测方法及装置,以实现自动检测视频监控系统中摄像机所监控到的视频场景是否偏离预设的待监控场景,并有效地确定实际监控到的视频场景偏离预设的待监控场景的程度,以提升用户体验,同时避免监控资源的浪费。
如下,列举下述实施例对申请所提供的监控场景检测方法进行说明。
请参见图1A,为本申请监控场景检测方法的一个实施例流程图,该方法可以包括以下步骤:
步骤S101:获取实时场景图像与对应的历史场景图像。
在本申请中,为了描述方便,可以将摄像机当前所拍摄到的帧图像称为实时场景图像。
获取到实时场景图像之后,可以根据拍摄该实时场景图像的摄像机的设备标识查询所保存的图像库,该图像库中可以记录有设备标识与历史场景图像之间的对应关系,若在该图像库中,查找到该摄像机的设备标识对应的历史场景图像,则可以获取其中一幅,例如拍摄时间距离当前时间最近的历史场景图像,作为该实时场景图像对应的历史场景图像。
若在该图像库中,未查找到该摄像机的设备标识对应的历史场景图像,则可以将该实时场景图像作为历史场景图像,保存在该图像库中。后续,继续获取新的实时场景图像,并在获取到新的实时场景图像之后,获取该新的实时场景图像对应的历史场景图像。
步骤S102:根据实时场景图像与历史场景图像确定海森矩阵的响应阈值。
在本申请中,在根据实时场景图像与历史场景图像确定海森矩阵的响应阈值之前,还可以对步骤S101中获取到的实时场景图像与历史场景图像进行预处理。具体的,可以首先分别对实时场景图像与历史场景图像进行图像缩小,例如,进行线性图像缩小,通过进行图像缩小,可以减少后续的计算量;之后,再分别对进行图像缩小后的实时场景图像与历史场景图像进行图像增强,通过进行图像增强,可以提高实时场景图像与历史场景图像的对比度,便于后续处理。
需要说明的是,在对进行图像缩放后的实时场景图像与历史场景图像进行图像增强时,可以采用空间域处理法,例如直方图均衡法,也可以采用频域处理法,例如高通滤波法,本申请对此并不作限制。
后续,本申请中,可以根据预处理之后的实时场景图像与历史场景图像确定海森矩阵的响应阈值。在根据预处理之后的实时场景图像与历史场景图像确定海森矩阵的响应阈值时,若该两幅图像的锐利程度较高,则该两幅图像较清晰,较容易提取到特征点,此时,可以适当地增大响应阈值,从而控制所提取到的特征点的数量,便于后续计算;若该两幅图像的锐利程度较低,则该两幅图像较模糊,较难提取到特征点,此时,可以适当地减小响应阈值,从而提取到较多的特征点,便于后续计算。具体是如何确定海森矩阵的响应阈值的,可以参见下述实施例中的描述,在此先不做详述。
步骤S103:基于响应阈值获取实时场景图像中的第一特征点集与历史场景图像中的第二特征点集。
在本申请中,可以应用SURF(Speeded Up Robust Feature,快速鲁棒特征)算法分别提取实时场景图像中的特征点与历史场景图像中的特征点。为了描述方便,可以将实时场景图像中的特征点称为第一特征点,将所有第一特征点统称为第一特征点集,将历史场景图像中的特征点称为第二特征点,将所有的第二特征点统称为第二特征点集。
在SURF算法中,通过海森矩阵行列式判断像素点是否为特征点,具体的,通过海森矩阵行列式计算出像素点的响应值,若像素点的响应值是该像素点所在的三维邻域内所有像素点的响应值中的极大值,且像素点的响应值大于步骤S103中所获取到的海森矩阵的响应阈值,则将该像素点确定为特征点。
步骤S104:对第一特征点集与第二特征点集进行匹配,得到至少一个特征点对,其中,每个特征点对包括一个第一特征点与一个第二特征点。
在本申请中,可以通过图像匹配算法,例如BF(Brute Force,暴风)算法、KNN(K-Nearest Neighbor algorithm,K最邻近结点算法)、等等,对第一特征点集和第二特征点集进行匹配,得到多个特征点对,该每个特征点对包括一个第一特征点与一个第二特征点。
步骤S105:获取至少一个特征点对中的第一特征点与第二特征点之间的相对偏移距离。
在本申请中,假设一个特征点对中的第一特征点在实时场景图像中的坐标为I1(x1,y1),第二特征点在历史场景图像中的坐标为I2(x2,y2),通过欧式距离计算方法,可以得出该第一特征点与第二特征点之间的相对偏移距离
Figure BDA0001203681490000091
需要说明的是,上述描述仅仅作为举例,在实际应用中,还可以使用曼哈顿距离计算方法、切比雪夫距离计算方法、等等计算得出特征点对中第一特征点与第二特征点之间的相对偏移距离。
步骤S106:根据相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度。
在本申请中,可以根据上述步骤中所计算得出的相对偏移距离绘制距离直方图,在该距离直方图中,横轴表示相对偏移距离,纵轴表示具有该相对偏移距离的特征点对的数量。
通过距离直方图,则可以直观地反映出对应的特征点对的数量最多的相对偏移距离,继而根据该相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度。具体是如何根据相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度的,可以参见下述实施例中的描述,在此先不做详述。
此外,在本申请中,还可以根据特征点对中第一特征点和第二特征点之间的相对偏移距离确定摄像机偏移的角度。
具体的,如图1B所示,为历史场景图像的一个示例,如图1C所示,为实时场景图像的一个示例。通过执行本申请提供的方法,获取到图1B中所包括的第一特征点11和图1C中所包括的第二特征点12为一对特征点对,且获取到第一特征点11和第二特征点12之间的相对偏移距离为d,如图1C中所示,示出了摄像机的偏移方向,且θ为摄像机偏移的角度,可以得出:
Figure BDA0001203681490000101
在本申请中,若通过摄像机的偏移角度确定摄像机向预设的方向进行了偏移,则可以向视频监控系统的管理人员发出告警,以实现视频监控系统的管理人员可以及时获知摄像机出现异常情况,以及时对摄像机进行维护,避免对用户体验造成影响,同时避免监控资源的浪费。
由上述实施例可见,通过根据实时场景图像与历史场景图像获取海森矩阵的响应阈值,可以有效地控制后续根据该响应阈值所获取到的图像中特征点的数量以及有效性;并且,通过特征点对中的两个特征点之间的相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度,实现了自动检测视频监控系统中摄像机所监控到的视频场景是否偏离预设的待监控场景,以及偏离的程度,从而提升用户体验,避免监控资源的浪费,同时,整个计算过程简便,节省设备性能。
请参见图2,为本申请监控场景检测方法的另一个实施例流程图,该图2所示方法以描述根据实时场景图像与历史场景图像确定海森矩阵的响应阈值的过程为例,可以包括以下步骤:
步骤S201:分别对实时场景图像与历史场景图像进行卷积操作,得到实时场景图像中每个像素点对应的第一像素变化值与历史场景图像中每个像素点对应的第二像素变化值。
在本申请中,可以分别对通过上述实施例中所描述的预处理之后的实时场景图像与历史场景图像进行卷积操作,例如,利用拉普拉斯算子对上述两幅图像分别进行卷积操作,通过卷积操作,可以得到该两幅图像中每个像素点的像素变化值,为了描述方便,将预处理之后的实时场景图像中每个像素点对应的像素变化值称为第一像素变化值,将预处理之后的历史场景图像中每个像素点对应的像素变化值称为第二像素变化值。
需要说明的是,上述所描述的利用拉普拉斯算子对上述两幅图像进行卷积操作仅仅作为举例,在实际应用中,还可以使用Sobel、Prewitt、Canny等边缘检测算子对上述两幅图像进行卷积操作,本申请对此不作限制。
步骤S202:分别对第一像素变化值与第二像素变化值按照从大到小的顺序进行排序。
步骤S203:根据排序结果,分别获取排在前M位的第一像素变化值的第一平均值与排在前M位的第二像素变化值的第二平均值,其中,M为大于0的自然数。
在本申请中,可以分别获取排在前M位,例如前200位的第一像素变化值,和排在前200位的第二像素变化值,并计算得到该200个第一像素变化值的平均值,以及该200个第二像素变化值的平均值。为了描述方便,可以将该200个第一像素变化值的平均值称为第一平均值,将该200个第二像素变化值的平均值称为第二平均值。
步骤S204:根据预设的第一公式计算得出海森矩阵的响应阈值。
在本申请中,预设的第一公式可以为:
海森矩阵的响应阈值=K1+K2*min(第一平均值,第二平均值)
其中,K1表示基础响应阈值,且K1为大于0的自然数,例如K1为400;K2表示调整系数,用于调节图像的锐利程度对响应阈值的影响程度,且K2为0到1之间的小数,例如,K2为0.4;min(第一平均值,第二平均值)表示第一平均值与第二平均值之间的较小值。
需要说明的是,在上述第一公式中,使用第一平均值与第二平均值之间的较小值参与海森矩阵的响应阈值的计算,可以使得后续在根据该响应阈值进行特征点提取时,有效地保证在实时场景图像与历史场景图像中,锐利程度较低的,即较模糊的图像中提取到有效特征点。
由上述实施例可见,通过根据实际待对比的实时场景图像与历史场景图像获取海森矩阵的响应阈值,可以实现后续在根据该响应阈值获取图像中特征点的过程中,有效地获取到特征点,避免实际待对比的图像的锐利程度对特征点的获取造成影响。
请参见图3A,为本申请监控场景检测方法的又一个实施例流程图,该图3A所示方法以描述根据相对偏移距离确定实时场景图像与历史场景图像之间的场景变换程度的过程为例,可以包括以下步骤:
步骤S301:统计得出相对偏移距离相同的特征点对的数量。
在本申请中,可以统计得出相对偏移距离相同的特征点对的数量,并根据统计结果绘制距离直方图。在该距离直方图中,横轴表示相对偏移距离,纵坐标表示具有该相对偏移距离的特征点对的数量,例如,如图3B所示,为距离直方图的一个示例,如图3C所示,为距离直方图的另一个示例,如图3D所示,为距离直方图的又一个示例。
在图3B所示示例的距离直方图中,在相对偏移距离为0处,特征点对的数量较多,则可以认为实时场景图像与历史场景图像之间未发生偏移,摄像机的拍摄角度未发生变化;在图3C所示例的距离直方图中,在相对偏移距离为5处,特征点对的数量较多,可以认为实时场景图像与历史场景图像之间发生轻微偏移,摄像机的拍摄角度发生轻微变化;在图3D所示例的距离直方图中,在相对偏移距离为60处,特征点对的数量较多,可以认为实时场景图像与历史场景图像之间发生较大偏移,摄像机的拍摄角度发生较大变化。
步骤S302:若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃该相对偏移距离相同的特征点对。
以监控场景为交通道路为例,由于监控场景中的前景,例如汽车、行人等不断发生变化,而这些不断发生变化的前景的相对偏移距离通常不作为实时场景图像与历史场景图像之间场景偏移程度的考量因素,从而,所获取到的特征点对中可能存在无效特征点对。
为了避免无效特征点对对统计结果造成影响,本申请中,可以对无效特征点对进行过滤。具体的,若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃该相对偏移距离相同的特征点对。
例如,如图3E所示,为对图3D所示的距离直方图进行无效特征点对过滤后的距离直方图。
步骤S303:将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离。
以图3E所示例的距离直方图为例,相对偏移距离为60处,所对应的特征点对的数量最多,从而可以将60作为参考偏移距离。
步骤S304:基于预设的误差值,确定以参考偏移距离为中心的偏移范围。
在本申请中,为了避免由于摄像机的轻微抖动,或者监控场景成像畸变等情况引起的误差,可以确定一个以参考偏移距离为中心的偏移范围,例如,预设的误差值为1,则以参考偏移距离60为中心的偏移范围为(60-1,60+1)。
步骤S305:统计得出偏移范围内的所有相对偏移距离所对应的特征点对的总数量。
在本申请中,可以根据图3E所示例的距离直方图,统计得出相对偏移距离在(60-1,60+1)这个偏移范围内的,所有相对偏移距离所对应的特征点对的总数量。
步骤S306:确定对应的特征点对的总数量占所有的特征点对的总数量的比例。
需要说明的是,在本申请中,所有的特征点对的总数量可以为执行完步骤S302,丢弃无效特征点对之后,剩余特征点对的总数量,例如,图3E所示例的距离直方图中,所表示出的所有特征点对的总数量。
步骤S307:若比例达到预设的比例阈值,则将参考偏移距离确定为实时场景图像与历史场景图像之间的实际偏移距离。
在本申请中,若步骤S306中所计算得出的比例达到预设的比例阈值,例如30%,则可以将参考偏移距离确定为实时场景图像与历史场景图像之间的实际偏移距离。
步骤S308:根据预设的函数关系,确定实际偏移距离对应的分值,该分值与实时场景图像与历史场景图像之间的场景变换程度成负相关。
在本申请中,为了使得实际场景图像与历史场景图像之间的场景变换程度更为直观,可以预设一套评分机制,在该评分机制中,分值越高,反应出实时场景图像与历史场景图像之间的场景变换程度越小,例如,若分值为0分,可以认为实时场景图像与历史场景图像之间的场景变换程度过大;若分值为100分,则可以认为实时场景图像与历史场景图像之间未出现场景变换。
具体地,可以预设函数关系,通过该函数关系,将实际偏移距离转换为分值。该函数关系可以为线性函数关系,例如,y=-ax+b,其中,y表示分值,x表示实际偏移距离,即分值随着实际偏移距离的增大而减小;该函数关系也可以为分段函数关系,例如,当实际偏移距离达到某一设定值时,分值随着实际偏移距离的增大而减小的程度更为明显。
此外,需要说明的是,在本申请中,若执行完上述步骤S302,剩余的特征点对的总数量小于预设下限值,例如15,则此时可以认为实时场景图像与历史场景图像之间的实际偏移距离已超出了可计算的范围,则此时,可以将分值设置为0。
由上述实施例可见,通过统计所有特征点对中特征点之间的相对偏移距离可以获取实时场景图像与历史场景图像之间的实际偏移距离,并将该实际偏移距离转换为分值,通过分值可以直观地表现出实时场景图像与历史场景图像之间的场景变换程度,从而提升用户体验。
与前述监控场景检测方法的实施例相对应,本申请还提供了监控场景检测装置的实施例。
本申请监控场景检测装置的实施例可以应用在网络设备,例如摄像机上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在网络设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本申请监控场景检测装置所在网络设备的一种硬件结构图,除了图4所示的处理器41、内存42、网络接口43、以及非易失性存储器44之外,实施例中装置所在的网络设备通常根据该网络设备的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图5,为本申请监控场景检测装置的一个实施例框图,该装置可以包括:图像获取模块51、阈值确定模块52、特征点获取模块53、匹配模块54、距离获取模块55、确定模块56。
其中,该图像获取模块51,可以用于获取实时场景图像与对应的历史场景图像;
该阈值确定模块52,可以用于根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值;
该特征点获取模块53,可以用于基于所述响应阈值获取所述实时场景图像中的第一特征点集与所述历史场景图像中的第二特征点集;
该匹配模块54,可以用于对所述第一特征点集与所述第二特征点集进行匹配,得到至少一个特征点对,其中,每个所述特征点对包括一个第一特征点与一个第二特征点;
该距离获取模块55,可以用于获取所述至少一个特征点对中的第一特征点与第二特征点之间的相对偏移距离;
该确定模块56,可以用于根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度。
在一实施例中,所述装置还可以包括(图5中并未示出):
第一处理模块,可以用于对所述实时场景图像与所述历史场景图像进行图像缩小;
第二处理模块,可以用于对图像缩小后的实时场景图像与历史场景图像进行图像增强。
在一实施例中,所述阈值确定模块52可以包括(图5中并未示出):
卷积子模块,可以用于分别对所述实时场景图像与所述历史场景图像进行卷积操作,得到所述实时场景图像中每个像素点对应的第一像素变化值与所述历史场景图像中每个像素点对应的第二像素变化值;
排序子模块,可以用于分别对所述第一像素变化值与所述第二像素变化值按照从大到小的顺序进行排序;
均值获取子模块,可以用于根据排序结果,分别获取排在前M位的第一像素变化值的第一平均值与排在前M位的第二像素变化值的第二平均值,其中,M为大于0的自然数;
阈值获取子模块,可以用于根据预设的第一公式计算得出海森矩阵的响应阈值;
所述第一公式可以为:海森矩阵的响应阈值=K1+K2*min(第一平均值,第二平均值),其中,K1表示基础响应阈值,且K1为大于0的自然数,K2表示调整系数,且K2为0到1之间的小数,min(第一平均值,第二平均值)表示第一平均值与第二平均值之间的较小值。
在一实施例中,所述确定模块56可以包括(图5中并未示出):
统计子模块,可以用于统计得出相对偏移距离相同的特征点对的数量;
参考确定子模块,可以用于将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离;
范围确定子模块,可以用于基于预设的误差值,确定以所述参考偏移距离为中心的偏移范围;
数量确定子模块,可以用于统计得出所述偏移范围内的所有相对偏移距离所对应的特征点对的总数量;
比例确定子模块,可以用于确定所述对应的特征点对的总数量占所有的特征点对的总数量的比例;
距离确定子模块,可以用于若所述比例达到预设的比例阈值,则将所述参考偏移距离确定为所述实时场景图像与所述历史场景图像之间的实际偏移距离;
分值确定子模块,可以用于根据预设的函数关系,确定所述实际偏移距离对应的分值,所述分值与所述实时场景图像与所述历史场景图像之间的场景变换程度成负相关。
在一实施例中,所述装置还可以包括(图5中并未示出):
过滤模块,可以用于若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃所述相对偏移距离相同的特征点对。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种监控场景检测方法,其特征在于,所述方法包括:
获取实时场景图像与对应的历史场景图像;
根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值;
基于所述响应阈值获取所述实时场景图像中的第一特征点集与所述历史场景图像中的第二特征点集;
对所述第一特征点集与所述第二特征点集进行匹配,得到多个特征点对,其中,每个所述特征点对包括一个第一特征点与一个第二特征点;
获取所述多个特征点对中的第一特征点与第二特征点之间的相对偏移距离;
根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度;
所述根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度包括:
统计得出相对偏移距离相同的特征点对的数量;
将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离;
基于预设的误差值,确定以所述参考偏移距离为中心的偏移范围;
统计得出所述偏移范围内的所有相对偏移距离所对应的特征点对的总数量;
确定所述对应的特征点对的总数量占所有的特征点对的总数量的比例;
若所述比例达到预设的比例阈值,则将所述参考偏移距离确定为所述实时场景图像与所述历史场景图像之间的实际偏移距离;
根据预设的函数关系,确定所述实际偏移距离对应的分值,所述分值与所述实时场景图像与所述历史场景图像之间的场景变换程度成负相关。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值之前,所述方法还包括:
对所述实时场景图像与所述历史场景图像进行图像缩小;
对图像缩小后的实时场景图像与历史场景图像进行图像增强。
3.根据权利要求2所述的方法,其特征在于,所述根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值包括:
分别对所述实时场景图像与所述历史场景图像进行卷积操作,得到所述实时场景图像中每个像素点对应的第一像素变化值与所述历史场景图像中每个像素点对应的第二像素变化值;
分别对所述第一像素变化值与所述第二像素变化值按照从大到小的顺序进行排序;
根据排序结果,分别获取排在前M位的第一像素变化值的第一平均值与排在前M位的第二像素变化值的第二平均值,其中,M为大于0的自然数;
根据预设的第一公式计算得出海森矩阵的响应阈值;
所述第一公式为:海森矩阵的响应阈值=K1+K2*min(第一平均值,第二平均值),其中,K1表示基础响应阈值,且K1为大于0的自然数,K2表示调整系数,且K2为0到1之间的小数,min(第一平均值,第二平均值)表示第一平均值与第二平均值之间的较小值。
4.根据权利要求1所述的方法,其特征在于,在所述统计得出相对偏移距离相同的特征点对的数量之后,在所述将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离之前,所述方法还包括:
若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃所述相对偏移距离相同的特征点对。
5.一种监控场景检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取实时场景图像与对应的历史场景图像;
阈值确定模块,用于根据所述实时场景图像与所述历史场景图像确定海森矩阵的响应阈值;
特征点获取模块,用于基于所述响应阈值获取所述实时场景图像中的第一特征点集与所述历史场景图像中的第二特征点集;
匹配模块,用于对所述第一特征点集与所述第二特征点集进行匹配,得到多个特征点对,其中,每个所述特征点对包括一个第一特征点与一个第二特征点;
距离获取模块,用于获取所述多个特征点对中的第一特征点与第二特征点之间的相对偏移距离;
确定模块,用于根据所述相对偏移距离确定所述实时场景图像与所述历史场景图像之间的场景变换程度;
所述确定模块包括:
统计子模块,用于统计得出相对偏移距离相同的特征点对的数量;
参考确定子模块,用于将所对应的特征点对的数量最多的相对偏移距离作为参考偏移距离;
范围确定子模块,用于基于预设的误差值,确定以所述参考偏移距离为中心的偏移范围;
数量确定子模块,用于统计得出所述偏移范围内的所有相对偏移距离所对应的特征点对的总数量;
比例确定子模块,用于确定所述对应的特征点对的总数量占所有的特征点对的总数量的比例;
距离确定子模块,用于若所述比例达到预设的比例阈值,则将所述参考偏移距离确定为所述实时场景图像与所述历史场景图像之间的实际偏移距离;
分值确定子模块,用于根据预设的函数关系,确定所述实际偏移距离对应的分值,所述分值与所述实时场景图像与所述历史场景图像之间的场景变换程度成负相关。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第一处理模块,用于对所述实时场景图像与所述历史场景图像进行图像缩小;
第二处理模块,用于对图像缩小后的实时场景图像与历史场景图像进行图像增强。
7.根据权利要求6所述的装置,其特征在于,所述阈值确定模块包括:
卷积子模块,用于分别对所述实时场景图像与所述历史场景图像进行卷积操作,得到所述实时场景图像中每个像素点对应的第一像素变化值与所述历史场景图像中每个像素点对应的第二像素变化值;
排序子模块,用于分别对所述第一像素变化值与所述第二像素变化值按照从大到小的顺序进行排序;
均值获取子模块,用于根据排序结果,分别获取排在前M位的第一像素变化值的第一平均值与排在前M位的第二像素变化值的第二平均值,其中,M为大于0的自然数;
阈值获取子模块,用于根据预设的第一公式计算得出海森矩阵的响应阈值;
所述第一公式为:海森矩阵的响应阈值=K1+K2*min(第一平均值,第二平均值),其中,K1表示基础响应阈值,且K1为大于0的自然数,K2表示调整系数,且K2为0到1之间的小数,min(第一平均值,第二平均值)表示第一平均值与第二平均值之间的较小值。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
过滤模块,用于若统计得出的相对偏移距离相同的特征点对的数量低于预设的数量阈值,则丢弃所述相对偏移距离相同的特征点对。
CN201710007824.5A 2017-01-05 2017-01-05 监控场景检测方法及装置 Active CN108280386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710007824.5A CN108280386B (zh) 2017-01-05 2017-01-05 监控场景检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710007824.5A CN108280386B (zh) 2017-01-05 2017-01-05 监控场景检测方法及装置

Publications (2)

Publication Number Publication Date
CN108280386A CN108280386A (zh) 2018-07-13
CN108280386B true CN108280386B (zh) 2020-08-28

Family

ID=62800622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710007824.5A Active CN108280386B (zh) 2017-01-05 2017-01-05 监控场景检测方法及装置

Country Status (1)

Country Link
CN (1) CN108280386B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948602B (zh) * 2019-01-21 2023-03-03 创新奇智(南京)科技有限公司 一种识别商品的方法、计算机可读介质及识别系统
CN110769246B (zh) * 2019-09-06 2023-04-11 华为技术有限公司 一种检测监控设备故障的方法、装置
CN110674780B (zh) * 2019-09-30 2022-09-09 苏州科达科技股份有限公司 一种场景变更检测方法、装置、设备及可读存储介质
CN111726569A (zh) * 2019-12-10 2020-09-29 李军 监控内容替换检测系统及方法
CN111931691B (zh) * 2020-08-31 2021-01-05 四川骏逸富顿科技有限公司 一种在岗监测方法及其监测系统
CN112949382A (zh) * 2021-01-22 2021-06-11 深圳市商汤科技有限公司 摄像头移动的检测方法及设备、电子设备
CN112507992B (zh) * 2021-02-04 2021-05-07 腾讯科技(深圳)有限公司 道路图像之间的拍摄距离确定方法、装置、设备及介质
CN114187734A (zh) * 2021-12-01 2022-03-15 深圳市中西视通科技有限公司 一种用于烟雾报警的图像识别方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098531A (zh) * 2010-12-16 2011-06-15 东软集团股份有限公司 一种检测摄像机被干扰的方法及装置
CN102778684A (zh) * 2012-07-16 2012-11-14 西安电子科技大学 基于fpga的嵌入式单目被动目标跟踪定位系统及方法
CN102982537A (zh) * 2012-11-05 2013-03-20 安维思电子科技(广州)有限公司 一种检测场景变换的方法和系统
CN103400380A (zh) * 2013-07-25 2013-11-20 河海大学 融合图像矩阵偏移的单摄像机水下目标三维轨迹模拟方法
CN103458155A (zh) * 2013-08-01 2013-12-18 北京邮电大学 视频场景变换检测方法和系统及体验质量检测方法和系统
CN104184925A (zh) * 2014-09-11 2014-12-03 刘鹏 一种视频场景变化的检测方法
CN104680504A (zh) * 2013-11-26 2015-06-03 杭州海康威视数字技术股份有限公司 场景变化检测方法及其装置
US9141871B2 (en) * 2011-10-05 2015-09-22 Carnegie Mellon University Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098531A (zh) * 2010-12-16 2011-06-15 东软集团股份有限公司 一种检测摄像机被干扰的方法及装置
US9141871B2 (en) * 2011-10-05 2015-09-22 Carnegie Mellon University Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
CN102778684A (zh) * 2012-07-16 2012-11-14 西安电子科技大学 基于fpga的嵌入式单目被动目标跟踪定位系统及方法
CN102982537A (zh) * 2012-11-05 2013-03-20 安维思电子科技(广州)有限公司 一种检测场景变换的方法和系统
CN103400380A (zh) * 2013-07-25 2013-11-20 河海大学 融合图像矩阵偏移的单摄像机水下目标三维轨迹模拟方法
CN103458155A (zh) * 2013-08-01 2013-12-18 北京邮电大学 视频场景变换检测方法和系统及体验质量检测方法和系统
CN104680504A (zh) * 2013-11-26 2015-06-03 杭州海康威视数字技术股份有限公司 场景变化检测方法及其装置
CN104184925A (zh) * 2014-09-11 2014-12-03 刘鹏 一种视频场景变化的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于多阈值Otsu和海森矩阵的脑血管提取";蒋先刚 等;《计算机工程与设计》;20140531;第35卷(第5期);第1709-1712页 *

Also Published As

Publication number Publication date
CN108280386A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280386B (zh) 监控场景检测方法及装置
CN109151375B (zh) 一种目标对象抓拍方法、装置及视频监控设备
KR101687530B1 (ko) 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체
JP5701005B2 (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
EP3358298A1 (en) Building height calculation method and apparatus, and storage medium
CN106599783B (zh) 一种视频遮挡检测方法及装置
US10474935B2 (en) Method and device for target detection
CN106991418B (zh) 飞虫检测方法、装置及终端
CN109447117B (zh) 双层车牌识别方法、装置、计算机设备及存储介质
CN107742307A (zh) 基于改进帧差法的输电线路舞动特征提取及参数分析方法
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN112417955B (zh) 巡检视频流处理方法及装置
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
CN111882578A (zh) 前景图像获取方法、前景图像获取装置和电子设备
US10726249B2 (en) Method and electronic apparatus for wave detection
CN108520496B (zh) 一种基于光流法的海空背景监控视频图像拼接方法
CN111046831B (zh) 家禽识别方法、装置及服务器
CN110223219B (zh) 3d图像的生成方法及装置
CN109558881B (zh) 一种基于计算机视觉的危岩崩塌监控方法
CN107609498B (zh) 一种计算机监控系统的数据处理方法
CN113936242B (zh) 一种视频图像干扰检测方法、系统、设备以及介质
CN110020572B (zh) 基于视频图像的人数统计方法、装置、设备及存储介质
CN114419489A (zh) 特征提取网络的训练方法、装置、终端设备和介质
CN113919393A (zh) 车位识别的方法、装置和设备
CN115082326A (zh) 视频去模糊的处理方法、边缘计算设备及中心处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant