CN109635723B - 一种遮挡检测方法及装置 - Google Patents

一种遮挡检测方法及装置 Download PDF

Info

Publication number
CN109635723B
CN109635723B CN201811509771.8A CN201811509771A CN109635723B CN 109635723 B CN109635723 B CN 109635723B CN 201811509771 A CN201811509771 A CN 201811509771A CN 109635723 B CN109635723 B CN 109635723B
Authority
CN
China
Prior art keywords
histogram
gradient
depth map
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811509771.8A
Other languages
English (en)
Other versions
CN109635723A (zh
Inventor
贾若然
陈紫阳
吕同盟
李梓赫
陈欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Zhiyu (Anhui) Technology Co.,Ltd.
Original Assignee
Iflytek Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Information Technology Co Ltd filed Critical Iflytek Information Technology Co Ltd
Priority to CN201811509771.8A priority Critical patent/CN109635723B/zh
Publication of CN109635723A publication Critical patent/CN109635723A/zh
Application granted granted Critical
Publication of CN109635723B publication Critical patent/CN109635723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种遮挡检测方法及装置,获取待检测图像的深度图；在深度图的直方图中存在目标直方的情况下，确定采集所述待检测图像的摄像头被遮挡，目标直方为邻域梯度最大且高度大于阈值的直方，邻域梯度为与相邻的直方的高度差。可见，遮挡检测的依据为深度图以及深度图的直方图，而无需使用样本训练模型，因此，避免了对于训练样本的依赖。

Description

一种遮挡检测方法及装置
技术领域
本申请涉及图像处理领域，特别是涉及一种遮挡检测方法及装置。
背景技术
随着平安城市的发展，监控系统的功能在不断智能化。例如，在摄像头得到监控图像的基础上，利用计算机视觉和人工智能技术对监控图像进行处理、分析和理解，在判断出异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理安全事件。
在实际应用中，系统中的摄像头因为安装位置和后期工程情况，往往受到遮挡物(所谓遮挡物是指遮挡了摄像头对监控区域拍摄的物体)的遮挡，使得摄像头所拍摄的监控图像中存在由于遮挡物产生的遮挡区域，而达不到预期的监控效果。因此，检测摄像头的遮挡情况成为智能监控不可获缺的环节。
目前的遮挡检测方法，模型对于遮挡的检测，高度依赖于模型的训练样本，对于没有训练样本的遮挡物，模型无法检出。例如，若训练样本中不存在电线杆，则无法从包括电线杆的监控图像中检测出遮挡。
发明内容
发明人在研究中发现，与待监控区域中的物体相比，遮挡物距离摄像头的距离较近，而深度图为反映被拍摄的物体与摄像头距离的图像，因此，可以利用深度图检测摄像头是否被遮挡。
本申请提出了一种遮挡检测方法及装置，目的在于解决遮挡检测过于依赖训练样本的问题。
一种遮挡检测方法，包括：
获取待检测图像的深度图；
在所述深度图的直方图中存在目标直方的情况下，确定采集所述待检测图像的摄像头被遮挡，所述目标直方为邻域梯度最大且高度大于阈值的直方，所述邻域梯度为与相邻的直方的高度差。
可选的，所述获取待检测图像的深度图包括：
将所述待检测图像作为预设的深度图估计模型的输入，得到所述深度图估计模型输出的所述待检测图像的深度图；
其中，所述深度图估计模型中包括空洞卷积层。
可选的，所述目标直方的计算方法包括：
确定候选直方，所述候选直方为对应的深度范围属于预设范围的直方；
计算所述候选直方中的任意一个直方的邻域梯度；
如果最大梯度直方的高度大于所述阈值，将所述最大梯度直方作为所述目标直方，所述最大梯度直方为所述候选直方中邻域梯度最大的直方。
可选的，所述预设范围的上限值为1/N*所述直方图中的直方对应的最大深度值，所述预设范围的下限值为所述直方图中的直方对应的最小深度值。
可选的，所述阈值包括：
高度的最大值，所述高度为：深度范围小于所述邻域梯度最大的直方的深度范围的全部直方的高度。
可选的，所述任意一个直方的邻域梯度包括：
左梯度和右梯度，所述左梯度为所述直方图中该直方与左边相邻的直方的高度差值，所述右梯度为所述直方图中该直方与右边相邻的直方的高度差值。
可选的，在所述确定采集所述待检测图像的摄像头被遮挡之后，还包括：
获取所述深度图的二值化图像；
确定所述二值化图像中的连通区域；
将满足预设条件的连通区域作为遮挡区域。
一种遮挡检测装置，包括：
获取模块，用于获取待检测图像的深度图；
确定模块，用于在所述深度图的直方图中存在目标直方的情况下，确定采集所述待检测图像的摄像头被遮挡，所述目标直方为邻域梯度最大且高度大于阈值的直方，所述邻域梯度为与相邻的直方的高度差。
一种遮挡检测设备，包括：
存储器和处理器；
所述存储器用于存储一个或多个程序；
所述处理器用于执行所述一个或多个程序，以使得所述遮挡检测设备实现上述遮挡检测方法。
一种计算机可读介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述遮挡检测方法。
本申请提供的遮挡检测方法及装置，获取待检测图像的深度图，在深度图的直方图中存在目标直方的情况下，确定采集待检测图像的摄像头被遮挡。其中，目标直方为邻域梯度最大且高度大于阈值的直方。可见，遮挡检测的依据为深度图以及深度图的直方图，而无需使用样本训练模型，因此，避免了对于训练样本的依赖。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的遮挡检测方法和装置的应用场景示例图；
图2为本申请实施例公开的一种遮挡检测方法的流程图；
图3为本申请实施例公开的一种深度估计模型的结构示意图；
图4(a)为本申请实施例公开的一种形式的空洞卷积核示例图；
图4(b)为本申请实施例公开的又一种形式的空洞卷积核示例图；
图4(c)为本申请实施例公开的又一种形式的空洞卷积核示例图；
图5(a)为本申请实施例公开的一种待检测图像的示例图；
图5(b)为本申请实施例公开的深度估计模型输出的待检测图像的深度图的示例图；
图6为本申请实施例公开的直方图的示例图；
图7为本申请实施例公开的一种目标直方图的确定方法的流程图；
图8为本申请实施例公开的一幅二值化图像的示例图；
图9为本申请实施例公开的一种遮挡检测装置的结构示意图。
具体实施方式
图1为本申请提供的遮挡检测方法和装置的应用场景示例图，图1中包括采集监控区域图像或视频的摄像头，位于摄像头与监控区域之间的、遮挡摄像头对监控区域中的物体进行采集的物体为遮挡物。
图1中的摄像头，连接图像处理系统(图1中未画出，可以与摄像头集成设置或独立设置)，本申请实施例所述的遮挡检测装置，可以设置在图像处理系统中。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图2为本申请实施例公开的一种遮挡检测方法，包括以下步骤：
S201、获取待检测图像。
在本实施例中，待检测图像以图1所示的摄像头所拍摄的图像为例。
S202、将待检测图像输入训练后的深度图估计模型，得到待检测图像的深度图。
本实施例所构建的深度估计模型的结构如图3所示，包括十部分：
第一部分为输入层input；
第二部分为调整后的vgg模型fine-tuned from vgg。具体的，调整是指，vgg模型使用现有的vgg模型的结构，以在现有的数据集上训练好的参数值为模型参数的初始值，使用本案的数据集训练新的参数值。调整过程可参见现有技术。
第三部分、第五部分、第七部分、第九部分均为卷积层，具体的，卷积核convx-y-z为空洞卷积核，其中，x表示空洞卷积核的大小、y表示空洞卷积核的数量、z表示空洞大小。
空洞卷积核为在标准的卷积核里注入空洞形成的卷积核，与标准的卷积核相比，能够增加感受野。
空洞卷积核包括多种形式，如图4(a)、图4(b)和图4(c)所示，图4(a)、图4(b)和图4(c)中，每个黑色的点表示卷积过程所使用的点乘位置，图4(a)表示1-空洞dilated卷积核convolution，点乘位置(黑色的点)是相邻的，感受野是3*3。图4(b)表示2-dilatedconvolution，点乘位置(黑色的点)是不相邻的，点乘位置之间为空洞，感受野是7*7。图4(c)表示3-dilated convolution，点乘位置(黑色的点)是不相邻的，感受野是15*15。基于上述空洞卷积核的定义，图4(a)实质为一个标准卷积核。第三部分、第五部分、第七部分、第九部分均使用标准卷积核进行运算。
具体的，使用空洞卷积核进行卷积的方式与现有技术相同，这里不再赘述。
第四部分、第六部分和第八部分均为最大池化层。池化的方式与现有技术相同，这里不再赘述。
第十部分表示多尺度空洞卷积层。具体的，第十部分包括三列，每一列的输入都为第九部分的输出，经过每一列的卷积后，得到三个卷积结果，最后三个卷积结果通过与conv1-1-1空洞卷积核的运算后输出待检测图像的深度图。第一列为零空洞(即标准)的卷积运算。第二列使用的空洞卷积核为2-dilated convolution，第三列使用的空洞卷积核为3-dilated convolution。由于空洞卷积层可以增大感受野，所以可以代替池化运算以增加感受野，并且与池化运算相比不损失信息，因此，克服了池化层造成的信息丢失的问题。
进一步的，第十部分使用不同尺度的空洞卷积核对第九部分的结果进行卷积，不同尺度是指卷积核的空洞大小不同(大小分别为1、2和4)。
由于不同尺度的空洞卷积核的感受野不同，因此，使得训练后的模型输出的深度图中像素值的准确性得到提高。
本实施例中，采用样本对所构建的模型进行训练，得到训练后的模型。对构建的模型进行训练所采用的样本包括：大量的实际监控图像，以及每幅监控图像的深度标签；其中，对于任意一幅监控图像深度标签表示监控图像所采集的真实物体到摄像头的距离。训练的具体过程可以参见现有技术，这里不再赘述。
图5(a)为待检测图像的示例，图5(b)为深度图估计模型输出的待检测图像的深度图的示例。在图5(b)所示的深度图中，较黑颜色的像素点所代表的实体到摄像头的距离较远，较白颜色的像素点所代表的实体到摄像头的距离较近。
上述S201～S202的目的是：获取待检测图像的深度图。在获取深度图后，对深度图进行如下处理，得到遮挡检测结果：
S203、获取待检测图像的深度图的直方图。
图6为直方图的示例，横坐标轴表示深度值，纵轴表示像素点的数量。直方图中包括多个直方，每个直方对应横坐标轴上的一个深度范围。任意一个直方的高度表示深度图中像素值属于该直方对应的深度范围的像素点的数量。
具体的，可以从其它模块或设备获取深度图的直方图，也可以通过计算得到深度图的直方图，计算直方图的过程为现有技术，这里不再赘述。
S204、确定待处理直方的梯度。
待处理直方为所得到的直方中的任意一个直方，待处理直方的梯度指的是待处理直方与相邻直方在高度上的差异程度，其中，相邻直方表示深度范围与待处理直方的深度范围相邻的直方。
具体的，待处理直方的梯度可以包括两种形式：
第一种形式为：左梯度和右梯度。
除了位于横轴两端的直方，待处理直方具有两个相邻直方，为了描述方便，将相邻直方中深度范围小于待处理直方的深度范围的直方，称为左直方，将相邻直方中深度范围大于待处理直方的深度范围的直方，称为右直方。将待处理直方与左直方在高度上的差值，称为待处理直方的左梯度，将待处理直方与右直方在高度上的差值，称为待处理直方的右梯度。位于横轴最左端的直方，只有右梯度，位于横轴最右端的直方，只有左梯度。
第二种形式为：左梯度与右梯度之和。
以图6为例，上述两种方式的梯度为：按照从左到右的顺序，第一个直方的深度范围为(5～25)，高度为10；第二个直方的深度范围为(30～50)，高度为15；第三个直方深度范围为(55～75)，高度为100。如果待处理直方为第一个直方，待处理直方的相邻直方为第二个直方；如果待处理直方为第二个直方，待处理直方的相邻直方为第一个直方与第三个直方。
第一种形式：第一个直方的梯度为10，第二个直方的左梯度为5、右梯度为85。
第二种形式：第一个直方的梯度为10；第二个直方的梯度为90。
当然，待处理直方的差异程度还可以为其他形式，只要可以反映在像素点数量上的差异即可，本实施例不对具体的形式作限定。
上述第一种方式的梯度和第二种方式的梯度可以概括为邻域梯度。
S205、判断是否存在目标直方，如果否，则执行S206，如果是，执行S207。
目标直方为直方图中满足预设条件的直方。具体的，当梯度为第一种形式时，预设条件可以为：左梯度为所有直方的左梯度中最大、右梯度为所有直方的右梯度中最大且高度大于阈值。当梯度为第二种形式时，预设条件可以为：左梯度与右梯度之和最大，且高度大于阈值。
针对梯度的两种形式，预设条件可以概括为：邻域梯度最大且高度大于阈值。
S205的具体实现方式以及阈值的设置原则，将在图7中具体说明。
S206、确定摄像头没有被遮挡。
上述S203～S206的目的是：在深度图的直方图中存在目标直方的情况下，确定采集待检测图像的摄像头被遮挡。
S207、确定摄像头被遮挡。
至此，已依据待检测图像的深度图，确定出待检测摄像头是否被遮挡。
在本实施例中，确定待检测图像的深度图，通过深度图的直方图中直方的邻域梯度，确定摄像头是否存在遮挡；由于整个过程不涉及遮挡物样本，因此，本实施例确定摄像头是否被遮挡不依赖于遮挡物样本；并且，相比于监控区域的物体，遮挡物到摄像头的距离较近，而深度图反映的是物体到摄像头的距离的图像，这一规律适用于所有的待检测图像，因此，通过本实施例，可以确定出任一摄像头是否存在遮挡。
进一步的，在本实施例中，在确定出摄像头被遮挡的情况下，还可以在待检测图像的深度图中确定出遮挡物所在的区域，为了描述方便，将深度图中表示遮挡物所在的区域称为遮挡区域。具体的，在深度图中确定遮挡区域的过程可以包括：
S208、依据目标深度范围，将待检测图像的深度图进行二值化，得到二值化图像。
在本步骤中，目标深度范围表示目标直方图的深度范围。以目标深度范围为分界线，将深度图中位于目标深度范围内的像素点与位于目标深度范围外的像素点设置为不同的像素值。例如，可以将位于目标深度范围内的像素点的像素值设置为0，位于目标深度范围外的像素点的像素值设置为255。当然，还可以将位于目标深度范围内的像素点的像素值设置为255，将位于目标深度范围外的像素点的像素值设置为0。本实施例不对具体的二值化方式作限定。
S209、确定二值化图像中的连通区域。
在二值化图像中，针对每个像素点，常见的邻接关系可以包括4邻接和8邻接。在本步骤中，可以依据4邻接确定二值化图像中的连通区域，也可以通过8邻接确定二值化图像中的连通区域。
对于同一幅二值图像，采用8邻接法所确定出的连通区域可能比采用4邻接法所确定出的连通区域大。例如，如图8所示为一幅二值化图像的示例，如果以4邻接法确定出的连通区域分别为1号区域、2号区域和3号区域；以8邻接法确定出的连通区域分别为3号区域和4号区域；其中，4号区域包括1号区域与2号区域，因此，采用8邻接法所确定出的连通区域可能比4邻接法确定出的连通区域大。实际应用中，可以根据实际需求，选择4邻接法或8邻接法。
在本实施例中，为了提高遮挡物类型确定的准确性，需要使得遮挡区域的面积应小于预设面积阈值，因此，本实施例中，优选的采用4邻接法确定连通区域。
S210、确定面积最大的连通区域为遮挡区域。
在本实施例中，将二值化图像中确定出的最大连通区域为遮挡区域。
需要说明的是，S210将满足预设条件的连通区域作为遮挡区域的一种具体实现方式，预设条件除了面积最大之外，当然在实际应用中，还可以根据实际情况设置其它的预设条件。
通过上述S208～S210可以看出，在确定出摄像头存在遮挡的情况下，还可以基于深度图进一步确定遮挡区域，为进一步依据遮挡区域确定遮挡物的类型奠定基础。
综上所述，将深度图作为遮挡检测以及遮挡区域确定的依据，所以，与现有的依据检测模型检测遮挡的方式相比，无需依赖于模型的训练样本，因此，适用性更优、鲁棒性更强和精确性更高的优点。
需要说明的是，在实际中，除了通过深度估计模型得到待检测图像的深度图之外，还可以通过在摄像头所在位置处安装深度相机，通过深度相机对监控区域的物体进行成像，得到待检测图像的深度图。对待检测图像的深度图进行处理的过程与上述实施例的处理过程相同，这里不再赘述。
具体的，图7为确定目标直方的具体流程，包括以下步骤：
S701、确定候选直方。
候选直方为直方图中对应的深度范围属于预设范围的直方。其中，预设范围的上限值为
Figure BDA0001900402190000091
其中，a表示直方图中的直方对应的最大深度值，预设范围的下限值为直方图中直方对应的最小深度值。N为大于1的整数，例如N的取值为2，本实施例不对N的取值作限定。
为了更直观地反映候选直方，在图6中虚线左边的直方均为候选直方。
由于相比于监控区域的物体，遮挡物到摄像头的距离较近，因此，深度图的直方图中，相对于监控区域的物体，遮挡物对应的深度较小，因此，在本实施例中，以
Figure BDA0001900402190000092
为上限值，而非将直方图中的所有直方对应的最大值作为上限值，在能够保证减小漏检可能性的情况下，减小后续计算量。
当然，上述预设范围的设置方式仅为示例，在不考虑计算量的情况下，预设范围还可以为深度图的全部像素的深度值构成的范围。
S702、计算候选直方中的任意一个直方的邻域梯度。
在本步骤中，计算候选直方中的每个直方的邻域梯度，具体的，计算邻域梯度的过程可以参考图1中的S204，这里不再赘述。
S703、确定候选直方中的最大梯度直方。
在本步骤中，最大梯度直方为直方图中邻域梯度最大的直方。
当邻域梯度为左梯度和右梯度时，最大梯度直方为候选直方中左梯度最大且右梯度最大的直方。
当邻域梯度为左梯度与右梯度之和时，最大梯度直方为左梯度与右梯度之和最大的直方。
在本实施例中，如果只将邻域梯度最大作为判断是否存在目标直方的条件，则会出现误判的情况，即判断的结果的准确性较低。例如，在实际中，当摄像头上存在灰尘等非遮挡物时，可能摄像头采集的待检测图像的深度图对应的直方图中，灰尘的深度值所属的直方的邻域梯度最大，但是灰尘不是遮挡物，因此，如果目标直方的判断条件只为邻域梯度最大时，则会判断此时存在目标直方，即出现了误判。
发明人在研究中发现，遮挡物的面积一般会大于某个面积值，并且，遮挡物的面积反应在直方图中，则表现为直方的高度。因此，为了提高判断结果的准确性，在本实施例中，当候选直方中存在最大梯度直方时，还需要从最大梯度直方的高度这一维度进行判断，具体的判断过程，如下S704所示。
S704、判断最大梯度直方的高度是否大于阈值，如果是，执行S705，如果否，执行S706。
如前所述，具有一定面积的物体才有可能是遮挡物，而直方的高度反映了像素的数量，所以，本实施例中，具体的，阈值可以有两种形式，第一种形式为：阈值为直方图中所有直方的高度之和的20％。即以深度图中的全部像素的一定比例，作为遮挡物判定的阈值。当然，20％仅为举例，阈值还可以为所有直方的高度之和的其他比例，本实施例不对比例的具体取值作限定。
阈值的第二种形式：阈值为深度范围小于最大梯度直方的深度范围的全部直方的高度的最大值。
在深度图的直方图中，横轴上越靠右，深度值越大，所以，最大梯度直方右边的直方为监控区域的物体的可能性较大，因此，阈值选取的是最大梯度直方左边的全部直方的高度的最大值，以减小漏检的可能性。
还以图6所示的直方图为例，假设从左到右第三个直方为最大梯度直方，此时，阈值为第一个直方的高度与第二个直方的高度中的最大值。
S705、将最大梯度直方确定为目标直方。
S706、直方图中不存在目标直方。
图7所示的流程，对于深度图的直方图中是否存在目标直方，本实施例给出了从邻域梯度与高度两个维度进行判断，以减小误检和漏检的可能性，使得判断结果的准确性得到提高。
图9为本申请实施例提供的一种遮挡检测的装置，包括获取模块901和确定模块902。
具体的，获取模块901用于获取待检测图像的深度图；确定模块902用于在所述深度图的直方图中存在目标直方的情况下，确定采集所述待检测图像的摄像头被遮挡，所述目标直方为邻域梯度最大且高度大于阈值的直方，所述邻域梯度为与相邻的直方的高度差。
可选的，获取模块901获取待检测图像的深度图的具体实现方式包括：
将所述待检测图像作为预设的深度图估计模型的输入，得到所述深度图估计模型输出的所述待检测图像的深度图；其中，所述深度图估计模型中包括空洞卷积层。
可选的，还包括计算模块，用于计算目标直方；计算目标直方的具体实现方式，包括：
确定候选直方，所述候选直方为对应的深度范围属于预设范围的直方；计算所述候选直方中的任意一个直方的邻域梯度；如果最大梯度直方的高度大于所述阈值，将所述最大梯度直方作为所述目标直方，所述最大梯度直方为所述候选直方中邻域梯度最大的直方。
可选的，上述预设范围的上限值为1/N*所述直方图中的直方对应的最大深度值，所述预设范围的下限值为所述直方图中的直方对应的最小深度值。
可选的，上述阈值包括：高度的最大值，所述高度为：深度范围小于所述邻域梯度最大的直方的深度范围的全部直方的高度。
可选的，上述任意一个直方的邻域梯度包括：左梯度和右梯度，所述左梯度为所述直方图中该直方与左边相邻的直方的高度差值，所述右梯度为所述直方图中该直方与右边相邻的直方的高度差值。
可选的，还包括：
遮挡区域确定模块，用于在确定模块902确定采集所述待检测图像的摄像头被遮挡之后，获取所述深度图的二值化图像；确定所述二值化图像中的连通区域；将满足预设条件的连通区域作为遮挡区域。
在本实施例中，通过获取模块获取待检测图像的深度图，确定模块通过深度图的直方图中直方的邻域梯度，确定摄像头是否存在遮挡；由于本实施例的模块在实现过程中不涉及遮挡物样本，因此，本实施例确定摄像头是否被遮挡不依赖于遮挡物样本，无需使用样本训练模型，因此，避免了对于训练样本的依赖。
本申请实施例还公开的一种遮挡检测设备，包括：存储器和处理器。
所述存储器用于存储一个或多个程序。所述处理器用于执行所述一个或多个程序，以使得所述遮挡检测设备实现上述遮挡检测方法。
本申请实施例还公开的一种计算机可读介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述遮挡检测方法。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种遮挡检测方法，其特征在于，包括：
获取待检测图像的深度图；
获取所述深度图的直方图，所述直方图中包括多个直方，每个直方对应一个深度范围，任意一个直方的高度表示所述深度图中像素值属于该直方对应的深度范围的像素点的数量；
针对每个直方，确定所述直方的邻域梯度，所述邻域梯度为与相邻的直方的高度差；
在所述深度图的直方图中存在目标直方的情况下，确定采集所述待检测图像的摄像头被遮挡，所述目标直方为邻域梯度最大且高度大于阈值的直方。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测图像的深度图包括：
将所述待检测图像作为预设的深度图估计模型的输入，得到所述深度图估计模型输出的所述待检测图像的深度图；
其中，所述深度图估计模型中包括空洞卷积层。
3.根据权利要求1所述的方法，其特征在于，所述目标直方的计算方法包括：
确定候选直方，所述候选直方为对应的深度范围属于预设范围的直方；
计算所述候选直方中的任意一个直方的邻域梯度；
如果最大梯度直方的高度大于所述阈值，将所述最大梯度直方作为所述目标直方，所述最大梯度直方为所述候选直方中邻域梯度最大的直方。
4.根据权利要求3所述的方法，其特征在于，所述预设范围的上限值为1/N*所述直方图中的直方对应的最大深度值，所述预设范围的下限值为所述直方图中的直方对应的最小深度值，N为大于1的整数。
5.根据权利要求1或3所述的方法，其特征在于，所述阈值包括：
高度的最大值，所述高度为：深度范围小于所述邻域梯度最大的直方的深度范围的全部直方的高度。
6.根据权利要求3所述的方法，其特征在于，所述任意一个直方的邻域梯度包括：
左梯度和右梯度，所述左梯度为所述直方图中该直方与左边相邻的直方的高度差值，所述右梯度为所述直方图中该直方与右边相邻的直方的高度差值。
7.根据权利要求1所述的方法，其特征在于，在所述确定采集所述待检测图像的摄像头被遮挡之后，还包括：
获取所述深度图的二值化图像；
确定所述二值化图像中的连通区域；
将满足预设条件的连通区域作为遮挡区域。
8.一种遮挡检测装置，其特征在于，包括：
获取模块，用于获取待检测图像的深度图；
确定模块，用于在所述深度图的直方图中存在目标直方的情况下，确定采集所述待检测图像的摄像头被遮挡，所述目标直方为邻域梯度最大且高度大于阈值的直方，所述邻域梯度为与相邻的直方的高度差；其中，所述直方的高度表示所述深度图中像素值属于该直方对应的深度范围的像素点的数量。
9.一种遮挡检测设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储一个或多个程序；
所述处理器用于执行所述一个或多个程序，以使得所述遮挡检测设备实现权利要求1-7中任一项所述的遮挡检测方法。
10.一种计算机可读介质，其特征在于，所述计算机可读介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-7任一项所述的遮挡检测方法。
CN201811509771.8A 2018-12-11 2018-12-11 一种遮挡检测方法及装置 Active CN109635723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811509771.8A CN109635723B (zh) 2018-12-11 2018-12-11 一种遮挡检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811509771.8A CN109635723B (zh) 2018-12-11 2018-12-11 一种遮挡检测方法及装置

Publications (2)

Publication Number Publication Date
CN109635723A CN109635723A (zh) 2019-04-16
CN109635723B true CN109635723B (zh) 2021-02-09

Family

ID=66072459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811509771.8A Active CN109635723B (zh) 2018-12-11 2018-12-11 一种遮挡检测方法及装置

Country Status (1)

Country Link
CN (1) CN109635723B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321819B (zh) * 2019-06-21 2021-09-14 浙江大华技术股份有限公司 摄像设备的遮挡检测方法、装置及存储装置
CN112446246B (zh) * 2019-08-30 2022-06-21 魔门塔(苏州)科技有限公司 一种图像遮挡检测方法及车载终端
CN110913209B (zh) * 2019-12-05 2021-06-04 杭州飞步科技有限公司 摄像头遮挡检测方法、装置、电子设备及监控系统
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
CN114275416B (zh) * 2022-01-19 2023-07-21 平安国际智慧城市科技股份有限公司 基于图像识别的厨余垃圾分类方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102803991A (zh) * 2009-06-03 2012-11-28 学校法人中部大学 物体检测设备
CN103337081A (zh) * 2013-07-12 2013-10-02 南京大学 一种基于深度层的遮挡判断方法及装置
CN104240235A (zh) * 2014-08-26 2014-12-24 北京君正集成电路股份有限公司 一种检测摄像头被遮挡的方法及系统
CN104657993A (zh) * 2015-02-12 2015-05-27 北京格灵深瞳信息技术有限公司 一种镜头遮挡检测方法及装置
CN105096292A (zh) * 2014-04-30 2015-11-25 株式会社理光 对象数量估计方法和装置
CN108764325A (zh) * 2018-05-23 2018-11-06 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390280B (zh) * 2013-07-26 2016-02-24 无锡信捷电气股份有限公司 基于灰度-梯度二维对称Tsallis交叉熵的快速阈值分割方法
CN103473571B (zh) * 2013-09-12 2017-01-25 天津大学 一种人体检测方法
CN103729647B (zh) * 2013-12-31 2017-10-13 公安部第三研究所 基于深度图像实现人体骨骼提取的方法
US9373174B2 (en) * 2014-10-21 2016-06-21 The United States Of America As Represented By The Secretary Of The Air Force Cloud based video detection and tracking system
US20170345165A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Correcting Short Term Three-Dimensional Tracking Results
CN106127733B (zh) * 2016-06-14 2019-02-22 湖南拓视觉信息技术有限公司 人体目标识别的方法和装置
US10185877B2 (en) * 2016-07-08 2019-01-22 Huawei Technologies Co., Ltd. Systems, processes and devices for occlusion detection for video-based object tracking
CN106408015A (zh) * 2016-09-13 2017-02-15 电子科技大学成都研究院 基于卷积神经网络的岔路口识别及深度估计方法
CN107679477B (zh) * 2017-09-27 2021-02-02 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102803991A (zh) * 2009-06-03 2012-11-28 学校法人中部大学 物体检测设备
CN103337081A (zh) * 2013-07-12 2013-10-02 南京大学 一种基于深度层的遮挡判断方法及装置
CN105096292A (zh) * 2014-04-30 2015-11-25 株式会社理光 对象数量估计方法和装置
CN104240235A (zh) * 2014-08-26 2014-12-24 北京君正集成电路股份有限公司 一种检测摄像头被遮挡的方法及系统
CN104657993A (zh) * 2015-02-12 2015-05-27 北京格灵深瞳信息技术有限公司 一种镜头遮挡检测方法及装置
CN108764325A (zh) * 2018-05-23 2018-11-06 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分块多特征目标描述子的移动机器人目标跟踪;王丽佳 等;《控制与决策》;20160229;第31卷(第2期);337-342 *

Also Published As

Publication number Publication date
CN109635723A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109635723B (zh) 一种遮挡检测方法及装置
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
CN103761748B (zh) 异常行为检测方法和装置
JP4533836B2 (ja) 変動領域検出装置及びその方法
US11170487B2 (en) Adhered substance detection apparatus
Sridevi et al. A survey on monochrome image segmentation methods
Perez et al. An adaptive implementation of the SUSAN method for image edge and feature detection
CN110502977B (zh) 一种建筑物变化分类检测方法、系统、装置及存储介质
CN110059531B (zh) 基于视频图像的打架行为检测方法及装置
JP2020057236A (ja) 煙検出装置及び煙識別方法
Dehghani et al. Small target detection and tracking based on the background elimination and Kalman filter
CN112597846A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN117557790A (zh) 图像遮罩生成器的训练方法、图像实例分割方法
CN114998317A (zh) 镜头遮挡检测方法、装置、摄像装置和存储介质
CN109741306B (zh) 应用于危险化学品库房堆垛的图像处理方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Lai et al. Robust little flame detection on real-time video surveillance system
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
JP4224328B2 (ja) 車番認識装置
CN115512281B (zh) 一种结合视频相机和激光雷达的入侵物监测方法和系统
CN111062415A (zh) 基于对比差异的目标对象图像提取方法、系统及存储介质
CN111460944A (zh) 一种基于热成像的活体识别方法、装置、设备及存储介质
Zhu et al. Detection and recognition of abnormal running behavior in surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231225

Address after: 230000, 4th floor, Building A1, Xunfei Building, No. 666 Wangjiang West Road, Shushan District, Hefei City, Anhui Province

Patentee after: Iflytek Zhiyu (Anhui) Technology Co.,Ltd.

Address before: 230088 8th-10th floor, iFLYTEK building, 666 Wangjiang West Road, hi tech Zone, Hefei City, Anhui Province

Patentee before: IFLYTEK INTELLIGENT SYSTEM Co.,Ltd.

TR01 Transfer of patent right