CN111046956A - 遮挡图像检测方法、装置、电子设备及存储介质 - Google Patents

遮挡图像检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111046956A
CN111046956A CN201911286153.6A CN201911286153A CN111046956A CN 111046956 A CN111046956 A CN 111046956A CN 201911286153 A CN201911286153 A CN 201911286153A CN 111046956 A CN111046956 A CN 111046956A
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
network model
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911286153.6A
Other languages
English (en)
Inventor
孙新
宋佳阳
魏建欢
陈燕娟
毛晓蛟
熊超
曹李军
章勇
陈卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201911286153.6A priority Critical patent/CN111046956A/zh
Publication of CN111046956A publication Critical patent/CN111046956A/zh
Priority to PCT/CN2020/121506 priority patent/WO2021114866A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种遮挡图像检测方法、装置、电子设备及存储介质，遮挡图像检测方法，包括：采将待检测图像输入经训练的卷积神经网络模型；获取所述经训练的卷积神经网络模型的输出；判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内；若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则判断所述待检测图像为遮挡图像；若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。本发明提供的方法及设备在检测遮挡图像时具有较强的泛化能力及场景适应性。

Description

遮挡图像检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种遮挡图像检测方法、装置、电子设备及存储介质。
背景技术
目前，监控摄像机通常安装在一定高度的杆上，对准监控场景，预设好角度和焦距，在夏秋季节树木枝叶生长较快，被容易被树叶的遮挡，导致部分或者全部监控场景无法看清，因此需要遮挡检测算法，根据拍摄到的图像内容，检测出被树叶遮挡的摄像机。
现有的一种遮挡检测算法根据一帧图像的边缘信息强度来判断是否发生遮挡。该方法只能判断离镜头非常近，遮挡物已经无法聚焦的场景，对于遮挡物清晰的遮挡则无法判断。
现有的另一种遮挡检测算法根据图像的控制参数(如直方图信息)或者相机的点扩散函数等信息，同过于预设的一个阈值比较，来判断摄像机是否被遮挡。该方法基于人工特征提取，场景适应性差。
由此可见，传统的遮挡检测方法都是基于人工特征提取，泛化能力差，场景适应性差，对某些场景效果较好，而对其他场景效果较差。难以在监控应用中复杂多变的场景正确判断是否存在树叶遮挡。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种遮挡图像检测方法、装置、电子设备、存储介质，在检测遮挡图像时具有较强的泛化能力及场景适应性。
根据本发明的一个方面，提供一种遮挡图像检测方法，包括：
将待检测图像输入经训练的卷积神经网络模型；
获取所述经训练的卷积神经网络模型的输出；
判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内；
若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则判断所述待检测图像为遮挡图像；
若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。
在本发明的一些实施例中，所述经训练的卷积神经网络模型通过如下步骤训练：
采集样本图像；
接收对各样本图像设置的标签，所述标签基于各样本图像的遮挡物遮挡比例设置；
根据各所述样本图像及所设置的标签，生成训练集；
利用所述训练集，将各所述样本图像作为一卷积神经网络模型的输入，将各所述样本图像的标签作为所述卷积神经网络模型的输出，训练所述卷积神经网络模型。
在本发明的一些实施例中，所述接收对各样本图像设置的标签包括：
接收对样本图像设置的第一标签，其中，当所述样本图像的遮挡物的遮挡比例大于等于第一阈值时，使该样本图像设置有第一标签，所述第一标签用以表示所述样本图像属于遮挡图像；
接收对样本图像设置的第二标签，当所述样本图像的遮挡物的遮挡比例小于第一阈值时，使该样本图像设置有第二标签，所述第二标签用以表示所述样本图像属于非遮挡图像，
其中，所述经训练的卷积神经网络模型的输出为：所述待检测图像属于所述遮挡图像的概率或者所述待检测图像属于所述非遮挡图像的概率。
在本发明的一些实施例中，所接收的标签为各所述样本图像的遮挡物的遮挡比例，
其中，所述经训练的卷积神经网络模型的输出为：所述待检测图像的遮挡比例的预测值。
在本发明的一些实施例中，所接收的标签具有一最大值及一最小值，大于等于所述最小值且小于等于所述最大值形成第二取值范围，所述第一取值范围属于第二取值范围。
在本发明的一些实施例中，所述卷积神经网络模型为LeNet、Vgg、ResNet 或它们的任意组合。
根据本发明的又一方面，还提供一种遮挡图像检测装置，包括：
输入模块，用于将待检测图像输入经训练的卷积神经网络模型；
输出模块，用于获取所述经训练的卷积神经网络模型的输出；
判断模块，用于判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内，若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则所述遮挡模块判断所述待检测图像为遮挡图像；若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。
在本发明的一些实施例中，所述卷积神经网络模型采用样本图像训练，其中，采集所述待检测图像的采集模块属于采集所述样本图像的多个采集模块。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
由此可见，本发明提供的方案，与现有技术相比，具有如下优势：
通过经训练的卷积神经网络模型来直接对待检测图像进行分类检测或回归预测，无需进行中间图像处理的过程，同时无需人工特征提取，提高泛化能力及场景适应性，当应用于监控中复杂多变的场景时，能够正确判断是否为遮挡图像，从而确定遮挡物的遮挡是否对监控产生影响。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的遮挡图像检测方法的流程图。
图2示出了根据本发明实施例的遮挡图像判断的流程图。
图3示出了根据本发明实施例的遮挡图像检测装置的示意图。
图4示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图5示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
本发明提供一种遮挡图像检测方法、装置、电子设备、存储介质，以实现遮挡图像检测，在检测遮挡图像时具有较强的泛化能力及场景适应性。
首先参见图1，图1示出了根据本发明实施例的遮挡图像检测方法的流程图。图1共示出如下步骤：
步骤S110：将待检测图像输入经训练的卷积神经网络模型。
其中，卷积神经网络模型可以根据图2所示的步骤进行训练，图2共示出如下步骤：
步骤S101：采集样本图像。
具体而言，当应用于监控时，样本图像可以通过多个监控摄像头来采集。本发明并非以此为限制，样本图像也可以通过互联网或其它图像库获取。所采集的图像需要包含多个场景下，具有遮挡物、不具有遮挡物和不同比例遮挡的遮挡物的图像。进一步地，在本发明的各个实施例中，遮挡物可以是特定遮挡物(例如树叶)或者遮挡物的统称(遮挡原拍摄画面的所有遮挡物)，本发明并非以此为限制。
步骤S102：接收对各样本图像设置的标签，所述标签基于各样本图像的遮挡物遮挡比例设置。
具体而言，本发明涉及卷积神经网络模型的训练，在卷积神经网络模型的训练中需要大量样本图像。需要给每张图像设置一个标签，标签内容为我们待预测的指标。对于图像分类的应用，标签为该图像所属的类别。在本发明中，标签根据各样本图像的遮挡物遮挡比例来设置。
在一个具体实现中，当所述样本图像的遮挡物的遮挡比例大于等于第一阈值时，设置该样本图像具有第一标签，所述第一标签用以表示所述样本图像属于遮挡图像。当所述样本图像的遮挡物的遮挡比例小于第一阈值时，设置该样本图像具有第二标签，所述第二标签用以表示所述样本图像属于非遮挡图像。例如，设定第一阈值为40％，当样本图像的遮挡物的遮挡比例大于等于40％时，设置该样本图像具有第一标签(例如取值为1)，所述第一标签用以表示所述样本图像属于遮挡图像；当样本图像的遮挡物的遮挡小于 40％时，设置该样本图像具有第二标签(例如取值为0)，所述第二标签用以表示所述样本图像属于非遮挡图像。对应地，该种标签设置方式所采用的卷积神经网络模型为分类模型。
在另一个具体实现中，可以将各所述样本图像的遮挡物的遮挡比例作为该样本图像的标签。例如，一样本图像的遮挡物的遮挡比例为10％，则该样本图像的标签设置为0.1；另一样本图像的遮挡物的遮挡比例为50％，则该样本图像的标签设置为0.5；再一样本图像的遮挡物的遮挡比例为80％，则该样本图像的标签设置为0.8。对应地，该种标签设置方式所采用的卷积神经网络模型为回归模型。
以上仅仅是示意性地描述本发明的样本图像的标签设置方式，本发明并非以此为限制。
步骤S103：根据各所述样本图像及所设置的标签，生成训练集。
步骤S104：利用所述训练集，将各所述样本图像作为一卷积神经网络模型的输入，将各所述样本图像的标签作为所述卷积神经网络模型的输出，训练所述卷积神经网络模型。
所述卷积神经网络模型基于深度学习。深度学习最早源于人工神经网络的研究，是机器学习理论研究中一个新生领域。它通过构造接近人脑分析和学习的深度神经网络，来模仿人脑的处理和分析机理，把底层特征通过逐层学习形成更加抽象的高层特征表示。
具体而言，卷积神经网络模型(CNN)是传统神经网络的拓展，它是由生物学家从猫的视觉皮层研究发展而来。卷积神经网络的特征提取层参数是通过训练数据学习得到，避免了人工特征提取，通过同一特征图的权值共享，大幅减少了网络参数。图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。CNN具有良好的容错能力、并行处理能力和自学习能力，在处理二维图像问题上具有良好的鲁棒性和运算效率。CNN的泛化能力要显著优于其他方法，卷积神经网络已被应用于模式分类，物体检测和物体识别等方面。
进一步地，本发明所采用的卷积神经网络模型可以为LeNet、Vgg、ResNet 或它们的任意组合。LeNet、Vgg、ResNet为不同的深度学习网络结构，本发明并非以此为限制。
在本发明的一些具体实现中，训练模型可以使用训练工具(包括软件和硬件)。软件可以是Tensorflow(开放源代码软件库，用于进行高性能数值计算)、Pytorch(深度学习框架)，Caffe(另一Caffe)等。硬件可以是计算机。
步骤S120：获取所述经训练的卷积神经网络模型的输出。
具体而言，步骤S120中所述经训练的卷积神经网络模型的输出为所述待检测图像属于所述遮挡图像的概率。在另一些实施例中，步骤S120中所述经训练的卷积神经网络模型的输出可以为所述待检测图像属于所述非遮挡图像的概率。进一步地，对各样本图像设置的标签具有一最大值及一最小值，对应地，卷积神经网络模型的输出小于等于所述最大值，且大于等于所述最小值。可以将小于等于所述最大值，且大于等于所述最小值的范围称之为第二取值范围。例如，标签可以设置为1或0，则第二取值范围为小于等于1，且大于等于0；标签可以设置为0至1中的任意实数，则第二取值范围也可以为小于等于1，且大于等于0。
步骤S130：判断所述经训练的卷积神经网络模型的输出是否在第一取值范围。若步骤S130判断为是，则执行步骤S140：判断所述待检测图像为遮挡图像。若步骤S130判断为否，则执行步骤S150：判断所述待检测图像为非遮挡图像。具体而言，所述第一取值范围属于第二取值范围。例如，当第二取值范围为小于等于1，且大于等于0时；第一取值范围可以是小于等于1，且大于等于0.4。第一取值范围可以依据步骤S120中的标签取值的含义而定。例如，标签为1或标签越接近1则表示遮挡物遮挡越多，那么第一取值范围可以是小于等于1，且大于等于0.4；又例如标签为0或标签越接近0则表示遮挡物遮挡越多，那么第一取值范围可以是小于等于0.6，且大于等于0。以上仅仅是示意性地描述本发明的具体实现方式，本发明并非以此为限制。
本发明提供的遮挡图像检测方法中，通过对卷积神经网络模型进行训练，获得经训练的卷积神经网络模型来对待检测图像进行分类检测或回归预测，无需进行中间图像处理的过程，无需人工特征提取，提高泛化能力及场景适应性，当应用于监控中复杂多变的场景时，能够正确判断是否为遮挡图像，从而确定遮挡物的遮挡是否对监控产生影响。
下面以遮挡物为树叶，且应用监控为例，描述本发明的一个具体实现方式。
首先，采集训练用的图像样本。可以采集两类图像，一类完全没有树叶遮挡(标签设定为非遮挡图像)，一类有一定面积的树叶遮挡(标签设定为遮挡图像)。采集图像需包含多个场景，如校园、小区、交通等常见场景。对于遮挡的图像采集，可以使用人工干预的方法，将摄像机布置在树叶密集的地方，如枝叶茂盛的树上，转动摄像机并改变摄像机的焦距采集多张图像，或者用人工枝叶挡在摄像机前采集图像。遮挡和非遮挡图像每类采集的数量可以大于1000张。
然后，进行图像标注。依次观察每张图像，给每张图像给一个标签，其中遮挡物占据画面比例超过40％的设置标签为遮挡图像，完全无遮挡的设置标签为非遮挡图像，有遮挡物但小于40％的标注为其他图像。
使用标签为遮挡图像和非遮挡图像的两类图像，训练一个二分类卷积神经网络模型。该模型对输入的一张图像输出是遮挡图像的概率。卷积神经网络包括但不限于LeNet，Vgg，ResNet等深度学习网络结构。训练模型需要使用训练工具(包括软件和硬件)，软件可以是Tensorflow、Pytorch，Caffe 等。硬件为计算机。
可以利用该网络部署进行树叶遮挡检测。部署工具可以是Caffe也可以是Tensorflow，用深度学习训练工具训练数据得到的模型是一个计算机文件，是一系列参数的组合。需要用部署工具加载模型并读取待检测图像，才能实现对待检测图像是否遮挡的判断。
使用推理工具(可载入遮挡模型，接收输入图像I并输出该图像的预测结果)，对输入的待检测图像进行推理，得到该图像的预测结果，为一个数值P，即为该图像是遮挡图像的概率。
P＝f(I)
P的范围0<＝0<＝1，在0和1之间的一个实数。
其中f为由硬件和/或软件实现的推理工具。
通过设置一个阈值C(0<C<1)，如果P>C，判定该图像为遮挡图像，拍摄该图像的摄像机被树叶遮挡；如果P<C，判定该图像非遮挡图像，拍摄该图像的摄像机没有被树叶遮挡。
类似地，以遮挡物为树叶，且应用监控为例，描述本发明的另一个具体实现方式中，仅标签的设置方式及采用的卷积神经网络模型的类型不同。具体而言，对所有采集的图像设置标签，一张图像的标签为该图像树叶遮挡的比例，如果完全无遮挡标签值为0，遮挡一半标签值为0.5，遮挡80％标签值为0.8.用以上标注过的图像训练一个卷积神经网络回归网络，针对输入图像输出该图像遮挡面积的比例。然后通过类似地推理工具及阈值设定继续遮挡图像和非遮挡图像的检测。
上仅仅是本发明提供的一个或多个具体实现方式，各具体实现方式可以单独或组合来实现，本发明并非以为限制。
根据本发明的又一方面，还提供一种遮挡图像检测装置，图3示出了根据本发明实施例的遮挡图像检测装置的模块图。遮挡图像检测装置200包括输入模块210，输出模块220以及判断模块230。
输入模块210用于将待检测图像输入经训练的卷积神经网络模型；
输出模块220用于获取所述经训练的卷积神经网络模型的输出；
判断模块230用于判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内，若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则所述遮挡模块判断所述待检测图像为遮挡图像；若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。
在本发明提供的遮挡图像检测装置中，通过对卷积神经网络模型进行训练，获得经训练的卷积神经网络模型来对待检测图像进行分类检测或回归预测，无需人工特征提取，提高泛化能力及场景适应性，当应用于监控中复杂多变的场景时，能够正确判断是否为遮挡图像，从而确定遮挡物的遮挡是否对监控产生影响。
进一步地，在本发明的一些实施例中，所述卷积神经网络模型采用样本图像训练，其中，采集所述待检测图像的采集模块属于采集所述样本图像的多个采集模块。由此，用于训练的样本图像及待检测图像通过相同或类似的摄像器来采集，以提高卷积神经网络模型的准确率。
图3仅仅是示意性的示出本发明提供的遮挡图像检测装置200，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的遮挡图像检测装置200可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述遮挡图像检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，若所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述遮挡图像检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图4所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述遮挡图像检测方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5 显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600 的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述遮挡图像检测方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610 可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白，尽管图中未示出，可以结合电子设备600 使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述遮挡图像检测方法。
由此可见，本发明提供的方案，与现有技术相比，具有如下优势：
通过经训练的卷积神经网络模型来对待检测图像进行分类检测或回归预测，无需进行中间图像处理的过程，同时无需人工特征提取，提高泛化能力及场景适应性，当应用于监控中复杂多变的场景时，能够正确判断是否为遮挡图像，从而确定遮挡物的遮挡是否对监控产生影响。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种遮挡图像检测方法，其特征在于，包括：
将待检测图像输入经训练的卷积神经网络模型；
获取所述经训练的卷积神经网络模型的输出；
判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内；
若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则判断所述待检测图像为遮挡图像；
若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。
2.如权利要求1所述的遮挡图像检测方法，其特征在于，所述经训练的卷积神经网络模型通过如下步骤训练：
采集样本图像；
接收对各样本图像设置的标签，所述标签基于各样本图像的遮挡物遮挡比例设置；
根据各所述样本图像及所设置的标签，生成训练集；
利用所述训练集，将各所述样本图像作为一卷积神经网络模型的输入，将各所述样本图像的标签作为所述卷积神经网络模型的输出，训练所述卷积神经网络模型。
3.如权利要求2所述的遮挡图像检测方法，其特征在于，所述接收对各样本图像设置的标签包括：
接收对样本图像设置的第一标签，其中，当所述样本图像的遮挡物的遮挡比例大于等于第一阈值时，使该样本图像设置有第一标签，所述第一标签用以表示所述样本图像属于遮挡图像；
接收对样本图像设置的第二标签，当所述样本图像的遮挡物的遮挡比例小于第一阈值时，使该样本图像设置有第二标签，所述第二标签用以表示所述样本图像属于非遮挡图像，
其中，所述经训练的卷积神经网络模型的输出为：所述待检测图像属于所述遮挡图像的概率或者所述待检测图像属于所述非遮挡图像的概率。
4.如权利要求1所述的遮挡图像检测方法，其特征在于，所接收的标签为各所述样本图像的遮挡物的遮挡比例，
其中，所述经训练的卷积神经网络模型的输出为：所述待检测图像的遮挡比例的预测值。
5.如权利要求1所述的遮挡图像检测方法，其特征在于，所接收的标签具有一最大值及一最小值，大于等于所述最小值且小于等于所述最大值形成第二取值范围，所述第一取值范围属于第二取值范围。
6.如权利要求1至5任一项所述的遮挡图像检测方法，其特征在于，所述卷积神经网络模型为LeNet、Vgg、ResNet或它们的任意组合。
7.一种遮挡图像检测装置，其特征在于，包括：
输入模块，用于将待检测图像输入经训练的卷积神经网络模型；
输出模块，用于获取所述经训练的卷积神经网络模型的输出；
判断模块，用于判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内，若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则所述遮挡模块判断所述待检测图像为遮挡图像；若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。
8.如权利要求7所述的遮挡图像检测装置，其特征在于，所述卷积神经网络模型采用样本图像训练，其中，采集所述待检测图像的采集模块属于采集所述样本图像的多个采集模块。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至6任一项所述的遮挡图像检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的遮挡图像检测方法。
CN201911286153.6A 2019-12-13 2019-12-13 遮挡图像检测方法、装置、电子设备及存储介质 Pending CN111046956A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911286153.6A CN111046956A (zh) 2019-12-13 2019-12-13 遮挡图像检测方法、装置、电子设备及存储介质
PCT/CN2020/121506 WO2021114866A1 (zh) 2019-12-13 2020-10-16 遮挡图像检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911286153.6A CN111046956A (zh) 2019-12-13 2019-12-13 遮挡图像检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111046956A true CN111046956A (zh) 2020-04-21

Family

ID=70236345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911286153.6A Pending CN111046956A (zh) 2019-12-13 2019-12-13 遮挡图像检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111046956A (zh)
WO (1) WO2021114866A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738290A (zh) * 2020-05-14 2020-10-02 北京沃东天骏信息技术有限公司 图像检测方法、模型构建和训练方法、装置、设备和介质
CN111753783A (zh) * 2020-06-30 2020-10-09 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
CN112069043A (zh) * 2020-08-04 2020-12-11 北京捷通华声科技股份有限公司 一种终端设备状态检测方法、模型生成方法以及装置
CN112200040A (zh) * 2020-09-28 2021-01-08 北京小米松果电子有限公司 遮挡图像检测方法、装置及介质
CN112396125A (zh) * 2020-12-01 2021-02-23 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质
WO2021114866A1 (zh) * 2019-12-13 2021-06-17 苏州科达科技股份有限公司 遮挡图像检测方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536965B (zh) * 2021-06-25 2024-04-09 深圳数联天下智能科技有限公司 一种训练脸部遮挡识别模型的方法及相关装置
CN114186090A (zh) * 2021-12-08 2022-03-15 武汉中海庭数据技术有限公司 一种图像标注数据的智能质检方法及系统
CN115236072B (zh) * 2022-06-14 2023-08-01 杰能科世智能安全科技(杭州)有限公司 一种升降柱状态检测方法及其装置
CN116071724B (zh) * 2023-03-03 2023-08-04 安徽蔚来智驾科技有限公司 车载相机遮挡场景识别方法、电子设备、存储介质及车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
US20180129910A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Landmark localization on objects in images using convolutional neural networks
CN109344886A (zh) * 2018-09-17 2019-02-15 公安部交通管理科学研究所 基于卷积神经网络的遮挡号牌判别方法
CN110020688A (zh) * 2019-04-10 2019-07-16 西安电子科技大学 基于深度学习的遮挡行人检测方法
CN110049320A (zh) * 2019-05-23 2019-07-23 北京猎户星空科技有限公司 摄像头遮挡检测方法、装置、电子设备及存储介质
CN110399785A (zh) * 2019-05-31 2019-11-01 安徽四创电子股份有限公司 一种基于深度学习与传统算法的树叶遮挡的检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214238B (zh) * 2017-06-30 2022-06-28 阿波罗智能技术(北京)有限公司 多目标跟踪方法、装置、设备及存储介质
CN108805042B (zh) * 2018-05-25 2021-10-12 武汉东智科技股份有限公司 道路区域监控视频被树叶遮挡的检测方法
CN109784349B (zh) * 2018-12-25 2021-02-19 东软集团股份有限公司 图像目标检测模型建立方法、装置、存储介质及程序产品
CN111046956A (zh) * 2019-12-13 2020-04-21 苏州科达科技股份有限公司 遮挡图像检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129910A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Landmark localization on objects in images using convolutional neural networks
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN109344886A (zh) * 2018-09-17 2019-02-15 公安部交通管理科学研究所 基于卷积神经网络的遮挡号牌判别方法
CN110020688A (zh) * 2019-04-10 2019-07-16 西安电子科技大学 基于深度学习的遮挡行人检测方法
CN110049320A (zh) * 2019-05-23 2019-07-23 北京猎户星空科技有限公司 摄像头遮挡检测方法、装置、电子设备及存储介质
CN110399785A (zh) * 2019-05-31 2019-11-01 安徽四创电子股份有限公司 一种基于深度学习与传统算法的树叶遮挡的检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114866A1 (zh) * 2019-12-13 2021-06-17 苏州科达科技股份有限公司 遮挡图像检测方法、装置、电子设备及存储介质
CN111738290A (zh) * 2020-05-14 2020-10-02 北京沃东天骏信息技术有限公司 图像检测方法、模型构建和训练方法、装置、设备和介质
CN111738290B (zh) * 2020-05-14 2024-04-09 北京沃东天骏信息技术有限公司 图像检测方法、模型构建和训练方法、装置、设备和介质
CN111753783A (zh) * 2020-06-30 2020-10-09 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
CN111753783B (zh) * 2020-06-30 2024-05-28 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质
CN112069043A (zh) * 2020-08-04 2020-12-11 北京捷通华声科技股份有限公司 一种终端设备状态检测方法、模型生成方法以及装置
CN112200040A (zh) * 2020-09-28 2021-01-08 北京小米松果电子有限公司 遮挡图像检测方法、装置及介质
CN112396125A (zh) * 2020-12-01 2021-02-23 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质

Also Published As

Publication number Publication date
WO2021114866A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111046956A (zh) 遮挡图像检测方法、装置、电子设备及存储介质
WO2017151241A2 (en) Video processing
CN110162462A (zh) 基于场景的人脸识别系统的测试方法、系统和计算机设备
CN112434178B (zh) 图像分类方法、装置、电子设备和存储介质
CN113095434A (zh) 目标检测方法及装置、电子设备、存储介质
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
CN113723169A (zh) 基于SlowFast的行为识别方法、系统及设备
CN114245232B (zh) 一种视频摘要生成方法、装置、存储介质及电子设备
CN111931719A (zh) 高空抛物检测方法以及装置
CN113989696A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114422848A (zh) 视频分割方法、装置、电子设备及存储介质
CN114724140A (zh) 一种基于yolo v3的草莓成熟度检测方法、装置
CN113705650A (zh) 一种人脸图片集的处理方法、装置、介质和计算设备
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN114494971A (zh) 视频涉黄检测方法、装置、电子设备及存储介质
WO2023108782A1 (zh) 行为识别模型训练方法及装置、行为识别方法及装置、系统、介质
CN114038044A (zh) 人脸性别年龄识别方法、装置、电子设备和存储介质
CN111339952B (zh) 基于人工智能的图像分类方法、装置及电子设备
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN113542866B (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN112822426B (zh) 一种用于生成高动态范围图像的方法与设备
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置
CN112822425B (zh) 一种用于生成高动态范围图像的方法与设备
US20240233327A1 (en) Method and system for training a machine learning model with a subclass of one or more predefined classes of visual objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421