CN113469187A - 基于目标检测的物体遮挡比例计算方法与系统 - Google Patents

基于目标检测的物体遮挡比例计算方法与系统 Download PDF

Info

Publication number
CN113469187A
CN113469187A CN202110800416.1A CN202110800416A CN113469187A CN 113469187 A CN113469187 A CN 113469187A CN 202110800416 A CN202110800416 A CN 202110800416A CN 113469187 A CN113469187 A CN 113469187A
Authority
CN
China
Prior art keywords
target
detection
data set
objects
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110800416.1A
Other languages
English (en)
Other versions
CN113469187B (zh
Inventor
林格
全绍军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longse Technology Co ltd
Sun Yat Sen University
Original Assignee
Longse Technology Co ltd
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longse Technology Co ltd, Sun Yat Sen University filed Critical Longse Technology Co ltd
Priority to CN202110800416.1A priority Critical patent/CN113469187B/zh
Publication of CN113469187A publication Critical patent/CN113469187A/zh
Application granted granted Critical
Publication of CN113469187B publication Critical patent/CN113469187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的物体遮挡比例计算方法。包括：输入待处理图像，利用目标检测器进行目标检测分割出目标物体图像，之后利用遮挡物检测器进行遮挡物检测，对遮挡物进行边缘检测计算出遮挡物所占的像素，再结合用于估计被遮挡物体在未被遮挡时占有的像素的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。本发明还公开了一种基于目标检测的物体遮挡比例计算系统、计算机设备及计算机可读存储介质。本发明在计算遮挡比例时，采用拉普拉斯算子进行边缘信息的提取，能够更为精确的计算出原始物体所占像素以及遮挡物所占像素，从而使得本发明计算出的物体被遮挡比例更加精确。

Description

基于目标检测的物体遮挡比例计算方法与系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于目标检测的物体遮挡比例计算方法、基于目标检测的物体遮挡比例计算系统、计算机设备及计算机可读存储介质。
背景技术
近些年来，随着互联网和多媒体技术不断地发展、数字设备和大容量存储设备的普及，每天都会产生大量的图像和视频数据。随着图像和视频信息的大量产生，图像信息也成为人们获得信息的一种途径。然而与文本数据不同，图像数据要复杂的许多，因此相对于文本数据而言其检索难度较大。而图像的高效检索对利用图像数据是非常重要的。好的图像检索技术能够在节省人们的时间的同时更好的获得所需的关键信息，从而便于人们利用图像数据。而计算图像中物体被遮挡的比例能够在一定程度上提高人们对图像的检索效率。
目标检测技术是图像处理和视频处理中的一项重要课题。它是指将在图像中所拥有的目标物体的位置检测出来，并给出该物体在图像中的位置以及所占图像的长宽。图像的目标检测技术可以应用于多个领域，比如自动驾驶中的行人检测、视频监控和图像分割等。
随着近几年来深度学习的迅速发展，人们也将深度学习应用于目标检测技术中，并取得了较好的效果。相较于传统的未使用深度学习的目标检测技术而言，采用深度学习的在准确率方面有着较大的提高。近几年来随着学者们的不断研究，用于目标检测的网络模型不断完善，并且检测的准确率也不断的提高，极大的推动此领域的技术进步，并且达到可以应用在生产实践中的水平。
目前的现有技术之一是专利“人脸遮挡程度识别方法、装置、电子设备及可读存储介质(CN111414879A)”，包括：1、获取用于神经网络训练的数据集。首先获取一定数量的原始人脸数据，然后对人脸数据进行对齐处理，利用遮挡物对齐后的人脸进行遮挡处理；2、将1中得到的人脸数据用于神经网络的训练，从而得到一个用于计算人脸遮挡程度的神经网络模型；3、将要处理的待检测图像输入2中所得的神经网络模型就能得到该图像中人脸的遮挡比例。
该方法的缺点是：只能应用于人脸数据集中，用于计算人脸遮挡程度，而无法应用于其它种类的数据，例如猫、狗、花鸟等数据类型。因此该方案不适合应用于图像检索中。
目前的现有技术之二是专利“一种计算目标跟踪过程中目标形变或遮挡程度的方法(CN103927716A)”，包括：1、将目标跟踪结果y视为原始目标模型A的一种一阶线性回归y＝Ax+n+s，其中x为系数，n为高斯误差，s为拉普拉斯误差，求取一阶线性回归y＝Ax+n+s中的A；2、迭代计算系数x和拉普拉斯噪声s，给定则再用计算得到的则如此反复迭代直到达到最大迭代次数或得到的与上次迭代计算得到的差值小于精度阈值停止迭代；3、对s进行处理得到目标遮挡程度。
该方法的缺点是：只适用于连续的视频数据中，无法对单独的图像数据进行处理得到图像中目标物体的遮挡程度。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于目标检测的物体遮挡比例计算方法与系统，以及设备及存储介质。本发明解决的主要问题，是针对现有的计算物体被遮挡比例的技术主要集中在人脸上，可以处理的物体种类单一，无法满足图像检索过程中所涉及的种类繁多的检索需求，即如何解决单独的图像数据中多种物体遮挡比例的计算问题。
为了解决上述问题，本发明提出了一种基于目标检测的物体遮挡比例计算方法，所述方法包括：
采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集；
基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，该检测器的输出为目标物体的类别及其检测框；
利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，该类别的物体在未被遮挡时占有的像素个数；
利用所述目标检测器处理所述遮挡物数据集，分割所有被遮挡物体的检测框形成被遮挡物图像集，再基于MaskRCNN网络模型，利用所述被遮挡物图像集进行训练，形成遮挡物检测器，该检测器的输出为遮挡物的检测框；
输入待处理图像，利用所述目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用所述遮挡物检测器对含有目标物体的图像进行遮挡物检测，如果没有遮挡物则输出0％，否则对遮挡物进行边缘检测计算出遮挡物所占的像素个数，再结合所述各类物体的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。
优选地，所述采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集，具体为：
目标检测数据集采用VOC数据集，之后为在VOC数据集中被标注出的物体添加遮挡物，并且所添加的遮挡需要具备多样性。
优选地，所述基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，具体为：
使用卷积神经网络对图像进行特征提取，得到一个特征图；
使用区域生成网络RPN(RegionProposal Network)对所述特征图进行处理，得到在所述特征图中可能含有待检测对象区域的矩形框；
根据所述矩形框与所述特征图进行RoIAlign(regions of interest align)操作，将不同矩形框中对应的不同尺寸的特征图统一固定成7×7大小；
将RoIAlign操作后的特征图通过两层全连接网络得到最终的矩形框以及矩形框中包含物体的类别；
对上一步所得的矩形框进行调整，使得矩形框能够更为精确的包裹住目标物体，形成最终检测框。
优选地，所述利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，具体为：
利用所述目标检测器处理所述目标检测数据集，得到所述目标检测数据集中没有被遮挡的各个物体在图像中的检测框，之后用拉普拉斯算子对所述各个检测框中的物体进行边缘检测，从而得到物体包含的像素个数，再利用物体包含的像素个数除以检测框像素个数得到物体的基准值，即物体在检测框中所占的比例，最后，对所有没有被遮挡的物体进行分类，统计出各类物体的基准值。
相应地，本发明还提供了一种基于目标检测的物体遮挡比例计算系统，包括：
数据预处理单元，用于采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集；
目标检测器训练单元，用于基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，该检测器的输出为目标物体的类别及其检测框；
基准值计算单元，用于利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，该类别的物体在未被遮挡时占有的像素个数；
遮挡物检测器训练单元，用于利用所述目标检测器处理所述遮挡物数据集，分割所有被遮挡物体的检测框形成被遮挡物图像集，再基于MaskRCNN网络模型，利用所述被遮挡物图像集进行训练，形成遮挡物检测器，该检测器的输出为遮挡物的检测框；
遮挡比例计算单元，用于输入待处理图像，利用所述目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用所述遮挡物检测器对含有目标物体的图像进行遮挡物检测，如果没有遮挡物则输出0％，否则对遮挡物进行边缘检测计算出遮挡物所占的像素个数，再结合所述各类物体的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述基于目标检测的物体遮挡比例计算方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于目标检测的物体遮挡比例计算方法的步骤。
实施本发明，具有如下有益效果：
本发明运用目标检测技术分割出需要计算被遮挡程度的目标物体，并且还通过目标检测技术分割出遮挡物，此方法适用于多种目标物体，包括动物、车辆、船舶、桌椅等，而不局限于人脸；本发明在计算遮挡比例时，采用拉普拉斯算子进行边缘信息的提取，能够更为精确的计算出原始物体所占像素以及遮挡物所占像素，从而使得本发明计算出的物体被遮挡比例更加精确。
附图说明
图1是本发明实施例的基于目标检测的物体遮挡比例计算方法的总体流程图；
图2是本发明实施例的基于目标检测的物体遮挡比例计算系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于目标检测的物体遮挡比例计算方法的总体流程图，如图1所示，该方法包括：
S1，采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集；
S2，基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，该检测器的输出为目标物体的类别及其检测框；
S3，利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，该类别的物体在未被遮挡时占有的像素个数；
S4，利用所述目标检测器处理所述遮挡物数据集，分割所有被遮挡物体的检测框形成被遮挡物图像集，再基于MaskRCNN网络模型，利用所述被遮挡物图像集进行训练，形成遮挡物检测器，该检测器的输出为遮挡物的检测框；
S5，输入待处理图像，利用所述目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用所述遮挡物检测器对含有目标物体的图像进行遮挡物检测，如果没有遮挡物则输出0％，否则对遮挡物进行边缘检测计算出遮挡物所占的像素个数，再结合所述各类物体的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。
步骤S1，具体如下：
目标检测数据集采用VOC数据集，之后为在VOC数据集中被标注出的物体添加遮挡物，为了提高此方法的准确率，此处添加的遮挡要注意遮挡物的多样性，不能全部添加同样的遮挡。
步骤S2，具体如下：
使用卷积神经网络对图像进行特征提取，得到一个特征图，具体实施时，可以采用Resnet网络或其它同类网络；
使用区域生成网络RPN(RegionProposal Network)对特征图进行处理，得到在特征图中可能含有待检测对象区域的矩形框；
根据矩形框与特征图进行RoIAlign(regions of interest align)操作，将不同矩形框中对应的不同尺寸的特征图统一固定成7×7大小；
将RoIAlign操作后的特征图通过两层全连接网络得到最终的矩形框以及矩形框中包含物体的类别；
对上一步所得的矩形框进行调整，使得矩形框能够更为精确的包裹住目标物体，形成最终检测框。
步骤S3，具体如下：
由于在计算图像中被遮挡物的被遮挡比例时，被遮挡物有部分被遮挡住导致无法得到物体未被遮挡时的情况，并且由于目标检测所得结果都是一个矩形检测框，它除了包含目标物体外，还会包含一些其他信息。因此本发明中根据S2中的目标检测器，针对各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，原始未被遮挡的物体占有的像素点个数，从而减少之后计算物体被遮挡比例的误差。未被遮挡的目标物体所占像素点的个数计算公式如(1)所示，其中T表示目标物体所占的像素点总个数，W和H分别代表分割出的含有目标物体的图像的以像素个数为单位的宽度和高度，B是此步骤中所得的各个类别所对应的基准值。
T＝W×H×B (1)
S3-1，使用S2中所训练出的目标检测器去处理目标检测数据集，即未添加遮挡的图像数据，从而得到目标检测数据集中没有被遮挡的各个物体在图像中的检测框，之后再将各个物体根据类别分别分割出来。
S3-2，更进一步对S3-1的结果进行处理，将S3-1依据检测框分割所得的图像运用拉普拉斯算子进行边缘检测，从而得到整个目标物体的边缘信息。拉普拉斯算子的形式如(2)所示。使用拉普拉斯算子处理图像也就是使用如下的模板，对图像中每一像素都做卷积操作，从而得到一个该图像的边缘信息。
Figure BDA0003164466940000081
S3-3，根据S3-2中所得的目标物体边缘信息，能够较为精确地统计出在S3-1所得结果图像中包含的目标所占的象素个数。同时根据图像的大小，能够较为容易的计算出S3-1所得各个图像所包含的像素个数。最终用目标所占的像素个数除以图像总的像素个数，就能得到目标物体占分割出的包含目标物体的检测框图像的比例。
S3-4，对S3-3中所得的比例按照各个类别进行统计，根据统计所得结果分别为每一个类别选择一个基准值，记为B。基准值代表着一种类别的物体在未被遮挡物遮挡时在目标检测所得矩形图像中所占像素个数在整个矩形图像中的比例。
步骤S4，具体如下：
S4-1，使用S2中的目标检测器处理遮挡物数据集，从而能够分割出被遮挡了的物体，将结果图像保存下来。
S4-2，将S4-1中的结果作为数据集，然后再次使用Mask RCNN模型进行训练，从而得到一个用于检测遮挡物的目标检测器。此处MaskRCNN模型与在S2中的介绍是一致的。与S2中不同的是此处不需要区分遮挡物的类型，只需要能够确定遮挡物的位置和大小就可以了。
步骤S5，具体如下：
S5-1，输入待处理图像，利用目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用遮挡物检测器对含有目标物体的图像进行遮挡物检测。
S5-2，如果没有遮挡物则输出0％，否则，为了精确计算同样使用拉普拉斯算子对S5-1所得带有遮挡物的目标物体图像进行处理得到遮挡物的边缘图像，之后根据遮挡物边缘图像和分割出的遮挡物图像计算出遮挡物所占的像素个数。
S5-3，根据公式(3)计算出遮挡物的遮挡比例。其中Q代表的是遮挡物所占的像素个数，T是估计的被遮挡时被遮挡物占有的像素点个数，具体计算方式如S3中(1)所示。
Figure BDA0003164466940000091
相应地，本发明还提供了基于目标检测的物体遮挡比例计算系统，如图2所示，包括：
数据预处理单元1，用于采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集。
具体地，目标检测数据集采用VOC数据集，之后为在VOC数据集中被标注出的物体添加遮挡物，并且所添加的遮挡需要具备多样性。
目标检测器训练单元2，用于基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，该检测器的输出为目标物体的类别及其检测框。
具体地，使用卷积神经网络对图像进行特征提取，得到一个特征图；使用区域生成网络RPN(RegionProposal Network)对特征图进行处理，得到在特征图中可能含有待检测对象区域的矩形框；根据矩形框与特征图进行RoIAlign(regions of interest align)操作，将不同矩形框中对应的不同尺寸的特征图统一固定成7×7大小；将RoIAlign操作后的特征图通过两层全连接网络得到最终的矩形框以及矩形框中包含物体的类别；对上一步所得的矩形框进行调整，使得矩形框能够更为精确的包裹住目标物体，形成最终检测框。
基准值计算单元3，用于利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，该类别的物体在未被遮挡时占有的像素个数。
具体地，利用所述目标检测器处理所述目标检测数据集，得到所述目标检测数据集中没有被遮挡的各个物体在图像中的检测框，之后用拉普拉斯算子对所述各个检测框中的物体进行边缘检测，从而得到物体包含的像素个数，再利用物体包含的像素个数除以检测框像素个数得到物体的基准值，即物体在检测框中所占的比例，最后，对所有没有被遮挡的物体进行分类，统计出各类物体的基准值。
遮挡物检测器训练单元4，用于利用所述目标检测器处理所述遮挡物数据集，分割所有被遮挡物体的检测框形成被遮挡物图像集，再基于MaskRCNN网络模型，利用所述被遮挡物图像集进行训练，形成遮挡物检测器，该检测器的输出为遮挡物的检测框；
遮挡比例计算单元5，用于输入待处理图像，利用所述目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用所述遮挡物检测器对含有目标物体的图像进行遮挡物检测，如果没有遮挡物则输出0％，否则对遮挡物进行边缘检测计算出遮挡物所占的像素个数，再结合所述各类物体的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。
因此，本发明运用目标检测技术分割出需要计算被遮挡程度的目标物体，并且还通过目标检测技术分割出遮挡物，此方法适用于多种目标物体，包括动物、车辆、船舶、桌椅等，而不局限于人脸；本发明在计算遮挡比例时，采用拉普拉斯算子进行边缘信息的提取，能够更为精确的计算出原始物体所占像素以及遮挡物所占像素，从而使得本发明计算出的物体被遮挡比例更加精确。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于目标检测的物体遮挡比例计算方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于目标检测的物体遮挡比例计算方法的步骤。
以上对本发明实施例所提供的基于目标检测的物体遮挡比例计算方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于目标检测的物体遮挡比例计算方法，其特征在于，所述方法包括：
采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集；
基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，该检测器的输出为目标物体的类别及其检测框；
利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，该类别的物体在未被遮挡时占有的像素个数；
利用所述目标检测器处理所述遮挡物数据集，分割所有被遮挡物体的检测框形成被遮挡物图像集，再基于MaskRCNN网络模型，利用所述被遮挡物图像集进行训练，形成遮挡物检测器，该检测器的输出为遮挡物的检测框；
输入待处理图像，利用所述目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用所述遮挡物检测器对含有目标物体的图像进行遮挡物检测，如果没有遮挡物则输出0％，否则对遮挡物进行边缘检测计算出遮挡物所占的像素个数，再结合所述各类物体的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。
2.如权利要求1所述的一种基于目标检测的物体遮挡比例计算方法，其特征在于，所述采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集，具体为：
目标检测数据集采用VOC数据集，之后为在VOC数据集中被标注出的物体添加遮挡物，并且所添加的遮挡需要具备多样性。
3.如权利要求1所述的一种基于目标检测的物体遮挡比例计算方法，其特征在于，所述基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，具体为：
使用卷积神经网络对图像进行特征提取，得到一个特征图；
使用区域生成网络RPN(RegionProposal Network)对所述特征图进行处理，得到在所述特征图中可能含有待检测对象区域的矩形框；
根据所述矩形框与所述特征图进行RoIAlign(regions of interest align)操作，将不同矩形框中对应的不同尺寸的特征图统一固定成7×7大小；
将RoIAlign操作后的特征图通过两层全连接网络得到最终的矩形框以及矩形框中包含物体的类别；
对上一步所得的矩形框进行调整，使得矩形框能够更为精确的包裹住目标物体，形成最终检测框。
4.如权利要求1所述的一种基于目标检测的物体遮挡比例计算方法，其特征在于，所述利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，具体为：
利用所述目标检测器处理所述目标检测数据集，得到所述目标检测数据集中没有被遮挡的各个物体在图像中的检测框，之后用拉普拉斯算子对所述各个检测框中的物体进行边缘检测，从而得到物体包含的像素个数，再利用物体包含的像素个数除以检测框像素个数得到物体的基准值，即物体在检测框中所占的比例，最后，对所有没有被遮挡的物体进行分类，统计出各类物体的基准值。
5.一种基于目标检测的物体遮挡比例计算系统，其特征在于，所述系统包括：
数据预处理单元，用于采集目标检测数据集，并为目标检测数据集添加遮挡物，形成遮挡物数据集；
目标检测器训练单元，用于基于MaskRCNN网络模型，利用所述遮挡物数据集进行训练，形成目标检测器，该检测器的输出为目标物体的类别及其检测框；
基准值计算单元，用于利用所述目标检测器处理所述目标检测数据集，针对检测出的各个类别的物体分别计算出一个基准值，用于估计被遮挡物体在经过目标检测分割出来后，该类别的物体在未被遮挡时占有的像素个数；
遮挡物检测器训练单元，用于利用所述目标检测器处理所述遮挡物数据集，分割所有被遮挡物体的检测框形成被遮挡物图像集，再基于MaskRCNN网络模型，利用所述被遮挡物图像集进行训练，形成遮挡物检测器，该检测器的输出为遮挡物的检测框；
遮挡比例计算单元，用于输入待处理图像，利用所述目标检测器对该图像进行目标检测，从而分割出含有目标物体的图像，之后利用所述遮挡物检测器对含有目标物体的图像进行遮挡物检测，如果没有遮挡物则输出0％，否则对遮挡物进行边缘检测计算出遮挡物所占的像素个数，再结合所述各类物体的基准值得到的被遮挡物所占像素个数从而计算出遮挡物的遮挡比例。
6.如权利要求5所述的一种基于目标检测的物体遮挡比例计算系统，其特征在于，所述数据预处理单元，其目标检测数据集需要采用VOC数据集，之后为在VOC数据集中被标注出的物体添加遮挡物，并且所添加的遮挡需要具备多样性。
7.如权利要求5所述的一种基于目标检测的物体遮挡比例计算系统，其特征在于，所述目标检测器训练单元，需要使用卷积神经网络对图像进行特征提取，得到一个特征图；之后使用区域生成网络RPN(RegionProposal Network)对所述特征图进行处理，得到在所述特征图中可能含有待检测对象区域的矩形框；然后根据所述矩形框与所述特征图进行RoIAlign(regions of interest align)操作，将不同矩形框中对应的不同尺寸的特征图统一固定成7×7大小；之后将RoIAlign操作后的特征图通过两层全连接网络得到最终的矩形框以及矩形框中包含物体的类别；最后对所得的矩形框进行调整，使得矩形框能够更为精确的包裹住目标物体，形成最终检测框。
8.如权利要求5所述的一种基于目标检测的物体遮挡比例计算系统，其特征在于，所述基准值计算单元，需要利用所述目标检测器处理所述目标检测数据集，得到所述目标检测数据集中没有被遮挡的各个物体在图像中的检测框，之后用拉普拉斯算子对所述各个检测框中的物体进行边缘检测，从而得到物体包含的像素个数，再利用物体包含的像素个数除以检测框像素个数得到物体的基准值，即物体在检测框中所占的比例，最后，对所有没有被遮挡的物体进行分类，统计出各类物体的基准值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202110800416.1A 2021-07-15 2021-07-15 基于目标检测的物体遮挡比例计算方法与系统 Active CN113469187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110800416.1A CN113469187B (zh) 2021-07-15 2021-07-15 基于目标检测的物体遮挡比例计算方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110800416.1A CN113469187B (zh) 2021-07-15 2021-07-15 基于目标检测的物体遮挡比例计算方法与系统

Publications (2)

Publication Number Publication Date
CN113469187A true CN113469187A (zh) 2021-10-01
CN113469187B CN113469187B (zh) 2022-08-23

Family

ID=77880455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110800416.1A Active CN113469187B (zh) 2021-07-15 2021-07-15 基于目标检测的物体遮挡比例计算方法与系统

Country Status (1)

Country Link
CN (1) CN113469187B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN109522930A (zh) * 2018-10-17 2019-03-26 天津大学 一种基于遮挡类型预测的物体检测方法
CN112633144A (zh) * 2020-12-21 2021-04-09 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN109522930A (zh) * 2018-10-17 2019-03-26 天津大学 一种基于遮挡类型预测的物体检测方法
CN112633144A (zh) * 2020-12-21 2021-04-09 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113469187B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN107358149B (zh) 一种人体姿态检测方法和装置
CN107358242B (zh) 目标区域颜色识别方法、装置及监控终端
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN109165538B (zh) 基于深度神经网络的条形码检测方法及装置
CN104866805B (zh) 人脸实时跟踪的方法和装置
CN109146892A (zh) 一种基于美学的图像裁剪方法及装置
CN108875534B (zh) 人脸识别的方法、装置、系统及计算机存储介质
US9576199B2 (en) Method and device for calculating number and moving direction of pedestrians
CN106295564B (zh) 一种邻域高斯结构和视频特征融合的动作识别方法
CN107730553B (zh) 一种基于伪真值搜寻法的弱监督物体检测方法
CN111160169B (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN108876795A (zh) 一种图像中物体的分割方法及系统
CN111429424B (zh) 一种基于深度学习的加热炉入口异常识别方法
CN111783524A (zh) 一种场景变换检测方法、装置、存储介质及终端设备
CN115457277A (zh) 一种智能化路面病害识别检测方法及系统
Hossain et al. Moving object detection for real time video surveillance: An edge based approach
CN111932545A (zh) 图像处理方法、目标计数方法及其相关装置
CN114708291A (zh) 图像处理方法、装置、电子设备及存储介质
CN113469187B (zh) 基于目标检测的物体遮挡比例计算方法与系统
CN107507190A (zh) 一种基于可见光序列图像的低空运动目标检测方法
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN108241869A (zh) 一种基于快速可变形模型和机器学习的图像目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant