CN110969173B - 目标分类方法及装置 - Google Patents
目标分类方法及装置 Download PDFInfo
- Publication number
- CN110969173B CN110969173B CN201811142481.4A CN201811142481A CN110969173B CN 110969173 B CN110969173 B CN 110969173B CN 201811142481 A CN201811142481 A CN 201811142481A CN 110969173 B CN110969173 B CN 110969173B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- partial image
- classification model
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013145 classification model Methods 0.000 claims abstract description 116
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 241000282414 Homo sapiens Species 0.000 abstract description 26
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 229920001872 Spider silk Polymers 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标分类方法及装置，属于图像处理领域。方法包括：对待分类的图像进行目标检测，得到图像的二值前景图像以及目标在图像和二值前景图像中的位置信息；根据目标的位置信息，从图像中提取出目标对应的第一局部图像，从二值前景图像中提取出目标对应的第二局部图像；根据目标对应的第一局部图像、第二局部图像以及分类模型，获取目标的类别。本发明在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得分类模型准确性和可靠性更高。且在训练分类模型时所用的标签所标识的目标不仅包括人、车，还包括非人非车类，当这类目标基于该分类模型进行分类时，可以被正确分类成非人非车类，提高了分类的准确性。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种目标分类方法及装置。
背景技术
基于卷积神经网络的分类技术是利用卷积神经网络对输入图像进行特征提取、分类以及目标定位等措施，实现对目标进行分类的方法。
目前，相关技术进行目标分类的过程如下：采用三帧差分法和背景消减法，对输入图像进行运动目标检测，得到运动目标图像区域；对运动目标图像区域进行灰度化处理后，利用二值阈值分割方法，将运动目标图像区域分割成目标和背景，对运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；将归一化局部图像及其标签输入到深度学习神经网络中进行训练，得到人车分类模型；将待识别图像输入到训练好的人车分类模型中，完成对人车的识别和分类。
上述技术仅将运动目标分类为人和车，然而除了人和车在运动中会被检测出来，非人非车的目标也会发生运动，当这类目标通过人车分类模型分类时，必然会被分类成人或车，但这类目标其实并不是人或车，分类的准确性差。
发明内容
本发明实施例提供了一种目标分类方法及装置，可以解决相关技术分类的准确性差的问题。所述技术方案如下：
一方面，提供了一种目标分类方法，所述方法包括：
对待分类的图像进行目标检测，得到所述图像的二值前景图像，以及目标在所述图像和所述二值前景图像中的位置信息；
根据所述目标的位置信息，从所述图像中提取出所述目标对应的第一局部图像，从所述二值前景图像中提取出所述目标对应的第二局部图像；
根据所述目标对应的所述第一局部图像、所述第二局部图像以及分类模型，获取所述目标的类别，所述分类模型基于样本图像中各个目标对应的两个局部图像以及对应的标签训练得到，所述标签用于标识所述各个目标的类别。
在一种可能实现方式中，所述类别包括人、车和非人非车类，所述非人非车类是指除了人和车以外的运动目标。
在一种可能实现方式中，所述根据所述目标对应的所述第一局部图像、所述第二局部图像以及分类模型，获取所述目标的类别，包括：
将所述目标对应的所述第一局部图像和所述第二局部图像输入到所述分类模型，得到所述目标的类别，所述分类模型基于样本图像中各个目标对应的第一局部图像和第二局部图像以及对应的标签训练得到。
在一种可能实现方式中，所述根据所述目标对应的所述第一局部图像、所述第二局部图像以及分类模型，获取所述目标的类别，包括：
对所述目标对应的所述第一局部图像和所述第二局部图像进行乘积运算，得到所述目标对应的第三局部图像；
将所述目标对应的所述第一局部图像和所述第三局部图像输入到所述分类模型，得到所述目标的类别，所述分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像以及对应的标签训练得到。
在一种可能实现方式中，所述分类模型的获取过程包括：
对所述样本图像执行获取二值前景图像和位置信息，以及提取第一局部图像和第二局部图像的步骤；
根据所述样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取所述分类模型。
在一种可能实现方式中，所述根据所述样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取所述分类模型，包括：
将所述每个目标对应的第一局部图像和第二局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到所述分类模型。
在一种可能实现方式中，所述根据所述样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取所述分类模型，包括：
对所述每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到所述每个目标对应的第三局部图像；
将所述每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到所述分类模型。
一方面，提供了一种目标分类装置，所述装置包括：
检测模块，用于对待分类的图像进行目标检测，得到所述图像的二值前景图像，以及目标在所述图像和所述二值前景图像中的位置信息；
提取模块，用于根据所述目标的位置信息，从所述图像中提取出所述目标对应的第一局部图像，从所述二值前景图像中提取出所述目标对应的第二局部图像；
获取模块，用于根据所述目标对应的所述第一局部图像、所述第二局部图像以及分类模型，获取所述目标的类别，所述分类模型基于样本图像中各个目标对应的两个局部图像以及对应的标签训练得到，所述标签用于标识所述各个目标的类别。
在一种可能实现方式中，所述类别包括人、车和非人非车类，所述非人非车类是指除了人和车以外的运动目标。
在一种可能实现方式中，所述获取模块用于将所述目标对应的所述第一局部图像和所述第二局部图像输入到所述分类模型，得到所述目标的类别，所述分类模型基于样本图像中各个目标对应的第一局部图像和第二局部图像以及对应的标签训练得到。
在一种可能实现方式中，所述获取模块用于对所述目标对应的所述第一局部图像和所述第二局部图像进行乘积运算，得到所述目标对应的第三局部图像；将所述目标对应的所述第一局部图像和所述第三局部图像输入到所述分类模型，得到所述目标的类别，所述分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像以及对应的标签训练得到。
在一种可能实现方式中，所述获取模块还用于对所述样本图像执行获取二值前景图像和位置信息，以及提取第一局部图像和第二局部图像的步骤；根据所述样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取所述分类模型。
在一种可能实现方式中，所述获取模块用于将所述每个目标对应的第一局部图像和第二局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到所述分类模型。
在一种可能实现方式中，所述获取模块用于对所述每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到所述每个目标对应的第三局部图像；将所述每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到所述分类模型。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述目标分类方法所执行的操作。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述目标分类方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过在实际分类时，对图像进行目标检测，得到二值前景图像以及目标的位置信息，根据目标的位置信息，获取目标对应的第一局部图像和第二局部图像，然后根据第一局部图像、第二局部图像以及分类模型来进行目标分类，目标的类别包括人、车和非人非车类。上述方案在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得训练得到的分类模型准确性和可靠性更高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标分类方法的流程图；
图2是本发明实施例提供的一种目标分类方法的流程图；
图3是本发明实施例提供的一种目标分类的流程示意图；
图4是本发明实施例提供的一种目标分类装置的结构示意图；
图5是本发明实施例提供的一种计算机设备500的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种目标分类方法的流程图。参见图1，该方法可以包括：
101、对待分类的图像进行目标检测，得到该图像的二值前景图像，以及目标在该图像和该二值前景图像中的位置信息。
102、根据该目标的位置信息，从该图像中提取出该目标对应的第一局部图像，从该二值前景图像中提取出该目标对应的第二局部图像。
103、根据该目标对应的该第一局部图像、该第二局部图像以及分类模型，获取该目标的类别，该分类模型基于样本图像中各个目标对应的两个局部图像以及对应的标签训练得到，该标签用于标识该各个目标的类别。
在一种可能实现方式中，该类别包括人、车和非人非车类，该非人非车类是指除了人和车以外的运动目标。
本发明实施例提供的方法，通过在实际分类时，对图像进行目标检测，得到二值前景图像以及目标的位置信息，根据目标的位置信息，获取目标对应的第一局部图像和第二局部图像，然后根据第一局部图像、第二局部图像以及分类模型来进行目标分类，目标的类别包括人、车和非人非车类。上述方案在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得训练得到的分类模型准确性和可靠性更高。且在训练分类模型时所用的标签所标识的目标不仅包括人、车，还包括非人非车类，这样，当这类目标基于该分类模型进行分类时，可以被正确分类成非人非车类，提高了分类的准确性。
在一种可能实现方式中，该根据该目标对应的该第一局部图像、该第二局部图像以及分类模型，获取该目标的类别，包括：
将该目标对应的该第一局部图像和该第二局部图像输入到该分类模型，得到该目标的类别，该分类模型基于样本图像中各个目标对应的第一局部图像和第二局部图像以及对应的标签训练得到。
在一种可能实现方式中，该根据该目标对应的该第一局部图像、该第二局部图像以及分类模型，获取该目标的类别，包括：
对该目标对应的该第一局部图像和该第二局部图像进行乘积运算，得到该目标对应的第三局部图像；
将该目标对应的该第一局部图像和该第三局部图像输入到该分类模型，得到该目标的类别，该分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像以及对应的标签训练得到。
在一种可能实现方式中，该分类模型的获取过程包括：
对该样本图像执行获取二值前景图像和位置信息，以及提取第一局部图像和第二局部图像的步骤；
根据该样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取该分类模型。
在一种可能实现方式中，该根据该样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取该分类模型，包括：
将该每个目标对应的第一局部图像和第二局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到该分类模型。
在一种可能实现方式中，该根据该样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取该分类模型，包括：
对该每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到该每个目标对应的第三局部图像；
将该每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到该分类模型。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图2是本发明实施例提供的一种目标分类方法的流程图。参见图2，该方法可以包括：
201、获取分类模型，该分类模型基于样本图像中各个目标对应的两个局部图像以及对应的标签训练得到，该标签用于标识该各个目标的类别。
在一种可能实现方式中，该类别包括人、车和非人非车类，该非人非车类是指除了人和车以外的运动目标。其中，非人非车类是指监控场景下，除了人和车以外，其他可能会发生运动的目标，如该非人非车类可以是摇动的树叶，也可以是由于灯光的照射发生变化的墙壁等，本发明实施例对此不做限定。
在一种可能实现方式中，分类模型的获取过程可以包括下述步骤201A至步骤201C：
步骤201A、对样本图像进行目标检测，得到该样本图像的二值前景图像，以及每个目标在该样本图像和该样本图像的二值前景图像中的位置信息。
其中，该样本图像为RGB图像(彩色图像)，二值前景图像为二值图像。例如，样本图像可以是图像采集设备在视频监控场景下进行图像采集得到的多帧图像，图像采集设备将样本图像发送给计算机设备后，计算机设备可以将其作为样本图像。
在一种可能实现方式中，计算机对样本图像进行目标检测的过程可以包括：利用背景建模算法和多目标跟踪算法对样本图像进行目标检测，得到该样本图像的二值前景图像，以及该样本图像的二值前景图像中的多个目标区域，每个目标区域对应一个目标；将每个目标区域的中心的坐标作为该样本图像中每个目标的位置信息。
其中，背景建模算法用于建立对于不同场景的动态变化均具有自适应性的背景模型，背景减除算法用于利用背景模型来近似背景图像的像素值，将当前帧图像与背景图像进行差分比较，实现对目标区域的检测，其中区别较大的像素区域被认为是目标区域，而区别较小的像素区域被认为是背景区域，通过将目标区域中像素的像素值设置为1，背景区域中像素的像素值设置为0，得到二值前景图像，该二值前景图像中目标区域为白色，背景区域为黑色。在确定当前帧图像中的目标区域后，计算机设备可以获取目标区域的坐标信息，如目标区域的中心的坐标信息，并将该坐标信息作为目标在当前帧图像和二值前景图像中的位置信息。
而为了保证算法的流畅性，计算机设备可以使用多目标跟踪算法，对运动中的目标进行跟踪，获取目标在下一帧图像中的位置信息。通过背景建模算法和多目标跟踪算法，计算机设备可以获取到目标在多帧图像中的位置信息。
步骤201B、根据该每个目标的位置信息，从该样本图像中提取出该每个目标对应的第一局部图像，从该样本图像的二值前景图像中提取出该每个目标对应的第二局部图像。
计算机设备通过步骤201A获取到二值前景图像和目标的位置信息后，对于每个目标，计算机设备可以根据该目标的位置信息，分别从样本图像和对应的二值前景图像中提取出该目标对应的局部图像，例如，计算机设备可以根据该目标的位置信息，对样本图像进行抠图处理，如根据该目标的位置信息，确定该样本图像中的目标区域，进而通过抠图处理得到该目标对应的局部图像，也即是，第一局部图像。例如，该目标区域可以是一个矩形区域，当然，也可以是其他形状的区域，本发明实施例对此不做限定。同理，计算机设备可以根据该目标的位置信息，对该样本图像的二值前景图像进行抠图处理，得到该目标对应的局部图像，也即是，第二局部图像。由于第一局部图像和第二局部图像分别是从样本图像和二值前景图像中提取出来的，因此，第一局部图像为RGB图像，第二局部图像为二值图像。
针对步骤201A中，样本图像可以是同一监控场景下的多帧图像，通过背景建模算法和多目标跟踪算法，计算机设备可以获取到每个目标在多帧图像中的位置信息。对于每个目标和每帧图像，计算机设备可以根据该目标在该帧图像和该帧图像的二值前景图像中的位置信息，分别从该帧图像以及对应的二值前景图像中，提取出该目标对应的第一局部图像和第二局部图像。这样，计算机设备可以获取到每个目标的多对第一局部图像和第二局部图像。
步骤201C、根据该样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取该分类模型。
对于每个目标，计算机设备通过上述步骤201B获取到该目标对应的第一局部图像和第二局部图像后，可以通过人工标注的方式，按照每对局部图像中第一局部图像的类别，对该对局部图像进行标注，也即是，为该对局部图像添加标签，以标识该目标的类别。例如，技术人员可以观察第一局部图像，确定该目标的类别后，在计算机设备上给该对局部图像添加相应的标签，如该目标的类别为人，则添加的标签为人；如该目标的类别为车，则添加的标签为车；如该目标的类别为非人非车类，则添加的标签为非人非车类。
进一步地，计算机设备可以根据样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取分类模型，具体的获取过程至少包括以下两种可能实现方式：
第一种方式，将该样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到该分类模型。
其中，卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像的处理。
该方式下，卷积神经网络有两路图像输入，一路图像输入为目标对应的第一局部图像，另一路图像输入为该第一局部图像对应的第二局部图像，该第一局部图像和第二局部图像的分辨率保持一致。
在一种可能实现方式中，具体的训练过程可以包括：对卷积神经网络进行初始化；对第一局部图像和第二局部图像经过多个卷积层和池化层的处理后，得到第一局部图像的特征图像和第二局部图像的特征图像；对两个特征图像进行融合处理；将融合处理得到的图像经过多个卷积层和池化层的处理后，进入全连接层，将全连接层的输出值送给softmax层；通过softmax层获取目标属于各个类别的概率，完成最终的分类。
在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得训练得到的分类模型相比于根据单一局部图像训练时的准确性和可靠性更高。
第二种方式，对该样本图像中每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到该样本图像中每个目标对应的第三局部图像；将该样本图像中每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到该分类模型。
该方式是先对目标的一对局部图像进行乘积运算，得到第三局部图像后，将第一局部图像和第三局部图像作为卷积神经网络的两路图像输入，执行具体的训练过程，该训练过程与第一种方式同理，此处不再赘述。在训练分类模型时，不仅用到了第一局部图像，还用到了根据第一局部图像和第二局部图像得到的第三局部图像，使得训练得到的分类模型相比于根据单一局部图像训练时的准确性和可靠性更高。其中，第三局部图像是通过第一局部图像和第二局部图像进行乘积得到的，而第一局部图像为RGB图像，第二局部图像为二值图像(目标区域的像素值为1，背景区域的像素值为0)，这样得到的第三局部图像中保留了第一局部图像中目标区域的像素值，而背景区域的像素值变为0。
需要说明的是，该步骤201是可选步骤，该步骤为对待分类的图像进行分类之前需要执行的步骤，并不是每次对待分类的图像进行分类时均需执行该步骤，只需保证在对待分类的图像进行分类时，已经建立了分类模型即可。
通过该步骤201获取的分类模型具有根据目标对应的第一局部图像和第二局部图像，对目标进行分类的能力，该能力使得计算机设备可以通过该卷积神经网络模型，根据任一图像中任一目标对应的第一局部图像和第二局部图像，确定该目标的类别。
该步骤201是计算机设备基于样本图像中各个目标对应的第一局部图像和第二局部图像以及对应的标签进行训练，得到分类模型的过程。当需要进行目标分类时，服务器可以通过该分类模型进行分类，从而得到目标的类别，具体过程参见后续步骤202至步骤204。
202、对待分类的图像进行目标检测，得到该图像的二值前景图像，以及目标在该图像和该图像的二值前景图像中的位置信息。
其中，该待分类的图像可以通过图像采集设备采集得到，并发送给计算机设备，使得计算机设备可以获取到该待分类的图像。
该步骤202与步骤201A中获取二值前景图像以及位置信息的过程同理，过程包括：利用背景建模算法和多目标跟踪算法对待分类的图像进行目标检测，得到该图像的二值前景图像，以及该图像的二值前景图像中的目标区域，每个目标区域对应一个目标；将该目标区域的中心的坐标作为该目标的位置信息。该过程在步骤201A中已进行了解释说明，此处不再赘述。
203、根据该目标的位置信息，从该图像中提取出该目标对应的第一局部图像，从该图像的二值前景图像中提取出该目标对应的第二局部图像。
该步骤203与步骤201B中提取第一局部图像和第二局部图像的过程同理，此处不再赘述。
204、根据该目标对应的第一局部图像、第二局部图像以及分类模型，获取该目标的类别，该类别包括人、车和非人非车类。
其中，该图像和该第一局部图像均为RGB图像，该二值前景图像和该第二局部图像均为二值图像。
针对步骤201C中获取分类模型的第一种方式，在一种可能实现方式中，该步骤204包括：将该目标对应的第一局部图像和第二局部图像输入到该分类模型，得到该目标的类别。
该方式是针对该分类模型基于样本图像中各个目标对应的第一局部图像和第二局部图像，以及对应的标签训练得到的情况。对于每个待分类的目标，通过将该目标对应的第一局部图像和第二局部图像输入该分类模型，通过该分类模型进行分类，该分类模型的输出结果用于指示该目标的类别，如指示该目标是人还是车或是非人非车类。因此，计算机设备可以将该分类模型的输出获取为该目标的类别。由于在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得训练得到的分类模型的准确性和可靠性更高，因而可以提高实际目标分类时的准确性和可靠性。
针对步骤201C中获取分类模型的第二种方式，在一种可能实现方式中，该步骤204包括：对该目标对应的第一局部图像和第二局部图像进行乘积运算，得到该目标对应的第三局部图像；将该目标对应的第一局部图像和第三局部图像输入到该分类模型，得到该目标的类别。由于在训练分类模型时，不仅用到了第一局部图像，还用到了第三局部图像，使得训练得到的分类模型的准确性和可靠性更高，因而可以提高实际目标分类时的准确性和可靠性。
该方式是针对该分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像，以及对应的标签训练得到的情况。对于每个待分类的目标，通过将该目标对应的第一局部图像和第三局部图像输入该分类模型，通过该分类模型进行分类，将该分类模型的输出获取为该目标的类别。
参见图3，提供了一种目标分类的流程示意图，如图3所示，通过采集监控场景的视频图像，然后对采集到的图像进行运动目标检测，得到二值前景图像和目标的位置信息(该过程对应步骤201中的步骤201A)后，可以提取出目标对应的第一局部图像和第二局部图像(该过程对应步骤201中的步骤201B)，进而根据第一局部图像、第二局部图像以及对应的标签训练卷积神经网络，得到分类模型(该过程对应步骤201中的步骤201C)后，利用该分类模型进行目标分类(该过程对应步骤202至步骤204)。
相关技术中用于训练卷积神经网络的样本为归一化的局部图像，但是背景减除方法在室外等场景下容易受到天气因素等干扰，如光影、雨水等，或者受到非人非车辆的物体晃动干扰，如树叶、蜘蛛丝等。此时生成的局部图像并不能真正的反应出我们所希望的目标区域。甚至当人体姿态特殊时提取出的局部图像信息不能表现出人类的形状特征。相关技术这种用于训练和分类的图像均来源于归一化的局部图像，这种单一的形状信息会对分类的准确度有很大影响。
而本申请中，利用卷积神经网络训练得到的分类模型类别覆盖了人、车和非人非车类，避免了背景减除或者背景建模等运动目标提取方法产生的非人非车的目标被误分类成人或者车，保证了整个系统后续处理的准确性。另外，在训练卷积神经网络得到分类模型和利用分类模型进行预测的过程中，不仅使用到了目标的二值前景图像，还使用到了目标的RGB图像，即目标的真实样貌，使得卷积神经网络能够学习到更加充足的信息。这种双流的卷积神经网络对目标的分类准确度相对于只使用二值前景图像的网络更高。此外，使用这种双流网络进行目标分类的训练和测试，即能够使卷积神经网络学习到人体或车辆目标区域相关的信息，又能够抑制对背景信息的学习，使得网络只关注重要目标信息。在目标分类的同时起到了去误检的作用。
本发明实施例提供的方法，通过在实际分类时，对图像进行目标检测，得到二值前景图像以及目标的位置信息，根据目标的位置信息，获取目标对应的第一局部图像和第二局部图像，然后根据第一局部图像、第二局部图像以及分类模型来进行目标分类，目标的类别包括人、车和非人非车类。上述方案在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得训练得到的分类模型准确性和可靠性更高。且在训练分类模型时所用的标签所标识的目标不仅包括人、车，还包括非人非车类，这样，当这类目标基于该分类模型进行分类时，可以被正确分类成非人非车类，提高了分类的准确性。
图4是本发明实施例提供的一种目标分类装置的结构示意图。参照图4，该装置包括：
检测模块401，用于对待分类的图像进行目标检测，得到该图像的二值前景图像，以及目标在该图像和该二值前景图像中的位置信息；
提取模块402，用于根据该目标的位置信息，从该图像中提取出该目标对应的第一局部图像，从该二值前景图像中提取出该目标对应的第二局部图像；
获取模块403，用于根据该目标对应的该第一局部图像、该第二局部图像以及分类模型，获取该目标的类别，该分类模型基于样本图像中各个目标对应的两个局部图像以及对应的标签训练得到，该标签用于标识该各个目标的类别，该类别包括人、车和非人非车类，该非人非车类是指除了人和车以外的运动目标。
在一种可能实现方式中，该获取模块403用于将该目标对应的该第一局部图像和该第二局部图像输入到该分类模型，得到该目标的类别，该分类模型基于样本图像中各个目标对应的第一局部图像和第二局部图像以及对应的标签训练得到。
在一种可能实现方式中，该获取模块403用于对该目标对应的该第一局部图像和该第二局部图像进行乘积运算，得到该目标对应的第三局部图像；将该目标对应的该第一局部图像和该第三局部图像输入到该分类模型，得到该目标的类别，该分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像以及对应的标签训练得到。
在一种可能实现方式中，该获取模块403还用于对该样本图像执行获取二值前景图像和位置信息，以及提取第一局部图像和第二局部图像的步骤；根据该样本图像中每个目标对应的第一局部图像和第二局部图像，以及对应的标签，获取该分类模型。
在一种可能实现方式中，该获取模块403用于将该每个目标对应的第一局部图像和第二局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到该分类模型。
在一种可能实现方式中，该获取模块403用于对该每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到该每个目标对应的第三局部图像；将该每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到该分类模型。
本发明实施例中，通过在实际分类时，对图像进行目标检测，得到二值前景图像以及目标的位置信息，根据目标的位置信息，获取目标对应的第一局部图像和第二局部图像，然后根据第一局部图像、第二局部图像以及分类模型来进行目标分类，目标的类别包括人、车和非人非车类。上述方案在训练分类模型时，不仅用到了第一局部图像，还用到了第二局部图像，使得训练得到的分类模型准确性和可靠性更高。且在训练分类模型时所用的标签所标识的目标不仅包括人、车，还包括非人非车类，这样，当这类目标基于该分类模型进行分类时，可以被正确分类成非人非车类，提高了分类的准确性。
需要说明的是：上述实施例提供的目标分类装置在目标分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的目标分类装置与目标分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本发明实施例提供的一种计算机设备500的结构示意图，该计算机设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)501和一个或一个以上的存储器502，其中，、存储器502中存储有至少一条指令，该至少一条指令由处理器501加载并执行以实现上述各个方法实施例提供的方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条指令、至少一段程序、代码集或指令集的存储器，上述至少一条指令、至少一段程序、代码集或指令集可由处理器加载并执行以完成上述实施例中的目标分类方法。例如，计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random-AccessMemory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种目标分类方法，其特征在于，所述方法包括：
对待分类的图像进行目标检测，得到所述图像的二值前景图像，以及目标在所述图像和所述二值前景图像中的位置信息；
根据所述目标的位置信息，从所述图像中提取出所述目标对应的第一局部图像，从所述二值前景图像中提取出所述目标对应的第二局部图像；
对所述目标对应的所述第一局部图像和所述第二局部图像进行乘积运算，得到所述目标对应的第三局部图像；将所述目标对应的所述第一局部图像和所述第三局部图像作为分类模型的两路图像输入，获取所述目标的类别，所述分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像以及对应的标签训练得到，所述标签用于标识所述各个目标的类别。
2.根据权利要求1所述的方法，其特征在于，所述分类模型的获取过程包括：
获取所述样本图像的二值前景图像和位置信息，以及提取第一局部图像和第二局部图像；
对每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到所述每个目标对应的第三局部图像；
将所述每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到所述分类模型。
3.一种目标分类装置，其特征在于，所述装置包括：
检测模块，用于对待分类的图像进行目标检测，得到所述图像的二值前景图像，以及目标在所述图像和所述二值前景图像中的位置信息；
提取模块，用于根据所述目标的位置信息，从所述图像中提取出所述目标对应的第一局部图像，从所述二值前景图像中提取出所述目标对应的第二局部图像；
获取模块，用于对所述目标对应的所述第一局部图像和所述第二局部图像进行乘积运算，得到所述目标对应的第三局部图像；将所述目标对应的所述第一局部图像和所述第三局部图像作为分类模型的两路图像输入，获取所述目标的类别，所述分类模型基于样本图像中各个目标对应的第一局部图像和第三局部图像以及对应的标签训练得到，所述标签用于标识所述各个目标的类别。
4.根据权利要求3所述的装置，其特征在于，所述获取模块还用于获取所述样本图像的二值前景图像和位置信息，以及提取第一局部图像和第二局部图像的步骤；对每个目标对应的第一局部图像和第二局部图像进行乘积运算，得到所述每个目标对应的第三局部图像；将所述每个目标对应的第一局部图像和第三局部图像，以及对应的标签输入到卷积神经网络中进行训练，得到所述分类模型。
5.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1或2所述的目标分类方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1或2所述的目标分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811142481.4A CN110969173B (zh) | 2018-09-28 | 2018-09-28 | 目标分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811142481.4A CN110969173B (zh) | 2018-09-28 | 2018-09-28 | 目标分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969173A CN110969173A (zh) | 2020-04-07 |
| CN110969173B true CN110969173B (zh) | 2023-10-24 |
Family
ID=70027023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811142481.4A Active CN110969173B (zh) | 2018-09-28 | 2018-09-28 | 目标分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969173B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651571B (zh) * | 2020-05-19 | 2023-10-17 | 腾讯科技（深圳）有限公司 | 基于人机协同的会话实现方法、装置、设备及存储介质 |
| CN111626222A (zh) * | 2020-05-28 | 2020-09-04 | 深圳市商汤科技有限公司 | 宠物检测方法、装置、设备及存储介质 |
| CN113781493A (zh) * | 2021-01-04 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、电子设备、介质及计算机程序产品 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005215988A (ja) * | 2004-01-29 | 2005-08-11 | Canon Inc | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
| CA2700629A1 (en) * | 2010-05-13 | 2011-11-13 | Gerard Voon | Shopping enabler |
| CN103971120A (zh) * | 2014-04-18 | 2014-08-06 | 西安电子科技大学 | 基于空时极向局部二值模式的极光图像序列分类方法 |
| CN104504394A (zh) * | 2014-12-10 | 2015-04-08 | 哈尔滨工业大学深圳研究生院 | 一种基于多特征融合的密集人数估计方法和系统 |
| WO2017012277A1 (zh) * | 2015-07-22 | 2017-01-26 | 杭州海康威视数字技术股份有限公司 | 一种图像中目标的检索方法和装置 |
| CN106529468A (zh) * | 2016-11-07 | 2017-03-22 | 重庆工商大学 | 一种基于卷积神经网络的手指静脉识别方法及系统 |
| CN107133610A (zh) * | 2017-06-01 | 2017-09-05 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
| CN107862291A (zh) * | 2017-11-14 | 2018-03-30 | 河海大学 | 一种基于深度学习的人车自动分类方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| WO2018113206A1 (zh) * | 2016-12-23 | 2018-06-28 | 深圳云天励飞技术有限公司 | 一种图像处理方法及终端 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN108510472A (zh) * | 2018-03-08 | 2018-09-07 | 北京百度网讯科技有限公司 | 用于处理图像的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9589210B1 (en) * | 2015-08-26 | 2017-03-07 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
| US10147216B1 (en) * | 2017-11-01 | 2018-12-04 | Essential Products, Inc. | Intelligent camera |
-
2018
- 2018-09-28 CN CN201811142481.4A patent/CN110969173B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005215988A (ja) * | 2004-01-29 | 2005-08-11 | Canon Inc | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
| CA2700629A1 (en) * | 2010-05-13 | 2011-11-13 | Gerard Voon | Shopping enabler |
| CN103971120A (zh) * | 2014-04-18 | 2014-08-06 | 西安电子科技大学 | 基于空时极向局部二值模式的极光图像序列分类方法 |
| CN104504394A (zh) * | 2014-12-10 | 2015-04-08 | 哈尔滨工业大学深圳研究生院 | 一种基于多特征融合的密集人数估计方法和系统 |
| WO2017012277A1 (zh) * | 2015-07-22 | 2017-01-26 | 杭州海康威视数字技术股份有限公司 | 一种图像中目标的检索方法和装置 |
| CN106529468A (zh) * | 2016-11-07 | 2017-03-22 | 重庆工商大学 | 一种基于卷积神经网络的手指静脉识别方法及系统 |
| WO2018113206A1 (zh) * | 2016-12-23 | 2018-06-28 | 深圳云天励飞技术有限公司 | 一种图像处理方法及终端 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN107133610A (zh) * | 2017-06-01 | 2017-09-05 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
| CN107862291A (zh) * | 2017-11-14 | 2018-03-30 | 河海大学 | 一种基于深度学习的人车自动分类方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108510472A (zh) * | 2018-03-08 | 2018-09-07 | 北京百度网讯科技有限公司 | 用于处理图像的方法和装置 |
Non-Patent Citations (6)
| Title |
|---|
| A chest-shape target automatic detection method based on Deformable Part Models;zhang MO etal;PROCEEDINGS OF SPIE;全文 * |
| A texture-based method for modeling the background and detecting moving objects;Marko etal;4;第38卷(第4期);全文 * |
| 一种背景抑制改进的显著性目标检测方法;崔丽群;计算机工程与科学;第40卷(第8期);全文 * |
| 在线半指导学习的视频分割与跟踪算法;李坤;王爱平;万国伟;李思昆;;系统仿真学报(第S1期);全文 * |
| 基于ROI和CNN的交通标志识别研究;黄娜君;汪慧兰;朱强军;洪名佳;;无线电通信技术(第02期);全文 * |
| 结合识别信息的多目标视频分割;黄叶珏;褚一平;;计算机工程(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969173A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Detection of PCB surface defects with improved faster-RCNN and feature pyramid network | |
| CN108596277B (zh) | 一种车辆身份识别方法、装置和存储介质 | |
| CN110363201B (zh) | 基于协同学习的弱监督语义分割方法及系统 | |
| JP6018674B2 (ja) | 被写体再識別のためのシステム及び方法 | |
| CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
| CN110222686B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN110969173B (zh) | 目标分类方法及装置 | |
| CN111881853B (zh) | 一种超大桥隧中异常行为识别方法和装置 | |
| CN111582126B (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| CN111223129A (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
| CN111199050B (zh) | 一种用于对病历进行自动脱敏的系统及应用 | |
| WO2022213540A1 (zh) | 目标检测、属性识别与跟踪方法及系统 | |
| CN111428664A (zh) | 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法 | |
| CN115049675A (zh) | 生成区域确定及光斑生成方法、设备、介质及程序产品 | |
| CN114743262A (zh) | 行为检测方法、装置、电子设备及存储介质 | |
| KR20200123324A (ko) | 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 | |
| CN114387496A (zh) | 一种目标检测方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |