CN111461260B - 基于特征融合的目标检测方法、装置、设备及存储介质 - Google Patents
基于特征融合的目标检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111461260B CN111461260B CN202010359179.5A CN202010359179A CN111461260B CN 111461260 B CN111461260 B CN 111461260B CN 202010359179 A CN202010359179 A CN 202010359179A CN 111461260 B CN111461260 B CN 111461260B
- Authority
- CN
- China
- Prior art keywords
- initial
- image
- detected
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 420
- 230000004927 fusion Effects 0.000 title claims abstract description 70
- 230000007704 transition Effects 0.000 claims abstract description 78
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 230000005764 inhibitory process Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 230000002401 inhibitory effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 1
- 230000001629 suppression Effects 0.000 abstract description 6
- 238000002372 labelling Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及物流领域，公开了一种基于特征融合的目标检测方法、装置、设备及存储介质，用于在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，从而提高识别标志对象的精确度。基于特征融合的目标检测方法包括：获取待检测图像；将待检测图像进行预处理，得到处理后的待检测图像；采用预置识别模型对处理后的待检测图像进行特征提取，得到多个初始特征图像，对多个初始检测框进行筛选，得到多个过渡特征图像；对多个过渡特征图像进行特征融合，得到多个待抑制检测框；采用置信抑制算法对多个待抑制检测框进行抑制，得到多个目标标志检测框。
Description
技术领域
本发明涉及物流领域，尤其涉及一种基于特征融合的目标检测方法、装置、设备及存储介质。
背景技术
随着科技的发展，深度学习神经网络被广泛应用到物体分类、人脸识别、身份识别等任务中。例如在检测人员着装的应用场景中，利用深度学习神经网络识别工作人员的着装是否符合规范，能够消除不必要的安全隐患和不必要的经济损失。
在现有的技术中，采用深度学习神经网络检测工作人员的着装问题，但是检测一些人流量过大、目标检测对象过小且背景复杂的图像的时候，识别目标检测对象的精确度较低。
发明内容
本发明的主要目的在于解决识别大人流量、小目标检测对象和背景复杂的图像时识别精确度较低的问题。
本发明第一方面提供了一种基于特征融合的目标检测方法，包括：获取待检测图像，所述待检测图像包括多个待检测标志对象；将所述待检测图像进行预处理，得到处理后的待检测图像；采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框；采用置信抑制算法对所述多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
可选的，在本发明第一方面的第一种实现方式中，所述将所述待检测图像进行预处理，得到处理后的待检测图像包括：对所述待检测图像进行灰度化处理，得到灰度化待检测图像；对所述灰度化待检测图像进行二值化处理，得到二值化待检测图像；对所述二值化待检测图像进行归一化处理，得到处理后的待检测图像。
可选的，在本发明第一方面的第二种实现方式中，所述采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同包括：将所述处理后的待检测图像输入所述预置识别模型中的卷积层进行卷积，得到多个初始特征图像，所述多个初始特征图像尺寸不同，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值；针对所述多个初始特征图像中的每一个初始特征图像，判断每一个标注的交并比值是否大于正样本阈值，每个标注的交并比值对应一个初始检测框；若目标标注的交并比值大于所述正样本阈值，则判定对应的目标初始检测框为初始负检测框，得到多个初始负检测框；判断每一个初始负检测框对应的检测框置信度是否大于置信度阈值，每一个检测框置信度对应一个初始负检测框；若目标初始负检测框对应的检测框置信度大于所述置信度阈值，则判定所述目标初始负检测框为目标负检测框，得到多个目标负检测框；从所述每个初始特征图像的对应的多个初始检测框中过滤掉所述多个目标负检测框，得到多个过渡特征图像。
可选的，在本发明第一方面的第三种实现方式中，所述采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框包括：采用所述预置识别模型对所述多个过渡特征图像进行缩放，得到多个缩放特征图像，所述多个缩放特征图像的尺寸大小相同，每个缩放特征图像至少包括多个过渡检测框；采用预置元素积函数将所述多个缩放特征图像对应的多个过渡检测框进行融合，得到多个待抑制检测框。
可选的，在本发明第一方面的第四种实现方式中，在所述获取待检测图像，所述待检测图像包括多个待检测标志对象之前，所述基于特征融合的目标检测方法还包括：获取多个服装样本图像，每个服装样本图像包括样本标志对象；采用预置标记工具对多个样本标志图像进行标注，得到多个标注后的服装样本图像，标注后的服装样本图像至少包括一个样本标注框和一个样本标注信息，每个样本标注框对应一个样本标注信息；采用所述多个标注后的服装样本图像、多个样本标注框和多个样本标注信息进行模型训练，得到预置识别模型。
本发明第二方面提供了一种基于特征融合的目标检测装置，包括：待检测图像获取单元，用于获取待检测图像，所述待检测图像包括多个待检测标志对象；预处理单元，用于将所述待检测图像进行预处理，得到处理后的待检测图像；特征提取单元，用于采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；特征融合单元，用于采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框；抑制单元，用于采用置信抑制算法对所述多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
可选的，在本发明第二方面的第一种实现方式中，所述预处理单元具体用于：对所述待检测图像进行灰度化处理，得到灰度化待检测图像；对所述灰度化待检测图像进行二值化处理，得到二值化待检测图像；对所述二值化待检测图像进行归一化处理，得到处理后的待检测图像。
可选的，在本发明第二方面的第二种实现方式中，所述特征提取单元具体用于：将所述处理后的待检测图像输入所述预置识别模型中的卷积层进行卷积，得到多个初始特征图像，所述多个初始特征图像尺寸不同，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值；针对所述多个初始特征图像中的每一个初始特征图像，判断每一个标注的交并比值是否大于正样本阈值，每个标注的交并比值对应一个初始检测框；若目标标注的交并比值大于所述正样本阈值，则判定对应的目标初始检测框为初始负检测框，得到多个初始负检测框；判断每一个初始负检测框对应的检测框置信度是否大于置信度阈值，每一个检测框置信度对应一个初始负检测框；若目标初始负检测框对应的检测框置信度大于所述置信度阈值，则判定所述目标初始负检测框为目标负检测框，得到多个目标负检测框；从每个初始特征图像的对应的多个初始检测框中过滤掉所述多个目标负检测框，得到多个过渡特征图像。
可选的，在本发明第二方面的第三种实现方式中，所述特征融合单元具体用于：采用所述预置识别模型对所述多个过渡特征图像进行缩放，得到多个缩放特征图像，所述多个缩放特征图像的尺寸大小相同，每个缩放特征图像至少包括多个过渡检测框；采用预置元素积函数将所述多个缩放特征图像对应的多个过渡检测框进行融合，得到多个待抑制检测框。
可选的，在本发明第二方面的第四种实现方式中，所述基于特征融合的目标检测装置还包括：样本图像获取单元，用于获取多个服装样本图像，每个服装样本图像包括样本标志对象；标注单元，用于采用预置标记工具对多个样本标志图像进行标注，得到多个标注后的服装样本图像，标注后的服装样本图像至少包括一个样本标注框和一个样本标注信息，每个样本标注框对应一个样本标注信息；训练单元，用于采用所述多个标注后的服装样本图像、多个样本标注框和多个样本标注信息进行模型训练，得到预置识别模型。
本发明第三方面提供了一种基于特征融合的目标检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于特征融合的目标检测设备执行上述的基于特征融合的目标检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于特征融合的目标检测方法。
本发明提供的技术方案中，获取待检测图像，所述待检测图像包括多个待检测标志对象；将所述待检测图像进行预处理，得到处理后的待检测图像；采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框；采用置信抑制算法对所述多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。本发明实施例中，在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，解决了图像中背景复杂的问题，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，解决了图像中人流量过大和目标检测对象过小的问题，最后抑制多余的检测框，得到目标标志检测框，提高了识别标志对象的精确度。
附图说明
图1为本发明实施例中基于特征融合的目标检测方法的一个实施例示意图；
图2为本发明实施例中基于特征融合的目标检测方法的另一个实施例示意图；
图3为本发明实施例中基于特征融合的目标检测装置的一个实施例示意图；
图4为本发明实施例中基于特征融合的目标检测装置的另一个实施例示意图；
图5为本发明实施例中基于特征融合的目标检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于特征融合的目标检测方法、装置、设备及存储介质，用于在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，解决了图像中背景复杂的问题，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，解决了图像中人流量过大和目标检测对象过小的问题，最后抑制多余的检测框，得到目标标志检测框，提高了识别标志对象的精确度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于特征融合的目标检测方法的一个实施例包括：
101、获取待检测图像，待检测图像包括多个待检测标志对象；
服务器获取包括多个待检测标志的待检测图像。
可以通过监控视频截取图像得到待检测图像或者通过摄像头拍照得到待检测图像。在本实施例中，待检测标志对象为服装上面的Logo标志，在其他实施例中，待检测标志对象也可以为其他待识别的对象，比如猫、狗和人脸等。
需要说明的是，本实施例对待检测图像的格式和尺寸大小不做具体限定。
可以理解的是，本发明的执行主体可以为基于特征融合的目标检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、将待检测图像进行预处理，得到处理后的待检测图像；
服务器将待检测图像预处理为处理后的待检测图像。
服务器从待检测图像中读取每个像素点的红色变量像素值R、绿色变量像素值G和蓝色变量像素值B；使红色变量像素值R、绿色变量像素值G和蓝色变量像素值B满足下列关系：R＝G＝B，从而得到灰度化待检测图像，灰度化待检测图像包括与每个像素点对应的像素值。然后服务器读取像素平均阈值127，由于像素值的红色变量像素值R、绿色变量像素值G和蓝色变量像素值B的取值范围为0-255，所以取中数127作为像素平均阈值，服务器读取每个像素点像素值，将像素值小于或者等于像素平均阈值127的像素值设为0，将像素值大于像素平均阈值127的像素值设为255，从而得到二值化待检测图像。服务器按照预置归一化公式对二值化待检测图像进行归一化处理，预置归一化公式为：
其中，norm为像素点归一化后的像素值，xi为像素点的二值化后的像素值，min(x)为二值化待检测图像中的二值化后的最小像素值，即0，max(x)为二值化待检测图像中的二值化后的最大像素值，即255，经过归一化的像素值分布在0-1之间。将待处理的原始图像转换成相应的唯一标准形式，从而加快网络的学习速度。
103、采用预置识别模型对处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于多个检测框置信度和多个标注的交并比值对多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；
服务器处理后的待检测图像输入预置识别模型进行特征提取，得到多个尺寸不同的初始特征图像，且每个初始特征图像至少包括多个初始检测框，与每个初始检测框对应的检测框置信度以及与每个初始检测框对应的标注的交并比值。然后服务器筛选多个初始特征图像，得到多个过渡特征图像。
预置识别模型主要包括锚定精炼模块(anchor refine module，ARM)和目标检测模块(object detect module，ODM)，服务器首先将每一个待检测图像输入ARM中的卷积层进行特征提取，能够得到Logo标志对象的信息，即检测框、置信度和交并比值，然后通过ARM根据检测框的置信度和交并比值过滤掉一些Logo的检测框，从而滤除部分无效选区，得到多个过渡特征图像。
需要说明的是，本实施例中的预置识别模型为RefineDet模型。
104、采用预置识别模型对多个过渡特征图像进行特征融合，得到多个待抑制检测框；
服务器采用预置识别模型融合多个过渡特征图像，得到多个待抑制检测框。
ODM中包括多个特征层，服务器将多个过渡特征图像中尺寸较大的过渡特征图像输入到ODM中的高层特征层中进行缩放与特征提取，将多个过渡特征图像中尺寸较小的过渡特征图像输入到ODM中的低层特征层中进行缩放与特征提取，从而得到多个缩放特征图像。缩放特征图像包括多个缩放检测框，缩放检测框中的“缩放”只是一个特征词的前缀，不具有特定的描述功能。将多个缩放特征图像进行融合，从而能够将不同缩放特征图像对应的多个缩放检测框与其他不同缩放特征图像对应的多个缩放检测框进行融合，从而得到多个待抑制检测框。
105、采用置信抑制算法对多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
服务器采用预置抑制算法抑制多个待抑制检测框中的某些待抑制检测框，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装，当待检测标志对象上有目标检测框存在时，说明员工的服装为物流工装，当待检测标志对象上没有目标检测框存在时，说明员工的服装不是物流工装。
具体的，采用非极大值抑制算法对多个待抑制检测框进行抑制。服务器读取每个待抑制检测框对应的待抑制置信度，得到多个待抑制置信度，判断每个待抑制置信度是否大于或者等于第一阈值，若目标待抑制置信度大于或者等于第一阈值，则将对应的待抑制检测框确定为初始待选择检测框，得到多组初始待选择检测框，每组初始待选择检测框包括多个初始待选择检测框；其次服务器在每组初始待选择检测框中选择待抑制置信度最大的初始待选择检测框作为过渡待选择检测框；然后服务器计算每组初始待选择检测框中其他初始待选择检测框与过渡待选择检测框的重叠度，得到多个检测框重叠度，并判断每个检测框重叠度是否大于或者第二阈值，如果目标检测框重叠度大于或者等于第二阈值，则删除目标检测框重叠度，并将对应的过渡待选择检测框标记为目标标志检测框，得到多个目标标志检测框。
例如，与第一阈值对比后，服务器得到一组初始待选择检测框，包括五个初始待选择检测框，分别为A1、A2、A3、A4和A5，对应的待抑制置信度分别为0.7、0.72、0.73、0.83和0.92，服务器将待抑制置信度0.92对应的A5初始待选择检测框确定为过渡待选择检测框，然后服务器分别计算A1、A2、A3和A4与过渡待选择检测框A5的重叠度，得到重叠度分别为0.7、0.8、0.85和0.9，假设第二阈值为0.6，服务器计算得到的4个重叠度均大于第二阈值，服务器则删除A1、A2、A3和A4，将A5标记为目标标志检测框。
需要说明的是，待检测标志对象可以由物流公司设定。每组初始待选择检测中的多个初始待选择检测框均位于对应的待检测标志对象附近。
本发明实施例中，在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，解决了图像中背景复杂的问题，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，解决了图像中人流量过大和目标检测对象过小的问题，最后抑制多余的检测框，得到目标标志检测框，提高了识别标志对象的精确度。
请参阅图2，本发明实施例中基于特征融合的目标检测方法的另一个实施例包括：
201、获取多个服装样本图像，每个服装样本图像包括样本标志对象；
服务器获取多个包括样本标志对象的服装样本图像。
202、采用预置标记工具对多个样本标志图像进行标注，得到多个标注后的服装样本图像，标注后的服装样本图像至少包括一个样本标注框和一个样本标注信息，每个样本标注框对应一个样本标注信息；
服务器采用Labelimg图像标记工具作为预置标记工具对多个样本标志图像进行标注，得到至少包括一个样本标注框和一个样本标注信息的多个标注后的服装样本图像。
例如，采用Labelimg图像标记工具对样本标志图像B1进行标记，得到标注后的服装样本图像B2，在标注后的服装样本图像中，样本标志对象Logo1位于样本标注框B3中，且样本标注框B3的右上角的样本标注信息为Logo。
203、采用多个标注后的服装样本图像、多个样本标注框和多个样本标注信息进行模型训练，得到预置识别模型；
服务器采用通过卷积神经网络和网络卷积层权重对多个标注后的服装样本图像、多个样本标注框和多个样本标注信息进行模型训练，并且在训练的过程中采用随机梯度下降算法优化网络模型，从而得到预置识别模型。
204、获取待检测图像，待检测图像包括多个待检测标志对象；
服务器获取包括多个待检测标志的待检测图像。
可以通过监控视频截取图像得到待检测图像或者通过摄像头拍照得到待检测图像。在本实施例中，待检测标志对象为服装上面的Logo标志，在其他实施例中，待检测标志对象也可以为其他待识别的对象，比如猫、狗和人脸等。
需要说明的是，本实施例对待检测图像的格式和尺寸大小不做具体限定。
205、将待检测图像进行预处理，得到处理后的待检测图像；
服务器将待检测图像预处理为处理后的待检测图像。
服务器从待检测图像中读取每个像素点的红色变量像素值R、绿色变量像素值G和蓝色变量像素值B；使红色变量像素值R、绿色变量像素值G和蓝色变量像素值B满足下列关系：R＝G＝B，从而得到灰度化待检测图像，灰度化待检测图像包括与每个像素点对应的像素值。然后服务器读取像素平均阈值127，由于像素值的红色变量像素值R、绿色变量像素值G和蓝色变量像素值B的取值范围为0-255，所以取中数127作为像素平均阈值，服务器读取每个像素点像素值，将像素值小于或者等于像素平均阈值127的像素值设为0，将像素值大于像素平均阈值127的像素值设为255，从而得到二值化待检测图像。服务器按照预置归一化公式对二值化待检测图像进行归一化处理，预置归一化公式为：
其中，norm为像素点归一化后的像素值，xi为像素点的二值化后的像素值，min(x)为二值化待检测图像中的二值化后的最小像素值，即0，max(x)为二值化待检测图像中的二值化后的最大像素值，即255，经过归一化的像素值分布在0-1之间。将待处理的原始图像转换成相应的唯一标准形式，从而加快网络的学习速度。
206、采用预置识别模型对处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于多个检测框置信度和多个标注的交并比值对多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；
服务器处理后的待检测图像输入预置识别模型进行特征提取，得到多个尺寸不同的初始特征图像，且每个初始特征图像至少包括多个初始检测框，与每个初始检测框对应的检测框置信度以及与每个初始检测框对应的标注的交并比值。然后服务器筛选多个初始特征图像，得到多个过渡特征图像。
预置识别模型主要包括锚定精炼模块(anchor refine module，ARM)和目标检测模块(Object Detect Module，ODM)，服务器首先将每一个待检测图像输入ARM中的卷积层进行特征提取，能够得到Logo标志对象的信息，即检测框、置信度和交并比值，然后通过ARM根据检测框的置信度和交并比值过滤掉一些Logo的检测框，从而滤除部分无效选区，得到多个过渡特征图像。
具体的，服务器将处理后的待检测图像输入预置识别模型中的卷积层进行卷积，得到多个尺寸不同的初始特征图像，且每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值；服务器针对多个初始特征图像中的每一个初始特征图像，判断每一个标注的交并比值是否大于正样本阈值，每个标注的交并比值对应一个初始检测框；如果目标标注的交并比值大于正样本阈值，服务器则判定对应的目标初始检测框为初始负检测框，得到多个初始负检测框；然后服务器判断每一个初始负检测框对应的检测框置信度是否大于置信度阈值，每一个检测框置信度对应一个初始负检测框；如果目标初始负检测框对应的检测框置信度大于置信度阈值，服务器则判定目标初始负检测框为目标负检测框，得到多个目标负检测框；最后服务器从每个初始特征图像的对应的多个初始检测框中过滤掉多个目标负检测框，得到多个过渡特征图像。
例如，假设置信度阈值为0.9。服务器将处理后的待检测图像输入预置识别模型中的卷积层进行卷积，得到尺寸不同的6个初始特征图像，分别为C1、C2、C3、C4、C5和C6。初始特征图像C1包括5个初始检测框，分别为D1、D2、D3、D4和D5，对应的标注的交并比值分别为0.7、0.8、0.85、0.9和0.3，服务器将标注的交并比值0.3对应的初始检测框D5判定为初始负检测框E1，读取负检测框E1对应的检测框置信度F1为0.99，服务器将检测框置信度F1对应的初始检测框D5判定为目标负检测框，然后从初始特征图像C1中删除目标负检测框D5，得到过渡特征图像G1。
需要说明的是，在本实施例中的检测框置信度用于指示初始检测框是否为目标负检测框，目标负检测框选的对象为背景内容，所以将目标负检测框过滤掉。
207、采用预置识别模型对多个过渡特征图像进行特征融合，得到多个待抑制检测框；
服务器采用预置识别模型融合多个过渡特征图像，得到多个待抑制检测框。
ODM中包括多个特征层，服务器将多个过渡特征图像中尺寸较大的过渡特征图像输入到ODM中的高层特征层中进行缩放与特征提取，将多个过渡特征图像中尺寸较小的过渡特征图像输入到ODM中的低层特征层中进行缩放与特征提取，从而得到多个缩放特征图像。缩放特征图像包括多个缩放检测框，缩放检测框中的“缩放”只是一个特征词的前缀，不具有特定的描述功能。将多个缩放特征图像进行融合，从而能够将不同缩放特征图像对应的多个缩放检测框与其他不同缩放特征图像对应的多个缩放检测框进行融合，从而得到多个待抑制检测框。
具体的，服务器采用预置识别模型对多个过渡特征图像进行缩放，得到多个尺寸大小相同的缩放特征图像，每个缩放特征图像至少包括多个过渡检测框；采用预置元素积函数融合多个缩放特征图像对应的多个过渡检测框，得到多个待抑制检测框。
在本实施例中，假设多个过渡特征图像为P1、P2、P3、P4、P5和P6，其中P1至P6的图像尺寸依次增大。预置识别模型包括6个特征层，分别为conv3_3、conv4_3、cony5_3、cony_fc7、conv6_2和conv7_2，其中conv3_3为第一特征层，即底层特征层，用于检测尺寸较小的过渡特征图像，conv7_2为第六特征层，即高层特征层，用于检测尺寸较大的过渡特征图像。服务器按照多个过渡特征图像的尺寸，分别将P1输入第一特征层进行特征提取，得到第一候选特征图像T1，将P2输入第二特征层进行特征提取与反卷积缩放，得到第二候选特征图像T2，第二候选特征图像的图像尺寸与第一候选特征图像的图像尺寸相同，将P3输入第三特征层进行特征提取与反卷积缩放，得到第三候选特征图像T3，第三候选特征图像的图像尺寸与第一候选特征图像的图像尺寸相同，将P4输入第四特征层进行特征提取与反卷积缩放，得到第四候选特征图像T4，第四候选特征图像的图像尺寸与第一候选特征图像的图像尺寸相同，将P5输入第五特征层进行特征提取与反卷积缩放，得到第五候选特征图像T5，第五候选特征图像的图像尺寸与第一候选特征图像的图像尺寸相同以及将P6输入第六特征层进行特征提取与反卷积缩放，得到第六候选特征图像T6，T6、T5、T4、T3和T2的图像尺寸与第一候选特征图像T1的图像尺寸相同。然后服务器采用预置元素积函数对T6和T5进行对位相乘、将得到的结果再与T4进行对位相乘、其次将得到的结果与Y3进行对位相乘、然后将得到的结果与T2进行对位相乘、最后将得到的结果与T1相乘，从而得到多个待抑制检测框。
需要说明的是，采用预置元素积函数对候选特征图像T6和候选特征图像T5融合的实质是融合T6和T5中的多个过渡检测框。
总结来说，本实施中的步骤6和步骤7中的部门采用预置的两个损失函数将多个初始检测框进行分类，然后服务器过滤掉多个无效检测框，从而得到多个过渡检测框，第一损失函数具体如下：
其中，
为初始检测框的类别数据，
为第i个候选区域的位置以及尺寸数据，xi和pi表示ARM的预测，NARM为初始检测框中为目标正检测框的数量，即有效检测框的数量，如果NARM＝0，则ARM的损失为0。ci和ti表示ODM的预测，NODM为ODM中目标正检测框的数量，即有效检测框的数量，如果NODM＝0，则说明ODM的损失为0，
表示如果初始检测框为目标正检测框，则输出1，否则输出0，Lr表示回归损失。
为了更好的提高检测精度，服务器还采用第二损失函数对无效检测框进一步进行抑制，第二损失函数具体如下：
FL(pt)＝-α(1-pt)γlog(pt)
其中，pt为初始检测框中的对象为不同类别的分类概率，(1-pt)γ为权重，pt越大，权重(1-pt)γ越小，这样一来可以通过权重对一些容易区分的样本进行无效检测框的抑制，进而减少无效检测框的数量。
208、采用置信抑制算法对多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
服务器采用预置抑制算法抑制多个待抑制检测框中的某些待抑制检测框，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中。
具体的，采用非极大值抑制算法对多个待抑制检测框进行抑制。服务器读取每个待抑制检测框对应的待抑制置信度，得到多个待抑制置信度，判断每个待抑制置信度是否大于或者等于抑制第一阈值，若目标待抑制置信度大于或者等于第一阈值，则将对应的待抑制检测框确定为初始待选择检测框，得到多组初始待选择检测框，每组初始待选择检测框包括多个初始待选择检测框；其次服务器在每组初始待选择检测框中选择待抑制置信度最大的初始待选择检测框作为过渡待选择检测框；然后服务器计算每组初始待选择检测框中其他初始待选择检测框与过渡待选择检测框的重叠度，得到多个检测框重叠度，并判断每个检测框重叠度是否大于或者第二阈值，如果目标检测框重叠度大于或者等于第二阈值，则删除目标检测框重叠度，并将对应的过渡待选择检测框标记为目标标志检测框，得到多个目标标志检测框。
例如，与第一阈值对比后，服务器得到一组初始待选择检测框，包括五个初始待选择检测框，分别为A1、A2、A3、A4和A5，对应的待抑制置信度分别为0.7、0.72、0.73、0.83和0.92，服务器将待抑制置信度0.92对应的A5初始待选择检测框确定为过渡待选择检测框，然后服务器分别计算A1、A2、A3和A4与过渡待选择检测框A5的重叠度，得到重叠度分别为0.7、0.8、0.85和0.9，假设第二阈值为0.6，服务器计算得到的4个重叠度均大于第二阈值，服务器则删除A1、A2、A3和A4，将A5标记为目标标志检测框。
需要说明的是，每组初始待选择检测中的多个初始待选择检测框均位于对应的待检测标志对象附近。
本发明实施例中，在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，解决了图像中背景复杂的问题，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，解决了图像中人流量过大和目标检测对象过小的问题，最后抑制多余的检测框，得到目标标志检测框，提高了识别标志对象的精确度。
上面对本发明实施例中基于特征融合的目标检测方法进行了描述，下面对本发明实施例中基于特征融合的目标检测装置进行描述，请参阅图3，本发明实施例中基于特征融合的目标检测装置一个实施例包括：
待检测图像获取单元301，用于获取待检测图像，待检测图像包括多个待检测标志对象；
预处理单元302，用于将待检测图像进行预处理，得到处理后的待检测图像；
特征提取单元303，用于采用预置识别模型对处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；
特征融合单元304，用于采用预置识别模型对多个过渡特征图像进行特征融合，得到多个待抑制检测框；
抑制单元305，用于采用置信抑制算法对多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
本发明实施例中，在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，解决了图像中背景复杂的问题，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，解决了图像中人流量过大和目标检测对象过小的问题，最后抑制多余的检测框，得到目标标志检测框，提高了识别标志对象的精确度。
请参阅图4，本发明实施例中基于特征融合的目标检测装置的另一个实施例包括：
待检测图像获取单元301，用于获取待检测图像，待检测图像包括多个待检测标志对象；
预处理单元302，用于将待检测图像进行预处理，得到处理后的待检测图像；
特征提取单元303，用于采用预置识别模型对处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；
特征融合单元304，用于采用预置识别模型对多个过渡特征图像进行特征融合，得到多个待抑制检测框；
抑制单元305，用于采用置信抑制算法对多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
可选的，预处理单元302还可以具体用于：
对待检测图像进行灰度化处理，得到灰度化待检测图像；
对灰度化待检测图像进行二值化处理，得到二值化待检测图像；
对二值化待检测图像进行归一化处理，得到处理后的待检测图像。
可选的，特征提取单元303还可以具体用于：
将处理后的待检测图像输入预置识别模型中的卷积层进行卷积，得到多个初始特征图像，多个初始特征图像尺寸不同，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值；
针对所述多个初始特征图像中的每一个初始特征图像，判断每一个标注的交并比值是否大于正样本阈值，每个标注的交并比值对应一个初始检测框；
若目标标注的交并比值大于所述正样本阈值，则判定对应的目标初始检测框为初始负检测框，得到多个初始负检测框；
判断每一个初始负检测框对应的检测框置信度是否大于置信度阈值，每一个检测框置信度对应一个初始负检测框；
若目标初始负检测框对应的检测框置信度大于所述置信度阈值，则判定所述目标初始负检测框为目标负检测框，得到多个目标负检测框；
从每个初始特征图像的对应的多个初始检测框中过滤掉多个目标负检测框，得到多个过渡特征图像。
可选的，特征融合单元304还可以具体用于：
采用预置识别模型对多个过渡特征图像进行缩放，得到多个缩放特征图像，多个缩放特征图像的尺寸大小相同，每个缩放特征图像至少包括多个过渡检测框；
采用预置元素积函数将多个缩放特征图像对应的多个过渡检测框进行融合，得到多个待抑制检测框。
可选的，基于特征融合的目标检测装置还可以具体用于：
样本图像获取单元306，用于获取多个服装样本图像，每个服装样本图像包括样本标志对象；
标注单元307，用于采用预置标记工具对多个样本标志图像进行标注，得到多个标注后的服装样本图像，标注后的服装样本图像至少包括一个样本标注框和一个样本标注信息，每个样本标注框对应一个样本标注信息；
训练单元308，用于采用多个标注后的服装样本图像、多个样本标注框和多个样本标注信息进行模型训练，得到预置识别模型。
本发明实施例中，在预置识别模型中进行特征提取，并过滤掉无效的初始检测框，解决了图像中背景复杂的问题，然后采用预置识别模型对多个过渡特征图像进行融合，得到多个待抑制检测框，解决了图像中人流量过大和目标检测对象过小的问题，最后抑制多余的检测框，得到目标标志检测框，提高了识别标志对象的精确度。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于特征融合的目标检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于特征融合的目标检测设备进行详细描述。
图5是本发明实施例提供的一种基于特征融合的目标检测设备的结构示意图，该基于特征融合的目标检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于特征融合的目标检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于特征融合的目标检测设备500上执行存储介质530中的一系列指令操作。
基于特征融合的目标检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于特征融合的目标检测设备结构并不构成对基于特征融合的目标检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于特征融合的目标检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于特征融合的目标检测方法，其特征在于，所述基于特征融合的目标检测方法包括：
获取待检测图像，所述待检测图像包括多个待检测标志对象；
将所述待检测图像进行预处理，得到处理后的待检测图像；
采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；
采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框；
采用置信抑制算法对所述多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
2.根据权利要求1所述的基于特征融合的目标检测方法，其特征在于，所述将所述待检测图像进行预处理，得到处理后的待检测图像包括：
对所述待检测图像进行灰度化处理，得到灰度化待检测图像；
对所述灰度化待检测图像进行二值化处理，得到二值化待检测图像；
对所述二值化待检测图像进行归一化处理，得到处理后的待检测图像。
3.根据权利要求1所述的基于特征融合的目标检测方法，其特征在于，所述采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同包括：
将所述处理后的待检测图像输入所述预置识别模型中的卷积层进行卷积，得到多个初始特征图像，所述多个初始特征图像尺寸不同，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值；
针对所述多个初始特征图像中的每一个初始特征图像，判断每一个标注的交并比值是否大于正样本阈值，每个标注的交并比值对应一个初始检测框；
若目标标注的交并比值大于所述正样本阈值，则判定对应的目标初始检测框为初始负检测框，得到多个初始负检测框；
判断每一个初始负检测框对应的检测框置信度是否大于置信度阈值，每一个检测框置信度对应一个初始负检测框；
若目标初始负检测框对应的检测框置信度大于所述置信度阈值，则判定所述目标初始负检测框为目标负检测框，得到多个目标负检测框；
从每个初始特征图像的对应的多个初始检测框中过滤掉所述多个目标负检测框，得到多个过渡特征图像。
4.根据权利要求1所述的基于特征融合的目标检测方法，其特征在于，所述采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框包括：
采用所述预置识别模型对所述多个过渡特征图像进行缩放，得到多个缩放特征图像，所述多个缩放特征图像的尺寸大小相同，每个缩放特征图像至少包括多个过渡检测框；
采用预置元素积函数将所述多个缩放特征图像对应的多个过渡检测框进行融合，得到多个待抑制检测框。
5.根据权利要求1-4中任一项所述的基于特征融合的目标检测方法，其特征在于，在所述获取待检测图像，所述待检测图像包括多个待检测标志对象之前，所述基于特征融合的目标检测方法还包括：
获取多个服装样本图像，每个服装样本图像包括样本标志对象；
采用预置标记工具对多个样本标志图像进行标注，得到多个标注后的服装样本图像，标注后的服装样本图像至少包括一个样本标注框和一个样本标注信息，每个样本标注框对应一个样本标注信息；
采用所述多个标注后的服装样本图像、多个样本标注框和多个样本标注信息进行模型训练，得到预置识别模型。
6.一种基于特征融合的目标检测装置，其特征在于，所述基于特征融合的目标检测装置包括：
待检测图像获取单元，用于获取待检测图像，所述待检测图像包括多个待检测标志对象；
预处理单元，用于将所述待检测图像进行预处理，得到处理后的待检测图像；
特征提取单元，用于采用预置识别模型对所述处理后的待检测图像进行特征提取，得到多个初始特征图像，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值，并基于所述多个检测框置信度和所述多个标注的交并比值对所述多个初始检测框进行筛选，得到多个过渡特征图像，每个初始特征图像尺寸不同；
特征融合单元，用于采用所述预置识别模型对所述多个过渡特征图像进行特征融合，得到多个待抑制检测框；
抑制单元，用于采用置信抑制算法对所述多个待抑制检测框进行抑制，得到多个目标标志检测框，待检测标志对象位于目标标志检测框中，目标标志检测框用于指示员工的服装为物流工装。
7.根据权利要求6所述的基于特征融合的目标检测装置，其特征在于，所述预处理单元具体用于：
对所述待检测图像进行灰度化处理，得到灰度化待检测图像；
对所述灰度化待检测图像进行二值化处理，得到二值化待检测图像；
对所述二值化待检测图像进行归一化处理，得到处理后的待检测图像。
8.根据权利要求6所述的基于特征融合的目标检测装置，其特征在于，所述特征提取单元具体用于：
将所述处理后的待检测图像输入所述预置识别模型中的卷积层进行卷积，得到多个初始特征图像，所述多个初始特征图像尺寸不同，每个初始特征图像至少包括多个初始检测框、多个检测框置信度和多个标注的交并比值；
针对所述多个初始特征图像中的每一个初始特征图像，判断每一个标注的交并比值是否大于正样本阈值，每个标注的交并比值对应一个初始检测框；
若目标标注的交并比值大于所述正样本阈值，则判定对应的目标初始检测框为初始负检测框，得到多个初始负检测框；
判断每一个初始负检测框对应的检测框置信度是否大于置信度阈值，每一个检测框置信度对应一个初始负检测框；
若目标初始负检测框对应的检测框置信度大于所述置信度阈值，则判定所述目标初始负检测框为目标负检测框，得到多个目标负检测框；
从每个初始特征图像的对应的多个初始检测框中过滤掉所述多个目标负检测框，得到多个过渡特征图像。
9.一种基于特征融合的目标检测设备，其特征在于，所述基于特征融合的目标检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于特征融合的目标检测设备执行如权利要求1-5中任意一项所述的基于特征融合的目标检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述基于特征融合的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010359179.5A CN111461260B (zh) | 2020-04-29 | 2020-04-29 | 基于特征融合的目标检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010359179.5A CN111461260B (zh) | 2020-04-29 | 2020-04-29 | 基于特征融合的目标检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111461260A CN111461260A (zh) | 2020-07-28 |
| CN111461260B true CN111461260B (zh) | 2023-04-18 |
Family
ID=71684779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010359179.5A Active CN111461260B (zh) | 2020-04-29 | 2020-04-29 | 基于特征融合的目标检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461260B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468938B (zh) * | 2020-07-31 | 2024-08-02 | 成都通甲优博科技有限责任公司 | 交通图像识别方法、装置、图像处理设备及可读存储介质 |
| CN112288723B (zh) * | 2020-10-30 | 2023-05-23 | 北京市商汤科技开发有限公司 | 缺陷检测方法、装置、计算机设备及存储介质 |
| CN112560592B (zh) * | 2020-11-30 | 2024-07-16 | 深圳市商汤科技有限公司 | 图像处理方法及装置、终端控制方法及装置 |
| CN112507983B (zh) * | 2021-02-03 | 2021-11-16 | 北京世纪好未来教育科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN114821034A (zh) * | 2022-03-29 | 2022-07-29 | 恒安嘉新（北京）科技股份公司 | 目标检测模型的训练方法、装置、电子设备及介质 |
| CN117372919B (zh) * | 2023-09-22 | 2024-07-19 | 北京市燃气集团有限责任公司 | 一种第三方施工威胁物检测方法及装置 |
| CN117893895A (zh) * | 2024-03-15 | 2024-04-16 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 一种三疣梭子蟹的识别方法、系统、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520229A (zh) * | 2018-04-04 | 2018-09-11 | 北京旷视科技有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| CN109214389A (zh) * | 2018-09-21 | 2019-01-15 | 上海小萌科技有限公司 | 一种目标识别方法、计算机装置及可读存储介质 |
| WO2019233394A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
-
2020
- 2020-04-29 CN CN202010359179.5A patent/CN111461260B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520229A (zh) * | 2018-04-04 | 2018-09-11 | 北京旷视科技有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| WO2019233394A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
| CN109214389A (zh) * | 2018-09-21 | 2019-01-15 | 上海小萌科技有限公司 | 一种目标识别方法、计算机装置及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周明非 ; 汪西莉 ; .弱监督深层神经网络遥感图像目标检测模型.中国科学:信息科学.2018,(08),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111461260A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461260B (zh) | 基于特征融合的目标检测方法、装置、设备及存储介质 | |
| CN111310645B (zh) | 货物堆积量的溢仓预警方法、装置、设备及存储介质 | |
| CN106503703B (zh) | 使用终端设备来识别信用卡号码和到期日期的系统和方法 | |
| CN111428723B (zh) | 字符识别方法及装置、电子设备、存储介质 | |
| WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
| EP2833288B1 (en) | Face calibration method and system, and computer storage medium | |
| CN111476067A (zh) | 图像的文字识别方法、装置、电子设备及可读存储介质 | |
| CN112633297B (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
| US11854249B2 (en) | Character recognition method and terminal device | |
| CN110490171B (zh) | 一种危险姿态识别方法、装置、计算机设备及存储介质 | |
| CN111401301B (zh) | 人员着装监控方法、装置、设备及存储介质 | |
| CN106203539A (zh) | 识别集装箱箱号的方法和装置 | |
| CN107808157A (zh) | 一种雷管编码定位及识别的方法及装置 | |
| US20200302135A1 (en) | Method and apparatus for localization of one-dimensional barcodes | |
| CN111507324A (zh) | 卡片边框识别方法、装置、设备和计算机存储介质 | |
| CN110796210A (zh) | 一种标签信息的识别方法及装置 | |
| US11538238B2 (en) | Method and system for performing image classification for object recognition | |
| CN112785595B (zh) | 目标属性检测、神经网络训练及智能行驶方法、装置 | |
| CN108960246B (zh) | 一种用于图像识别的二值化处理装置及方法 | |
| KR101686246B1 (ko) | 카메라 기반 피사체 분석 시스템, 방법 및 프로그램 제품 | |
| CN111382638A (zh) | 一种图像检测方法、装置、设备和存储介质 | |
| CN112347989A (zh) | 反光衣识别方法、装置、计算机设备和可读存储介质 | |
| WO2023160061A1 (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
| Kaimkhani et al. | UAV with Vision to Recognise Vehicle Number Plates | |
| CN113221929A (zh) | 一种图像处理方法以及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |