CN111767919A - 一种多层双向特征提取与融合的目标检测方法 - Google Patents

一种多层双向特征提取与融合的目标检测方法 Download PDF

Info

Publication number
CN111767919A
CN111767919A CN202010278966.7A CN202010278966A CN111767919A CN 111767919 A CN111767919 A CN 111767919A CN 202010278966 A CN202010278966 A CN 202010278966A CN 111767919 A CN111767919 A CN 111767919A
Authority
CN
China
Prior art keywords
target detection
support vector
vector machine
feature extraction
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010278966.7A
Other languages
English (en)
Other versions
CN111767919B (zh
Inventor
罗永祥
陈志辉
刘键涛
魏秋新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian E Port Co ltd
Original Assignee
Fujian E Port Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian E Port Co ltd filed Critical Fujian E Port Co ltd
Priority to CN202010278966.7A priority Critical patent/CN111767919B/zh
Publication of CN111767919A publication Critical patent/CN111767919A/zh
Application granted granted Critical
Publication of CN111767919B publication Critical patent/CN111767919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

一种多层双向特征提取与融合的目标检测方法，首先采用了横向和纵向双向以及不同层的特征提取和融合，且在目标检测后，结合支持向量机对目标检测结果进行二分类，并且采用多个支持向量机对目标检测结果的不同分辨率图像进行处理，以及将特征提取阶段的结果也输入支持向量机中处理，实现了不同维度图像特征的使用；本发明提出的种多层双向特征提取与融合的目标检测方法，极大地提高模型的效率和精确性，增强了目标检测结果的准确度和鲁棒性。

Description

一种多层双向特征提取与融合的目标检测方法
技术领域
本发明涉及目标检测领域，特别是指一种多层双向特征提取与融合的目标检测方法。
背景技术
在当前机器学习技术及计算机硬件性能高速提升的情况下，近年来计算机视觉、自然语言处理和语音检测等应用领域取得了突破性进展。
目标检测作为计算机视觉领域一项基础任务，其精度也得到了大幅提升，目标检测任务可分为两个关键子任务：目标分类和目标定位，其中，目标分类任务负责判断输入图像中是否有感兴趣类别的物体出现，其输出一系列带分数的标签，用来表明感兴趣类别的物体出现在输入图像中的可能性；目标定位任务负责确定输入图像中感兴趣类别的物体的位置和范围，输出物体的包围盒，或物体中心，或物体的闭合边界等，通常方形包围盒是最常用的选择。
然而，现有技术的多种目标检测方法的检测准确率仍然较低，而不能应用于实际通用的检测任务。因此，目标检测还远未被完美解决，仍旧是重要的挑战性的研究课题。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种能够节省计算资源，且使得目标检测结果更为准确的优化算法。
一种多层双向特征提取与融合的目标检测方法，包括如下步骤：
S1:对所述待测图像进行预处理获取预处理图像；
S2:将所述预处理图像输入训练完成的卷积神经网络模型A，进行特征提取；
S3:将提取出的特征输入训练完成的卷积神经网络模型B进行目标检测；
S4:将不同层的语义特征融合，输入卷积神经网络模型B进行目标检测；
S5:汇总步骤S3和S4的结果，得到汇总后的目标检测结果；
S6:将所述汇总后的目标检测结果，输入支持向量机中进行二分类判别；
S7:将不同层的语义特征融合，输入支持向量机中进行二分类判别；
S8:汇总步骤S6和S7的二分类判别结果，得到汇总后的二分类判别结果；
S9:将所述汇总后的目标检测结果和所述汇总后的二分类判别结果进行加权平均，得到分类结果；
S9:采用焦点损失函数对分类结果进行检测。
具体的，所述步骤S2之前，还包括：将获取的预处理图像输入EfficientNet模型进行特征提取。
具体的，所述卷积神经网络模型A包括第一卷积层和第二卷积层，第一卷积层通过下采样与第二卷积层融合，第二卷积层通过上采样与第一卷积层融合。
优选的，所述上采样的方法为最近邻插值法。
具体的，所述支持向量机包括第一支持向量机和第二支持向量机，所述第一支持向量机输入的是目标检测结果的原始尺寸图像，所述第二支持向量机输入的是目标检测结果的下采样图像。
优选的，所述支持向量机的结构S为：
Figure BDA0002445828790000021
其中xi为输入的图像，yi为输入图像的标签，w和b为模型参数，λ为常数，n为样本量。
优选的，所述支持向量机采用的训练方法为库恩塔克条件下的拉格朗日数乘法。
优选的，所述焦点损失函数为：
FL(pt)＝-(1-pt)γlog(pt)
其中Pt为预测结果为正确时的概率，γ为函数的超参数。
优选的，γ的范围为2-5。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明提出的多层双向特征提取与融合的目标检测方法，通过实现横向和纵向双向以及不同层的特征提取和融合，能够很大程度上提高模型的效率和准确性，且在目标检测后，采用支持向量机对目标检测结果进行二分类，提高分类结果的准确度，且本发明中的采用多个支持向量机对目标检测结果的不同分辨率图像进行处理，以及将特征提取阶段的结果也输入支持向量机中处理，更进一步地提高了目标检测结果的准确度和鲁棒性。
附图说明
图1为本发明实施例的输入图像；
图2为本发明实施例的目标检测结果的图像。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明采用如下技术方案：
一种多层双向特征提取与融合的目标检测方法，包括如下步骤：
S1:对所述待测图像进行预处理获取预处理图像；
如图1，输入1920*2240大小的图像，图像为厦门东渡海关海天码头3号闸内全景，首先对图像进行滤波操作；
具体的，所述步骤S2之前，还包括：将获取的预处理图像输入EfficientNet模型进行特征提取。
S2:将所述预处理图像输入训练完成的卷积神经网络模型A，进行特征提取；
如图1，卷积神经网络模型A包括为两层卷积层，第一卷积层和第二卷积层，第一卷积层通过下采样与第二卷积层融合，第二卷积层通过上采样与第一卷积层融合；每个卷积块均为3*3的结构，
一般来说，下采样率高的层可以用来识别更小的物体，其语义信息丰富，但是缺乏空间信息，下采样率低的层则反之，这里我们采用不同的采样率层，通过双向融合这些特征使得获取的特征具备同时能够识别大物体和小物体的特性；
S3:将提取出的特征输入训练完成的卷积神经网络模型B进行目标检测；
其中，卷积神经网络模型B，包括cls分类分支和box目标框回归分支，cls分类分支用于判断某个框中物体的类别，box目标框回归分支用于识别物体框的准确位置，cls分类分支的结构为1000*C的全连接神经网络，其中1000为分类特征的大小，C为物体类别数，box目标框回归分支的具体结构为1000*4*C的全卷积神经网络层，其中1000为回归特征的数目，C同样为物体类别数；4为物体框的四个坐标值；如一个矩形可以用两个点来表示，左上角(xmin,ymin)和右下角(xmax，ymax),包含四个坐标值。
S4:将不同层的语义特征融合，输入卷积神经网络模型B进行目标检测；
S5:汇总步骤S3和S4的结果，得到汇总后的目标检测结果；
本实例中将不同层的语义特征融合，以及采用不同的采样率层双向融合特征，通过汇总步骤S3和S4的结果，实现了多层双向特征的提取与融合，极大地提高了模型的效率和准确率；
S6:将所述汇总后的目标检测结果，输入支持向量机中进行二分类判别；
在传统的目标检测中，误检是很常见的且很难规避的问题，所以，本实施中通过引入支持向量机进行再分类，能提高分类的准确性；
本实施例中，支持向量机包括第一支持向量机和第二支持向量机，第一支持向量机输入的是目标检测结果的原始尺寸图像如图2，为图1中的人物目标图像，大小为的W/10*H/10，其中W和H原始图像的长和宽，第二支持向量机输入的是目标检测结果的下采样图像；大小为的W/20*H/20，采用多个支持向量机对目标检测结果的不同分辨率图像进行处理，进一步提高分类的准确度。
其中，支持向量机的具体结构S为：
Figure BDA0002445828790000041
其中xi为输入的图像，yi为输入图像的标签，w和b为模型参数，λ为常数，n为样本量，即训练图片的数量，这里λ取0.1。
所采用的训练方法为库恩塔克条件下的拉格朗日数乘法。
S7:将不同层的语义特征融合，输入支持向量机中进行二分类判别；
S8:汇总步骤S6和S7的二分类判别结果，得到汇总后的二分类判别结果；
此外，本实施例还将特征提取阶段提取的特征，通过不同层的语义特征融合，直接输入支持向量机中进行分类，汇总步骤S6和S7的二分类判别结果，实现了不同维度图像特征的使用，充分利用了图像信息。
S9:将所述汇总后的目标检测结果和所述汇总后的二分类判别结果进行加权平均，得到分类结果；
S10:采用焦点损失函数对分类结果进行检测。
在分类时，本实施例采用的损失函数并非一般的交叉熵函数，而是使用了焦点损失函数，该函数的特征的能使模型对更难分类的样本进行着重处理，具体函数如下：
FL(pt)＝-(1-pt)γlog(pt)
其中Pt为预测结果为正确时的概率，γ为函数的超参数，γ一般设置为2-5，可根据具体数据集进行调整，这里取γ＝2.5。
本发明提出的多层双向特征提取与融合的目标检测方法，通过实现横向和纵向双向以及不同层的特征提取和融合，能够很大程度上提高模型的效率和准确性，且在目标检测后，采用支持向量机对目标检测结果进行二分类，提高分类结果的准确度，且本发明中的采用多个支持向量机对目标检测结果的不同分辨率图像进行处理，以及将特征提取阶段的结果也输入支持向量机中处理，更进一步地提高了目标检测结果的准确度和鲁棒性。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均属于侵犯本发明保护范围的行为。

Claims (9)

1.一种多层双向特征提取与融合的目标检测方法，其特征在于，包括如下步骤：
S1:对所述待测图像进行预处理获取预处理图像；
S2:将所述预处理图像输入训练完成的卷积神经网络模型A，进行特征提取；
S3:将提取出的特征输入训练完成的卷积神经网络模型B进行目标检测；
S4:将不同层的语义特征融合，输入卷积神经网络模型B进行目标检测；
S5:汇总步骤S3和S4的结果，得到汇总后的目标检测结果；
S6:将所述汇总后的目标检测结果，输入支持向量机中进行二分类判别；
S7:将不同层的语义特征融合，输入支持向量机中进行二分类判别；
S8:汇总步骤S6和S7的二分类判别结果，得到汇总后的二分类判别结果；
S9:将所述汇总后的目标检测结果和所述汇总后的二分类判别结果进行加权平均，得到分类结果；
S9:采用焦点损失函数对分类结果进行检测。
2.根据权利要求1所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述步骤S2之前，还包括：将获取的预处理图像输入EfficientNet模型进行特征提取。
3.根据权利要求1所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述卷积神经网络模型A包括第一卷积层和第二卷积层，第一卷积层通过下采样与第二卷积层融合，第二卷积层通过上采样与第一卷积层融合。
4.根据权利要求3所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述上采样的方法为最近邻插值法。
5.根据权利要求1所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述支持向量机包括第一支持向量机和第二支持向量机，所述第一支持向量机输入的是目标检测结果的原始尺寸图像，所述第二支持向量机输入的是目标检测结果的下采样图像。
6.根据权利要求5所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述支持向量机的结构S为：
Figure FDA0002445828780000021
其中xi为输入的图像，yi为输入图像的标签，w和b为模型参数，λ为常数，n为样本量。
7.根据权利要求5所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述支持向量机采用的训练方法为库恩塔克条件下的拉格朗日数乘法。
8.根据权利要求1所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，所述焦点损失函数为：
FL(pt)＝-(1-pt)γlog(pt)
其中Pt为预测结果为正确时的概率，γ为函数的超参数。
9.根据权利要求8所述的一种多层双向特征提取与融合的目标检测方法，其特征在于，γ的范围为2-5。
CN202010278966.7A 2020-04-10 2020-04-10 一种多层双向特征提取与融合的目标检测方法 Active CN111767919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010278966.7A CN111767919B (zh) 2020-04-10 2020-04-10 一种多层双向特征提取与融合的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278966.7A CN111767919B (zh) 2020-04-10 2020-04-10 一种多层双向特征提取与融合的目标检测方法

Publications (2)

Publication Number Publication Date
CN111767919A true CN111767919A (zh) 2020-10-13
CN111767919B CN111767919B (zh) 2024-02-06

Family

ID=72719436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278966.7A Active CN111767919B (zh) 2020-04-10 2020-04-10 一种多层双向特征提取与融合的目标检测方法

Country Status (1)

Country Link
CN (1) CN111767919B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689381A (zh) * 2021-07-21 2021-11-23 航天晨光股份有限公司 波纹管内壁瑕疵检测模型及检测方法
CN113762138A (zh) * 2021-09-02 2021-12-07 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109522966A (zh) * 2018-11-28 2019-03-26 中山大学 一种基于密集连接卷积神经网络的目标检测方法
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN110781980A (zh) * 2019-11-08 2020-02-11 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN110866897A (zh) * 2019-10-30 2020-03-06 上海联影智能医疗科技有限公司 一种图像检测方法及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109522966A (zh) * 2018-11-28 2019-03-26 中山大学 一种基于密集连接卷积神经网络的目标检测方法
CN110866897A (zh) * 2019-10-30 2020-03-06 上海联影智能医疗科技有限公司 一种图像检测方法及计算机可读存储介质
CN110781980A (zh) * 2019-11-08 2020-02-11 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENCHAO LI 等: "Target classification and recognition based on micro-Doppler radar signatures", 2017 PROGRESS IN ELECTROMAGNETICS RESEARCH SYMPOSIUM - FALL (PIERS - FALL) *
王凯;潘炼;: "基于改进Faster R-CNN图像小目标检测", 电视技术, no. 20 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689381A (zh) * 2021-07-21 2021-11-23 航天晨光股份有限公司 波纹管内壁瑕疵检测模型及检测方法
CN113689381B (zh) * 2021-07-21 2024-02-27 航天晨光股份有限公司 波纹管内壁瑕疵检测模型及检测方法
CN113762138A (zh) * 2021-09-02 2021-12-07 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN113762138B (zh) * 2021-09-02 2024-04-23 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111767919B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
Tian et al. A dual neural network for object detection in UAV images
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN105574550A (zh) 一种车辆识别方法及装置
CN109117836A (zh) 一种基于焦点损失函数的自然场景下文字检测定位方法和装置
CN113361432B (zh) 一种基于深度学习的视频文字端到端检测与识别的方法
CN111339832A (zh) 人脸合成图像的检测方法及装置
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN110008900A (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN116612292A (zh) 一种基于深度学习的小目标检测方法
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置
CN111767919A (zh) 一种多层双向特征提取与融合的目标检测方法
CN113297956A (zh) 一种基于视觉的手势识别方法及系统
CN111553361B (zh) 一种病理切片标签识别方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111898608B (zh) 一种基于边界预测的自然场景多语言文字检测方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN109284752A (zh) 一种车辆的快速检测方法
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN114898290A (zh) 一种海上船舶实时检测方法及系统
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant