CN105956608A - 一种基于深度学习的目标定位、分类算法 - Google Patents

一种基于深度学习的目标定位、分类算法 Download PDF

Info

Publication number
CN105956608A
CN105956608A CN201610258047.7A CN201610258047A CN105956608A CN 105956608 A CN105956608 A CN 105956608A CN 201610258047 A CN201610258047 A CN 201610258047A CN 105956608 A CN105956608 A CN 105956608A
Authority
CN
China
Prior art keywords
network
target
classification
layer
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610258047.7A
Other languages
English (en)
Inventor
王曦
宋健明
谢晓靓
周冕
李皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enbotai (tianjin) Technology Co Ltd
Original Assignee
Enbotai (tianjin) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enbotai (tianjin) Technology Co Ltd filed Critical Enbotai (tianjin) Technology Co Ltd
Priority to CN201610258047.7A priority Critical patent/CN105956608A/zh
Publication of CN105956608A publication Critical patent/CN105956608A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的目标定位、分类算法,包括以下步骤:S1:对第一网络输入图片,输出一系列的目标定位框和得分;S2:对第二网络输入图片和一系列子窗口;S3:对网络进行前向传播到最后一个卷积层,生成特征图;S4:使用缩放系数对子窗口进行坐标变换,使坐标映射到特征图上;S5:使用缩放后的子窗口在特征图上获取特征,并pooling到固定的大小;S6:对pooling后的数据进行分类,得到区域的分类结果和得分;S7:将目标定位框和区域的分类结果输入进分类器进行分类,输出为目标的类别和坐标。本发明可以进行有效的特征提取,并且进行有效的目标分类,同时使用统一的网络进行定位和识别,大大加速了计算的速度。

Description

一种基于深度学习的目标定位、分类算法
技术领域
本发明涉及深度学习技术领域,尤其涉及一种基于深度学习的目标定位、分类算法。
背景技术
深度学习算法,将语义分割、目标检测与跟踪、场景理解与分析等在车载视觉上的处理有效地组织在卷积神经网络的框架下,形成整体的端对端的处理方案,并优化车载视觉的神经网络模型,使其能够快速、准确及有效地在车载嵌入式系统下完成视觉处理的任务。
传统的方法只能进行单目标检测,如果需要多目标检测需要使用不同的特征和不同的分类器,这样增加了真个系统的设计难度,并且不同的特征在不同的分类器中无法共享,导致了计算的重复性,无法提高检测的效率,并且传统的算法在复杂场景下的泛化能力较弱,无法达到实用的价值。
发明内容
基于背景技术存在的技术问题,本发明提出了一种基于深度学习的目标定位、分类算法。
本发明提出的一种基于深度学习的目标定位、分类算法,包括以下步骤:
S1:对第一网络输入图片,输出一系列的目标定位框和得分;
S2:对第二网络输入图片和一系列子窗口;
S3:对网络进行前向传播到最后一个卷积层,生成特征图;
S4:使用缩放系数对子窗口进行坐标变换,使坐标映射到特征图上;
S5:使用缩放后的子窗口在特征图上获取特征,并pooling到固定的大小;
S6:对pooling后的数据进行分类,得到区域的分类结果和得分;
S7:将目标定位框和区域的分类结果输入进分类器进行分类,输出为目标的类别和坐标。
优选地,所述第一网络为区域目标定位网络,且第一网络为全卷积网络。
优选地,所述区域目标定位网络分为特征提取层和目标定位层,且目标定位层包括区域定位层和区域分类层。
优选地,所述第二网络为特征提取网络。
本发明中,该基于深度学习的目标定位、分类算法能够进行多目标检测,有效地提高了检测的效率,在复杂场景下的泛化能力较强,可以进行有效的特征提取,并且进行有效的目标分类,同时本发明使用统一的网络进行定位和识别,大大加速了计算的速度,本发明提升了我国汽车工业在车辆辅助驾驶、无人驾驶等高科技领域的技术水平,打破国外公司在该领域的技术垄断,提高国产汽车的安全性,且让车联网能够更加真实、准确的感知车辆与车辆周边路况的信息,将提升车联网的信息处理、整合、分析与理解能力,并推动相关问题的深入研究并应用,力争创造更好的经济效益。
附图说明
图1为本发明提出的一种基于深度学习的目标定位、分类算法的定位流程图;
图2为本发明提出的一种基于深度学习的目标定位、分类算法的精确定位和分类的流程图;
图3为本发明提出的一种基于深度学习的目标定位、分类算法的定位算法的过程图;
图4为本发明提出的一种基于深度学习的目标定位、分类算法的分类算法的过程图。
具体实施方式
下面结合具体实施例对本发明作进一步解说。
实施例
参考图1-4,本实施例提出了一种基于深度学习的目标定位、分类算法,包括以下步骤:
S1:对第一网络输入图片,输出一系列的目标定位框和得分;
S2:对第二网络输入图片和一系列子窗口;
S3:对网络进行前向传播到最后一个卷积层,生成特征图;
S4:使用缩放系数对子窗口进行坐标变换,使坐标映射到特征图上;
S5:使用缩放后的子窗口在特征图上获取特征,并下采到固定的大小;
S6:对下采后的数据进行分类,得到区域的分类结果和得分;
S7:将目标定位框和区域的分类结果输入进分类器进行分类,输出为目标的类别和坐标。
基于深度学习的目标定位算法
传统的通用目标定位算法可以分为两大部分:(1)基于固定相机的背景建模方法;(2)基于非固定相机的显著性检测方法。第一种方法速度快,效果好,但是对光照变化敏感,且适用范围小,而第二种方法精度差,速度慢,但适用范围广。但是这两种方法都存在着定位精度不高、适应性差等特点。
为了改进目标定位算法,并且可以使用到卷积神经网络中,我们开发了一种基于卷积神经网络的快速目标定位算法,称之为区域目标定位网络。此网络输入为一张图片,输出为一系列的目标定位框和这些框的得分。此网络是一个典型的全卷积网络(所有神经元为卷积神经元,且无全链接层,最终的分类层也为卷积层)。此网络分为两部分:(1)特征提取。(2)目标定位。根据不同的网络结构,特征提取层输出的特征维度也不同,为了快速定位目标,我们使用精简的网络结构,其特征输出为256维。在目标定位层,有两个输出层:(1)区域定位层。(2)区域分类层。在定位层中,适用N*N的窗口在特征图上滑动,计算其坐标区域及分类。我们使用3*3的窗口进行滑动。为了能对不同大小以及不同形变的物体进行检测,我们需要使用进行多尺度变换和不同的检测框。在我们的框架中,我们使用3个尺度变换和3个角度变换。
基于区域的目标分类算法
在深度学习领域中,为了能在图片上检测出物体,需要使用滑动床技术在图像上滑动,产生一系列的子窗口,将子窗口输入到网络中进行分类。使用此种方法,虽然准确率高,但是速度较慢,中间有许多的重复计算。为了能在目标检测中加速计算,我们提出了一种基于区域的目标分类算法,此算法过程如下:
1、对网络输入图片和一系列子窗口。
2、对网络进行前向传播到最后一个卷积层,生成特征图。
3、使用缩放系数对子窗口进行坐标变换,使坐标映射到特征图上。
4、使用缩放后的子窗口在特征图上获取特征,并下采到固定的大小。
5、对pooling后的数据进行分类,得到区域的分类结果和得分。
传统的确定区域的方法是使用显著性检测进行区域定位,但是这种方法比较耗时,却浪费了神经网络的计算资源。因此我们将我们的基于深度学习的定位算法纳入到我们的基于区域的目标分类算法中,形成一个统一的框架,进一步加速算法的速度。
本实施例中,第一网络为区域目标定位网络,且第一网络为全卷积网络,区域目标定位网络分为特征提取层和目标定位层,且目标定位层包括区域定位层和区域分类层,第二网络为特征提取网络,该基于深度学习的目标定位、分类算法能够进行多目标检测,有效地提高了检测的效率,在复杂场景下的繁华能力较强,可以进行有效的特征提取,并且进行有效的目标分类,同时本发明使用统一的网络进行定位和识别,大大加速了计算的速度,本发明提升了我国汽车工业在车辆辅助驾驶、无人驾驶等高科技领域的技术水平,打破国外公司在该领域的技术垄断,提高国产汽车的安全性,且让车联网能够更加真实、准确的感知车辆与车辆周边路况的信息,将提升车联网的信息处理、整合、分析与理解能力,并推动相关问题的深入研究并应用,力争创造更好的经济效益。
本实施例中,基于卷积神经网络的目标定位算法能快速定位图像中的目标,使用卷积神经网络快速生成目标的候选框,为了能有效的定位到图像中的目标,需要考虑目标的尺度变化和形变,因此在生成全图像的候选框的时候,需要加上多尺度变化和多角度变化,然后生成了目标的粗定位框,接着使用另一个CNN网络来从粗定位框中生成最终目标的精定位框以及对应的目标的分类,这时候需要改变CNN的结构,使之可以使用图像的部分去做进行分类,为此我们增加了一个新的输入层为rois层,这一层负责输入需要分类的区域的坐标,同时我们又增加一个新的特征采集层为roi_pooling层,这一层负责从卷积神经网络的特征提取层中形成最终的区域特征并将特征输入分类器进行分类。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的目标定位、分类算法,其特征在于,包括以下步骤:
S1:对第一网络输入图片,输出一系列的目标定位框和得分;
S2:对第二网络输入图片和一系列子窗口;
S3:对网络进行前向传播到最后一个卷积层,生成特征图;
S4:使用缩放系数对子窗口进行坐标变换,使坐标映射到特征图上;
S5:使用缩放后的子窗口在特征图上获取特征,并pooling到固定的大小;
S6:对pooling后的数据进行分类,得到区域的分类结果和得分;
S7:将目标定位框和区域的分类结果输入进分类器进行分类,输出为目标的类别和坐标。
2.根据权利要求1所述的一种基于深度学习的目标定位、分类算法,其特征在于,所述第一网络为区域目标定位网络,且第一网络为全卷积网络。
3.根据权利要求2所述的一种基于深度学习的目标定位、分类算法,其特征在于,所述区域目标定位网络分为特征提取层和目标定位层,且目标定位层包括区域定位层和区域分类层。
4.根据权利要求1所述的一种基于深度学习的目标定位、分类算法,其特征在于,所述第二网络为特征提取网络。
CN201610258047.7A 2016-04-21 2016-04-21 一种基于深度学习的目标定位、分类算法 Pending CN105956608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610258047.7A CN105956608A (zh) 2016-04-21 2016-04-21 一种基于深度学习的目标定位、分类算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610258047.7A CN105956608A (zh) 2016-04-21 2016-04-21 一种基于深度学习的目标定位、分类算法

Publications (1)

Publication Number Publication Date
CN105956608A true CN105956608A (zh) 2016-09-21

Family

ID=56916018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610258047.7A Pending CN105956608A (zh) 2016-04-21 2016-04-21 一种基于深度学习的目标定位、分类算法

Country Status (1)

Country Link
CN (1) CN105956608A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845427A (zh) * 2017-01-25 2017-06-13 北京深图智服技术有限公司 一种基于深度学习的人脸检测方法和装置
CN107392214A (zh) * 2017-07-26 2017-11-24 成都快眼科技有限公司 一种基于全卷积分裂网络的目标检测方法
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN107808167A (zh) * 2017-10-27 2018-03-16 深圳市唯特视科技有限公司 一种基于可变形部分的完全卷积网络进行目标检测的方法
CN107895191A (zh) * 2017-10-30 2018-04-10 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107944412A (zh) * 2017-12-04 2018-04-20 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路自动识别系统及方法
CN108347643A (zh) * 2018-03-05 2018-07-31 成都索贝数码科技股份有限公司 一种基于深度学习的字幕叠加截图的实现方法
CN108399398A (zh) * 2018-03-22 2018-08-14 武汉云衡智能科技有限公司 一种基于深度学习的无人驾驶汽车障碍物识别检测方法
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN109325494A (zh) * 2018-08-27 2019-02-12 腾讯科技(深圳)有限公司 图片处理方法、任务数据处理方法和装置
CN109740664A (zh) * 2018-12-28 2019-05-10 东莞中国科学院云计算产业技术创新与育成中心 柔性物体分类方法、装置、计算机设备和存储介质
CN109784163A (zh) * 2018-12-12 2019-05-21 中国科学院深圳先进技术研究院 一种轻量视觉问答系统及方法
CN110084240A (zh) * 2019-04-24 2019-08-02 网易(杭州)网络有限公司 一种文字提取系统、方法、介质和计算设备
CN110168477A (zh) * 2016-11-15 2019-08-23 奇跃公司 用于长方体检测的深度学习系统
CN110399804A (zh) * 2019-07-01 2019-11-01 浙江师范大学 一种基于深度学习的食品检测识别方法
CN110633594A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN113705279A (zh) * 2020-05-21 2021-11-26 阿波罗智联(北京)科技有限公司 目标对象的位置识别的方法及装置
CN113794915A (zh) * 2021-09-13 2021-12-14 海信电子科技(武汉)有限公司 服务器、显示设备、诗词歌赋生成方法及媒资播放方法
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504395A (zh) * 2014-12-16 2015-04-08 广州中国科学院先进技术研究所 基于神经网络实现人车分类的方法和系统
CN104517103A (zh) * 2014-12-26 2015-04-15 广州中国科学院先进技术研究所 一种基于深度神经网络的交通标志分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504395A (zh) * 2014-12-16 2015-04-08 广州中国科学院先进技术研究所 基于神经网络实现人车分类的方法和系统
CN104517103A (zh) * 2014-12-26 2015-04-15 广州中国科学院先进技术研究所 一种基于深度神经网络的交通标志分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3 [CS.CV]》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797860B2 (en) 2016-11-15 2023-10-24 Magic Leap, Inc. Deep learning system for cuboid detection
CN110168477A (zh) * 2016-11-15 2019-08-23 奇跃公司 用于长方体检测的深度学习系统
CN110168477B (zh) * 2016-11-15 2022-07-08 奇跃公司 用于长方体检测的深度学习系统
CN106845427B (zh) * 2017-01-25 2019-12-06 北京深图智服技术有限公司 一种基于深度学习的人脸检测方法和装置
CN106845427A (zh) * 2017-01-25 2017-06-13 北京深图智服技术有限公司 一种基于深度学习的人脸检测方法和装置
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN107392214A (zh) * 2017-07-26 2017-11-24 成都快眼科技有限公司 一种基于全卷积分裂网络的目标检测方法
CN107392214B (zh) * 2017-07-26 2020-10-09 成都快眼科技有限公司 一种基于全卷积分裂网络的目标检测方法
CN107808167A (zh) * 2017-10-27 2018-03-16 深圳市唯特视科技有限公司 一种基于可变形部分的完全卷积网络进行目标检测的方法
CN107895191A (zh) * 2017-10-30 2018-04-10 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
US11922132B2 (en) 2017-10-30 2024-03-05 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11762631B2 (en) 2017-10-30 2023-09-19 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN107895191B (zh) * 2017-10-30 2022-02-22 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107944412A (zh) * 2017-12-04 2018-04-20 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路自动识别系统及方法
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN108399362B (zh) * 2018-01-24 2022-01-07 中山大学 一种快速行人检测方法及装置
CN108347643A (zh) * 2018-03-05 2018-07-31 成都索贝数码科技股份有限公司 一种基于深度学习的字幕叠加截图的实现方法
CN108347643B (zh) * 2018-03-05 2020-09-15 成都索贝数码科技股份有限公司 一种基于深度学习的字幕叠加截图的实现方法
CN108399398A (zh) * 2018-03-22 2018-08-14 武汉云衡智能科技有限公司 一种基于深度学习的无人驾驶汽车障碍物识别检测方法
CN110633594A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN109325494A (zh) * 2018-08-27 2019-02-12 腾讯科技(深圳)有限公司 图片处理方法、任务数据处理方法和装置
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US11996105B2 (en) 2018-09-13 2024-05-28 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN109784163A (zh) * 2018-12-12 2019-05-21 中国科学院深圳先进技术研究院 一种轻量视觉问答系统及方法
CN109740664B (zh) * 2018-12-28 2023-01-10 东莞中国科学院云计算产业技术创新与育成中心 柔性物体分类方法、装置、计算机设备和存储介质
CN109740664A (zh) * 2018-12-28 2019-05-10 东莞中国科学院云计算产业技术创新与育成中心 柔性物体分类方法、装置、计算机设备和存储介质
CN110084240A (zh) * 2019-04-24 2019-08-02 网易(杭州)网络有限公司 一种文字提取系统、方法、介质和计算设备
CN110399804A (zh) * 2019-07-01 2019-11-01 浙江师范大学 一种基于深度学习的食品检测识别方法
CN113705279A (zh) * 2020-05-21 2021-11-26 阿波罗智联(北京)科技有限公司 目标对象的位置识别的方法及装置
CN113794915A (zh) * 2021-09-13 2021-12-14 海信电子科技(武汉)有限公司 服务器、显示设备、诗词歌赋生成方法及媒资播放方法
CN113794915B (zh) * 2021-09-13 2023-05-05 海信电子科技(武汉)有限公司 服务器、显示设备、诗词歌赋生成方法及媒资播放方法

Similar Documents

Publication Publication Date Title
CN105956608A (zh) 一种基于深度学习的目标定位、分类算法
Tayara et al. Vehicle detection and counting in high-resolution aerial images using convolutional regression neural network
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN107341453B (zh) 一种车道线提取方法及装置
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN107066953A (zh) 一种面向监控视频的车型识别、跟踪及矫正方法和装置
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN107545263A (zh) 一种物体检测方法及装置
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN104915642B (zh) 前方车辆测距方法及装置
CN105989334A (zh) 基于单目视觉的道路检测方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
Koh et al. Autonomous road potholes detection on video
Ramaiah et al. Stereo Vision Based Pothole Detection System for Improved Ride Quality
CN112446353A (zh) 基于深度卷积神经网络的视频图像道线检测方法
Mouzinho et al. Hierarchical semantic segmentation based approach for road surface damages and markings detection on paved road
KY et al. Road pothole detection using yolov2 model
Hedeya et al. A low-cost multi-sensor deep learning system for pavement distress detection and severity classification
Syed et al. Road lane line detection based on roi using hough transform algorithm
Burlacu et al. Stereo vision based environment analysis and perception for autonomous driving applications
de Goma et al. Detecting red-light runners (RLR) and speeding violation through video capture
Saffarini et al. Survey of road anomalies detection methods
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 2100-b1018, 2 Huatian Road, Huayuan Industrial Zone, Binhai New Area, Tianjin

Applicant after: TIANJIN TIANTONG WEISHI ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: Room 2100-b1018, 2 Huatian Road, Huayuan Industrial Zone, Binhai New Area, Tianjin

Applicant before: ENBOTAI (TIANJIN) TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921

RJ01 Rejection of invention patent application after publication