CN110334752A - 一种基于梯形卷积的不规则形状物体检测方法 - Google Patents
一种基于梯形卷积的不规则形状物体检测方法 Download PDFInfo
- Publication number
- CN110334752A CN110334752A CN201910559601.9A CN201910559601A CN110334752A CN 110334752 A CN110334752 A CN 110334752A CN 201910559601 A CN201910559601 A CN 201910559601A CN 110334752 A CN110334752 A CN 110334752A
- Authority
- CN
- China
- Prior art keywords
- trapezoidal
- convolution
- rectangle candidate
- characteristic spectrum
- candidate region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种增基于梯形卷积的不规则形状物体检测方法,包括:1)先提取输入图像的特征谱;2)利用候选区域网络RPN得到初步的矩形候选区域;3)将矩形候选区域与输入图像的特征谱结合,得到输入图像中矩形候选区域特征后进入形边框调整步骤;4)梯形边框调整步骤:将矩形候选区域特征f1输入神经网络得到6个输出,分别代表区域中心点偏移量、宽高偏移量以及纵向两条边界与水平线的夹角;5)将矩形候选区域特征f1变换为梯形卷积特征谱f2:6)将梯形卷积特征谱f2作为检测步骤的输入特征来完成对输入图像的检测。本发明能够减少无关特征干扰,提高检测精度;梯形卷积引入参数较少,易于取得良好效果。
Description
技术领域
本发明涉及不规则形状物体检测领域,主要通过改变卷积核形状,提高检测精度的同时使Bounding Box更贴合目标。
背景技术
在目标检测领域,物体形状的不规则性是制约检测正确率的一个重要因素。传统两阶段检测方法通过“产生候选区域”和“识别区域内目标”实现,候选区域采用矩形框,在不规则形状物体的检测中,矩形框标定完整物体的同时会包含大量的不相关区域,这在第二阶段目标识别中会引入大量的不相关特征,影响检测的精准度,同时也无法给出将目标紧致标定的边框(Bounding Box)。可变形卷积是这种情况的一种解决方案,在传统卷积的基础上增加了偏移向量,但是涉及向量参数过多,训练难度较高。
发明内容
本发明所要解决的技术问题是,提供一种增加少数几个参数提高Bounding Box的灵活性,使之更加贴合实际的不规则形状物体的特征检测方法。
本发明为解决上述技术问题所采用的技术方案是,一种基于梯形卷积的不规则形状物体检测方法,通过增加四边形的两个角度作为参数进行训练,得到更贴合目标的边界框,后续处理中使用更紧致边界框里的特征谱,具体包括以下步骤:
1)先提取输入图像的特征谱;
2)利用候选区域网络RPN得到初步的矩形候选区域;
3)将矩形候选区域与输入图像的特征谱结合,得到输入图像中矩形候选区域特征后进入形边框调整步骤;
4)梯形边框调整步骤:将矩形候选区域特征f1输入神经网络得到6个输出,分别代表区域中心点偏移量、宽高偏移量以及纵向两条边界与水平线的夹角,用符号代替表示为向量:
5)将矩形候选区域特征f1变换为梯形卷积特征谱f2:
坐标P表示变换前矩形候选区域坐标P=(xp,yp),R卷积核,pn为卷积核R中的点,w(pn)为点pn对应的卷积核的值,P'为变换后的坐标;
6)将梯形卷积特征谱f2作为检测步骤的输入特征来完成对输入图像的检测。
本发明的有益效果是,四边形更紧致边界框里的特征谱,能够减少无关特征干扰,提高检测精度;相对于没有约束的自由变换而言,梯形卷积引入参数较少,更容易训练,易于取得良好效果。输入为神经网络提取出的特征谱,输出变换后特征谱的大小与输入一致,因此可以在传统的网络上增加梯形卷积模块,帮助改善效果。
附图说明
图1为本发明流程图。
图2为实施例示意图。
具体实施方式
本发明增加卷积分支——梯形卷积,得到6个调整参数,对主干卷积网络的候选区域进行调整,整体流程图如图1所示。
本发明主要包含基于RPN的区域提案部分和调整边框部分,技术方案如下所示:
A、通过卷积网络提取输入图像的特征。该部分卷积网络使用卷积、Relu和池化Pooling的组合提取图像的特征谱Feature map。
B、利用现有的RPN网络生成候选区域。在这个模块里通过Softmax判断区域是属于前景或者背景,被判断为前景的部分通过边框Bounding Box回归进行微调,得到初步的候选区域。
C、将上一步生成的候选区域与特征谱结合,得到每一个区域对应的特征,将之依次输入至神经网络产生6个预测参数,用符号代替表示为向量:Δx、Δy分别表示梯形边框相对于矩形候选区域中心点的横、纵坐标偏移量,Δw、Δh表示梯形边框相对于矩形候选区域宽、高偏移量,θ1、θ2表示梯形边框纵向左、右两条边界与水平线的夹角;根据梯形边框变换参数将矩形候选区域调整为上下两底平行,两腰角度为θ1、θ2的梯形边框;通过这些调整参数,矩形Bounding Box可以灵活表示为梯形的形式,上下两底保证平行,两腰的角度由两个参数θ1和θ2来确定。特殊情况下梯形卷积可变换为平行四边形卷积(θ1=θ2)或者常规的矩形框卷积(θ1=θ2=90°)。变换示意图如图2。神经网络结构不限,在本实施例中采用卷积+ReLU激活+卷积+ReLU激活+全连接层,最后一层全连接层输出为上述6个所需参数即可。梯形框超出图像的部分的点的值设置为0即可。
D、根据步骤C中调整参数确定四边形形状,将原候选区域Region Proposal中的特征用变换后四边形内对应点的特征代替,进行常规卷积操作,此时已经从传统卷积方法变成了梯形卷积。
D1、假设变换之前Region Proposal的大小为w×h,中心点坐标为(x,y)。则可以得到对应的变换之后对应的区域中心为(x+Δx,y+Δy),下底宽度为w+Δw,高度为h+Δh。
D2、设调整之前某点坐标P为P=(xp,yp),则变换之后的坐标P'可以表示为:P'=(xp',yp');
具体变换公式如式1、2所示:
D3、设输入区域对应的特征谱为f1,变换之后对应的特征谱为f2,卷积核用R表示,则变换之后的卷积如式3所示:
R为常规的3×3卷积核,由于变换之后的点坐标大多数为小数,采用双线性插值获得对应的值。令Q=P'-pn,则双线性插值公式如式4、5所示:
G(q,Q)=max(0,1-|qx-Qx|)·max(0,1-|qy-Qy|) (式4)
其中,q表示矩形候选区域特征f1中所有点;qx、Qx、qy、Qy分别表示点q和Q的横纵坐标。
梯形卷积后的特征谱f2如式6所示:
梯形卷积的反向传播公式可以由步骤D3中的公式推出,如式7所示:
使用式7可以在神经网络中反向传播训练梯形卷积,通过预测几个变换参数得到更贴合不规则形状物体的边界框。
E、变换后的Feature map和传统方式产生的结构一致,后续采用传统方式的池化RoI Pooling、卷积、全连接等方式检测得到对应区域的类别。
Claims (2)
1.一种基于梯形卷积的不规则形状物体检测方法,其特征在于,包括以下步骤:
1)先提取输入图像的特征谱;
2)利用候选区域网络RPN得到初步的矩形候选区域;
3)将矩形候选区域与输入图像的特征谱结合,得到输入图像中矩形候选区域特征后进入形边框调整步骤;
4)梯形边框调整步骤:将矩形候选区域特征f1输入神经网络得到6个输出,作为梯形边框变换参数 Δx、Δy分别表示梯形边框相对于矩形候选区域中心点的横、纵坐标偏移量,Δw、Δh表示梯形边框相对于矩形候选区域宽、高偏移量,θ1、θ2表示梯形边框纵向左、右两条边界与水平线的夹角;根据梯形边框变换参数将矩形候选区域调整为上下两底平行,两腰角度为θ1、θ2的梯形边框;
5)将矩形候选区域特征f1变换为梯形卷积特征谱f2:
坐标P表示变换前矩形候选区域坐标P=(xp,yp),R卷积核,pn为卷积核R中的点,w(pn)为点pn对应的卷积核的值,P'为变换后的坐标,P'=(xp',yp'), (x,y)为变换前矩形候选区域中心点坐标;其中,Q=P'-pn,函数G(q,Q)=max(0,1-|qx-Qx|)·max(0,1-|qy-Qy|),q表示矩形候选区域特征f1中所有点;qx、Qx、qy、Qy分别表示点q和Q的横纵坐标;
6)将梯形卷积特征谱f2作为检测步骤的输入特征来完成对输入图像的检测。
2.如权利要求1所述方法,其特征在于,步骤4)所述神经网络的反向传播式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910559601.9A CN110334752B (zh) | 2019-06-26 | 2019-06-26 | 一种基于梯形卷积的不规则形状物体检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910559601.9A CN110334752B (zh) | 2019-06-26 | 2019-06-26 | 一种基于梯形卷积的不规则形状物体检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110334752A true CN110334752A (zh) | 2019-10-15 |
CN110334752B CN110334752B (zh) | 2022-11-08 |
Family
ID=68142747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910559601.9A Active CN110334752B (zh) | 2019-06-26 | 2019-06-26 | 一种基于梯形卷积的不规则形状物体检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110334752B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738045A (zh) * | 2020-01-19 | 2020-10-02 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
CN112084869A (zh) * | 2020-08-10 | 2020-12-15 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN112270278A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 一种基于关键点的蓝顶房检测方法 |
WO2022266996A1 (zh) * | 2021-06-25 | 2022-12-29 | 烟台创迹软件有限公司 | 物体检知方法及物体检知装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5364557A (en) * | 1991-11-27 | 1994-11-15 | Faris Sades M | Aligned cholesteric liquid crystal inks |
US20050244079A1 (en) * | 2004-04-30 | 2005-11-03 | Tsung-Wei Lin | Method for image cropping |
CN103077386A (zh) * | 2013-02-06 | 2013-05-01 | 北京中科虹霸科技有限公司 | 一种级联的视频流虹膜图像质量检测方法 |
CN103116746A (zh) * | 2013-03-08 | 2013-05-22 | 中国科学技术大学 | 一种基于多特征融合技术的视频火焰探测方法 |
CN104268591A (zh) * | 2014-09-19 | 2015-01-07 | 海信集团有限公司 | 一种面部关键点检测方法及装置 |
CN105488791A (zh) * | 2015-11-25 | 2016-04-13 | 北京奇虎科技有限公司 | 自然背景中图像边缘的定位方法及装置 |
CN106355188A (zh) * | 2015-07-13 | 2017-01-25 | 阿里巴巴集团控股有限公司 | 图像检测方法及装置 |
CN106971152A (zh) * | 2017-03-16 | 2017-07-21 | 天津大学 | 一种基于航拍图像的检测输电线路中鸟巢的方法 |
CN108875723A (zh) * | 2018-01-03 | 2018-11-23 | 北京旷视科技有限公司 | 对象检测方法、装置和系统及存储介质 |
CN109492416A (zh) * | 2019-01-07 | 2019-03-19 | 南京信息工程大学 | 一种基于安全区域的大数据图像保护方法和系统 |
CN109829398A (zh) * | 2019-01-16 | 2019-05-31 | 北京航空航天大学 | 一种基于三维卷积网络的视频中的目标检测方法 |
CN109846513A (zh) * | 2018-12-18 | 2019-06-07 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法、系统和图像测量方法、处理系统及介质 |
CN109902541A (zh) * | 2017-12-10 | 2019-06-18 | 彼乐智慧科技(北京)有限公司 | 一种图像识别的方法及系统 |
CN109902806A (zh) * | 2019-02-26 | 2019-06-18 | 清华大学 | 基于卷积神经网络的噪声图像目标边界框确定方法 |
CN109919146A (zh) * | 2019-02-02 | 2019-06-21 | 上海兑观信息科技技术有限公司 | 图片文字识别方法、装置及平台 |
-
2019
- 2019-06-26 CN CN201910559601.9A patent/CN110334752B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5364557A (en) * | 1991-11-27 | 1994-11-15 | Faris Sades M | Aligned cholesteric liquid crystal inks |
US20050244079A1 (en) * | 2004-04-30 | 2005-11-03 | Tsung-Wei Lin | Method for image cropping |
CN103077386A (zh) * | 2013-02-06 | 2013-05-01 | 北京中科虹霸科技有限公司 | 一种级联的视频流虹膜图像质量检测方法 |
CN103116746A (zh) * | 2013-03-08 | 2013-05-22 | 中国科学技术大学 | 一种基于多特征融合技术的视频火焰探测方法 |
CN104268591A (zh) * | 2014-09-19 | 2015-01-07 | 海信集团有限公司 | 一种面部关键点检测方法及装置 |
CN106355188A (zh) * | 2015-07-13 | 2017-01-25 | 阿里巴巴集团控股有限公司 | 图像检测方法及装置 |
CN105488791A (zh) * | 2015-11-25 | 2016-04-13 | 北京奇虎科技有限公司 | 自然背景中图像边缘的定位方法及装置 |
CN106971152A (zh) * | 2017-03-16 | 2017-07-21 | 天津大学 | 一种基于航拍图像的检测输电线路中鸟巢的方法 |
CN109902541A (zh) * | 2017-12-10 | 2019-06-18 | 彼乐智慧科技(北京)有限公司 | 一种图像识别的方法及系统 |
CN108875723A (zh) * | 2018-01-03 | 2018-11-23 | 北京旷视科技有限公司 | 对象检测方法、装置和系统及存储介质 |
CN109846513A (zh) * | 2018-12-18 | 2019-06-07 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法、系统和图像测量方法、处理系统及介质 |
CN109492416A (zh) * | 2019-01-07 | 2019-03-19 | 南京信息工程大学 | 一种基于安全区域的大数据图像保护方法和系统 |
CN109829398A (zh) * | 2019-01-16 | 2019-05-31 | 北京航空航天大学 | 一种基于三维卷积网络的视频中的目标检测方法 |
CN109919146A (zh) * | 2019-02-02 | 2019-06-21 | 上海兑观信息科技技术有限公司 | 图片文字识别方法、装置及平台 |
CN109902806A (zh) * | 2019-02-26 | 2019-06-18 | 清华大学 | 基于卷积神经网络的噪声图像目标边界框确定方法 |
Non-Patent Citations (5)
Title |
---|
QINGBO WU: "Blind image quality assessment based on multi-channel features fusion and label transfer", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
吴庆波: "高效视频编码及其感知质量评价理论与方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
孙朝云等: "水泥混凝土路面错台三维检测方法", 《长安大学学报(自然科学版)》 * |
王颖等: "基于图像分割的目标尺寸特征测量", 《计算机技术与发展》 * |
赵欣洋等: "基于深度学习的不规则特征识别检测技术", 《轻工机械》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738045A (zh) * | 2020-01-19 | 2020-10-02 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
CN111738045B (zh) * | 2020-01-19 | 2024-04-19 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
CN112084869A (zh) * | 2020-08-10 | 2020-12-15 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN112084869B (zh) * | 2020-08-10 | 2023-04-07 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN112270278A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 一种基于关键点的蓝顶房检测方法 |
WO2022266996A1 (zh) * | 2021-06-25 | 2022-12-29 | 烟台创迹软件有限公司 | 物体检知方法及物体检知装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110334752B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110334752A (zh) | 一种基于梯形卷积的不规则形状物体检测方法 | |
CN103455991B (zh) | 一种多聚焦图像融合方法 | |
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
US9961330B2 (en) | Device and method of generating multi-view immersive content | |
CN105809693A (zh) | 基于深度神经网络的sar图像配准方法 | |
CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
CN103218796A (zh) | 一种全色—多光谱遥感图像融合方法 | |
CN105761234A (zh) | 一种基于结构稀疏表示的遥感影像融合方法 | |
CN105741252A (zh) | 基于稀疏表示与字典学习的视频图像分级重建方法 | |
CN105469359A (zh) | 基于局部约束低秩表示的人脸超分辨率重建方法 | |
JP2009020613A (ja) | 画像処理プログラム、画像処理方法及び画像処理装置 | |
Zhou et al. | SGM3D: Stereo guided monocular 3D object detection | |
TW201516969A (zh) | 視訊物件追蹤方法 | |
CN111507334A (zh) | 一种基于关键点的实例分割方法 | |
CN103491318B (zh) | 一种红外焦平面探测器图像校正方法及系统 | |
CN107704817A (zh) | 一种动物面部关键点的检测算法 | |
CN105279770A (zh) | 一种目标跟踪控制方法及装置 | |
CN103337073B (zh) | 一种基于三维熵的二维图像阈值分割方法 | |
CN104933719B (zh) | 一种积分图块间距离检测图像边缘方法 | |
CN105701776A (zh) | 一种用于自动光学检测的镜头畸变矫正方法及系统 | |
WO2018233318A1 (zh) | 一种基于线面空间关系的迷宫求解方法 | |
CN106250687B (zh) | 去扁化ipp的沉积砾石圆度计算方法 | |
CN104835121B (zh) | 基于无穷范数约束与最大熵原则的色调映射方法 | |
CN104200469B (zh) | 一种视觉智能数控系统的数据融合方法 | |
CN109410227A (zh) | 一种基于gvf模型的土地利用图斑轮廓提取算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |