CN112634302A - 基于深度学习的移动端类矩形物体边缘检测方法 - Google Patents

基于深度学习的移动端类矩形物体边缘检测方法 Download PDF

Info

Publication number
CN112634302A
CN112634302A CN202011596316.3A CN202011596316A CN112634302A CN 112634302 A CN112634302 A CN 112634302A CN 202011596316 A CN202011596316 A CN 202011596316A CN 112634302 A CN112634302 A CN 112634302A
Authority
CN
China
Prior art keywords
convolution
rectangle
layer
edge
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011596316.3A
Other languages
English (en)
Other versions
CN112634302B (zh
Inventor
高会军
刘金泽
郭绪亮
李秋生
郑祥滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hi Tech Holding Group Co Ltd
Original Assignee
Aerospace Hi Tech Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hi Tech Holding Group Co Ltd filed Critical Aerospace Hi Tech Holding Group Co Ltd
Priority to CN202011596316.3A priority Critical patent/CN112634302B/zh
Publication of CN112634302A publication Critical patent/CN112634302A/zh
Application granted granted Critical
Publication of CN112634302B publication Critical patent/CN112634302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

基于深度学习的移动端类矩形物体边缘检测方法,本发明涉及移动端类矩形物体边缘检测方法。本发明的目的是为了解决现有移动端类矩形物体边缘检测方法检测效率低、准确性差的问题。过程为:一、对待测物体边缘图像进行粗提取;二、对粗提取后的图像检测线段;三、将线段延长成直线,对相等、相似的直线利用求均值方法合成一条直线;四、计算不能合并直线之间的交叉点个数;五、对不能合并直线之间的所有交叉点,每次取出4个,判断是否是一个矩形或类矩形;若不是则删除;若是则保留;判断个数;若为1得到矩形或类矩形的边缘;若大于等于2,执行六;六、找出周长或面积最大的矩形或类矩形,得到矩形或类矩形的边缘。本发明用于边缘检测领域。

Description

基于深度学习的移动端类矩形物体边缘检测方法
技术领域
本发明涉及移动端类矩形物体边缘检测方法。
背景技术
矩形或者类矩形物体的检测,在工业界需求广泛。随着深度学习技术的发展,其影响领域涉及到各行各业。深度学习技术对于检测领域鲁棒性较强,检测精度高,但是缺点也较为明显,专业性较强,训练复杂,难以在移动端部署等等。传统上,普遍使用的方法是调用OpenCV里面的函数,但是真实的场景图片会比这个复杂的多,会有各种干扰因素。OpenCV函数依赖很多阀值参数,往往这些阀值参数的选择依赖于专业人士的经验和调试方法,较为复杂。但是传统OpenCV算法有着其天然的优势,那就是足够轻量化,可以很容易在移动端部署。
发明内容
本发明的目的是为了解决现有移动端类矩形物体边缘检测方法检测效率低、准确性差的问题,而提出基于深度学习的移动端类矩形物体边缘检测方法。
基于深度学习的移动端类矩形物体边缘检测方法具体过程为:
步骤一、对待测物体边缘图像进行粗提取;
步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段;
步骤三、将检测到的线段延长成直线,利用直线间的角度、距离约束条件,对相等、相似的直线利用求均值方法合成一条直线;
所述相似为角度相差小于等于5度,距离小于3个像素;
步骤四、计算直线或直线延长线之间的交叉点的距离,将距离小于20像素距离的交叉点合并;计算不能合并直线之间的交叉点个数;
步骤五、利用矩形或类矩形的角度条件,对不能合并直线之间的所有交叉点,每次取出其中的4个,判断这4个点组成的四边形是否是一个矩形或类矩形;若不是矩形或类矩形则删除;若是矩形或类矩形则保留;判断保留的矩形或类矩形的个数;若为1,得到矩形或类矩形的边缘;若大于等于2,执行步骤六;
所述类矩形为平行四边形或内角和为360度的四边形;
步骤六、找出周长或面积最大的矩形或类矩形,得到矩形或类矩形的边缘。
本发明的有益效果为:
结合两种技术路线,本发明进行了大量的改进和调优,结合两种方法的优势,摒弃劣势,实现了一种基于深度学习与传统视觉算法融合的移动端类矩形物体边缘检测方法。
本发明通过融合传统算法与深度学习技术,实现对矩形或类矩形物体边缘检测,是对传统边缘检测技术的一种改进方案。通过对传统边缘检测技术的改进,提高了检测效率与准确性,并且可以在移动端部署,做到全平台通用。
新的技术改进方案,不仅提升了传统方案的检测精度,而且可以跨平台部署,工程移植上较为简单,模型训练简单,提高了移动端类矩形物体边缘检测效率和准确性。同时,本发明采用对神经网络训练方法、框架裁剪、量化等技术,为其他工程带来参考。
附图说明
图1为本发明流程图;
图2为特征融合图;
图3为框架NCNN与Pytorch在移动端部署图;
图4为INT8量化原理简图;
图5为边缘提取图。
具体实施方式
具体实施方式一:结合图1说明本实施方式,本实施方式基于深度学习的移动端类矩形物体边缘检测方法具体过程为:
步骤一、对待测物体边缘图像进行粗提取;
步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段;
步骤三、将检测到的线段延长成直线,利用直线间的角度、距离约束条件,对相等(完全重合的)、相似的直线利用求均值方法合成一条直线(像素坐标相加,再除以2);
所述相似为角度相差小于等于5度,距离小于3个像素;
步骤四、计算直线或直线延长线之间的交叉点的距离,将距离小于20像素距离的交叉点合并;计算不能合并直线之间的交叉点个数;
步骤五、利用矩形或类矩形的角度条件,对不能合并直线之间的所有交叉点,每次取出其中的4个,判断这4个点组成的四边形是否是一个矩形或类矩形;若不是矩形或类矩形则删除;若是矩形或类矩形则保留;判断保留的矩形或类矩形的个数;若为1,得到矩形或类矩形的边缘;若为大于等于2,执行步骤六;
所述类矩形为平行四边形或内角和为360度的四边形;
步骤六、找出周长或面积最大的矩形或类矩形,得到矩形或类矩形的边缘。如图5。
具体实施方式二:本实施方式与具体实施方式一不同的是,所述步骤一中对待测物体边缘图像进行粗提取;具体过程为:
步骤一一、建立训练集;
步骤一二、建立HED网络模型;
步骤一三、将训练集输入HED网络模型进行训练,得到训练好的HED网络模型;
步骤一四、将待测物体边缘图像输入训练好的HED网络模型,对待测物体边缘图像进行粗提取。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是,所述步骤一一中建立训练集;具体过程为:
训练集包含合成图像与真实图像。
所述真实图像为:需要检测的含有矩形或类矩形的图像;
所述合成图像为:在前景图上添加旋转、平移、透视变换,对背景图进行随机裁剪,利用OpenCV中的addWeighted()函数生成合成图像。
所述前景图指的是真实图像,背景图根据实际情况随机选取。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是,所述步骤一二中建立HED网络模型;具体过程为:
HED网络模型包括五个卷积块;
第一卷积块包括卷积层1、卷积层2、池化层1;卷积层1连接卷积层2,卷积层2连接池化层1,池化层1连接第二卷积块;
第二卷积块包括卷积层3、卷积层4、池化层2;卷积层3连接卷积层4,卷积层4连接池化层2,池化层2连接第三卷积块;
第三卷积块包括卷积层5、卷积层6、池化层3;卷积层5连接卷积层6,卷积层6连接池化层3,池化层3连接第四卷积块;
第四卷积块包括卷积层7、卷积层8、池化层4;卷积层7连接卷积层8,卷积层8连接池化层4,池化层4连接第五卷积块;
第五卷积块包括卷积层9、卷积层10、卷积层11;卷积层9连接卷积层10,卷积层10连接卷积层11;
对每个卷积块得到的特征图进行反卷积,使得各个尺度得到的特征图尺度相同,得到每个卷积块对应的反卷积后的特征图,将每个卷积块对应的反卷积后的特征图与对应通道的对应像素加权,将五个卷积块对应的加权值相加,得到融合后的特征图;如图2;
裁剪HED网络,缩小通道数量:
第一卷积块由64通道裁剪为16通道,第二卷积块由128通道裁剪为32通道,第三卷积块由256通道裁剪为32通道,第四卷积块由512通道裁剪为64通道,第五卷积块由512通道裁剪为128通道。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是,所述步骤一三中将训练集输入HED网络模型进行训练,得到训练好的HED网络模型;具体过程为:
融合过程使用转置卷积(transposed convolution)/反卷积(deconv)时,将卷积核的值初始化成双线性放大矩阵,双线性放大矩阵指的是一种卷积核初始化方法;
设置学习率;使用很小的学习率,这样才更容易让模型收敛;
对融合后得到的特征图进行损失计算,损失最小为最优结果,得到训练好的HED网络模型。
PC端训练模型使用Python语言编写,移动端上使用NCNN提供的C++接口,在PC上训练完网络后,借助NCNN把模型文件格式的模型文件转换成.bin和param格式的模型文件,最终使用C++API编写的代码部署;如图3;
根据移动端部署情况,本发明需要裁剪NCNN框架、优化网络结构以及进行量化操作。对于移动端来说,NCNN是一个很庞大的框架,它占用的体积是比较大的,所以需要尽量的缩减NCNN库占用的体积。由于我们的网络模型比较简单,许多操作是多余的,比如各种附加工具、无关网络卷积操作例如空洞卷积等等,裁剪掉这些无关框架源码,大大降低NCNN框架体积。需要强调的一点是,这种操作思路,是针对HED神经网络结构的裁剪方式。
裁剪HED网络,考虑到现在的实际需求,只是检测矩形区域的边缘,而并不是检测通用场景下的广义的边缘,就是保留HED的整体结构,修改VGG每一组卷积层里面的卷积核的数量,也就是缩小通道数量,让HED网络变的更简洁。按照这种思路,经过多次调整和尝试,最终得到了一组合适的卷积核的数量参数,对应的模型文件有3M。如图4。
本发明裁剪NCNN框架以及进行量化操作。裁剪无关框架源码,降低NCNN框架体积。
本发明借助NCNN框架INT8工具量化最终模型,使得最终模型文件只有1.8M。我们的目的是把原来的float 32bit的卷积操作(乘加指令)转换为int8的卷积操作,这样计算就变为原来的1/4,但是访存并没有变少,因为我们是在卷积核里面才把float32变为int8进行计算的。就是把一个网络层的激活值范围的给圈出来,然后按照绝对值最大值作为阀值,然后把这个范围直接按比例给映射到正负128的范围内来。在HUAWEI Mate10 Pro上,处理每帧图片的时间消耗是0.06秒左右,满足实时性的要求。
其它步骤及参数与具体实施方式一至四之一相同。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.基于深度学习的移动端类矩形物体边缘检测方法,其特征在于:所述方法具体过程为:
步骤一、对待测物体边缘图像进行粗提取;
步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段;
步骤三、将检测到的线段延长成直线,利用直线间的角度、距离约束条件,对相等、相似的直线利用求均值方法合成一条直线;
所述相似为角度相差小于等于5度,距离小于3个像素;
步骤四、计算直线或直线延长线之间的交叉点的距离,将距离小于20像素距离的交叉点合并;计算不能合并直线之间的交叉点个数;
步骤五、利用矩形或类矩形的角度条件,对不能合并直线之间的所有交叉点,每次取出其中的4个,判断这4个点组成的四边形是否是一个矩形或类矩形;若不是矩形或类矩形则删除;若是矩形或类矩形则保留;判断保留的矩形或类矩形的个数;若为1,得到矩形或类矩形的边缘;若大于等于2,执行步骤六;
所述类矩形为平行四边形或内角和为360度的四边形;
步骤六、找出周长或面积最大的矩形或类矩形,得到矩形或类矩形的边缘。
2.根据权利要求1所述基于深度学习的移动端类矩形物体边缘检测方法,其特征在于:所述步骤一中对待测物体边缘图像进行粗提取;具体过程为:
步骤一一、建立训练集;
步骤一二、建立HED网络模型;
步骤一三、将训练集输入HED网络模型进行训练,得到训练好的HED网络模型;
步骤一四、将待测物体边缘图像输入训练好的HED网络模型,对待测物体边缘图像进行粗提取。
3.根据权利要求2所述基于深度学习的移动端类矩形物体边缘检测方法,其特征在于:所述步骤一一中建立训练集;具体过程为:
训练集包含合成图像与真实图像。
所述真实图像为:需要检测的含有矩形或类矩形的图像;
所述合成图像为:在前景图上添加旋转、平移、透视变换,对背景图进行随机裁剪,利用OpenCV中的addWeighted()函数生成合成图像。
所述前景图指的是真实图像,背景图随机选取。
4.根据权利要求3所述基于深度学习的移动端类矩形物体边缘检测方法,其特征在于:所述步骤一二中建立HED网络模型;具体过程为:
HED网络模型包括五个卷积块;
第一卷积块包括卷积层1、卷积层2、池化层1;卷积层1连接卷积层2,卷积层2连接池化层1,池化层1连接第二卷积块;
第二卷积块包括卷积层3、卷积层4、池化层2;卷积层3连接卷积层4,卷积层4连接池化层2,池化层2连接第三卷积块;
第三卷积块包括卷积层5、卷积层6、池化层3;卷积层5连接卷积层6,卷积层6连接池化层3,池化层3连接第四卷积块;
第四卷积块包括卷积层7、卷积层8、池化层4;卷积层7连接卷积层8,卷积层8连接池化层4,池化层4连接第五卷积块;
第五卷积块包括卷积层9、卷积层10、卷积层11;卷积层9连接卷积层10,卷积层10连接卷积层11;
对每个卷积块得到的特征图进行反卷积,得到每个卷积块对应的反卷积后的特征图,将每个卷积块对应的反卷积后的特征图与对应通道的对应像素加权,将五个卷积块对应的加权值相加,得到融合后的特征图;
裁剪HED网络,缩小通道数量:
第一卷积块由64通道裁剪为16通道,第二卷积块由128通道裁剪为32通道,第三卷积块由256通道裁剪为32通道,第四卷积块由512通道裁剪为64通道,第五卷积块由512通道裁剪为128通道。
5.根据权利要求4所述基于深度学习的移动端类矩形物体边缘检测方法,其特征在于:所述步骤一三中将训练集输入HED网络模型进行训练,得到训练好的HED网络模型;具体过程为:
融合过程使用反卷积(deconv)时,将卷积核的值初始化成双线性放大矩阵;
设置学习率;
对融合后得到的特征图进行损失计算,损失最小为最优结果,得到训练好的HED网络模型。
CN202011596316.3A 2020-12-28 2020-12-28 基于深度学习的移动端类矩形物体边缘检测方法 Active CN112634302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011596316.3A CN112634302B (zh) 2020-12-28 2020-12-28 基于深度学习的移动端类矩形物体边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011596316.3A CN112634302B (zh) 2020-12-28 2020-12-28 基于深度学习的移动端类矩形物体边缘检测方法

Publications (2)

Publication Number Publication Date
CN112634302A true CN112634302A (zh) 2021-04-09
CN112634302B CN112634302B (zh) 2023-11-28

Family

ID=75286276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011596316.3A Active CN112634302B (zh) 2020-12-28 2020-12-28 基于深度学习的移动端类矩形物体边缘检测方法

Country Status (1)

Country Link
CN (1) CN112634302B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231871A1 (en) * 2016-06-27 2018-08-16 Zhejiang Gongshang University Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN108830873A (zh) * 2018-06-29 2018-11-16 京东方科技集团股份有限公司 深度图像物体边缘提取方法、装置、介质及计算机设备
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN110111369A (zh) * 2019-05-08 2019-08-09 上海大学 一种基于边缘检测的尺度自适应海面目标跟踪方法
CN111145239A (zh) * 2019-12-30 2020-05-12 南京航空航天大学 一种基于深度学习的飞机油箱多余物自动检测方法
CN111340826A (zh) * 2020-03-25 2020-06-26 南京林业大学 基于超像素与拓扑特征的航拍图像单株树冠分割算法
CN111967533A (zh) * 2020-09-03 2020-11-20 中山大学 一种基于场景识别的草图图像翻译方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231871A1 (en) * 2016-06-27 2018-08-16 Zhejiang Gongshang University Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN108830873A (zh) * 2018-06-29 2018-11-16 京东方科技集团股份有限公司 深度图像物体边缘提取方法、装置、介质及计算机设备
CN110111369A (zh) * 2019-05-08 2019-08-09 上海大学 一种基于边缘检测的尺度自适应海面目标跟踪方法
CN111145239A (zh) * 2019-12-30 2020-05-12 南京航空航天大学 一种基于深度学习的飞机油箱多余物自动检测方法
CN111340826A (zh) * 2020-03-25 2020-06-26 南京林业大学 基于超像素与拓扑特征的航拍图像单株树冠分割算法
CN111967533A (zh) * 2020-09-03 2020-11-20 中山大学 一种基于场景识别的草图图像翻译方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李森;彭玲;胡媛;池天河;: "基于FD-RCF的高分辨率遥感影像耕地边缘检测", 中国科学院大学学报, no. 04 *

Also Published As

Publication number Publication date
CN112634302B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN113657388B (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN113486894B (zh) 一种卫星图像特征部件语义分割方法
CN114998337B (zh) 一种划痕检测方法、装置、设备及存储介质
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN112184780A (zh) 一种运动物体实例分割方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN113869262A (zh) 一种基于Unet模型的目标区域用地信息的预测方法和装置
CN112634302A (zh) 基于深度学习的移动端类矩形物体边缘检测方法
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN112991398B (zh) 基于协同深度神经网络的运动边界指导的光流滤波方法
CN112819874B (zh) 深度信息处理方法、装置、设备、存储介质以及程序产品
JP4680026B2 (ja) 画像間変化抽出支援システム及び方法
Ionita et al. On color texture normalization for active appearance models
CN113379634B (zh) 一种基于两阶段图像上下文识别网络及单图像阴影去除方法
CN113902970A (zh) 基于大数据融合分析的智能机器人视觉定位方法及系统
CN114581302A (zh) 车牌样本图像生成方法、装置、设备以及存储介质
CN117496336A (zh) 基于迁移学习的室内空间结构估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant