CN111784642B - 一种图像处理方法、目标识别模型训练方法和目标识别方法 - Google Patents

一种图像处理方法、目标识别模型训练方法和目标识别方法 Download PDF

Info

Publication number
CN111784642B
CN111784642B CN202010523228.4A CN202010523228A CN111784642B CN 111784642 B CN111784642 B CN 111784642B CN 202010523228 A CN202010523228 A CN 202010523228A CN 111784642 B CN111784642 B CN 111784642B
Authority
CN
China
Prior art keywords
image
convolution
feature
processed
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010523228.4A
Other languages
English (en)
Other versions
CN111784642A (zh
Inventor
刘道学
耿天宝
杨铭
于健
胡伟
肖丽娜
张尧尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Original Assignee
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shuzhi Construction Research Institute Co ltd, China Tiesiju Civil Engineering Group Co Ltd CTCE Group filed Critical Anhui Shuzhi Construction Research Institute Co ltd
Priority to CN202010523228.4A priority Critical patent/CN111784642B/zh
Publication of CN111784642A publication Critical patent/CN111784642A/zh
Priority to PCT/CN2021/097562 priority patent/WO2021249233A1/zh
Application granted granted Critical
Publication of CN111784642B publication Critical patent/CN111784642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法，属于目标识别技术领域。包括以下步骤：提取待处理图像的边缘特征，得到梯度先验图Fg；提取待处理图像的纹理特征，得到纹理特征图Fv；提取待处理图像的结构特征，得到结构特征图Fs；将梯度先验图Fg、纹理特征图Fv和结构特征图Fs进行Concat拼接，得到多特征拼接图Fc；对多特征拼接图Fc进行卷积融合操作，得到多特征融合图Ff。本发明先对待处理图像进行边缘特征增强，然后融合纹理特征和结构特征，能够更加准确的识别图中的目标特征。

Description

一种图像处理方法、目标识别模型训练方法和目标识别方法
技术领域
本发明属于目标识别技术领域，更具体地说，涉及一种图像处理方法、目标识别模型训练方法和目标识别方法。
背景技术
随着信息技术的发展，基于图像的目标检测技术被越来越广泛地应用，常见的有人脸识别和车载障碍识别。由于应用场景的不同，同一个目标识别模型很难通用在所有的需要进行目标识别的领域。例如在对在隧道工程施工中，需要对于隧道横洞内部可能出现的脱空和空洞进行快速和准确的检测定位。目前在对隧道地质结构异常检测的方法中主要是以人为主观的从地质雷达扫描波谱图中手动进行框选和标记计数的方式，这样的标记计数方式对于人为判断的能力要求很高，难点在于雷达波谱图中含有大量的干扰信息，在没有经过培训的情况下人是很难快速分辨出脱空、空洞等隧道内部的结构异常状态，从而传统的方法具有很耗费时间和人力的缺点，现有技术中还没有应用于隧道地质缺陷识别的目标识别模型和方法。
经检索，中国发明专利，公开号：102254165A，公开日：2011年11月23日，公开了一种基于结构编码特征和纹理编码特征融合的手背静脉识别方法，包括步骤一、图像采集和图像预处理；步骤二、提取结构编码特征；步骤三、提取手背静脉纹理编码特征；步骤四、结构编码特征与纹理编码特征进行融合；步骤五、通过分类器识别，得到结果。其中先对图像进行特征增强处理，然后通过分类器进行目标识别，该识别方法中采集到的原始图像是光学成像拍摄得到的手背照片，但是隧道检测中需要检测的目标成像是通过雷达探测波段信号然后利用模数转换得到的数字信息以图像的形式呈现，且不同状态下梯度信息差异较大，因此不能简单的将以上识别方法应用到隧道缺陷识别领域，由于地下物体种类多、分布广泛且地质情况复杂多变，因此雷达波谱图中具有大量的条纹和噪点，这些干扰信息极大的影响了对地质缺陷的识别。
因此需要一种对隧道结构异常检测中得到的地质雷达波谱图像进行处理，并对图中隧道地质缺陷进行识别的方法。
发明内容
1、要解决的问题
针对现有隧道地质缺陷检测中的雷达波谱图具有大量的条纹和噪点，极大的影响了对地质缺陷的识别的问题，本发明提供一种图像处理方法、目标识别模型训练方法和目标识别方法，用以对雷达波谱图中的地质缺陷进行识别。
2、技术方案
为解决上述问题，本发明采用如下的技术方案。
一种图像处理方法，包括以下步骤：
提取待处理图像的边缘特征，得到梯度先验图Fg；
提取待处理图像的纹理特征，得到纹理特征图Fv；
提取待处理图像的结构特征，得到结构特征图Fs；
将梯度先验图Fg、纹理特征图Fv和结构特征图Fs进行Concat拼接，得到多特征拼接图Fc；
对多特征拼接图Fc进行卷积融合操作，得到多特征融合图Ff。
进一步的，采用梯度变换算法提取待处理图像的边缘特征，梯度变换算法提取边缘特征的方法为：
设f(x,y)为待处理图像上(x,y)点的灰度值，G(x)为待处理图像x方向上边缘检测的图像灰度值，G(y)为待处理图像y方向上边缘检测的图像灰度值，a为G(x)的卷积因子，b为G(y)的卷积因子，则梯度先验图Fg上每个像素点的图像灰度值为：
Figure GDA0003315600370000021
通过每个像素点的灰度值来呈现梯度先验图Fg上的边缘特征。
进一步的，对待处理图像进行纹理特征提取时采用以下步骤：
S1：对待处理图像进行连续n次卷积操作，依次得到卷积层v1、卷积层v2、……、卷积层vn；
S2：再对卷积层v1进行一次卷积操作，得到卷积层v1＇；
S3：将卷积层vn与卷积层v1＇通过相加运算得到纹理特征图Fv。
进一步的，对待处理图像进行结构特征提取时采用以下步骤：
S11：对待处理图像进行1次卷积操作，得到卷积层s1；
S12：对卷积层s1进行两次连续m-1次的卷积操作，分别得到卷积层s2、卷积层s3、……、卷积层sm和卷积层s2＇、卷积层s3＇、……、卷积层sm＇；
S13：将步骤S12中的卷积层sm与卷积层sm＇通过Concat拼接，得到卷积层sm+1；
S14：将步骤S13中的卷积层sm+1与步骤S12中的卷积层sm-1＇、卷积层sm-2＇、……、卷积层s2＇通过Concat连续拼接，最终得到卷积层s2m-1；
S15：将S11中的卷积层s1与步骤S14中的卷积层s2m-1通过Concat拼接，得到卷积层s2m，并对卷积层s2m进行一次卷积操作，得到Fs。
进一步的，所述步骤S1中，对待处理图像进行第一次卷积操作，得到卷积层v1时卷积核为3*3的矩阵，所述步骤S2中卷积操作的卷积核为5*5的矩阵。
进一步的，所述步骤S15中对卷积层s2m的卷积操作采用卷积核为1*1的矩阵。
由于雷达波谱图中具有大量的噪点等冗余信息，这些干扰信息极大的影响了对地质缺陷的识别，因此为了提高识别准确率，需要对原始图像进行特征增强，考虑到雷达波谱图的图像特点及地质缺陷的形状结构，这里对图像中的边缘特征、纹理特征和结构特征分别进行提取，并融合至一张图中进行识别操作，大大提高了对地质缺陷的识别效率。
本发明提供一种目标识别模型训练方法，包括以下步骤：
S21：将地质雷达检测获得的若干图像进行裁剪得到隧道扫描图I；
S22：将隧道扫描图I作为待处理图像经过以上图像处理方法处理得到多特征融合图Ff；
S23：将多特征融合图Ff进行下采样操作，得到对应的下采样特征图Ff＇；
S24：在Ff和Ff＇上选择不同长宽比的先验框，并将每个先验框在Ff和Ff＇图中所处位置信息(Xi，Yi，Wi，Hi)和对应异常状态类型Ci作为标签进行标记；
S25：将带有标签的先验框作为训练样本输入预识别模型进行训练，得到目标识别模型。
进一步的，所述预识别模型为机器自学模型，包括卷积神经网络、深度神经网络、反馈神经网络中的一种或多种组合。
进一步的，所述步骤S23中多特征融合图Ff进行下采样一倍的操作得到Ff＇。
在对图像进行特征增强处理后，需要导入目标识别模型进行对地质缺陷的识别，而目标识别模型前期需要经过大量的训练，训练样本是经过标注缺陷位置和类型等标签的图像，由于地质缺陷的大小不同，因此这里取多特征融合图Ff和下采样特征图Ff＇两种不同大小的图档来进行识别训练，在预识别模型中通过分类器对目标特征进行分类识别，然后通过非极大值抑制算大来实现对最近似的先验框的确定。
本发明还提出一种目标识别方法，包括以下步骤：
接收待处理图像；
利用目标识别模型识别所述待处理图像中的目标对象；其中，所述目标识别模型利用上述目标识别模型训练方法预先训练得到。
这里提出的目标识别方法主要基于本技术方案中训练而得到的目标识别模型，可以对类似于雷达波谱图的原始图像进行目标识别，相比于现有技术中Faster-R-CNN、SSD和Yolov3等算法模型具有更快的识别速度。
3、有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明结合隧道地质雷达扫描波谱图的形成原理和不同状态的梯度信息差异较大的特点，通过对待处理图像进行特征提取得到梯度先验图Fg、纹理特征图Fv和结构特征图Fs，然后将以上三种图进行拼接并卷积融合得到多维特征融合图Ff，可以降低雷达波谱图中噪点的影响，还可以将条纹的边缘进行更加清晰的展示，同时能够包含雷达波谱图中的条纹等受图像尺寸大小影响较大的纹理特征及受尺寸变化影响较小的结构特征，有助于提高目标识别的准确率和效率；
(2)本发明在纹理特征提取中利用5*5的卷积核对conv_v1进行卷积操作得到conv_v1＇，并将conv_v1＇与conv_vn进行相加运算得到纹理特征图Fv，这里conv_v1＇保留了较多的原始特征，且感受野较conv_v1更大，便于更好的保留原始图像中的纹理特征，提高目标识别的准确率；而在结构特征提取过程中，先将原始图像进行卷积处理得到conv_s1，然后对conv_s1采取先收缩再扩展的沙漏结构进行处理，更好的保存了原始图档中的结构特征，进一步提高目标识别的准确率。
附图说明
图1为一种图像处理方法的流程示意图；
图2为一种图像处理方法中纹理特征提取的流程示意图；
图3为一种图像处理方法中结构特征提取的流程示意图；
图4为一种目标识别方法的流程示意图；
图5为一种目标识别方法在隧道地质缺陷识别中输出的空洞不良示意图；
图6为一种目标识别方法在隧道地质缺陷识别中输出的脱空不良示意图。
具体实施方式
下面结合具体实施例对本发明进一步进行描述。
实施例1
如图1和图4所示，结合隧道地质雷达扫描波谱图的形成原理和不同状态的梯度信息差异较大的特点，在进行地质缺陷识别前，先对图像进行特征增强处理，这里结合雷达波谱图的图像特点对其中的边缘特征、纹理特征和结构特征进行增强，这三种特征的提取增强可并列推进，无先后顺序，下面分别对选择对边缘特征、纹理特征和结构特征的提取进行介绍。
提取待处理图像的边缘特征时，采用梯度变换算法，并将得到的梯度先验图命名为Fg，这里梯度变换算法为sobel算子，设f(x,y)为待处理图像上(x,y)点的灰度值，G(x)为待处理图像x方向上边缘检测的图像灰度值，G(y)为待处理图像y方向上边缘检测的图像灰度值，a为G(x)的卷积因子，b为G(y)的卷积因子，则梯度先验图Fg上每个点的图像灰度值为：
Figure GDA0003315600370000051
本技术方案中，a和b的值可选择3*3的矩阵，具体为：
Figure GDA0003315600370000052
在提取待处理图像中的纹理特征时采用的方法为：
S1：对待处理图像进行连续n次卷积操作，得到卷积层conv_v1、conv_v2、……、conv_vn；
S2：再对卷积层conv_v1进行一次卷积操作，得到conv_v1＇；
S3：将conv_vn与conv_v1＇通过相加运算得到纹理特征图Fv；
参照图2所示，在本技术方案中，为了更好的提取图像中存在的原始细节纹理特征，设计了一种基于过渡卷积的尺度不变多层CNN模块，这里的过渡卷积是指从CNN模块的前端选取一个卷积层做一个短支路单层卷积，并将卷积的结果直接过渡到CNN模块的末端并选取一个卷积层进行相加，本实施例中选取第一层卷积层进行短支路单层卷积，并将短支路单层卷积结果与最后一层卷积层进行相加作为结果进行输出。因为纹理本身的细节和分辨率有很强的匹配关系，当分辨率不同时，纹理特征必然存在差异，因此本方案在提取纹理特征时分辨率不变。待处理图像为隧道扫描图I，在深度卷积神经网络中，随着卷积次数的增加，会出现梯度消失的现象，且卷积次数越多，计算效率越慢，本技术方案中n＝5，由于地质雷达输出的原始图像为三通道的黑白图，在输入本模型前，需要将原始图像转化为单通道的灰度图。在对转化之后的单通道灰度图进行卷积操作时，采用3*3的卷积核，为保证分辨率不变，卷积时步长为1，然后在保证分辨率的同时，进行纹理特征提取，每次卷积的具体信息如下表：
表1纹理特征提取卷积信息表
卷积层 步长 卷积核 通道数
conv_v1 1 3*3 48
conv_v2 1 3*3 48
conv_v3 1 3*3 48
conv_v4 1 3*3 48
conv_v5 1 3*3 48
conv_v1＇ 1 5*5 48
其中卷积层conv_v1进行一次短支路单卷积操作，将得到的conv_v1＇卷积层作为过渡卷积层，在获得conv_v1＇卷积层时采用的卷积因子是5*5的卷积核，因此conv_v1＇的感受野相比于conv_v1更大，能够在其中学到与conv_v1不同的原始特征，而且conv_v1＇由conv_v1卷积而来，相比于通过其他卷积层进行卷积操作，conv_v1＇保留的原始特征更多，在将其与conv_vn相加时，可以更好的保留原始图像中的纹理特征，进而提高对地质缺陷的识别准确率。对于经过以上方法得到的纹理特征图命名为Fv。相比于直接将conv_v1与conv_v5相加作为结果进行输出，本技术方案将conv_v1＇与conv_v5相加后再输出，在对地质缺陷识别时，本方案的准确率可以由90％提升至92％。
在提取待处理图像中的结构特征时采用的方法为：
S11：对待处理图像进行1次卷积操作，得到conv_s1；
S12：对conv_s1进行两次连续m-1次的卷积操作，分别得到conv_s2、conv_s3、……、conv_sm和conv_s2＇、conv_s3＇、……、conv_sm＇；
S13：将步骤S12中的conv_sm与conv_sm＇通过Concat拼接，得到conv_sm+1；
S14：将步骤S13中的conv_sm+1与步骤S12中的conv_sm-1＇、conv_sm-2＇、……、conv_s2＇通过Concat连续拼接，最终得到conv_s2m-1；
S15：将S11中的conv_s1与步骤S14中的conv_s2m-1通过Concat拼接，得到conv_s2m，并对conv_s2m进行一次卷积操作，得到Fs。
参照图3的示意，在本技术方案中，待处理图像同样为已经经过灰度处理的隧道扫描图I，这里m＝3,每次卷积的具体信息如下表：
表2结构特征提取卷积信息表
卷积层 步长 卷积核 通道数
conv_s1 1 3*3 32
conv_s2 2 3*3 64
conv_s3 2 3*3 128
conv_s2＇ 2 3*3 256
conv_s3＇ 2 3*3 128
conv_s4 2 3*3 64
conv_s5 2 3*3 32
conv_s6 1 3*3 32
结构特征是具有一定的尺度不变性，即尺度在一定的范围内变化，其结构特征是基本保持不变的。由于不同大小的结构特征，可能分别在不同的卷积层上容易识别，如果仅采用conv_sm或conv_sm＇进行识别，将会造成信息丢失，并不能很好的识别不同大小的结构特征，而通过本方案中结构特征提取方法得到的Fs，既保留了所有卷积层的信息，又与输入原图大小，便于后续更好的进行结构特征的识别。步骤S15中对conv_s2m进行卷积操作时，采用1*1矩阵的卷积核，将多通道的卷积层转为单通道。对经过以上方法得到的结构特征图，命名为Fs。
通过以上操作已经获得了对边缘特征增强后的梯度先验图Fg，以及纹理特征图Fv和结构特征图Fs，以上三种特征图分别针对原始图像中的不同特征进行提取和增强，为了更准确的识别地质缺陷，需要将以上特征图进行拼接融合，这里采用Concat函数对三种特征图进行拼接，得到多特征拼接图Fc，其中Fc定义为：Fc＝Concat((Fg,Fv,Fs),0)，在对Fc进行卷积融合操作时，采用以下方法，将Fc依次进行相同次数的下采样卷积操作和上采样卷积操作，得到Ff，为了充分利用前面提取到的三种特征信息，这里的Ff设计为与Fc同样的三通道。本技术方案中，由于因为异常目标的图像特征具有多个尺寸级，为了对不同尺寸的目标均进行检测，因此对Fc进行了连续的2次下采样，然后进行了连续的2次上采样进行还原，卷积核为3*3矩阵，卷积步长为2，每次卷积的信息为：
表3特征融合卷积信息表
卷积层 步长 卷积核 通道数
conv_1 2 3*3 64
conv_2 2 3*3 128
conv_3 2 3*3 128
conv_4 2 3*3 64
经过以上卷积操作，舍去了原始图像中的大量冗余信息，并对边缘特征、纹理特征和结构特征都进行了增强操作，提高了后续目标识别的可靠性，也提高了图像中的信噪比，有利于提高后续目标识别的效率。
在对隧道地质缺陷进行识别前，先要训练目标识别模型，本技术方案中的目标识别模型训练方法，包括以下步骤：
S21：将地质雷达检测获得的若干图像进行裁剪得到隧道扫描图I，为了方便计算拼接等需求，这里采用等比例固定大小的裁剪；
S22：将隧道扫描图I作为待处理图像经过以上图像处理方法处理得到多特征融合图Ff；
S23：将多特征融合图Ff进行下采样一倍操作，得到对应的下采样特征图Ff＇，因为异常目标的图像特征具有多个尺寸级，为了对不同尺寸的目标均进行检测，因此这里将检测回归搜索的特征图采用两个尺度下进行搜索；
S24：在Ff和Ff＇上选择不同长宽比的先验框，并将每个先验框在Ff和Ff＇图中所处位置信息(Xi，Yi，Wi，Hi)和对应异常状态类型Ci作为标签进行标记；这里i为图片序号，X、Y为先验框的位置坐标，W、H为先验框的宽和高；
S25：将带有标签的先验框作为训练样本输入预识别模型进行训练，得到目标识别模型。
本技术方案中，预识别模型为机器自学模型，包括神经网络、卷积神经网络、深度神经网络、反馈神经网络中的一种或多种组合。由于地质缺陷的大小不同，因此这里取多特征融合图Ff和下采样特征图Ff＇两种不同大小的图档来进行识别训练。在进行训练时，将设定的六组先验框分别在对应的尺度特征图下进行检测回归得到目标检测框坐标、对应的状态数字化种类和置信度，最后将不同尺度上检测的结果经过NMS非极大抑制筛选得到最终的目标检测结果，并进行输出。
目标识别模型训练完成后就可以对经过等比例裁剪的雷达波谱图进行地质缺陷的自动识别检测了，这里的目标识别方法，包括以下步骤：
接收待处理图像，即经过等比例裁剪的隧道扫描图I；
利用目标识别模型识别所述待识别图像中的目标对象；其中，所述目标识别模型利用以上方法预先训练得到。参照图5和图6，经过图像处理后的隧道扫描图，其中噪点大大减少，边缘特征、纹理特征和结构特征更加清晰的得到呈现，因此可以提高识别的速度和准确率。
目前在目标检测领域，基于深度学习的方法基本采用的单网络进行特征提取，这一做法虽然能一定程度上解决通用场景的问题，但是对于特殊场景下的目标检测，例如本技术方案的隧道检测中，需要检测的目标成像并非光学成像拍摄获取得到的，而是通过雷达探测波段信号然后利用模数转换得到的数字信息以图像的形式呈现，图中具有大量的条纹和噪点，因此，从其信号源头上结合图像特点，本技术方案设计了一组多维特征的提取，分别针对梯度先验图Fg、纹理特征图Fv、结构特征图Fs进行提取与融合，从下表4中，检测效果对比上可以看出，多维特征融合决策对隧道异常检测这一特殊场景下的检测效果有明显的性能提升。
表4性能结果对比
Figure GDA0003315600370000081
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (9)

1.一种图像处理方法，其特征在于：包括以下步骤：
提取待处理图像的边缘特征，得到梯度先验图Fg；
提取待处理图像的纹理特征，得到纹理特征图Fv；
提取待处理图像的结构特征，得到结构特征图Fs；
将梯度先验图Fg、纹理特征图Fv和结构特征图Fs进行Concat拼接，得到多特征拼接图Fc；
对多特征拼接图Fc进行卷积融合操作，得到多特征融合图Ff；
对待处理图像进行结构特征提取时采用以下步骤：
S11：对待处理图像进行1次卷积操作，得到卷积层s1；
S12：对卷积层s1进行两次连续m-1次的卷积操作，分别得到卷积层s2、卷积层s3、……、卷积层sm和卷积层s2＇、卷积层s3＇、……、卷积层sm＇；
S13：将步骤S12中的卷积层sm与卷积层sm＇通过Concat拼接，得到卷积层sm+1；
S14：将步骤S13中的卷积层sm+1与步骤S12中的卷积层sm-1＇、卷积层sm-2＇、……、卷积层s2＇通过Concat连续拼接，最终得到卷积层s2m-1；
S15：将S11中的卷积层s1与步骤S14中的卷积层s2m-1通过Concat拼接，得到卷积层s2m，并对卷积层s2m进行一次卷积操作，得到Fs。
2.根据权利要求1所述的一种图像处理方法，其特征在于：采用梯度变换算法提取待处理图像的边缘特征，梯度变换算法提取边缘特征的方法为：
设f(x,y)为待处理图像上(x,y)点的灰度值，G(x)为待处理图像x方向上边缘检测的图像灰度值，G(y)为待处理图像y方向上边缘检测的图像灰度值，a为G(x)的卷积因子，b为G(y)的卷积因子，则梯度先验图Fg上每个像素点的图像灰度值为：
Figure FDA0003315600360000011
通过每个像素点的灰度值来呈现梯度先验图Fg上的边缘特征。
3.根据权利要求2所述的一种图像处理方法，其特征在于：对待处理图像进行纹理特征提取时采用以下步骤：
S1：对待处理图像进行连续n次卷积操作，依次得到卷积层v1、卷积层v2、……、卷积层vn；
S2：再对卷积层v1进行一次卷积操作，得到卷积层v1＇；
S3：将卷积层vn与卷积层v1＇通过相加运算得到纹理特征图Fv。
4.根据权利要求3所述的一种图像处理方法，其特征在于，所述步骤S1中，对待处理图像进行第一次卷积操作，得到卷积层v1时卷积核为3*3的矩阵，所述步骤S2中卷积操作的卷积核为5*5的矩阵。
5.根据权利要求1所述的一种图像处理方法，其特征在于，所述步骤S15中对卷积层s2m的卷积操作采用卷积核为1*1的矩阵。
6.一种目标识别模型训练方法，其特征在于，包括以下步骤：
S21：将地质雷达检测获得的若干图像进行裁剪得到隧道扫描图I；
S22：将隧道扫描图I作为待处理图像经过权利要求1-5中任一项的图像处理方法处理得到多特征融合图Ff；
S23：将多特征融合图Ff进行下采样操作，得到对应的下采样特征图Ff＇；
S24：在Ff和Ff＇上选择不同长宽比的先验框，并将每个先验框在Ff和Ff＇图中所处位置信息和对应异常状态类型作为标签进行标记；
S25：将带有标签的先验框作为训练样本输入预识别模型进行训练，得到目标识别模型。
7.根据权利要求6所述的一种目标识别模型训练方法，其特征在于，所述预识别模型为机器自学模型，包括卷积神经网络、深度神经网络、反馈神经网络中的一种或多种组合。
8.根据权利要求6所述的一种目标识别模型训练方法，其特征在于，所述步骤S23中多特征融合图Ff进行下采样一倍的操作得到Ff＇。
9.一种目标识别方法，其特征在于，包括以下步骤：
接收待处理图像；
利用目标识别模型识别所述待处理图像中的目标对象；其中，所述目标识别模型利用权利要求6-8中任一项所述的目标识别模型训练方法预先训练得到。
CN202010523228.4A 2020-06-10 2020-06-10 一种图像处理方法、目标识别模型训练方法和目标识别方法 Active CN111784642B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010523228.4A CN111784642B (zh) 2020-06-10 2020-06-10 一种图像处理方法、目标识别模型训练方法和目标识别方法
PCT/CN2021/097562 WO2021249233A1 (zh) 2020-06-10 2021-06-01 一种图像处理方法、目标识别模型训练方法和目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010523228.4A CN111784642B (zh) 2020-06-10 2020-06-10 一种图像处理方法、目标识别模型训练方法和目标识别方法

Publications (2)

Publication Number Publication Date
CN111784642A CN111784642A (zh) 2020-10-16
CN111784642B true CN111784642B (zh) 2021-12-28

Family

ID=72755828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010523228.4A Active CN111784642B (zh) 2020-06-10 2020-06-10 一种图像处理方法、目标识别模型训练方法和目标识别方法

Country Status (2)

Country Link
CN (1) CN111784642B (zh)
WO (1) WO2021249233A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784642B (zh) * 2020-06-10 2021-12-28 中铁四局集团有限公司 一种图像处理方法、目标识别模型训练方法和目标识别方法
CN112419152B (zh) * 2020-11-23 2024-03-29 中国科学院深圳先进技术研究院 一种图像超分辨率方法、装置、终端设备和存储介质
CN112529106A (zh) * 2020-12-28 2021-03-19 平安普惠企业管理有限公司 视觉设计原稿的生成方法、装置、设备及存储介质
CN113128404A (zh) * 2021-04-20 2021-07-16 中国地质科学院 一种矿物智能识别方法及系统
CN113128521B (zh) * 2021-04-30 2023-07-18 西安微电子技术研究所 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质
CN114743071B (zh) * 2022-04-27 2024-06-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 用于pcb微小缺陷检测的单帧目标检测方法及存储介质
CN114584674A (zh) * 2022-05-06 2022-06-03 深圳市巨力方视觉技术有限公司 一种对相同图像进行处理的视觉集成系统
CN115661036A (zh) * 2022-09-26 2023-01-31 上海闻泰电子科技有限公司 基于纹理特征的角点检测方法、系统、电子设备及介质
CN116385953B (zh) * 2023-01-11 2023-12-15 哈尔滨市科佳通用机电股份有限公司 铁路货车敞车车门折页折断故障图像识别方法
CN115880290B (zh) * 2023-02-22 2023-05-30 季华实验室 基于轻量化语义分割网络的oled湿膜缺陷检测方法
CN116363031B (zh) * 2023-02-28 2023-11-17 锋睿领创(珠海)科技有限公司 基于多维光学信息融合的成像方法、装置、设备及介质
CN116630899B (zh) * 2023-07-21 2023-10-20 四川公路工程咨询监理有限公司 一种高速公路边坡病害监测预警系统
CN117237777B (zh) * 2023-11-13 2024-02-27 四川观想科技股份有限公司 一种基于多模态融合的船舶目标识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN107621626A (zh) * 2017-10-09 2018-01-23 中国矿业大学(北京) 基于深度卷积神经网络的雷达信号铁路路基病害检测方法
CN109490861A (zh) * 2018-10-29 2019-03-19 北京科技大学 一种高炉料线提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US9202144B2 (en) * 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
CN103996209B (zh) * 2014-05-21 2017-01-11 北京航空航天大学 一种基于显著性区域检测的红外舰船目标分割方法
CN113591755B (zh) * 2018-11-16 2024-04-16 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN111028235B (zh) * 2019-11-11 2023-08-22 东北大学 一种利用特征融合增强边缘和细节信息的图像分割方法
CN111784642B (zh) * 2020-06-10 2021-12-28 中铁四局集团有限公司 一种图像处理方法、目标识别模型训练方法和目标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN107621626A (zh) * 2017-10-09 2018-01-23 中国矿业大学(北京) 基于深度卷积神经网络的雷达信号铁路路基病害检测方法
CN109490861A (zh) * 2018-10-29 2019-03-19 北京科技大学 一种高炉料线提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detection and Classification of Land Mines from Ground Penetrating Radar Data Using Faster R-CNN;Venceslav Kafedziski et al.;《26th Telecommunications forum TELFOR 2018》;20190117;第1-4页 *
基于深度可分离卷积的地铁隧道巡检视频分析;孙明华 等;《计算机工程与科学》;20200430;第42卷(第4期);第691-698页 *

Also Published As

Publication number Publication date
CN111784642A (zh) 2020-10-16
WO2021249233A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
CN111784642B (zh) 一种图像处理方法、目标识别模型训练方法和目标识别方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112651978B (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN111368712A (zh) 一种基于深度学习的高光谱图像伪装目标检测方法
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN111951284B (zh) 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
Thanikkal et al. Advanced plant leaf classification through image enhancement and canny edge detection
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN113486894B (zh) 一种卫星图像特征部件语义分割方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
Huang et al. GCS-YOLOV4-Tiny: A lightweight group convolution network for multi-stage fruit detection
Farahnakian et al. Deep convolutional neural network-based fusion of rgb and ir images in marine environment
CN114758329A (zh) 基于深度学习预测热成像图中目标区域温度的系统及方法
Choong et al. License plate number detection and recognition using simplified linear-model
CN114066937B (zh) 一种大尺度遥感影像多目标跟踪方法
Chen Traffic lights detection method based on the improved yolov5 network
CN104504162A (zh) 一种基于机器人视觉平台的视频检索方法
CN113763396B (zh) 一种基于深度学习的遥感图像地块提取方法及系统
CN115860139A (zh) 一种基于深度学习的多尺度船舶目标检测方法
CN110619370A (zh) 一种高光谱图像超像素局部线性嵌入降维方法
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115661451A (zh) 一种深度学习单帧红外弱小目标高分辨率分割方法
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210422

Address after: Wangjiang Road in Baohe District of Hefei city of Anhui Province, No. 96 230000

Applicant after: CHINA TIESIJU CIVIL ENGINEERING GROUP Co.,Ltd.

Applicant after: Anhui Shuzhi Construction Research Institute Co.,Ltd.

Address before: Wangjiang Road in Baohe District of Hefei city of Anhui Province, No. 96 230023

Applicant before: CHINA TIESIJU CIVIL ENGINEERING GROUP Co.,Ltd.

GR01 Patent grant
GR01 Patent grant