CN109255540B - 神经网络训练方法、激光扫描图像处理方法及装置 - Google Patents

神经网络训练方法、激光扫描图像处理方法及装置 Download PDF

Info

Publication number
CN109255540B
CN109255540B CN201811094731.1A CN201811094731A CN109255540B CN 109255540 B CN109255540 B CN 109255540B CN 201811094731 A CN201811094731 A CN 201811094731A CN 109255540 B CN109255540 B CN 109255540B
Authority
CN
China
Prior art keywords
neural network
training
convolutional neural
quality evaluation
laser scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811094731.1A
Other languages
English (en)
Other versions
CN109255540A (zh
Inventor
金少峰
王晓东
王刚奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sincevision Technology Co ltd
Original Assignee
Shenzhen Sincevision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sincevision Technology Co ltd filed Critical Shenzhen Sincevision Technology Co ltd
Priority to CN201811094731.1A priority Critical patent/CN109255540B/zh
Publication of CN109255540A publication Critical patent/CN109255540A/zh
Application granted granted Critical
Publication of CN109255540B publication Critical patent/CN109255540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种神经网络训练方法、激光扫描图像处理方法及装置，其中，所述训练方法包括：获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；基于预设规则对训练图像集进行扩展得到扩展数据集合；将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络，然后通过此卷积神经网络完成实际激光扫描图像干扰和非干扰部分的分类。相对于现有技术中，提取语义特征的方式，本发明实施例的方案可以减少复杂的语义特征提取，提高图像处理通用性。

Description

神经网络训练方法、激光扫描图像处理方法及装置
技术领域
本发明涉及激光扫描视觉技术领域，具体涉及一种神经网络训练方法、激光扫描图像处理方法及装置。
背景技术
2D激光轮廓度仪是一种线结构激光扫描的视觉系统，可以用于3D成像测量方式，它使用线状激光投影到物体表面，然后图像传感器接收激光光斑图像，完成测量过程。在激光轮廓度仪使用过程中，经常出现的激光图像对比度变化问题，测量表面材质、表面的曲率、倾斜角都会影响到激光接收能量的变化，导致测量数据不稳定。反映在激光扫描数据上会产生很多干扰噪声点，影响到后续的点云创建和建模过程。
为了解决以上过程，传统的图像处理算法包括回归、区域分析、聚类等机器学习算法能解决一部份干扰问题，但是适用范围比较狭窄，往往根据特定的应用配置算法，通用性差。并且计算过程复杂，包含太多的逻辑判断过程，难于使用FPGA并行硬件加速。因此常规激光光斑识别方法只能针对连续平滑和漫发射系数物体表面，难于适应快速变化的物体表面，这样就给激光线结构光测量的推广应用到来很多问题，不能快速形成应用系统，限制了激光结构光的测量范围。
因此，如何减少复杂的语义特征提取，提高图像处理通用性成为亟待解决的技术问题。
发明内容
本发明要解决的技术问题在于如何减少复杂的语义特征提取，提高图像处理通用性。
为此，根据第一方面，本发明实施例公开了一种神经网络训练方法，包括：
获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；基于预设规则对训练图像集进行扩展得到扩展数据集合；将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。
可选地，基于预设规则对训练图像集进行扩展得到扩展数据集合包括：按第一预设梯度对训练图像集中各帧图像设置多个干扰深浅浓度；按第二预设梯度对训练图像集中各帧图像设置多个成像光条角度，成像光条角度为被测对象的轮廓曲率。
可选地，在基于预设规则对训练图像集进行扩展得到扩展数据集合和将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络之间，还包括：对扩展数据集中的各帧图像分别进行裁剪得到样本数据集；将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络包括：将样本数据集输入至卷积神经网络进行训练得到训练后的卷积神经网络。
根据第二方面，本发明实施例公开了一种激光扫描图像处理方法，包括：
选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
可选地，在判断质量评价得分是否超过第一阈值和确定质量评价得分的像素块为有效激光光点像素之间，还包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。
根据第三方面，本发明实施例公开了一种神经网络训练装置，包括：
训练集获取模块，用于获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；扩展模块，用于基于预设规则对训练图像集进行扩展得到扩展数据集合；训练模块，用于将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。
可选地，所述扩展模块包括：浓度单元，用于按第一预设梯度对所述训练图像集中各帧图像设置多个干扰深浅浓度；角度单元，用于按第二预设梯度对所述训练图像集中各帧图像设置多个成像光条角度，所述成像光条角度为被测对象的轮廓曲率。
根据第四方面，本发明实施例公开了一种激光扫描图像处理装置，包括：
选取模块，用于选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；输入模块，用于将待处理图像集输入卷积神经网络，卷积神经网络采用上述第二方面任意一项公开的训练装置训练而成；评价模块，用于接收卷积神经网络输出的各个像素块的质量评价得分；判断模块，用于判断质量评价得分是否超过第一阈值；确定模块，用于如果判断模块判断质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
根据第五方面，本发明实施例公开了一种计算机装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如下方法：
选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
根据第六方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，存储介质中存储的计算机程序被执行实现如下方法：
选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
本发明技术方案，具有如下优点：
本发明实施例提供的神经网络训练方法及装置，通过在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像，而后，对训练图像集进行扩展得到扩展数据集合，将该扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络，使得卷积神经网络能够学习到无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，因此，可以减少复杂的语义特征提取。
本发明实施例提供的激光扫描图像处理方法及装置，将时序上连续的若干帧激光扫描图像输入至卷积神经网络，由于该卷积神经网络学习到了无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，因此，在接收该卷积神经网络输出的各个像素块的质量评价得分，可以确定各个像素块的像素质量，在质量评价得分超过第一阈值时，可以确定质量评价得分的像素块为有效激光光点像素。相对于现有技术中，提取语义特征的方式，本发明实施例的方案可以减少复杂的语义特征提取，提高图像处理通用性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种神经网络训练方法流程图；
图2为本发明实施例中公开的一种卷积神经网络结构原理示意图；
图3为本发明实施例中公开的一种改善的卷积神经网络结构原理示意图；
图4为本发明实施例公开的一种激光扫描图像处理方法流程图；
图5为本发明实施例公开的一种神经网络训练装置结构示意图；
图6为本发明实施例公开的一种激光扫描图像处理装置结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了减少复杂的语义特征提取，提高图像处理通用性，本实施例公开了一种神经网络训练方法，请参考图1，为本实施例公开的一种神经网络训练方法流程图，该神经网络训练方法包括：
步骤S100，获取在时域上连续的若干帧图像作为训练图集。本实施例中，所称若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像。可以采用预设方式对激光扫描图像进行干扰得到存在干扰的激光扫描图像。一般而言，激光扫描获得一个在时域上连续的序列图像，因此，在具体实施例中，深度学习的输入采用前后一帧和当前帧图像组成一个3通道的图像作为输入，即采集的激光光斑图像序列表示为Pn-k,...,Pn-2,Pn-1,Pn,Pn+1，Pn是当前图像，取连续三帧Pn-1,Pn,Pn+1作为一个处理输入。需要说明的是，在其它实施例中，也可以采集前后两帧图像和当前帧图像组成一个5通道的图像作为输入。本实施例，并不限制具体的图像帧数。
步骤S200，基于预设规则对训练图像集进行扩展得到扩展数据集合。因为干扰数据集数量较少，因此，为了丰富神经网络训练的样本，可以对训练图像集进行扩展得到扩展数据集合。在具体实施例中，基于预设规则对训练图像集进行扩展得到扩展数据集合可以包括：按第一预设梯度对训练图像集中各帧图像设置多个干扰深浅浓度；按第二预设梯度对训练图像集中各帧图像设置多个成像光条角度，本实施例中，所称成像光条角度为被测对象的轮廓曲率。具体地，第一预设梯度和第二预设梯度可以根据经验确定，干扰图案深浅浓度设置为例如15％，25％，40％，55％，70％、80％和90％等几种，干扰光条图像设置成例如0度、30度、45度、75等几种角度，需要说明的是，在扩展数据集合时候，应前后帧同步扩展，即对于相同坐标位置上的像素块采用同样的扩展方式进行扩展。
步骤S300，将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。本实施例中，将按不同梯度扩展干扰后得到扩展数据集合输入至卷积神经网络中，可以对卷积神经网络进行训练得到训练后的卷积神经网络。
在具体实施例中，在执行步骤S200和步骤S300之间，还可以包括：对扩展数据集中的各帧图像分别进行裁剪得到样本数据集。将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络包括：将样本数据集输入至卷积神经网络进行训练得到训练后的卷积神经网络。具体地，在对扩展数据集中的各帧图像分别进行裁剪时，考虑到激光图像特点，因为激光图像水平方向维数大于垂直方向维数，故可以将训练样本的测试样本裁减为例如128*64大小，挑选例如2048个样本图像作为训练样本，例如1024个样本图像作为测试样本。需要说明的是，上述具体数值的大小仅为示例性描述，不能理解为对本实施例具体技术方案的限制。
为便于本领域技术人员理解，在对卷积神经网络进行训练时，具体的示例训练过程如下：
(1)训练样本输入卷积神经网络，第一层网络使用32个11*11*3三维模板滤波器，模板滤波器使用Gabor滤波器进行初始化，总共使用4个方向和4种频率Gabor系数进行初始化。
(2)第一层卷积后，得到128*64*32的特征向量，对于边界像素进行填充操作(padding)，填充0值，卷积后特征向量过多，对其进行池化缩小维数操作，缩小成64*32*56特征向量.
(3)第一层卷积层输出结果输入到第二层卷积网络中，卷积模板使用5*5大小，使用后得到128*64*56的特征向量，对于边界像素进行填充操作(padding)，填充0值，卷积后特征向量过多，对其进行池化Pooling缩小维数操作，缩小成32*16*56特征向量。
(4)进行维度收缩，由一层卷积网络组成，包含16个1*1的卷积滤波器，将第一层56个通道的特征向量压缩到16个通道。
(5)第一层后面跟随6层3*3个模板滤波器的卷积层，每层模板滤波器组包含16个3*3模板。
(6)以上每个卷积层后面跟随一个激活函数层，避免神经网络训练死区出现。激活函数如下式(1)所示，
Figure BDA0001805272800000091
其中，PReLU(xi)为激活函数，系数αi随着训练过程进行更新,更新函数如式(2)所示，αi初始值设置为0.2，
Figure BDA0001805272800000102
是学习率初始化为0.0001；
Figure BDA0001805272800000101
(7)在3*3卷积层后面是48个1*1卷积层，进行维数扩展，前面的维数压缩导致大量细节丢失，训练效果不好，所以将低维度扩展到高维度，保存更多细节提高训练收敛效率。
(8)反卷积，请参考图2，示意了一种卷积神经网络结构原理，使用1个高斯滤波器反卷积输出和原始图像维数一致的矩阵输出，输出的每个节点表示图像中每个像素属于有效激光投影光斑的概率值。使用卷积神经网络的最后一层的特征向量反卷积获得的分割图像分辨率很低，很多细节丢失。请参考图3，示意了改善后的卷积神经网络结构，将卷积神经网络最后一层特征值和卷积神经网络的倒数第二层的输出特征进行合并，输出分辨率更高的分割图像，这种合并过程可以一直逆推到卷积神经网络更低的层级，从而获得高分辨率的分割图像。
本实施例还公开了一种激光扫描图像处理方法，请参考图4，为本实施例公开的一种激光扫描图像处理方法流程图，该激光扫描图像处理方法包括：
步骤S401，选取待处理图像集。本实施例中，所称待处理图像集为时序上连续的若干帧激光扫描图像。
步骤S402，将待处理图像集输入卷积神经网络。本实施例中卷积神经网络采用上述实施例公开的训练方法训练而成。
步骤S403，接收卷积神经网络输出的各个像素块的质量评价得分。在具体实施例中，输出的质量评价得分为各个像素块的得分，一般而言，神经网络在训练完成后，可以对输入的待处理图像帧中的各个像素块进行评价，输出各个用于表征各个像素块质量得分的权值表。
步骤S404，判断质量评价得分是否超过第一阈值。本实施例中，所称第一阈值可以根据经验确定，在具体判断过程中，可以依次判断权值表中的各个权值，如果质量评价得分超过第一阈值，则执行步骤S405。
步骤S405，确定质量评价得分的像素块为有效激光光点像素。
为了减少突变的像素块对判断结果的影响，在可选的实施例中，在执行步骤S404和步骤S405之间，还可以包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。本实施例中，所称第二阈值可以根据经验确定，通过像素块的像素值与第二阈值的比较，当像素块的像素值超过第二阈值时，则表明当前像素块的前后帧是连续的，反之，当像素块的像素值小于第二阈值时，则表明前后帧图像不连续，当前帧的图像可能存在环境的干扰。
本实施例还公开了一种神经网络训练装置，请参考图5，为本实施例公开的一种神经网络训练装置结构示意图，该神经网络训练装置包括：训练集获取模块100、扩展模块200和训练模块300，其中：
训练集获取模块100用于获取在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；扩展模块200用于基于预设规则对训练图像集进行扩展得到扩展数据集合；训练模块300用于将扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。
在可选的实施例中，扩展模块包括：浓度单元，用于按第一预设梯度对训练图像集中各帧图像设置多个干扰深浅浓度；角度单元，用于按第二预设梯度对训练图像集中各帧图像设置多个成像光条角度，成像光条角度为被测对象的轮廓曲率。
本实施例还公开了一种激光扫描图像处理装置，请参考图6，为本实施例公开的一种激光扫描图像处理装置结构示意图，该激光扫描图像处理装置包括：选取模块601、输入模块602、评价模块603、判断模块604和确定模块605，其中：
选取模块601用于选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；输入模块602用于将待处理图像集输入卷积神经网络，卷积神经网络采用如权利要求6或7的训练装置训练而成；评价模块603用于接收卷积神经网络输出的各个像素块的质量评价得分；判断模块604用于判断质量评价得分是否超过第一阈值；确定模块605用于如果判断模块判断质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
此外，本实施例还公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现如下方法：
选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
在可选的实施例中，在判断质量评价得分是否超过第一阈值和确定质量评价得分的像素块为有效激光光点像素之间，还包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机处理器用于执行存储介质中存储的计算机程序实现以下方法：
选取待处理图像集，待处理图像集为时序上连续的若干帧激光扫描图像；将待处理图像集输入卷积神经网络，卷积神经网络采用上述第一方面任意一项公开的训练方法训练而成；接收卷积神经网络输出的各个像素块的质量评价得分；判断质量评价得分是否超过第一阈值；如果质量评价得分超过第一阈值，则确定质量评价得分的像素块为有效激光光点像素。
在可选的实施例中，在判断质量评价得分是否超过第一阈值和确定质量评价得分的像素块为有效激光光点像素之间，还包括：如果质量评价得分超过第一阈值，则判断质量评价得分对应的像素块的像素值是否大于第二阈值；如果质量评价得分对应的像素块的像素值超过第二阈值，则确定质量评价得分的像素块为有效激光光点像素。
本发明实施例提供的神经网络训练方法及装置，通过在时域上连续的若干帧图像作为训练图集，若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像，而后，对训练图像集进行扩展得到扩展数据集合，将该扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络，使得卷积神经网络能够学习到无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，可以通过此卷积神经网络完成实际激光扫描图像干扰和非干扰部分的分类，因此，可以减少复杂的语义特征提取。
本发明实施例提供的激光扫描图像处理方法及装置，将时序上连续的若干帧激光扫描图像输入至卷积神经网络，由于该卷积神经网络学习到了无干扰激光扫描图像特征信息和存在干扰的激光扫描图像的特征信息，因此，在接收该卷积神经网络输出的各个像素块的质量评价得分，可以确定各个像素块的像素质量，在质量评价得分超过第一阈值时，可以确定质量评价得分的像素块为有效激光光点像素。相对于现有技术中，提取语义特征的方式，本发明实施例的方案可以减少复杂的语义特征提取，提高图像处理通用性。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种神经网络训练方法，其特征在于，包括：
获取在时域上连续的若干帧图像作为训练图像集，所述若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；
基于预设规则对所述训练图像集进行扩展得到扩展数据集合；所述基于预设规则对所述训练图像集进行扩展得到扩展数据集合包括：按第一预设梯度对所述训练图像集中各帧图像设置多个干扰深浅浓度；按第二预设梯度对所述训练图像集中各帧图像设置多个成像光条角度，所述成像光条角度为被测对象的轮廓曲率；
将所述扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。
2.如权利要求1所述的神经网络训练方法，其特征在于，在所述基于预设规则对所述训练图像集进行扩展得到扩展数据集合和所述将所述扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络之间，还包括：
对所述扩展数据集中的各帧图像分别进行裁剪得到样本数据集；
所述将所述扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络包括：将所述样本数据集输入至卷积神经网络进行训练得到训练后的卷积神经网络。
3.一种激光扫描图像处理方法，其特征在于，包括：
选取待处理图像集，所述待处理图像集为时序上连续的若干帧激光扫描图像；
将所述待处理图像集输入卷积神经网络，所述卷积神经网络采用如权利要求1-2任意一项所述的训练方法训练而成；
接收所述卷积神经网络输出的各个像素块的质量评价得分；
判断所述质量评价得分是否超过第一阈值；
如果所述质量评价得分超过第一阈值，则确定所述质量评价得分的像素块为有效激光光点像素。
4.如权利要求3所述的激光扫描图像处理方法，其特征在于，在所述判断所述质量评价得分是否超过第一阈值和所述确定所述质量评价得分的像素块为有效激光光点像素之间，还包括：
如果所述质量评价得分超过第一阈值，则判断所述质量评价得分对应的像素块的像素值是否大于第二阈值；
如果所述质量评价得分对应的像素块的像素值超过第二阈值，则确定所述质量评价得分的像素块为有效激光光点像素。
5.一种神经网络训练装置，其特征在于，包括：
训练集获取模块，用于获取在时域上连续的若干帧图像作为训练图像集，所述若干帧图像包含无干扰激光扫描图像和存在干扰的激光扫描图像；
扩展模块，用于基于预设规则对所述训练图像集进行扩展得到扩展数据集合；所述扩展模块包括：浓度单元，用于按第一预设梯度对所述训练图像集中各帧图像设置多个干扰深浅浓度；角度单元，用于按第二预设梯度对所述训练图像集中各帧图像设置多个成像光条角度，所述成像光条角度为被测对象的轮廓曲率；
训练模块，用于将所述扩展数据集合输入至卷积神经网络进行训练得到训练后的卷积神经网络。
6.一种激光扫描图像处理装置，其特征在于，包括：
选取模块，用于选取待处理图像集，所述待处理图像集为时序上连续的若干帧激光扫描图像；
输入模块，用于将所述待处理图像集输入卷积神经网络，所述卷积神经网络采用如权利要求5所述的训练装置训练而成；
评价模块，用于接收所述卷积神经网络输出的各个像素块的质量评价得分；
判断模块，用于判断所述质量评价得分是否超过第一阈值；
确定模块，用于如果所述判断模块判断所述质量评价得分超过第一阈值，则确定所述质量评价得分的像素块为有效激光光点像素。
7.一种计算机装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如权利要求3或4所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，存储介质中存储的计算机程序被执行实现如权利要求3或4所述的方法。
CN201811094731.1A 2018-09-19 2018-09-19 神经网络训练方法、激光扫描图像处理方法及装置 Active CN109255540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811094731.1A CN109255540B (zh) 2018-09-19 2018-09-19 神经网络训练方法、激光扫描图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811094731.1A CN109255540B (zh) 2018-09-19 2018-09-19 神经网络训练方法、激光扫描图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN109255540A CN109255540A (zh) 2019-01-22
CN109255540B true CN109255540B (zh) 2021-06-25

Family

ID=65047763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811094731.1A Active CN109255540B (zh) 2018-09-19 2018-09-19 神经网络训练方法、激光扫描图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN109255540B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010049213A3 (de) * 2008-10-29 2010-11-25 Robert Bosch Gmbh Verfahren zum betrieb einer eingabevorrichtung und eingabevorrichtung
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010049213A3 (de) * 2008-10-29 2010-11-25 Robert Bosch Gmbh Verfahren zum betrieb einer eingabevorrichtung und eingabevorrichtung
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
粗糙集与神经网络的激光图像分类识别;李红丽 等;《激光杂志》;20170525;第38卷(第5期);第108-110页 *

Also Published As

Publication number Publication date
CN109255540A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
JP2011138388A (ja) データ補正装置及び方法
CN106372629A (zh) 一种活体检测方法和装置
CN113109368A (zh) 玻璃裂纹检测方法、装置、设备及介质
CN111597933B (zh) 人脸识别方法和装置
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN112365498B (zh) 一种针对二维图像序列中多尺度多形态目标的自动检测方法
CN111325738B (zh) 一种用于横穿孔周边裂纹的智能检测方法及系统
US7561732B1 (en) Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN115272353A (zh) 适用于裂纹检测的图像处理方法
CN109255540B (zh) 神经网络训练方法、激光扫描图像处理方法及装置
CN117011249A (zh) 一种基于深度学习的轮胎外观缺陷检测方法
CN111797737A (zh) 遥感目标检测方法及装置
CN114548250B (zh) 一种基于数据分析的手机外观检测方法及装置
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
CN115239663A (zh) 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质
JP5035139B2 (ja) 眼画像処理装置
CN113344988B (zh) 立体匹配方法、终端及存储介质
JP4830585B2 (ja) 画像処理装置および画像処理方法
CN116704268B (zh) 面向动态变化复杂场景的强鲁棒目标检测方法
CN117876236B (zh) 一种荧光扫描仪多层图像合成方法和荧光扫描仪
CN117021435B (zh) 修边机的修边控制系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 518000 room 501-504, building 2, Chongwen Park, Nanshan wisdom Park, 3370 Liuxian Avenue, Fuguang community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN SINCEVISION TECHNOLOGY CO.,LTD.

Address before: 518000 room 519, block a, Shenzhen Zhihui innovation center, Taoyuanju, Qianjin Second Road, Bao'an District, Shenzhen, Guangdong

Patentee before: SHENZHEN SINCEVISION TECHNOLOGY CO.,LTD.

CP02 Change in the address of a patent holder