CN111222558B - 图像处理方法及存储介质 - Google Patents
图像处理方法及存储介质 Download PDFInfo
- Publication number
- CN111222558B CN111222558B CN201911415118.XA CN201911415118A CN111222558B CN 111222558 B CN111222558 B CN 111222558B CN 201911415118 A CN201911415118 A CN 201911415118A CN 111222558 B CN111222558 B CN 111222558B
- Authority
- CN
- China
- Prior art keywords
- image
- prediction
- neural network
- convolutional neural
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 230000008676 import Effects 0.000 description 9
- 238000005192 partition Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理方法包括：获取待测目标的至少一张图像；基于所述图像生成特征热图；将所述图像和所述特征热图同时输入深度学习模型中，得到训练特征值；根据所述训练特征值从所述深度学习模型中得到预测结果。本发明还提供一种计算机可读存储介质。本发明能够提高图像中的目标判定的准确率。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种图像处理方法及存储介质。
背景技术
利用深度学习卷积网络对图像进行判别已是当前的主流，对于图像的判别有着优异的表现。也可以应用到图像的目标检测中，然而深度学习卷积网络对目标进行判别也有一定的局限性。例如开发者很难去解释卷积网络生成的模型，仅能从模型的判别结果来预测其好坏。因此，不易对网络进行针对性的控制与改进。另一方面，卷积网络容易忽略局部与整体之间的关联性。例如，其无法提取目标在图像中的“位置”，“大小”及“方向”等特征。然而在某些情况中，这些因素都是目标判断的重要依据，缺乏这些因素的判断会影响模型对目标判别的准确性。
发明内容
鉴于以上问题，本发明提出一种图像处理的方法和存储介质，以提高图像处理中目标判定的准确率。
本申请的第一方面提供一种图像处理方法，所述方法包括：
获取待测目标的至少一张图像；
基于所述图像生成特征热图；
将所述图像和所述特征热图同时输入深度学习模型中，得到训练特征值；
根据所述训练特征值从所述深度学习模型中得到预测结果。
优选地，基于所述图像生成特征热图包括：
提取所述图像的特征值；
导入所述特征值至预设矩阵中；
基于导入后的预设矩阵生成所述特征热图。
优选地，提取所述图像的特征值后，所述方法还包括：
归一化处理所述特征值。
优选地，所述预设矩阵包括多个分类区块，每个分类区块包括多个元素，所述导入所述特征值至预设矩阵中包括：
根据所述分类区块的类型划分所述特征值；
导入划分后的特征值至对应的分类区块，其中，每一个特征值对应所述分类区块中的每一个元素。
优选地，所述特征值包括描述所述图像中目标尺寸的特征值，描述所述目标在所述图像中位置的特征值，描述所述目标的纹理的特征值，以及描述所述目标在所述图像中方向的特征值。
优选地，基于导入后的预设矩阵生成所述特征热图包括：
将导入后的预设矩阵中的所有元素转换成灰度值；及
根据转换后的预设矩阵生成所述特征热图。
优选地，所述深度学习模型包括第一卷积神经网络、第二卷积神经网络和预测单元。
优选地，将所述图像和所述特征热图同时输入深度学习模型中，得到训练特征值包括：
根据所述第一卷积神经网络和所述图像得到第一预测参数；
根据所述第二卷积神经网络和所述特征热图得到第二预测参数；
组合所述第一预测参数和所述第二预测参数得到所述训练特征值。
优选地，所述第一卷积神经网络和所述第二卷积神经网络分别包括多个卷积层和池化层，所述池化层设置在一个或多个卷积层之间。
优选地，至少一个所述卷积层和至少一个所述池化层组合成所述第一卷积神经网络和所述第二卷积神经网络的中间层。
优选地，从所述第一卷积神经网络的中间层的池化层中提取所述第一预测参数，至少一个第一预测参数是另一个第一预测参数经过所述中间层的卷积层处理后输出的参数；
从所述第二卷积神经网络的中间层的池化层中提取所述第二预测参数，至少一个第二预测参数是另一个第二预测参数经过所述中间层的卷积层处理后输出的参数。
优选地，组合所述第一预测参数和所述第二预存参数得到所述训练特征值包括：
将从所述第一卷积神经网络的最后一个中间层提取的第一预测参数作为所述图像的第三预测参数；
将从所述第二卷积神经网络的最后一个中间层提取的第二预测参数作为所述特征热图的第四预测参数；
组合多个所述第一预测参数与所述第三预测参数，以及组合多个所述第二预测参数与所述第四预测参数，得到所述训练特征值。
优选地，根据所述训练特征值从所述深度学习模型中得到预测结果包括：
输入所述训练特征值至所述深度学习模型的预测单元；
所述预测单元输出所述预测结果。
优选地，所述预测单元输出所述预测结果包括：
根据所述预测单元中的损失函数得到计算结果；
指数归一化所述计算结果；
将归一化后的计算结果转换成对应的输出标签，其中，所述输出标签对应目标的等级标签。
本发明第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的图像处理方法。
本发明提供的图像处理方法和介质，通过基于所述图像生成特征热图；并将所述图像和所述特征热图同时输入深度学习模型中，得到训练特征值；根据所述训练特征值从所述深度学习模型中得到预测结果。解决了卷积神经网络对图像无法提取并学习图像量测数据特征值的问题。利用本申请提供的方法对图像中的目标进行判别，能够得到更高的准确率。
附图说明
图1是本发明一实施例所提供的图像处理方法的流程示意图。
图2A是本发明一实施方式提供的预设矩阵的分类区块示意图。
图2B是本发明一实施方式提供的预设矩阵的示意图。
图3A是本发明一实施方式提供的待处理图A的示意图。
图3B是本发明一实施方式提供的待处理图A对应的特征热图的示意图。
图3C是本发明一实施方式提供的待处理图B的示意图。
图3D是本发明一实施方式提供的待处理图B对应的特征热图的示意图。
图4是本发明一实施例所提供的深度学习模型的示意图。
图5是本发明一实施例所提供的图像处理系统示意图。
图6是本发明一实施方式提供的电子装置架构示意图。
具体实施方式
为了能够更清楚地理解本发明的所述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
请参阅图1，图1为本发明一个实施例提供的图像处理方法的流程示意图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本发明实施例相关的部分。
如图1所示，所述图像处理方法包括以下步骤。
步骤S1、获取待测目标的至少一张图像。
在一实施方式中，可通过相机拍摄待测目标获得至少一张图像。相机可以为手机、单眼相机、线阵相机等，待测目标可以是人、物体、动物、手机、个人电脑等。在另一实施方式中，获取待测目标的至少一张图像可以是接收服务器传送的待测目标的至少一张图像。在其他实施方式中，可以从本地数据库中获取待测目标的至少一张图像。本实施方式中，图像可包括待测目标的完整或局部图像。图像可以是任意解析度，也可以经过高采样或低采样，依实际需求而定。
步骤S2、基于图像生成特征热图。
在一实施例中，基于图像生成特征热图的方法包括：
(1)提取图像的特征值；
在一实施例中，待测目标在图像中可以是一或多个目标，特征值包括描述目标在图像中的尺寸的特征值，描述目标在图像中位置的特征值，描述目标的纹理的特征值，以及描述目标在图像中方向的特征值。描述目标的尺寸的特征值包括瑕疵长度、灰度差、单点瑕疵面积、宽度、瑕疵亮度、群聚瑕疵面积和长宽比等。描述目标在所述图像中的位置的特征值包括是否在孔洞第一区、是否在孔洞第二区、是否在孔洞第三区、是否在纵向分区第一区、是否在纵向分区第二区、是否在纵向分区第三区、是否在纵向分区第四区以及是否在圆角区等。描述目标的纹理的特征值包括密度、群密度、熵、对比度、相关性、以及均匀性等。描述目标在所述图像中方向的特征值可以是目标与依据图像建立的坐标系(XOY)的X轴或/和Y轴之间的角度，包括角度_0、角度_1、角度_2等。
在一实施方式中，目标可以是描述待测工件上的瑕疵区域。瑕疵为待测工件在生产过程中被擦伤、刮伤或碰伤时造成的，也可以包括待测工件上存在污渍的区域。
需要说明的是，可以通过目标在图像中的位置确认目标在待测工件中的位置，也可以通过目标在图像中的方向确认目标在待测工件中的方向。
(2)归一化处理特征值；
在一实施例中，可将特征值归一化处理为0至1范围内的数值。
(3)导入特征值至预设矩阵中；
在本实施例中，预设矩阵可以包括多个分类区块，每一个分类区块分别包括多个元素。每个元素可以导入一个特征值。分类区块可以描述目标的特征，例如尺寸、纹理等。
优选地，当特征值数量少于分类区块中的元素的总数时，补入0至所述分类区块。
例如，如图2A所示，预设矩阵包括四个分类区块，第一分类区块201，第二分类区块202，第三分类区块203和第四分类区块204。第一分类区块201描述目标的尺寸。第二分类区块202描述目标的纹理，第三分类区块203描述目标的位置，以及第四分类区块204描述目标的方向。四个分类区块分别是尺寸，纹理，位置和方向。
如图2B所示，第一分类区块201，第二分类区块202，第三分类区块203和第四分类区块204分别包括九个元素。第一分类区块201导入了描述目标尺寸的特征值，如瑕疵长度、灰度差、单点瑕疵面积、宽度、瑕疵亮度、群聚瑕疵面积和长宽比，以及补入一个零至第一分类区块201。第二分类区块202导入了描述目标纹理的特征值，如密度、群密度、熵、对比度、相关性和均匀性，以及补入三个零至所述第二分类区块202。第三分类区块203导入了描述目标所在位置的特征值，如是否在孔洞第一区，是否在孔洞第二区，是否在孔洞第三区，是否在纵向分区第一区，是否在纵向分区第二区，是否在纵向分区第三区，是否在纵向分区第四区和是否在圆角区，以及补入一个零至所述第三分类区块203。第四分类区块204导入了描述目标方向的特征值，例如，角度_0、角度_1、角度_2、角度_3、角度_4、角度_5、角度_6、角度_7和角度_8。
(4)基于导入后的预设矩阵生成特征热图；
在一实施方式中，通过将预设矩阵中的所有元素转换成灰度值，再根据转换后的预设矩阵生成特征热图。
在一实施例中，将预设矩阵中的每一元素乘以255转换成灰度值，再将转换后的预设矩阵中的每一个元素作为一个像素点，以得到特征热图。如图3A为待处理图A，图3B为待处理图A通过上述方法得到的特征热图。如图3C所示为待处理图B，图3D为待处理图B通过上述方法得到的特征热图。
在一实施例中，将提取到的图像的特征值依类别分区，再依特征之间的相关性顺序排列，最后将排列后的预设矩阵转变成特征热图，使特征热图得以与图像一起应用于卷积神经网络模型。
优选地，在获取图像的特征热图后，对图像进行进行处理的方法还包括：调整特征热图的尺寸。为了满足深度学习模型的需求，需要先将特征热图的尺寸进行处理。
步骤S3、将图像和特征热图同时输入深度学习模型中，得到训练特征值。
在一实施方式中，将图像和特征热图同时输入深度学习模型中，深度学习模型包括第一卷积神经网络、第二卷积神经网络和预测单元。
在一实施例中，将图像2输入深度学习模型的第一卷积神经网络，同时将特征热图输入深度学习模型的第二卷积神经网络。深度学习模型为预先训练好的模型，可以在输入图像后，输出图像中的目标的分类等级，如图4所示。训练深度学习模型的方法为现有的训练方法，在此不再赘述。
需要说明的是，可以动态调整所述深度学习模型的参数，所述深度学习模型不限定于本申请中对目标的分类判定，还适用于其他任何图像的识别。
优选地，第一卷积神经网络和第二卷积神经网络分别包括多个卷积层和池化层，池化层设置在一个或多个卷积层之间。至少一个卷积层和至少一个池化层组合成第一卷积神经网络和第二卷积神经网络的中间层。
优选地，第一卷积神经网络与第二卷积神经网络的结构可以相同，也可以不同。例如，第一卷积神经网络的中间层包括四层，第二卷积神经网络的中间层也包括四层。又如，当特征热图的重要性较低时，可以使用较简易的神经网络架构，例如，减少第二卷积神经网络的中间层的数量。
优选地，将图像和所述特征热图同时输入深度学习模型中，得到训练特征值包括：根据第一卷积神经网络和图像得到第一预测参数；根据第二卷积神经网络和特征热图得到第二预测参数；组合第一预测参数和第二预测参数得到训练特征值。
在一实施方式中，可以从第一卷积神经网络的池化层中提取第一预测参数，至少一个第一预测参数是另一个第一预测参数经过卷积层处理后输出的参数。从第二卷积神经网络的池化层中提取第二预测参数，至少一个第二预测参数是另一个第二预测参数经过卷积层处理后输出的参数。
第一卷积神经网络的中间层可以包括多层，每一个中间层都包括多个卷积层和池化层。第二卷积神经网络的中间层也可以包括多层，每一个中间层都包括多个卷积层和池化层。如图4所示，第一卷积神经网络的中间层包括四层，提取依序的每一个中间层的预测参数可以得到四个第一预测参数，如第一预测参数A、第一预测参数B、第一预测参数C和第一预测参数D。第一预测参数A为从第一个中间层提取的参数，第一预测参数B为从第二个中间层提取的参数，第一预测参数C为从第三个中间层提取的参数，第一预测参数D为从第四个中间层提取参数。
在一实施例中，可以利用注意力机制提取第一卷积神经网络的每一个中间层的第一预测参数来得到图像的多个第一预测参数。也可以是其他方法提取第一预测参数，本申请中对此不作限定。
第二卷积神经网络的中间层也包括四层，提取依序的每一个中间层的预测参数可以得到四个第二预测参数，如第二预测参数A、第二预测参数B、第二预测参数C和第二预测参数D。第二预测参数A为从第一个中间层提取的参数，第二预测参数B为从第二个中间层提取的参数，第二预测参数C为从第三个中间层提取的参数，第二预测参数D为从第四个中间层提取的参数。同样地，可以利用注意力机制提取第二卷积神经网络的中间层的第二预测参数，得到特征热图的多个第二预测参数。
需要说明的是，同样可以利用注意力机制提取第二卷积神经网络的每一个中间层的第二预测参数来得到图像的多个第二预测参数。也可以是其他方法提取第二预测参数，本申请中对此不作限定。
在本实施方式中，可通过组合多个第一预测参数生成第一组合预测参数，通过组合多个第二预测参数生成第二组合预测参数，再连接第一组合预测参数与第二组合预测参数，构成深度学习模型的全连接层。
在一实施方式中，组合第一预测参数和第二预测参数得到训练特征值包括：
(1)将从第一卷积神经网络的最后一个中间层提取的第一预测参数作为第三预测参数。在本实施例中，可以提取第一卷积神经网络的最后一层的参数，得到图像的第三预测参数。
(2)将从第二卷积神经网络的最后一个中间层提取的第二预测参数作为特征热图的第四预测参数。在本实施例中，可以提取第二卷积神经网络的最后一层的参数，得到特征热图的第四预测参数。
(3)组合多个第一预测参数与第三预测参数，以及组合多个第二预测参数与第四预测参数，得到训练特征值。在本实施方式中，可通过组合多个第一预测参数与第三预测参数生成第一组合预测参数，通过组合多个第二预测参数与第四预测参数生成第二组合预测参数，再连接第一组合预测参数与第二组合预测参数，构成深度学习模型的全连接层。
可以理解的是，训练特征值至少包括第一组合预测参数和第二组合预测参数。
步骤S4、根据训练特征值从深度学习模型中得到预测结果。
在本实施方式中，通过输入训练特征值至深度学习模型的预测单元，预测单元输出预测结果。在一实施方式中，可输入全连接层至预测单元中，根据预测单元中的损失函数得到计算结果，指数归一化计算结果，将归一化后的计算结果转换成对应的输出标签，其中，输出标签对应目标的等级标签。
在一实施方式中，预测单元可以是一分类器，分类器可以是Softmax损失函数，损失函数的结果相当于输入的图像被分到每个等级标签的概率分布。全连接层输入至Softmax损失函数得到计算结果，再将计算结果进行指数归一化，最后转换成对应的输出标签。输出标签对应的是目标的等级标签。
本申请利用图像处理技术提取图像中的目标图像以量测数据特征值，并基于特征值生成图像的特征热图，将特征热图和图像一起使用卷积神经网络来学习与预测，以增加多种卷积神经网络对原始图像无法提取到的图像量测数据特征。
本申请的卷积神经网络除了能够对图像自身的特征值进行学习，也能同时学习到用户指定的相关联图像(如特征热图)特征，解决了卷积神经网络对图像无法提取并学习，例如“位置”、“大小”、“方向”等图像量测数据特征值的问题。利用本申请对图像进行检测判别，能够得到更高的准确率。
图1至图4详细介绍了本发明的图像处理的方法，通过所述方法，能够提高图像处理中目标判定的准确率。下面结合图5和图6，对实现所述图像处理方法的软件系统的功能模块以及硬件装置架构进行介绍。
图5为本发明一实施方式提供的图像处理系统的结构图。
在一些实施方式中，图像处理系统100可以包括多个由程序代码段所组成的功能模块。图像处理系统100中的各个程序段的程序代码可以存储于计算机装置的存储器中，并由计算机装置中的至少一个处理器所执行，以实现图像检测的功能。
参考图5，本实施方式中，图像处理系统100根据其所执行的功能，可以被划分为多个功能模块，各个功能模块用于执行图1对应实施方式中的各个步骤，以实现图像处理的功能。本实施方式中，图像处理系统100的功能模块包括：获取模块101、生成模块102、输入模块103以及处理模块104。各个功能模块的功能将在下面的实施例中进行详述。
获取模块101用于获取待测目标的至少一张图像。在一实施方式中，可通过相机拍摄待测目标获得至少一张图像。相机可以为手机、单眼相机、线阵相机等，待测目标可以是人、物体、动物、手机、个人电脑等。在另一实施方式中，获取待测目标的至少一张图像可以是接收服务器传送的待测目标的至少一张图像。在其他实施方式中，可以从本地数据库中获取待测目标的图像。本实施方式中，图像可包括待测目标的完整或局部图像。图像可以是任意解析度，也可以经过高采样或低采样，依实际需求而定。
生成模块102用于基于图像生成特征热图。
在一实施例中，生成模块102可用于：
(1)提取图像的特征值。在一实施例中，特征值包括描述目标尺寸的特征值，描述目标在图像中位置的特征值，描述目标的纹理的特征值，以及描述目标在图像中方向的特征值。描述目标尺寸的特征值包括长度、灰度差、面积、宽度、亮度、颜色、饱和度和长宽比等。描述目标在图像中位置的特征值包括是否在第一区、是否在第二区、是否在第三区、是否在纵向分区第一区、是否在纵向分区第二区、是否在纵向分区第三区、是否在纵向分区第四区以及是否在圆角区等。描述目标纹理的特征值包括密度、群密度、熵、对比度、相关性、以及均匀性等。描述目标在图像中方向的特征值可以是目标与依据图像建立的坐标系(XOY)的X轴或/和Y轴之间的角度，包括角度_0、角度_1、角度_2等。
(2)归一化处理所述特征值。在一实施例中，可将特征值归一化处理为0至1范围内的数值。
(3)导入特征值至预设矩阵中；
在一实施例中，预设矩阵可以包括多个分类区块，每一个分类区块分别包括多个元素，每个元素可以导入一个特征值。分类区块可以描述目标的特征，例如尺寸、纹理、颜色等。
优选地，当特征值数量少于分类区块中的元素的总数时，补入0至所述分类区块。
例如，如图2A所示，预设矩阵包括四个分类区块，第一分类区块201、第二分类区块202、第三分类区块203和第四分类区块204。第一分类区块201描述目标的尺寸。第二分类区块202描述目标的纹理，第三分类区块203描述目标的位置，以及第四分类区块204描述目标的方向。四个分类区块分别是尺寸、纹理、位置和方向。
如图2B所示，第一分类区块201、第二分类区块202、第三分类区块203和第四分类区块204分别包括九个元素。第一分类区块201导入了描述目标尺寸的特征值，如长度、灰度差、颜色、宽度、亮度、面积和长宽比，以及补入一个零至第一分类区块201。第二分类区块202导入了目标纹理的特征值，如密度，群密度，熵，对比度，相关性和均匀性，以及补入三个零至第二分类区块202。第三分类区块203导入了描述目标所在位置的特征值，如是否在第一区，是否在第二区，是否在第三区，是否在纵向分区第一区，是否在纵向分区第二区，是否在纵向分区第三区，是否在纵向分区第四区和是否在圆角区，以及补入一个零至第三分类区块203。第四分类区块204导入了描述目标方向的特征值，例如，角度_0，角度_1，角度_2，角度_3，角度_4，角度_5，角度_6，角度_7和角度_8。
(4)基于导入后的预设矩阵生成特征热图。在一实施方式中，通过将预设矩阵中的所有元素转换成灰度值，再根据转换后的预设矩阵生成特征热图。
在一实施例中，将预设矩阵中的每一元素乘以255转换成灰度值。再将转换后的预设矩阵中的每一个元素作为一个像素点，得到特征热图。如图3A所示为待处理图A，图3B为待处理图A通的特征热图。如图3C所示为待处理图B，图3D为待处理图B的特征热图。
在一实施例中，生成模块102可用于将提取到的图像的特征值依类别分区，再依特征之间的相关性顺序排列，最后将排列后的预设矩阵转变成特征热图，使特征热图得以与图像一起应用于卷积神经网络模型。
优选地，生成模块102可在获取图像的特征热图后，调整特征热图的尺寸，以满足深度学习模型的需求。
输入模块103用于将图像和特征热图同时输入深度学习模型中以得到训练特征值。
在一实施方式中，输入模块103可将图像和特征热图同时输入深度学习模型中，深度学习模型包括第一卷积神经网络、第二卷积神经网络和预测单元。
在一实施例中，将图像输入深度学习模型的第一卷积神经网络，同时将特征热图输入深度学习模型的第二卷积神经网络。深度学习模型为预先训练好的模型，可以在输入图像后，输出目标的检测结果，如图4所示。训练所述深度学习模型的方法为现有的训练方法，在此不再赘述。
需要说明的是，可以动态调整深度学习模型的参数，深度学习模型不限定于本申请中对目标的判定，还适用于其他任何图像的识别。
处理模块104用于根据训练特征值从深度学习模型中得到预测结果。
在一实施方式中，处理模块104是一深度学习模型，可从深度学习模型的预测单元输出预测结果。
在一实施例中，预测单元可以是一分类器，分类器可以是Softmax损失函数，损失函数的结果相当于输入的图像被分到每个等级标签的概率分布。训练特征值输入至Softmax损失函数得到计算结果，再将计算结果进行指数归一化，最后转换成对应的输出标签。输出标签对应目标的检测结果标签。
图6为本发明一实施方式提供的电子装置的功能模块示意图。电子装置10包括存储器11、处理器12以及存储在所述存储器11中并可在所述处理器12上运行的计算机程序13，例如图像处理的程序。
在本实施方式中，电子装置10可以是但不限于智能手机、平板电脑、计算机设备等。
示例性的，计算机程序13可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器11中，并由处理器12执行。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，指令段用于描述计算机程序13在电子装置10中的执行过程。例如，计算机程序13可以被分割成图5中的模块101-104。
本领域技术人员可以理解，示意图6仅仅是电子装置10的示例，并不构成对电子装置10的限定，电子装置10可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子装置10还可以包括输入输出设备等。
所称处理器12可以是中央处理单元(Central Processing Unit，CPU)，还可以包括其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，处理器12是所述电子装置10的控制中心，利用各种接口和线路连接整个电子装置10的各个部分。
存储器11可用于存储计算机程序13和/或模块/单元，处理器12通过运行或执行存储在存储器11内的计算机程序和/或模块/单元，以及调用存储在存储器11内的数据，实现电子装置10的各种功能。存储器11可以包括外部存储介质，也可以包括内存。此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
电子装置10集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的方法实施例中的全部或部分流程也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于计算机可读存储介质中，计算机程序在被处理器执行时，可实现各个方法实施例的步骤。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (12)
1.一种图像处理方法，所述方法包括：
获取待测目标的至少一张图像；
提取所述图像的特征值，所述特征值包括描述所述图像中的目标的尺寸的特征值，描述所述目标在所述图像中的位置的特征值，描述所述目标的纹理的特征值，以及描述所述目标在所述图像中的方向的特征值；导入所述特征值至预设矩阵中，其中，所述预设矩阵包括多个分类区块，每个分类区块包括多个元素，所述导入所述特征值至预设矩阵中包括：根据所述分类区块的类型划分所述特征值；导入划分后的特征值至对应的分类区块，其中，每一个特征值对应所述分类区块中的每一个元素；基于导入后的预设矩阵生成特征热图；
将所述图像和所述特征热图同时输入深度学习模型中，得到训练特征值；
根据所述训练特征值从所述深度学习模型中得到预测结果。
2.如权利要求1所述的图像处理方法，提取所述图像的特征值后，所述方法还包括：
归一化处理所述特征值。
3.如权利要求1所述的图像处理方法，基于导入后的预设矩阵生成所述特征热图包括：
将导入后的预设矩阵中的所有元素转换成灰度值；及
根据转换后的预设矩阵生成所述特征热图。
4.如权利要求1所述的图像处理方法，所述深度学习模型包括第一卷积神经网络、第二卷积神经网络和预测单元。
5.如权利要求4所述的图像处理方法，将所述图像和所述特征热图同时输入深度学习模型中，得到训练特征值包括：
根据所述第一卷积神经网络和所述图像得到第一预测参数；
根据所述第二卷积神经网络和所述特征热图得到第二预测参数；
组合所述第一预测参数和所述第二预测参数得到所述训练特征值。
6.如权利要求5所述的图像处理方法，所述第一卷积神经网络和所述第二卷积神经网络分别包括多个卷积层和池化层，所述池化层设置在一个或多个卷积层之间。
7.如权利要求6所述的图像处理方法，至少一个所述卷积层和至少一个所述池化层组合成所述第一卷积神经网络和所述第二卷积神经网络的中间层。
8.如权利要求7所述的图像处理方法，还包括：
从所述第一卷积神经网络的中间层的池化层中提取所述第一预测参数，至少一个第一预测参数是另一个第一预测参数经过所述中间层的卷积层处理后输出的参数；
从所述第二卷积神经网络的中间层的池化层中提取所述第二预测参数，至少一个第二预测参数是另一个第二预测参数经过所述中间层的卷积层处理后输出的参数。
9.如权利要求7所述的图像处理方法，组合所述第一预测参数和所述第二预测参数得到所述训练特征值包括：
将从所述第一卷积神经网络的最后一个中间层提取的第一预测参数作为所述图像的第三预测参数；
将从所述第二卷积神经网络的最后一个中间层提取的第二预测参数作为所述特征热图的第四预测参数；
组合多个所述第一预测参数与所述第三预测参数，以及组合多个所述第二预测参数与所述第四预测参数，得到所述训练特征值。
10.如权利要求5所述的图像处理方法，根据所述训练特征值从所述深度学习模型中得到预测结果包括：
输入所述训练特征值至所述深度学习模型的预测单元；
所述预测单元输出所述预测结果。
11.如权利要求10所述的图像处理方法，所述预测单元输出所述预测结果包括：
根据所述预测单元中的损失函数得到计算结果；
指数归一化所述计算结果；
将归一化后的计算结果转换成对应的输出标签，其中，所述输出标签对应目标的等级标签。
12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415118.XA CN111222558B (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法及存储介质 |
| TW109142281A TWI769603B (zh) | 2019-12-31 | 2020-12-01 | 影像處理方法及存儲介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415118.XA CN111222558B (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111222558A CN111222558A (zh) | 2020-06-02 |
| CN111222558B true CN111222558B (zh) | 2024-01-30 |
Family
ID=70808302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911415118.XA Active CN111222558B (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111222558B (zh) |
| TW (1) | TWI769603B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297866A (zh) * | 2021-05-21 | 2021-08-24 | 苏州视印智能系统有限公司 | 基于深度学习及热图技术的工业读码器 |
| US20230051066A1 (en) * | 2021-07-27 | 2023-02-16 | Lemon Inc. | Partitioning Information In Neural Network-Based Video Coding |
| TWI813522B (zh) * | 2022-12-20 | 2023-08-21 | 悟智股份有限公司 | 分類模型建立方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250819A (zh) * | 2016-07-20 | 2016-12-21 | 上海交通大学 | 基于脸部实时监控检测人脸对称性及异常方法 |
| CN106326937A (zh) * | 2016-08-31 | 2017-01-11 | 郑州金惠计算机系统工程有限公司 | 基于卷积神经网络的人群密度分布估计方法 |
| CN107292886A (zh) * | 2017-08-11 | 2017-10-24 | 厦门市美亚柏科信息股份有限公司 | 基于网格划分及神经网络的目标物入侵检测方法及装置 |
| CN108509963A (zh) * | 2017-02-28 | 2018-09-07 | 株式会社日立制作所 | 基于深度学习的目标差异性检测方法和目标差异性检测设备 |
| CN109886125A (zh) * | 2019-01-23 | 2019-06-14 | 青岛慧拓智能机器有限公司 | 一种构建道路检测模型的方法及道路检测方法 |
| CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| CN110619350A (zh) * | 2019-08-12 | 2019-12-27 | 北京达佳互联信息技术有限公司 | 图像检测方法、装置及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650515B2 (en) * | 2017-05-23 | 2020-05-12 | Case Western Reserve University | Characterizing intra-tumoral heterogeneity for response and outcome prediction using radiomic spatial textural descriptor (RADISTAT) |
| US10902252B2 (en) * | 2017-07-17 | 2021-01-26 | Open Text Corporation | Systems and methods for image based content capture and extraction utilizing deep learning neural network and bounding box detection training techniques |
| CN107833220B (zh) * | 2017-11-28 | 2021-06-11 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| US20200380362A1 (en) * | 2018-02-23 | 2020-12-03 | Asml Netherlands B.V. | Methods for training machine learning model for computation lithography |
| EP3579196A1 (en) * | 2018-06-05 | 2019-12-11 | Cristian Sminchisescu | Human clothing transfer method, system and device |
| CN109472790A (zh) * | 2018-11-22 | 2019-03-15 | 南昌航空大学 | 一种机械零件缺陷检测方法及系统 |
-
2019
- 2019-12-31 CN CN201911415118.XA patent/CN111222558B/zh active Active
-
2020
- 2020-12-01 TW TW109142281A patent/TWI769603B/zh active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250819A (zh) * | 2016-07-20 | 2016-12-21 | 上海交通大学 | 基于脸部实时监控检测人脸对称性及异常方法 |
| CN106326937A (zh) * | 2016-08-31 | 2017-01-11 | 郑州金惠计算机系统工程有限公司 | 基于卷积神经网络的人群密度分布估计方法 |
| CN108509963A (zh) * | 2017-02-28 | 2018-09-07 | 株式会社日立制作所 | 基于深度学习的目标差异性检测方法和目标差异性检测设备 |
| CN107292886A (zh) * | 2017-08-11 | 2017-10-24 | 厦门市美亚柏科信息股份有限公司 | 基于网格划分及神经网络的目标物入侵检测方法及装置 |
| CN109886125A (zh) * | 2019-01-23 | 2019-06-14 | 青岛慧拓智能机器有限公司 | 一种构建道路检测模型的方法及道路检测方法 |
| CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| CN110619350A (zh) * | 2019-08-12 | 2019-12-27 | 北京达佳互联信息技术有限公司 | 图像检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI769603B (zh) | 2022-07-01 |
| TW202127312A (zh) | 2021-07-16 |
| CN111222558A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yi et al. | ASSD: Attentive single shot multibox detector | |
| US11403516B2 (en) | Apparatus and method for processing convolution operation of neural network | |
| CN111222558B (zh) | 图像处理方法及存储介质 | |
| US9619733B2 (en) | Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same | |
| CN108875537B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN111179419B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN109117801A (zh) | 人脸识别的方法、装置、终端及计算机可读存储介质 | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN112232300B (zh) | 全局遮挡自适应的行人训练/识别方法、系统、设备及介质 | |
| CN110378245B (zh) | 基于深度学习的足球比赛行为识别方法、装置及终端设备 | |
| CN110738235A (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN105426901A (zh) | 用于对摄像头视野中的已知物体进行分类的方法 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN102713974B (zh) | 学习装置、识别装置、学习识别系统和学习识别装置 | |
| CN105190689A (zh) | 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理 | |
| CN110889290A (zh) | 文本编码方法和设备、文本编码有效性检验方法和设备 | |
| US20230029163A1 (en) | Wafer map analysis system using neural network and method of analyzing wafer map using the same | |
| JP2009093500A (ja) | データ処理装置 | |
| CN115112661B (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
| CN112699907A (zh) | 数据融合的方法、装置和设备 | |
| US11663816B2 (en) | Apparatus and method for classifying attribute of image object | |
| CN116310361A (zh) | 一种基于改进YOLOv4-tiny的多尺度目标检测方法 | |
| CN117671312A (zh) | 物品识别方法、装置、电子设备及计算机可读存储介质 | |
| CN114820755A (zh) | 一种深度图估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 451162 the second and third floors of building B07, zone B, comprehensive bonded zone, east side of Zhenxing Road, Hangkong District, Zhengzhou City, Henan Province Applicant after: Fulian Yuzhan Technology (Henan) Co.,Ltd. Address before: 451162 the second and third floors of building B07, zone B, comprehensive bonded zone, east side of Zhenxing Road, Hangkong District, Zhengzhou City, Henan Province Applicant before: HENAN YUZHAN PRECISION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |