CN111862035A - 光斑检测模型的训练方法、光斑检测方法、设备及介质 - Google Patents
光斑检测模型的训练方法、光斑检测方法、设备及介质 Download PDFInfo
- Publication number
- CN111862035A CN111862035A CN202010690456.0A CN202010690456A CN111862035A CN 111862035 A CN111862035 A CN 111862035A CN 202010690456 A CN202010690456 A CN 202010690456A CN 111862035 A CN111862035 A CN 111862035A
- Authority
- CN
- China
- Prior art keywords
- light spot
- layer
- training
- detection model
- spot detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 173
- 238000012549 training Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims description 41
- 230000004913 activation Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明涉及图像处理及人工智能技术领域，尤其涉及一种光斑检测模型的训练方法、光斑检测方法、设备及介质。本发明的光斑检测模型的训练方法中，用于光斑检测的训练集包括含有伪造光斑区域的伪造光斑图像以及含有光斑区域的真实光斑图像；利用训练集对光斑检测模型进行训练；利用训练后的光斑检测模型对测试集中的样本进行检测，得到检测结果；根据所述检测结果，获取检测错误样本，利用所述检测错误样本更新所述训练集，通过上述方式，实现了自动制造样本及难样本挖掘，增加了训练样本的多样性，增加了模型的泛化能力，所训练的光斑检测模型不仅能检测真实光斑，还能检测伪造光斑，能够将复杂背景下的白色物体分离出来，提升了光斑检测的精度。
Description
【技术领域】
本发明涉及图像处理技术领域，还涉及人工智能技术领域，尤其涉及一种光斑检测模型的训练方法、光斑检测方法、设备及介质。
【背景技术】
近年来，手机摄像头相关的应用越来越多，随着摄像头功能的增强，很多干扰也随之出现。一个典型的例子是摄像头拍摄的图片或视频中出现光斑，例如，图像中出现强光晕，强灯光等。这类光斑的产生将严重影响图像质量，对很多app应用产生不好的效果，例如拍摄身份证图片用于识别的时候，如果身份证图片有光斑，则会导致识别失败。
现有的技术中的光斑检测主要是分离出光斑像素和非光斑像素，基于光斑像素进行检测，当场景复杂时，就会存在大量检测失败的情况，光斑检测精度低。
因此，有必要提供一种新的光斑检测方法。
【发明内容】
本发明的目的在于提供一种光斑检测模型的训练方法、光斑检测方法、设备及介质，解决现有技术中光斑检测精度低的技术问题。
本发明的技术方案如下：提供一种光斑检测模型的训练方法，包括：
在不含光斑区域的样本图像上生成伪造光斑区域以获取伪造光斑图像，所述伪造光斑区域为大小随机、形状随机、灰度值随机且像素值随机的白色区域；
获取用于光斑检测的训练集，所述训练集包括含有伪造光斑区域的伪造光斑图像以及含有光斑区域的真实光斑图像；
利用所述训练集对光斑检测模型进行训练；
利用训练后的所述光斑检测模型对测试集中的样本进行检测，得到检测结果；
根据所述检测结果获取检测错误样本，利用所述检测错误样本更新所述训练集。
优选地，在所述获取用于光斑检测的训练集之前，还包括：
在不含光斑区域的样本图像上生成伪造光斑区域以获取伪造光斑图像。
优选地，所述在不含光斑区域的样本图像上随机生成伪造光斑区域以获取伪造光斑图像，包括：
在不含光斑区域的样本图像的随机位置生成随机数量的大小随机的白色区域；
对所述白色区域进行高斯模糊滤波处理；
对所述白色区域的像素值进行随机扰动处理；
将所述白色区域和所述样本图像进行图像合成得到所述伪造光斑图像。
优选地，所述白色区域呈矩形或椭圆形，所述白色区域的旋转角度随机。
优选地，所述伪造光斑区域的大小位于预设尺寸范围内，所述伪造光斑区域的灰度值位于预设灰度值范围内，所述伪造光斑区域的像素值位于预设像素值范围内；
所述在不含光斑区域的样本图像上生成伪造光斑区域以获取伪造光斑图像之后，还包括：
将所述伪造光斑图像上传至区块链中，以使得所述区块链对所述伪造光斑图像进行加密存储。
优选地，所述根据所述检测结果获取检测错误样本，利用所述检测错误样本更新所述训练集之后，还包括：
利用更新的所述训练集继续对所述光斑检测模型进行训练，直至所述检测错误样本的数量小于预设阈值为止。
优选地，所述获取用于光斑检测的训练集之前，还包括：
通过普通卷积运算和批量归一化运算，将深度可分离卷积形成轻量级网络基本单元；
将所述轻量级网络基本单元有序堆叠形成神经网络结构；
在所述神经网络结构上加入输入层、全局池化层及全连接层，形成所述光斑检测模型。
优选地，所述光斑检测模型包括第一卷积层、依次连接的多个组卷积模块、第二卷积层、全局池化层以及全连接层，每个组卷积模块包括一个或多个第一基本单元以及一个或多个第二基本单元；所述第一基本单元包括位于第一分支的步长为2且卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，位于第二分支的卷积核大小为1x1的卷积层、批量归一化层、修正线性激活层、步长为2且卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，将第一分支和第二分支的特征图在通道维度上进行拼接的拼接层以及将特征图在通道维度上进行重组的通道混合层；所述第二基本单元包括将输入特征图的通道分成第一分支和第二分支的通道分离层，位于第二分支的卷积核大小为1x1的卷积层、批量归一化层、修正线性激活层、卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，将第一分支和第二分支的特征图在通道维度上进行拼接的拼接层以及将特征图在通道维度上进行重组的通道混合层。
本发明的另一技术方案如下：提供一种光斑检测方法，包括：
获取待识别图像；
将所述待识别图像输入到预先训练的光斑检测模型，获取光斑检测识别结果，所述光斑检测模型是采用上述的光斑检测模型的训练方法进行训练得到的。
本发明的另一技术方案如下：提供一种电子设备，所述电子设备包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有用于实现上述的光斑检测模型的训练方法的程序指令或用于实现上述的光斑检测方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以进行光斑检测模型的训练或光斑检测识别。
本发明的另一技术方案如下：提供一种存储介质，所述存储介质内存储有用于实现上述的光斑检测模型的训练方法的程序指令或用于实现上述的光斑检测方法的程序指令。
本发明的有益效果在于：本发明的光斑检测模型的训练方法中，首先自动生成含有伪造光斑区域的伪造光斑图像，用于光斑检测的训练集包括含有伪造光斑区域的伪造光斑图像以及含有光斑区域的真实光斑图像；利用所述训练集对光斑检测模型进行训练；利用训练后的所述光斑检测模型对测试集中的样本进行检测，得到检测结果；根据所述检测结果，获取检测错误样本，利用所述检测错误样本更新所述训练集，通过上述方式，实现了自动制造样本及难样本挖掘，增加了训练样本的多样性，增加了模型的泛化能力，所训练的光斑检测模型不仅能检测真实光斑，还能检测伪造光斑，能够将复杂背景下的白色物体分离出来，提升了光斑检测的精度。
【附图说明】
图1为本发明第一实施例的光斑检测模型的训练方法的流程示意图；
图2为本发明第二实施例的光斑检测模型的训练方法的流程示意图；
图3为本发明第二实施例的方法中构建的光斑检测模型框架图。
图4为图3所示光斑检测模型中第一基本单元的结构图；
图5为图3所示光斑检测模型中第二基本单元的结构图；
图6为本发明第三实施例的光斑检测方法的流程示意图；
图7为本发明第四实施例的电子设备的结构框图；
图8为本发明第五实施例的存储介质的结构框图；
图9为本发明第六实施例的光斑检测装置的结构框图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的光斑检测模型的训练方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该光斑检测模型的训练方法包括步骤：
S101，获取用于光斑检测的训练集，所述训练集包括含有伪造光斑区域的伪造光斑图像以及含有光斑区域的真实光斑图像。
在步骤S101中，伪造光斑图像是通过在不含光斑区域的样本图像上随机生成伪造光斑区域获取的，其中，所述伪造光斑区域为大小随机、形状随机、灰度值随机且像素值随机的白色区域，实现了自动造样本，伪造光斑图像的随机性和多样性高。具体地，(a)通过如下方式自动造条纹光斑数据，首先，在不含光斑区域的样本图像的随机位置生成随机数量的大小随机且旋转角度随机的白色矩形；其次，对所述白色矩形进行高斯模糊滤波处理；再次，对所述白色矩形的像素值进行随机扰动处理；最后，将所述白色矩形mask和所述样本图像进行图像合成得到所述伪造光斑图像。(b)通过如下方式自动造点状和椭圆状光斑数据，首先，在不含光斑区域的样本图像的随机位置生成随机数量的大小随机且旋转角度随机的白色椭圆形；其次，对所述白色椭圆形进行高斯模糊滤波处理；再次，对所述白色椭圆形的像素值进行随机扰动处理；最后，将所述白色椭圆形mask和所述样本图像进行图像合成得到所述伪造光斑图像。进一步地，可以为伪造光斑区域设置预设条件，预设条件包括：所述伪造光斑区域的大小位于预设尺寸范围内，所述伪造光斑区域的灰度值位于预设灰度值范围内，所述伪造光斑区域的像素值位于预设像素值范围内。
在本实施例中，随机生成的白色矩形及白色椭圆形等伪造光斑区域接近于复杂背景下的白色物体，且其在图像中的位置、大小、旋转方向以及数量均随机，多样性高；与真实光斑区域相比，一部分的伪造光斑区域检测难度更大。通过上述伪造光斑图像和真实光斑图像均作为训练样本，将伪造光斑作为训练特征在伪造光斑图像上进行标记，将真实光斑作为训练特征在真实光斑图像上进行标记，经过标记的伪造光斑图像和经过标记的真实光斑图像共同组成训练集。
进一步地，生成了伪造光斑图像之后，将所述伪造光斑图像上传至区块链中，以使得所述区块链对所述伪造光斑图像进行加密存储。
基于伪造光斑图像得到对应的摘要信息，具体来说，摘要信息伪造光斑图像进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证伪造光斑图像是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
S102，利用所述训练集对光斑检测模型进行训练。
在本实施例中，将步骤S101所得训练集输入至预设的光斑检测模型中进行训练，所得光斑检测模型能够同时检测识别真实光斑和伪造光斑，使得原来很难分离的光照和复杂背景下的白色物体可以分离出来，提高了检测精度。
S103，利用训练后的所述光斑检测模型对测试集中的样本进行检测，得到检测结果，其中，所述测试集包括所述伪造光斑图像以及所述真实光斑图像。
在步骤S103中，首先，获取测试集，测试集包括所述伪造光斑图像以及所述真实光斑图像；然后，将测试集输入至经过步骤S102训练的光斑检测模型中进行检测，得到检测结果，通过该检测结果对光斑检测模型的训练效果进行验证。当然，测试集也可以直接来源于训练集的一部分，可以将训练集分成第一训练集和第二训练集，将第一训练集对模型进行训练，将第二训练集对模型进行测试。
S104，根据所述检测结果，获取检测错误样本，利用所述检测错误样本更新所述训练集。
在步骤S104中，获取测试集中检测结果为错误的图像，作为检测错误样本，对检测错误样本中的真实光斑或伪造光斑进行标记，再使用检测错误样本替换所述训练集中的原有样本。在本实施例中，检测错误样本为较难识别的难样本，通过步骤S104实现了难样本挖掘，将难样本替换训练集中的原有样本，用难样本对光斑检测模型继续进行训练，有利于进一步提高光斑检测的精度。
在执行完步骤S104之后，继续返回执行步骤S102，并且可以利用更新了更多难样本的训练集反复迭代光斑检测模型，直至光斑检测模型具有良好的分类效果。应当注意的是，关于迭代的次数，可以由本领域技术人员根据应用场景的需求来具体确定。在一个可选的实施方式中，利用更新的所述训练集继续对所述光斑检测模型进行训练，再利用光斑检测模型对测试集进行检测，直至所述检测错误样本的数量小于一预设阈值为止，此时完成迭代。在另一个示例中，也可以采用从训练集抽样的方法，随机抽取一定数量样本，数据标注正确率超过一预定阈值时，可以认为完成迭代。
图2是本发明第二实施例的光斑检测模型的训练方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该光斑检测模型的训练方法包括步骤：
S201，构建光斑检测模型。
在本实施例中，所述光斑检测模型为基于轻量级深度卷积网络的模型，所述光斑检测模型包括依次连接的多个卷积模块，所述卷积模块中包括至少一个特征提取层。具体地，在步骤S201中，首先，通过普通卷积(Conv)运算和批量归一化(Batch Normalization，BN)运算，将深度可分离卷积(Depthwise Separable Convolution，DWConv)形成轻量级网络基本单元；然后，将所述轻量级网络基本单元有序堆叠形成神经网络结构；最后，在所述神经网络结构上加入输入层、全局池化层及全连接层，形成所述光斑检测模型。
具体地，请参阅图3至图5以及表1所示，该光斑检测模型包括依次连接的第一卷积层(Conv1)、第一组卷积模块(Stage2，主要由轻量级网络基本单元构成)、第二组卷积模块(Stage3，主要由轻量级网络基本单元构成)、第三组卷积模块(Stage4，主要由轻量级网络基本单元构成)、第二卷积层(Conv5)、全局池化层(Global Pool)以及全连接层(FullyConnected，FC)。请参阅图2所示，输入图像(Input)为112×112，112×112表示输入图像的大小，输入图像经过第一卷积层之后输出大小为56×56，再经过第一组卷积模块之后输出大小为28×28，再经过第二组卷积模块之后输出大小为14×14，再经过第三组卷积模块之后输出大小为7×7，最后经过第二卷积层之后输出大小为7×7，该光斑检测模型共有5层卷积模块(Conv1、Stage2、Stage3、Stage4、Conv5)，每一层均对输入图像进行特征提取，在每个特征图中输出有光斑和无光斑两个类别的置信度或者评分以及光斑位置。卷积次数越少，经过卷积得到的特征图的特征提取越不充分，检测精度越低，卷积次数太过，计算速度慢，本实施例中的光斑检测模型结构较为精简，通过对参数的优化，在保证检测精度的前提下，提高了计算速度。
请参阅表1所示，Layer表示卷积模块中的处理层，Image表示输入图像，OutputSize表示输出尺寸，KSize表示卷积核大小，Stride表示步长，Repeat是指重复执行的次数，Repeat为1则表示该模块只执行一次，Repeat为2则表示该模块执行两次，Repeat为3则表示该模块执行两次，Output channels表示输出通道数。在Stage2、Stage3、Stage4中，Stride＝2，表示对应使用的是图4所示第一基本单元；Stride＝1，对应使用的是图5所示第二基本单元；在Stage2、Stage3、Stage4中，Repeat均分别为1和3，代表一个图4所示第一基本单元的输出，后面连接了3个图5所示第二基本单元。也就是说，第一组卷积模块、第二组卷积模块及第三组卷积模块分别包括一个第一基本单元以及三个第二基本单元，四个基本单元依次堆叠。
请参阅图4所示，所述第一基本单元包括位于第一分支的步长为2且卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，位于第二分支的卷积核大小为1x1的卷积层、批量归一化层、修正线性激活层、步长为2且卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，将第一分支和第二分支的特征图在通道维度上进行拼接的拼接层以及将特征图在通道维度上进行重组的通道混合层。具体地，对位于左边通道的第一分支先采用步长stride＝2的3x3深度可分离卷积(DWConv：Depthwise SeparableConvolution)，然后进行批量归一化(BN：Batch Normalization)操作；然后进行1x1卷积(Conv)，然后再进行批量归一化(BN：Batch Normalization)操作，并利用修正线性单元(Relu：Rectified Linear Unit)这个激活函数进行处理；对右边通道的第二分支首先采用先进行1x1卷积(Conv)，然后进行批量归一化(BN：Batch Normalization)操作，并利用修正线性单元(Relu：Rectified Linear Unit)这个激活函数进行处理；然后采用步长stride＝2的3x3深度可分离卷积(DWConv：Depthwise Separable Convolution)，然后进行批量归一化(BN：Batch Normalization)操作；然后进行1x1卷积(Conv)，然后进行批量归一化(BN：Batch Normalization)操作，并利用修正线性单元(Relu：Rectified Linear Unit)这个激活函数进行处理；将左右两个分支的输出在通道(channel)维度上进行拼接(Concat)降低计算量并增加通道数；最后是进行通道混合(channel shuffle)，对组卷积后的特征图在通道(channel)维度上进行重组，这样可以使信息在不同组之间流转，提高网络特征提取能力。
请参阅图5所示，所述第二基本单元包括将输入特征图的通道分成第一分支和第二分支的通道分离层，位于第二分支的卷积核大小为1x1的卷积层、批量归一化层、修正线性激活层、卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，将第一分支和第二分支的特征图在通道维度上进行拼接的拼接层以及将特征图在通道维度上进行重组的通道混合层。具体地，，首先进行通道分离(channel split)操作，将输入特征的通道分成两个分支c-c’和c’，例如，c’为c/2；其中，左边的第一分支不做任何操作，右边的第二分支包含了3个卷积操作。右边的第二分支的特征图先进行1x1卷积(Conv)，然后进行批量归一化(BN：Batch Normalization)操作，并利用修正线性单元(Relu：Rectified Linear Unit)这个激活函数进行处理；然后进行3x3的深度可分离卷积(DWConv：Depthwise Separable Convolution)，主要是为了降低计算量，然后进行批量归一化(BN：Batch Normalization)操作；紧接着是进行1x1卷积，然后进行批量归一化(BN：Batch Normalization)操作，并利用修正线性单元(Relu：RectifiedLinear Unit)这个激活函数进行处理；然后是将右边第二分支得到的特征图与channelsplit操作得到的左边第一分支的特征图在通道(channel)维度上进行拼接(Concat)，降低计算量；最后是进行通道混合(channel shuffle)操作，对组卷积后的特征图在通道(channel)维度上进行重组，这样可以使信息在不同组之间流转，提高网络特征提取能力。
表1光斑检测模型各项参数表
S202，获取用于光斑检测的训练集，所述训练集包括含有伪造光斑区域的伪造光斑图像以及含有光斑区域的真实光斑图像。
S203，利用所述训练集对光斑检测模型进行训练。
S204，利用训练后的所述光斑检测模型对测试集中的样本进行检测，得到检测结果，其中，所述测试集包括所述伪造光斑图像以及所述真实光斑图像。
S205，根据所述检测结果获取检测错误样本，利用所述检测错误样本更新所述训练集。
步骤S202至步骤S205具体参见第一实施例的描述，在此不进行一一赘述。
图6是本发明第三实施例的光斑检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图6所示的流程顺序为限。如图6所示，该光斑检测模型的训练方法包括步骤：
S301，获取待识别图像，将所述待识别图像输入到预先训练的光斑检测模型。
在步骤S301中，所述光斑检测模型是采用第一实施例和第二实施例的光斑检测模型的训练方法进行训练得到的。
S302，随机将输入的待识别图像剪裁为112×112，并输出裁剪后的图片。
S303，将步骤S302的输出输入到一个第一卷积层中，第一卷积层中的卷积核大小为3×3，步长为2，由卷积核提取特征。
S304，将步骤S303的输出输入到由第一组卷积模块、第二组卷积模块和第三组卷积模块堆叠形成神经网络结构中，得到跨特征图特征。
在步骤S304中，第一组卷积模块、第二组卷积模块和第三组卷积模块的结构和提取过程参见第二实施例的描述。
S305，将步骤S304的输出输入到一个第二卷积层中，第二卷积层中的卷积核大小为1×1，步长为1，由卷积核提取特征。
S306，将步骤S305的输出输入到一个全局池化层进行池化操作，全局池化层中的卷积核大小为7×7。
S307，将步骤S306的输出输入到一个全连接层，获取光斑检测识别结果。
图7是本发明第四实施例的电子设备的结构示意图。如图7所示，该电子设备40包括处理器41及和处理器41耦接的存储器42。
存储器42存储有用于实现上述任一实施例的光斑检测模型的训练方法的程序指令或用于实现上述任一实施例的光斑检测方法的程序指令。
处理器41用于执行存储器42存储的程序指令以进行光斑检测模型的训练或光斑检测识别。
其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图8，图8为本发明第五实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有光斑检测模型的训练方法或光斑检测方法的程序指令51，其中，该程序指令51可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。
图9为本发明第六实施例的光斑检测装置的结构示意图。如图9所示，该装置60包括自动造样本模块61、训练模块62、难样本挖掘模块63和检测模块64，其中，自动造样本模块61用于在不含光斑区域的样本图像上生成伪造光斑区域以获取伪造光斑图像。训练模块62用于获取用于光斑检测的训练集，所述训练集包括所述伪造光斑图像以及含有光斑区域的真实光斑图像；利用所述训练集对光斑检测模型进行训练。难样本挖掘模块63用于利用训练后的所述光斑检测模型对测试集中的样本进行检测，得到检测结果，其中，所述测试集包括所述伪造光斑图像以及所述真实光斑图像；根据所述检测结果获取检测错误样本，利用所述检测错误样本更新所述训练集。检测模块64用于获取待识别图像，将所述待识别图像输入到训练完成的光斑检测模型中，获取光斑检测识别结果。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
Claims (10)
1.一种光斑检测模型的训练方法，其特征在于，包括：
在不含光斑区域的样本图像上生成伪造光斑区域以获取伪造光斑图像，所述伪造光斑区域为大小随机、形状随机、灰度值随机且像素值随机的白色区域；
获取用于光斑检测的训练集，所述训练集包括含有伪造光斑区域的伪造光斑图像以及含有光斑区域的真实光斑图像；
利用所述训练集对光斑检测模型进行训练；
利用训练后的所述光斑检测模型对测试集中的样本进行检测，得到检测结果；
根据所述检测结果获取检测错误样本，利用所述检测错误样本更新所述训练集。
2.根据权利要求1所述的光斑检测模型的训练方法，其特征在于，所述在不含光斑区域的样本图像上随机生成伪造光斑区域以获取伪造光斑图像，包括：
在不含光斑区域的样本图像的随机位置生成随机数量且大小随机的白色区域；
对所述白色区域进行高斯模糊滤波处理；
对所述白色区域的像素值进行随机扰动处理；
将所述白色区域和所述样本图像进行图像合成得到所述伪造光斑图像。
3.根据权利要求2所述的光斑检测模型的训练方法，其特征在于，所述白色区域呈矩形或椭圆形，所述白色区域的旋转角度随机。
4.根据权利要求2所述的光斑检测模型的训练方法，其特征在于，所述伪造光斑区域的大小位于预设尺寸范围内，所述伪造光斑区域的灰度值位于预设灰度值范围内，所述伪造光斑区域的像素值位于预设像素值范围内；
所述在不含光斑区域的样本图像上生成伪造光斑区域以获取伪造光斑图像之后，还包括：
将所述伪造光斑图像上传至区块链中，以使得所述区块链对所述伪造光斑图像进行加密存储。
5.根据权利要求1所述的光斑检测模型的训练方法，其特征在于，所述根据所述检测结果获取检测错误样本，利用所述检测错误样本更新所述训练集之后，还包括：
利用更新的所述训练集继续对所述光斑检测模型进行训练，直至所述检测错误样本的数量小于预设阈值为止。
6.根据权利要求1所述的光斑检测模型的训练方法，其特征在于，所述获取用于光斑检测的训练集之前，还包括：
通过普通卷积运算和批量归一化运算，将深度可分离卷积形成轻量级网络基本单元；
将所述轻量级网络基本单元有序堆叠形成神经网络结构；
在所述神经网络结构上加入输入层、全局池化层及全连接层，形成所述光斑检测模型。
7.根据权利要求6所述的光斑检测模型的训练方法，其特征在于，所述光斑检测模型包括第一卷积层、依次连接的多个组卷积模块、第二卷积层、全局池化层以及全连接层，每个组卷积模块包括一个或多个第一基本单元以及一个或多个第二基本单元；所述第一基本单元包括位于第一分支的步长为2且卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，位于第二分支的卷积核大小为1x1的卷积层、批量归一化层、修正线性激活层、步长为2且卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，将第一分支和第二分支的特征图在通道维度上进行拼接的拼接层以及将特征图在通道维度上进行重组的通道混合层；所述第二基本单元包括将输入特征图的通道分成第一分支和第二分支的通道分离层，位于第二分支的卷积核大小为1x1的卷积层、批量归一化层、修正线性激活层、卷积核大小为3x3的深度可分离卷积层、批量归一化层、卷积核大小为1x1的卷积层、批量归一化层及修正线性激活层，将第一分支和第二分支的特征图在通道维度上进行拼接的拼接层以及将特征图在通道维度上进行重组的通道混合层。
8.一种光斑检测方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入到预先训练的光斑检测模型，获取光斑检测识别结果，所述光斑检测模型是采用权利要求1～7任一项所述的光斑检测模型的训练方法进行训练得到的。
9.一种电子设备，其特征在于，所述电子设备包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有用于实现如权利要求1～7中任一项所述的光斑检测模型的训练方法的程序指令或用于实现如权利要求8所述的光斑检测方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以进行光斑检测模型的训练或光斑检测识别。
10.一种存储介质，其特征在于，所述存储介质内存储有用于实现如权利要求1～7中任一项所述的光斑检测模型的训练方法的程序指令或用于实现如权利要求8所述的光斑检测方法的程序指令。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010690456.0A CN111862035B (zh) | 2020-07-17 | 2020-07-17 | 光斑检测模型的训练方法、光斑检测方法、设备及介质 |
| PCT/CN2020/123211 WO2021120842A1 (zh) | 2020-07-17 | 2020-10-23 | 光斑检测模型的训练方法、光斑检测方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010690456.0A CN111862035B (zh) | 2020-07-17 | 2020-07-17 | 光斑检测模型的训练方法、光斑检测方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862035A true CN111862035A (zh) | 2020-10-30 |
| CN111862035B CN111862035B (zh) | 2023-07-28 |
Family
ID=72983763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010690456.0A Active CN111862035B (zh) | 2020-07-17 | 2020-07-17 | 光斑检测模型的训练方法、光斑检测方法、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111862035B (zh) |
| WO (1) | WO2021120842A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348126A (zh) * | 2021-01-06 | 2021-02-09 | 北京沃东天骏信息技术有限公司 | 一种印刷物品中目标对象的识别方法和装置 |
| CN112561982A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于vgg-16的高精度光斑中心检测方法 |
| CN113421211A (zh) * | 2021-06-18 | 2021-09-21 | Oppo广东移动通信有限公司 | 光斑虚化的方法、终端设备及存储介质 |
| CN117496584A (zh) * | 2024-01-02 | 2024-02-02 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538351B (zh) * | 2021-06-30 | 2024-01-19 | 国网山东省电力公司电力科学研究院 | 一种融合多参数电信号的外绝缘设备缺陷程度评估方法 |
| CN116934745B (zh) * | 2023-09-14 | 2023-12-19 | 创新奇智(浙江)科技有限公司 | 一种电子元器件插接卡子质量检测方法及检测系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022239A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种基于循环神经网络的多目标跟踪方法 |
| US20190138786A1 (en) * | 2017-06-06 | 2019-05-09 | Sightline Innovation Inc. | System and method for identification and classification of objects |
| CN110207835A (zh) * | 2019-05-23 | 2019-09-06 | 中国科学院光电技术研究所 | 一种基于离焦图像训练的波前校正方法 |
| CN110728698A (zh) * | 2019-09-30 | 2020-01-24 | 天津大学 | 一种基于复合循环神经网络系统的多目标跟踪模型 |
| CN110738224A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康慧影科技有限公司 | 一种图像处理方法及装置 |
| CN110781924A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 |
| CN111103120A (zh) * | 2018-10-25 | 2020-05-05 | 中国人民解放军国防科技大学 | 一种基于深度学习的光纤模式分解方法及可读介质 |
| CN111415345A (zh) * | 2020-03-20 | 2020-07-14 | 山东文多网络科技有限公司 | 一种基于深度学习的变电站紫外图像智能巡检算法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2653461C2 (ru) * | 2014-01-21 | 2018-05-08 | Общество с ограниченной ответственностью "Аби Девелопмент" | Обнаружение блика в кадре данных изображения |
| CN105989334B (zh) * | 2015-02-12 | 2020-11-17 | 中国科学院西安光学精密机械研究所 | 基于单目视觉的道路检测方法 |
-
2020
- 2020-07-17 CN CN202010690456.0A patent/CN111862035B/zh active Active
- 2020-10-23 WO PCT/CN2020/123211 patent/WO2021120842A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022239A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种基于循环神经网络的多目标跟踪方法 |
| US20190138786A1 (en) * | 2017-06-06 | 2019-05-09 | Sightline Innovation Inc. | System and method for identification and classification of objects |
| CN110738224A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康慧影科技有限公司 | 一种图像处理方法及装置 |
| CN111103120A (zh) * | 2018-10-25 | 2020-05-05 | 中国人民解放军国防科技大学 | 一种基于深度学习的光纤模式分解方法及可读介质 |
| CN110207835A (zh) * | 2019-05-23 | 2019-09-06 | 中国科学院光电技术研究所 | 一种基于离焦图像训练的波前校正方法 |
| CN110781924A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 |
| CN110728698A (zh) * | 2019-09-30 | 2020-01-24 | 天津大学 | 一种基于复合循环神经网络系统的多目标跟踪模型 |
| CN111415345A (zh) * | 2020-03-20 | 2020-07-14 | 山东文多网络科技有限公司 | 一种基于深度学习的变电站紫外图像智能巡检算法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561982A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于vgg-16的高精度光斑中心检测方法 |
| CN112348126A (zh) * | 2021-01-06 | 2021-02-09 | 北京沃东天骏信息技术有限公司 | 一种印刷物品中目标对象的识别方法和装置 |
| CN112348126B (zh) * | 2021-01-06 | 2021-11-02 | 北京沃东天骏信息技术有限公司 | 一种印刷物品中目标对象的识别方法和装置 |
| CN113421211A (zh) * | 2021-06-18 | 2021-09-21 | Oppo广东移动通信有限公司 | 光斑虚化的方法、终端设备及存储介质 |
| CN113421211B (zh) * | 2021-06-18 | 2024-03-12 | Oppo广东移动通信有限公司 | 光斑虚化的方法、终端设备及存储介质 |
| CN117496584A (zh) * | 2024-01-02 | 2024-02-02 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
| CN117496584B (zh) * | 2024-01-02 | 2024-04-09 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021120842A1 (zh) | 2021-06-24 |
| CN111862035B (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862035A (zh) | 光斑检测模型的训练方法、光斑检测方法、设备及介质 | |
| CN109389078B (zh) | 图像分割方法、相应的装置及电子设备 | |
| CN112150450B (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
| CN112016475B (zh) | 一种人体检测识别方法和装置 | |
| CN103310236A (zh) | 基于局部二维特征的拼接图像检测方法及系统 | |
| CN110598788A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
| WO2022199395A1 (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
| CN113343295B (zh) | 基于隐私保护的图像处理方法、装置、设备和存储介质 | |
| CN112488054B (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| KR102421604B1 (ko) | 이미지 처리 방법, 장치 및 전자 기기 | |
| CN113269752A (zh) | 一种图像检测方法、装置终端设备及存储介质 | |
| CN112766012B (zh) | 二维码图像的识别方法、装置、电子设备及存储介质 | |
| CN115512258A (zh) | 一种视频图像的脱敏方法、装置、终端设备和存储介质 | |
| CN114841340A (zh) | 深度伪造算法的识别方法、装置、电子设备及存储介质 | |
| CN113850208A (zh) | 一种图片信息结构化方法、装置、设备及介质 | |
| CN110334679B (zh) | 人脸点处理方法及装置 | |
| CN112927219B (zh) | 一种图像的检测方法、装置及设备 | |
| CN112825122A (zh) | 基于二维人脸图像的种族判断方法、装置、介质及设备 | |
| CN114092864B (zh) | 伪造视频的识别方法、装置、电子设备及计算机存储介质 | |
| CN115082966B (zh) | 行人重识别模型训练方法、行人重识别方法、装置和设备 | |
| CN115100441B (zh) | 目标检测方法、电子设备和存储介质 | |
| CN114241534B (zh) | 一种全掌脉络数据的快速匹配方法及系统 | |
| CN117541947A (zh) | 一种输电线路关键部件的识别方法及装置 | |
| CN116604554A (zh) | 机械臂控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |