CN110569881A - 基于卷积神经网络的数据增广方法及装置 - Google Patents

基于卷积神经网络的数据增广方法及装置 Download PDF

Info

Publication number
CN110569881A
CN110569881A CN201910738162.8A CN201910738162A CN110569881A CN 110569881 A CN110569881 A CN 110569881A CN 201910738162 A CN201910738162 A CN 201910738162A CN 110569881 A CN110569881 A CN 110569881A
Authority
CN
China
Prior art keywords
level
image
ccgan
data
tens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910738162.8A
Other languages
English (en)
Other versions
CN110569881B (zh
Inventor
彭晓帅
李文杰
班华忠
王正
崔凯
康毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201910738162.8A priority Critical patent/CN110569881B/zh
Publication of CN110569881A publication Critical patent/CN110569881A/zh
Application granted granted Critical
Publication of CN110569881B publication Critical patent/CN110569881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于卷积神经网络的数据增广方法，该方法包括：将已标记车牌信息的图像输入到数据增广网络，数据增广网络包括：数据产生器和数据判别器；采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛；将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像。与现有技术相比，能够改善车牌增广图像种类数目不均衡情况。

Description

基于卷积神经网络的数据增广方法及装置
技术领域
本发明涉及图像处理、视频监控以及智慧交通，特别涉及基于卷积神经网络的数据增广方法及装置。
背景技术
随着卷积神经网络的日益发展，其在文字识别、车牌内容识别等相关领域已被广泛使用。
在用卷积神经网络解决实际问题时，训练数据的数量与质量是制约网络效果的一个瓶颈。对于一些类型小众或者采集难度较大的数据则需要进行数据增广操作以满足卷积神经网络的训练需求。
传统的数据增广方法有旋转、镜像、随机裁剪、增加噪声等操作，这种方法从本质上讲没有改变目标的种类，对于种类数目不均衡情况无法改善。
综上所述，目前迫切需要提出一种基于卷积神经网络的数据增广方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现车牌数据增广，可以改善车牌种类数目不均衡情况。
为达到上述目的，按照本发明的第一个方面，提供了一种基于卷积神经网络的数据增广方法，该方法包括：
第一步骤，将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；
第二步骤，采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；
第三步骤，采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；
第四步骤，将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出。
其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像。
其中，所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。
进一步地，所述第二步骤包括：
三级金字塔下采样图像获取步骤，采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyri，i＝{1,2,3}；
第一层级CCGAN处理步骤，第一层级CCGAN的先验约束信息Info0服从于正态分布随机噪声；采用拼接特征向量获取步骤，获取第一层级拼接特征向量TensPIL1；对第一层级拼接特征向量TensPIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I1；对第一层级CCGAN的输出图像I1进行卷积操作，得到的结果作为第二层级的先验约束信息Info1；
第二层级CCGAN处理步骤，采用拼接特征向量获取步骤，获取第二层级拼接特征向量TensPIL2；对第二层级拼接特征向量TensPIL2进行图像上采样操作，得到的图像作为第二层级CCGAN的输出图像I2；对第二层级CCGAN的输出图像I2进行卷积操作，得到的结果作为第三层级的先验约束信息Info2；
第三层级CCGAN处理步骤，采用拼接特征向量获取步骤，获取第三层级拼接特征向量TensPIL3；对第三层级拼接特征向量TensPIL3进行图像上采样操作，得到的图像作为第三层级CCGAN的输出图像I3。
进一步地，所述拼接特征向量获取步骤包括：
每一层级特征图获取步骤，对于第i层级CCGAN，将第i层级下采样图像Pyri输入第i层级残差网络Resi中进行特征提取，获取维度为NPi*CPi*WPi*HPi的第i层级特征图TensPi，其中NPi为第i层级特征图TensPi的个数，WPi和HPi分别为第i层级特征图TensPi的宽度和高度，CPi为第i层级特征图TensPi对应的通道数；
每一层级先验约束图像获取步骤，将第i层级的先验约束信息Infoi-1输入第i层级残差网络Resi中进行特征提取，获取维度为NIi*CIi*WIi*HIi的第i层级先验约束图像TensIi，其中NIi为第i层级先验约束图像TensIi的个数，WIi和HIi分别为第i层级先验约束图像TensIi的宽度和高度，CIi为第i层级先验约束图像TensIi对应的通道数；
每一层级约束特征向量获取步骤，将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为NLi*CLi*WLi*HLi的第i层级约束特征向量Condi，其中NLi为第i层级约束特征向量Condi的个数，WLi和HLi分别为第i层级约束特征向量Condi的宽度和高度，WLi和HLi分别与第i层级先验约束图像TensIi的宽度WIi和高度HIi相同，CLi为第i层级约束特征向量Condi对应的通道数；
特征向量拼接步骤，对于第i层级CCGAN，对第i层级特征图TensPi、第i层级先验约束图像TensIi、第i层级约束特征向量Condi进行尺度拼接，得到维度为(NPi+NIi+NLi)*CBi*WBi*HBi的第i层级拼接特征向量TensPILi，其中WBi和HBi分别为第i层级拼接特征向量TensPILi的宽度和高度，CBi为第i层级拼接特征向量TensPILi对应的通道数。
进一步地，所述第三步骤包括：
第一层级CCGAN网络参数调整步骤，采用数据判别器，通过第一层级CCGAN的目标函数公式：GLoss_1＝min Eb～Data，p～PData，z～N(0，1)[log(1-D(G(b，p，z)))，z]，计算损失函数值GLoss_1；根据损失函数值GLoss_1调整第一层级CCGAN的网络参数，直至损失函数值GLoss_1收敛；
第二层级CCGAN网络参数调整步骤，采用数据判别器，通过第二层级CCGAN的目标函数公式：GLoss_2＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_2；根据损失函数值GLoss_2调整第二层级CCGAN的网络参数，直至损失函数值GLoss_2收敛；
第三层级CCGAN网络参数调整步骤，采用数据判别器，通过第三层级CCGAN的目标函数公式：GLoss_3＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_3；根据损失函数值GLoss_3调整第三层级CCGAN的网络参数，直至损失函数值GLoss_3收敛；将网络参数调整后的三个层级CCGAN作为收敛的增广数据网络。
其中，b～Data输入表示金字塔图像信息来源于真实图像不同层级下采样分布；p～PData表示标定信息来源于真实数据标定信息分布；z～N(0,1)表示第一层级CCGAN先验约束信息Info0为服从于正态分布的随机噪声；c～LData表示第二、三层级CCGAN先验约束信息Info1、Info2为服从于不同层级输出图像分布I1、I2；D(G(b,p,z)))表示第一层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值；D(G(b,p,c)))表示第二、三层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值。
进一步地，所述第四步骤包括：将车牌图像输入数据增广网络，依次经过三个层级的CCGAN，第三层级CCGAN的输出图像I3即为车牌图像的增广图像；输出车牌图像的增广图像。
按照本发明的第二个方面，提供了一种基于卷积神经网络的数据增广装置，该转置包括：
已标记信息图像输入模块，用于将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；
数据产生器处理模块，用于采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；
数据判别器处理模块，用于采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；
车牌图像的增广图像获取模块，用于将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出。
其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像。
其中，所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。
进一步地，所述数据产生器处理模块包括：
三级金字塔下采样图像获取模块，用于采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyri，i＝{1,2,3}；
第一层级CCGAN处理模块，用于第一层级CCGAN的先验约束信息Info0服从于正态分布随机噪声；采用拼接特征向量获取模块，获取第一层级拼接特征向量TensPIL1；对第一层级拼接特征向量TensPIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I1；对第一层级CCGAN的输出图像I1进行卷积操作，得到的结果作为第二层级的先验约束信息Info1；
第二层级CCGAN处理模块，用于采用拼接特征向量获取模块，获取第二层级拼接特征向量TensPIL2；对第二层级拼接特征向量TensPIL2进行图像上采样操作，得到的图像作为第二层级CCGAN的输出图像I2；对第二层级CCGAN的输出图像I2进行卷积操作，得到的结果作为第三层级的先验约束信息Info2；
第三层级CCGAN处理模块，用于采用拼接特征向量获取模块，获取第三层级拼接特征向量TensPIL3；对第三层级拼接特征向量TensPIL3进行图像上采样操作，得到的图像作为第三层级CCGAN的输出图像I3。
其中，所述拼接特征向量获取模块包括：
每一层级特征图获取模块，用于对于第i层级CCGAN，将第i层级下采样图像Pyri输入第i层级残差网络Resi中进行特征提取，获取维度为NPi*CPi*WPi*HPi的第i层级特征图TensPi，其中NPi为第i层级特征图TensPi的个数，WPi和HPi分别为第i层级特征图TensPi的宽度和高度，CPi为第i层级特征图TensPi对应的通道数；
每一层级先验约束图像获取模块，用于将第i层级的先验约束信息Infoi-1输入第i层级残差网络Resi中进行特征提取，获取维度为NIi*CIi*WIi*HIi的第i层级先验约束图像TensIi，其中NIi为第i层级先验约束图像TensIi的个数，WIi和HIi分别为第i层级先验约束图像TensIi的宽度和高度，CIi为第i层级先验约束图像TensIi对应的通道数；
每一层级约束特征向量获取模块，用于将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为NLi*CLi*WLi*HLi的第i层级约束特征向量Condi，其中NLi为第i层级约束特征向量Condi的个数，WLi和HLi分别为第i层级约束特征向量Condi的宽度和高度，WLi和HLi分别与第i层级先验约束图像Tensli的宽度WIi和高度HIi相同，CLi为第i层级约束特征向量Condi对应的通道数；
特征向量拼接模块，用于对于第i层级CCGAN，对第i层级特征图TensPi、第i层级先验约束图像TensIi、第i层级约束特征向量Condi进行尺度拼接，得到维度为(NPi+NIi+NLi)*CBi*WBi*HBi的第i层级拼接特征向量TensPILi，其中WBi和HBi分别为第i层级拼接特征向量TensPILi的宽度和高度，CBi为第i层级拼接特征向量TensPILi对应的通道数。
进一步地，所述数据判别器处理模块包括：
第一层级CCGAN网络参数调整模块，用于采用数据判别器，通过第一层级CCGAN的目标函数公式：GLoss_1＝min Eb～Data，p～PData，z～N(0，1)[log(1-D(G(b，p，z)))，z]，计算损失函数值GLoss_1；根据损失函数值GLoss_1调整第一层级CCGAN的网络参数，直至损失函数值GLoss_1收敛；
第二层级CCGAN网络参数调整模块，用于采用数据判别器，通过第二层级CCGAN的目标函数公式：GLoss_2＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_2；根据损失函数值GLoss_2调整第二层级CCGAN的网络参数，直至损失函数值GLoss_2收敛；
第三层级CCGAN网络参数调整模块，用于采用数据判别器，通过第三层级CCGAN的目标函数公式：GLoss_3＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_3；根据损失函数值GLoss_3调整第三层级CCGAN的网络参数，直至损失函数值GLoss_3收敛；将网络参数调整后的三个层级CCGAN作为收敛的增广数据网络。
其中，b～Data输入表示金字塔图像信息来源于真实图像不同层级下采样分布；p～PData表示标定信息来源于真实数据标定信息分布；z～N(0，1)表示第一层级CCGAN先验约束信息Info0为服从于正态分布的随机噪声；c～LData表示第二、三层级CCGAN先验约束信息Info1、Info2为服从于不同层级输出图像分布I1、I2；D(G(b，p，z)))表示第一层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值；D(G(b，p，c)))表示第二、三层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值。
进一步地，所述车牌图像的增广图像获取模块包括：用于将车牌图像输入数据增广网络，依次经过三个层级的CCGAN，第三层级CCGAN的输出图像I3即为车牌图像的增广图像；输出车牌图像的增广图像。
与现有的车牌数据增广技术相比，本发明的一种基于卷积神经网络的数据增广方法及装置可以生成车牌图像的增广图像，并且改善了车牌增广图像种类数目不均衡情况。
附图说明
图1示出了按照本发明的基于卷积神经网络的数据增广方法的流程图。
图2示出了按照本发明的基于卷积神经网络的数据增广装置的框架图。
具体实施方式
为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的基于卷积神经网络的数据增广方法的流程图。如图1所示，按照本发明的基于卷积神经网络的数据增广方法包括：
第一步骤S1，将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；
第二步骤S2，采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；
第三步骤S3，采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；
第四步骤S4，将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出。
其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像。示例性地，将标有车牌号“B3705NMP”、并且图像中只含有车牌区域的图像作为已标注车牌信息的图像。
其中，所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。所述CCGAN为基于生成对抗网络(Generative Adversarial Networks，简称GAN)的一种网络。
所述GAN可以参考“Generative Adversarial Networks.Ian J.Goodfellow,JeanPouget-Abadie,Mehdi Mirza,etc.Machine Learning.Jun 2014”的论文文献。
进一步地，所述第二步骤S2包括：
三级金字塔下采样图像获取步骤S21，采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyri，i＝{1,2,3}；
第一层级CCGAN处理步骤S22，第一层级CCGAN的先验约束信息Info0服从于正态分布随机噪声；采用拼接特征向量获取步骤S20，获取第一层级拼接特征向量TensPIL1；对第一层级拼接特征向量TensPIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I1；对第一层级CCGAN的输出图像I1进行卷积操作，得到的结果作为第二层级的先验约束信息Info1；
第二层级CCGAN处理步骤S23，采用拼接特征向量获取步骤S20，获取第二层级拼接特征向量TensPIL2；对第二层级拼接特征向量TensPIL2进行图像上采样操作，得到的图像作为第二层级CCGAN的输出图像I2；对第二层级CCGAN的输出图像I2进行卷积操作，得到的结果作为第三层级的先验约束信息Info2；
第三层级CCGAN处理步骤S24，采用拼接特征向量获取步骤S20，获取第三层级拼接特征向量TensPIL3；对第三层级拼接特征向量TensPIL3进行图像上采样操作，得到的图像作为第三层级CCGAN的输出图像I3。
其中，所述拼接特征向量获取步骤S20包括：
每一层级特征图获取步骤S201，对于第i层级CCGAN，将第i层级下采样图像Pyir输入第i层级残差网络Resi中进行特征提取，获取维度为NPi*CPi*WPi*HPi的第i层级特征图TensPi，其中NPi为第i层级特征图TensPi的个数，WPi和HPi分别为第i层级特征图TensPi的宽度和高度，CPi为第i层级特征图TensPi对应的通道数；
每一层级先验约束图像获取步骤S202，将第i层级的先验约束信息Infoi-1输入第i层级残差网络Resi中进行特征提取，获取维度为NIi*CIi*WIi*HIi的第i层级先验约束图像TensIi，其中NIi为第i层级先验约束图像TensIi的个数，WIi和HIi分别为第i层级先验约束图像TensIi的宽度和高度，CIi为第i层级先验约束图像TensIi对应的通道数；
每一层级约束特征向量获取步骤S203，将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为NLi*CLi*WLi*HLi的第i层级约束特征向量Condi，其中NLi为第i层级约束特征向量Condi的个数，WLi和HLi分别为第i层级约束特征向量Condi的宽度和高度，WLi和HLi分别与第i层级先验约束图像Tensli的宽度WIi和高度HIi相同，CLi为第i层级约束特征向量Condi对应的通道数；
特征向量拼接步骤S204，对于第i层级CCGAN，对第i层级特征图TensPi、第i层级先验约束图像TensIi、第i层级约束特征向量Condi进行尺度拼接，得到维度为(NPi+NIi+NLi)*CBi*WBi*HBi的第i层级拼接特征向量TensPILi，其中WBi和HBi分别为第i层级拼接特征向量TensPILi的宽度和高度，CBi为第i层级拼接特征向量TensPILi对应的通道数。
其中，所述残差网络(Residual Network，简称ResNet)为“Deep ResidualLearning for Image Recognition.Kaiming He，Xiangyu Zhang，Shaoqing Ren，JianSun.Computer Vision and Pattern Recognition.10Dec 2015”中描述的网络。
所述独热编码(One-Hot Encoding)将输入图像Img所对应的标定信息转换为由数字组成的向量。示例性地，对于输入图像的车牌号，只生成包含“0”～“9”10个数字、“A”～“Z”26个字母组合的图像，每一个数字或者字母分别用6位二进制数表示。例如“0”可以表示为“000000”，“9”可以表示为“001001”，“A”可以表示为“001010”，“Z”可以表示为“100011”。
进一步地，所述第三步骤S3包括：
第一层级CCGAN网络参数调整步骤S31，采用数据判别器，通过第一层级CCGAN的目标函数公式：GLoss_1＝min Eb～Data，p～PData，z～N(0，1)[log(1-D(G(b，p，z)))，z]，计算损失函数值GLoss_1；根据损失函数值GLoss_1调整第一层级CCGAN的网络参数，直至损失函数值GLoss_1收敛；
第二层级CCGAN网络参数调整步骤S32，采用数据判别器，通过第二层级CCGAN的目标函数公式：GLoss_2＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_2；根据损失函数值GLoss_2调整第二层级CCGAN的网络参数，直至损失函数值GLoss_2收敛；
第三层级CCGAN网络参数调整步骤S33，采用数据判别器，通过第三层级CCGAN的目标函数公式：GLoss_3＝min Eb～Data，p～PData，c～LData[log(1-D(G(bp，c)))，c]，计算损失函数值GLoss_3；根据损失函数值GLoss_3调整第三层级CCGAN的网络参数，直至损失函数值GLoss_3收敛；将网络参数调整后的三个层级CCGAN作为收敛的增广数据网络。
其中，b～Data输入表示金字塔图像信息来源于真实图像不同层级下采样分布；p～PData表示标定信息来源于真实数据标定信息分布；z～N(0，1)表示第一层级CCGAN先验约束信息Info0为服从于正态分布的随机噪声；c～LData表示第二、三层级CCGAN先验约束信息Info1、Info2为服从于不同层级输出图像分布I1、I2；D(G(b，p，z)))表示第一层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值；D(G(b，p，c)))表示第二、三层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值。
进一步地，所述第四步骤S4包括：将车牌图像输入数据增广网络，依次经过三个层级的CCGAN，第三层级CCGAN的输出图像I3即为车牌图像的增广图像；输出车牌图像的增广图像。
图2给出了按照本发明的基于卷积神经网络的数据增广装置的框架图。如图2所示，按照本发明的基于卷积神经网络的数据增广装置包括：
已标记信息图像输入模块10，用于将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；
数据产生器处理模块20，用于采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；
数据判别器处理模块30，用于采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；
车牌图像的增广图像获取模块40，用于将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出。
其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像。
其中，所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。
进一步地，所述数据产生器处理模块20包括：
三级金字塔下采样图像获取模块201，用于采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyri，i＝{1,2,3}；
第一层级CCGAN处理模块202，用于第一层级CCGAN的先验约束信息Info0服从于正态分布随机噪声；采用拼接特征向量获取模块200，获取第一层级拼接特征向量TensPIL1；对第一层级拼接特征向量TensPIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I1；对第一层级CCGAN的输出图像I1进行卷积操作，得到的结果作为第二层级的先验约束信息Info1；
第二层级CCGAN处理模块203，用于采用拼接特征向量获取模块200，获取第二层级拼接特征向量TensPIL2；对第二层级拼接特征向量TensPIL2进行图像上采样操作，得到的图像作为第二层级CCGAN的输出图像I2；对第二层级CCGAN的输出图像I2进行卷积操作，得到的结果作为第三层级的先验约束信息Info2；
第三层级CCGAN处理模块204，用于采用拼接特征向量获取模块200，获取第三层级拼接特征向量TensPIL3；对第三层级拼接特征向量TensPIL3进行图像上采样操作，得到的图像作为第三层级CCGAN的输出图像I3。
其中，所述拼接特征向量获取模块200包括：
每一层级特征图获取模块2001，用于对于第i层级CCGAN，将第i层级下采样图像Pyri输入第i层级残差网络Resi中进行特征提取，获取维度为NPi*CPi*WPi*HPi的第i层级特征图TensPi，其中NPi为第i层级特征图TensPi的个数，WPi和HPi分别为第i层级特征图TensPi的宽度和高度，CPi为第i层级特征图TensPi对应的通道数；
每一层级先验约束图像获取模块2002，用于将第i层级的先验约束信息Infoi-1输入第i层级残差网络Resi中进行特征提取，获取维度为NIi*CIi*WIi*HIi的第i层级先验约束图像TensIi，其中NIi为第i层级先验约束图像TensIi的个数，WIi和HIi分别为第i层级先验约束图像TensIi的宽度和高度，CIi为第i层级先验约束图像TensIi对应的通道数；
每一层级约束特征向量获取模块2003，用于将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为NLi*CLi*WLi*HLi的第i层级约束特征向量Condi，其中NLi为第i层级约束特征向量Condi的个数，WLi和HLi分别为第i层级约束特征向量Condi的宽度和高度，WLi和HLi分别与第i层级先验约束图像TensIi的宽度WIi和高度HIi相同，CLi为第i层级约束特征向量Condi对应的通道数；
特征向量拼接模块2004，用于对于第i层级CCGAN，对第i层级特征图TensPi、第i层级先验约束图像TensIi、第i层级约束特征向量Condi进行尺度拼接，得到维度为(NPi+NIi+NLi)*CBi*WBi*HBi的第i层级拼接特征向量TensPILi，其中WBi和HBi分别为第i层级拼接特征向量TensPILi的宽度和高度，CBi为第i层级拼接特征向量TensPILi对应的通道数。
进一步地，所述数据判别器处理模块30包括：
第一层级CCGAN网络参数调整模块301，用于采用数据判别器，通过第一层级CCGAN的目标函数公式：GLoss_1＝min Eb～Data，p～PData，z～N(0，1)[log(1-D(G(b，p，z)))，z]，计算损失函数值GLoss_1；根据损失函数值GLoss_1调整第一层级CCGAN的网络参数，直至损失函数值GLoss_1收敛；
第二层级CCGAN网络参数调整模块302，用于采用数据判别器，通过第二层级CCGAN的目标函数公式：GLoss_2＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_2；根据损失函数值GLoss_2调整第二层级CCGAN的网络参数，直至损失函数值GLoss_2收敛；
第三层级CCGAN网络参数调整模块303，用于采用数据判别器，通过第三层级CCGAN的目标函数公式：GLoss_3＝min Eb～Data，p～PData，c～LData[log(l-D(G(b，p，c)))，c]，计算损失函数值GLoss_3；根据损失函数值GLoss_3调整第三层级CCGAN的网络参数，直至损失函数值GLoss_3收敛；将网络参数调整后的三个层级CCGAN作为收敛的增广数据网络。
其中，b～Data输入表示金字塔图像信息来源于真实图像不同层级下采样分布；p～PData表示标定信息来源于真实数据标定信息分布；z～N(0,1)表示第一层级CCGAN先验约束信息Info0为服从于正态分布的随机噪声；c～LData表示第二、三层级CCGAN先验约束信息Info1、Info2为服从于不同层级输出图像分布I1、I2；D(G(b,p,z)))表示第一层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值；D(G(b,p,c)))表示第二、三层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值。
进一步地，所述车牌图像的增广图像获取模块40包括：用于将车牌图像输入数据增广网络，依次经过三个层级的CCGAN，第三层级CCGAN的输出图像I3即为车牌图像的增广图像；输出车牌图像的增广图像。
与现有的车牌数据增广技术相比，本发明的一种基于卷积神经网络的数据增广方法及装置可以生成车牌图像的增广图像，并且改善了车牌增广图像种类数目不均衡情况。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (10)

1.基于卷积神经网络的数据增广方法，其特征在于，该方法包括：
第一步骤，将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；
第二步骤，采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；
第三步骤，采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；
第四步骤，将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出；
其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像；所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。
2.如权利要求1所述的方法，其特征在于，所述第二步骤包括：
三级金字塔下采样图像获取步骤，采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyri，i＝{1,2,3}；
第一层级CCGAN处理步骤，第一层级CCGAN的先验约束信息Info0服从于正态分布随机噪声；采用拼接特征向量获取步骤，获取第一层级拼接特征向量TensPIL1；对第一层级拼接特征向量TensPIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I1；对第一层级CCGAN的输出图像I1进行卷积操作，得到的结果作为第二层级的先验约束信息Info1；
第二层级CCGAN处理步骤，采用拼接特征向量获取步骤，获取第二层级拼接特征向量TensPIL2；对第二层级拼接特征向量TensPIL2进行图像上采样操作，得到的图像作为第二层级CCGAN的输出图像I2；对第二层级CCGAN的输出图像I2进行卷积操作，得到的结果作为第三层级的先验约束信息Info2；
第三层级CCGAN处理步骤，采用拼接特征向量获取步骤，获取第三层级拼接特征向量TensPIL3；对第三层级拼接特征向量TensPIL3进行图像上采样操作，得到的图像作为第三层级CCGAN的输出图像I3。
3.如权利要求2所述的方法，其特征在于，所述拼接特征向量获取步骤包括：每一层级特征图获取步骤，对于第i层级CCGAN，将第i层级下采样图像Pyri输入第i层级残差网络Resi中进行特征提取，获取维度为NPi*CPi*WPi*HPi的第i层级特征图TensPi，其中NPi为第i层级特征图TensPi的个数，WPi和HPi分别为第i层级特征图TensPi的宽度和高度，CPi为第i层级特征图TensPi对应的通道数；
每一层级先验约束图像获取步骤，将第i层级的先验约束信息Infoi-1输入第i层级残差网络Resi中进行特征提取，获取维度为NIi*CIi*WIi*HIi的第i层级先验约束图像TensIi，其中NIi为第i层级先验约束图像TensIi的个数，WIi和HIi分别为第i层级先验约束图像TensIi的宽度和高度，CIi为第i层级先验约束图像TensIi对应的通道数；
每一层级约束特征向量获取步骤，将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为NLi*CLi*WLi*HLi的第i层级约束特征向量Condi，其中NLi为第i层级约束特征向量Condi的个数，WLi和HLi分别为第i层级约束特征向量Condi的宽度和高度，WLi和HLi分别与第i层级先验约束图像TensIi的宽度WIi和高度HIi相同，CLi为第i层级约束特征向量Condi对应的通道数；
特征向量拼接步骤，对于第i层级CCGAN，对第i层级特征图TensPi、第i层级先验约束图像TensIi、第i层级约束特征向量Condi进行尺度拼接，得到维度为(NPi+NIi+NLi)*CBi*WBi*HBi的第i层级拼接特征向量TensPILi，其中WBi和HBi分别为第i层级拼接特征向量TensPILi的宽度和高度，CBi为第i层级拼接特征向量TensPILi对应的通道数。
4.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
第一层级CCGAN网络参数调整步骤，采用数据判别器，通过第一层级CCGAN的目标函数公式：GLoss_1＝min Eb～Data，p～PData，z～N(0，1)[log(1-D(G(b，p，z)))，z]，计算损失函数值GLoss_1；根据损失函数值GLoss_1调整第一层级CCGAN的网络参数，直至损失函数值GLoss_1收敛；
第二层级CCGAN网络参数调整步骤，采用数据判别器，通过第二层级CCGAN的目标函数公式：GLoss_2＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_2；根据损失函数值GLoss_2调整第二层级CCGAN的网络参数，直至损失函数值GLoss_2收敛；
第三层级CCGAN网络参数调整步骤，采用数据判别器，通过第三层级CCGAN的目标函数公式：GLoss_3＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_3；根据损失函数值GLoss_3调整第三层级CCGAN的网络参数，直至损失函数值GLoss_3收敛；将网络参数调整后的三个层级CCGAN作为收敛的增广数据网络；
其中，b～Data输入表示金字塔图像信息来源于真实图像不同层级下采样分布；p～PData表示标定信息来源于真实数据标定信息分布；z～N(0,1)表示第一层级CCGAN先验约束信息Info0为服从于正态分布的随机噪声；c～LData表示第二、三层级CCGAN先验约束信息Info1、Info2为服从于不同层级输出图像分布I1、I2；D(G(b,p,z)))表示第一层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值；D(G(b,p,c)))表示第二、三层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值。
5.如权利要求1所述的方法，其特征在于，所述第四步骤包括：将车牌图像输入数据增广网络，依次经过三个层级的CCGAN，第三层级CCGAN的输出图像I3即为车牌图像的增广图像；输出车牌图像的增广图像。
6.基于卷积神经网络的数据增广装置，其特征在于，该装置包括：
已标记信息图像输入模块，用于将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；
数据产生器处理模块，用于采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；
数据判别器处理模块，用于采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；
车牌图像的增广图像获取模块，用于将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出；
其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像；所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。
7.如权利要求6所述的装置，其特征在于，所述数据产生器处理模块包括：
三级金字塔下采样图像获取模块，用于采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyri，i＝{1,2,3}；
第一层级CCGAN处理模块，用于第一层级CCGAN的先验约束信息Info0服从于正态分布随机噪声；采用拼接特征向量获取模块，获取第一层级拼接特征向量TensPIL1；对第一层级拼接特征向量TensPIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I1；对第一层级CCGAN的输出图像I1进行卷积操作，得到的结果作为第二层级的先验约束信息Info1；
第二层级CCGAN处理模块，用于采用拼接特征向量获取模块，获取第二层级拼接特征向量TensPIL2；对第二层级拼接特征向量TensPIL2进行图像上采样操作，得到的图像作为第二层级CCGAN的输出图像I2；对第二层级CCGAN的输出图像I2进行卷积操作，得到的结果作为第三层级的先验约束信息Info2；
第三层级CCGAN处理模块，用于采用拼接特征向量获取模块，获取第三层级拼接特征向量TensPIL3；对第三层级拼接特征向量TensPIL3进行图像上采样操作，得到的图像作为第三层级CCGAN的输出图像I3。
8.如权利要求7所述的装置，其特征在于，所述拼接特征向量获取模块包括：每一层级特征图获取模块，用于对于第i层级CCGAN，将第i层级下采样图像Pyri输入第i层级残差网络Resi中进行特征提取，获取维度为NPi*CPi*WPi*HPi的第i层级特征图TensPi，其中NPi为第i层级特征图TensPi的个数，WPi和HPi分别为第i层级特征图TensPi的宽度和高度，CPi为第i层级特征图TensPi对应的通道数；
每一层级先验约束图像获取模块，用于将第i层级的先验约束信息Infoi-1输入第i层级残差网络Resi中进行特征提取，获取维度为NIi*CIi*WIi*HIi的第i层级先验约束图像TensIi，其中NIi为第i层级先验约束图像TensIi的个数，WIi和HIi分别为第i层级先验约束图像TensIi的宽度和高度，CIi为第i层级先验约束图像TensIi对应的通道数；
每一层级约束特征向量获取模块，用于将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为NLi*CLi*WLi*HLi的第i层级约束特征向量Condi，其中NLi为第i层级约束特征向量Condi的个数，WLi和HLi分别为第i层级约束特征向量Condi的宽度和高度，WLi和HLi分别与第i层级先验约束图像TensIi的宽度WIi和高度HIi相同，CLi为第i层级约束特征向量Condi对应的通道数；
特征向量拼接模块，用于对于第i层级CCGAN，对第i层级特征图TensPi、第i层级先验约束图像TensIi、第i层级约束特征向量Condi进行尺度拼接，得到维度为(NPi+NIi+NLi)*CBi*WBi*HBi的第i层级拼接特征向量TensPILi，其中WBi和HBi分别为第i层级拼接特征向量TensPILi的宽度和高度，CBi为第i层级拼接特征向量TensPILi对应的通道数。
9.如权利要求6所述的装置，其特征在于，所述数据判别器处理模块包括：
第一层级CCGAN网络参数调整模块，用于采用数据判别器，通过第一层级CCGAN的目标函数公式：GLoss_1＝min Eb～Data，p～PData，z～N(0，1)[log(1-D(G(b，p，z)))，z]，计算损失函数值GLoss_1；根据损失函数值GLoss_1调整第一层级CCGAN的网络参数，直至损失函数值GLoss_1收敛；
第二层级CCGAN网络参数调整模块，用于采用数据判别器，通过第二层级CCGAN的目标函数公式：GLoss_2＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_2；根据损失函数值GLoss_2调整第二层级CCGAN的网络参数，直至损失函数值GLoss_2收敛；
第三层级CCGAN网络参数调整模块，用于采用数据判别器，通过第三层级CCGAN的目标函数公式：GLoss_3＝min Eb～Data，p～PData，c～LData[log(1-D(G(b，p，c)))，c]，计算损失函数值GLoss_3；根据损失函数值GLoss_3调整第三层级CCGAN的网络参数，直至损失函数值GLoss_3收敛；将网络参数调整后的三个层级CCGAN作为收敛的增广数据网络；
其中，b～Data输入表示金字塔图像信息来源于真实图像不同层级下采样分布；p～PData表示标定信息来源于真实数据标定信息分布；z～N(0,1)表示第一层级CCGAN先验约束信息Info0为服从于正态分布的随机噪声；c～LData表示第二、三层级CCGAN先验约束信息Info1、Info2为服从于不同层级输出图像分布I1、I2；D(G(b,p,z)))表示第一层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值；D(G(b,p,c)))表示第二、三层级CCGAN数据判别器判定数据生成器所生成样本为真实样本的概率值。
10.如权利要求6所述的装置，其特征在于，所述车牌图像的增广图像获取模块包括：用于将车牌图像输入数据增广网络，依次经过三个层级的CCGAN，第三层级CCGAN的输出图像I3即为车牌图像的增广图像；输出车牌图像的增广图像。
CN201910738162.8A 2019-08-12 2019-08-12 基于卷积神经网络的数据增广方法及装置 Active CN110569881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910738162.8A CN110569881B (zh) 2019-08-12 2019-08-12 基于卷积神经网络的数据增广方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910738162.8A CN110569881B (zh) 2019-08-12 2019-08-12 基于卷积神经网络的数据增广方法及装置

Publications (2)

Publication Number Publication Date
CN110569881A true CN110569881A (zh) 2019-12-13
CN110569881B CN110569881B (zh) 2022-03-22

Family

ID=68774954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910738162.8A Active CN110569881B (zh) 2019-08-12 2019-08-12 基于卷积神经网络的数据增广方法及装置

Country Status (1)

Country Link
CN (1) CN110569881B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428746A (zh) * 2020-01-15 2020-07-17 北京航空航天大学 一种利用条件生成对抗网络实现电离层总电子含量空间特征提取的方法
CN111598189A (zh) * 2020-07-20 2020-08-28 北京瑞莱智慧科技有限公司 产生式模型的训练方法、数据生成方法、装置、介质和设备
CN112149681A (zh) * 2020-09-28 2020-12-29 鹏城实验室 一种面向场景文本识别的数据增强方法、系统及终端
CN114241461A (zh) * 2021-10-29 2022-03-25 四川天翼网络服务有限公司 一种基于机器视觉技术的单层/双层车牌增广方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282849A1 (en) * 2013-03-14 2014-09-18 Apcera, Inc. System and method for transparently injecting policy in a platform as a service infrastructure
CN106934396A (zh) * 2017-03-09 2017-07-07 深圳市捷顺科技实业股份有限公司 一种车牌检索方法及系统
CN107480774A (zh) * 2017-08-11 2017-12-15 山东师范大学 基于集成学习的动态神经网络模型训练方法和装置
CN109144987A (zh) * 2018-08-03 2019-01-04 天津相和电气科技有限公司 基于深度学习的电力系统量测缺失值重建方法及其应用
CN109558944A (zh) * 2018-12-13 2019-04-02 北京智芯原动科技有限公司 基于可配置卷积层的卷积神经网络的算法优化方法及装置
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
CN109871888A (zh) * 2019-01-30 2019-06-11 中国地质大学（武汉） 一种基于胶囊网络的图像生成方法及系统
CN109871883A (zh) * 2019-01-24 2019-06-11 北京市商汤科技开发有限公司 神经网络训练方法及装置、电子设备和存储介质
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282849A1 (en) * 2013-03-14 2014-09-18 Apcera, Inc. System and method for transparently injecting policy in a platform as a service infrastructure
CN106934396A (zh) * 2017-03-09 2017-07-07 深圳市捷顺科技实业股份有限公司 一种车牌检索方法及系统
CN107480774A (zh) * 2017-08-11 2017-12-15 山东师范大学 基于集成学习的动态神经网络模型训练方法和装置
CN109144987A (zh) * 2018-08-03 2019-01-04 天津相和电气科技有限公司 基于深度学习的电力系统量测缺失值重建方法及其应用
CN109558944A (zh) * 2018-12-13 2019-04-02 北京智芯原动科技有限公司 基于可配置卷积层的卷积神经网络的算法优化方法及装置
CN109871883A (zh) * 2019-01-24 2019-06-11 北京市商汤科技开发有限公司 神经网络训练方法及装置、电子设备和存储介质
CN109871888A (zh) * 2019-01-30 2019-06-11 中国地质大学（武汉） 一种基于胶囊网络的图像生成方法及系统
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CONNOR SHORTEN等: "A survey on Image Data Augmentation for Deep Learning", 《BIG DATA》 *
IJ GOODFELLOW等: "Generative Adversarial Networks", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 *
KAIMING HE等: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
张文炽等: "基于卷积神经网络特征融合的交通标志识别", 《计算机应用》 *
黄攀: "基于深度学习的自然场景文字识别", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428746A (zh) * 2020-01-15 2020-07-17 北京航空航天大学 一种利用条件生成对抗网络实现电离层总电子含量空间特征提取的方法
CN111428746B (zh) * 2020-01-15 2021-02-12 北京航空航天大学 一种利用条件生成对抗网络实现电离层总电子含量空间特征提取的方法
CN111598189A (zh) * 2020-07-20 2020-08-28 北京瑞莱智慧科技有限公司 产生式模型的训练方法、数据生成方法、装置、介质和设备
CN111598189B (zh) * 2020-07-20 2020-10-30 北京瑞莱智慧科技有限公司 产生式模型的训练方法、数据生成方法、装置、介质和设备
CN112149681A (zh) * 2020-09-28 2020-12-29 鹏城实验室 一种面向场景文本识别的数据增强方法、系统及终端
CN114241461A (zh) * 2021-10-29 2022-03-25 四川天翼网络服务有限公司 一种基于机器视觉技术的单层/双层车牌增广方法

Also Published As

Publication number Publication date
CN110569881B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110569881B (zh) 基于卷积神经网络的数据增广方法及装置
Zhang et al. SteganoGAN: High capacity image steganography with GANs
CN109587372B (zh) 一种基于生成对抗网络的不可见图像隐写术
Lopez et al. Deep single image camera calibration with radial distortion
CN111126453B (zh) 基于注意力机制和切割填充的细粒度图像分类方法及系统
US11461383B2 (en) Dual deep learning architecture for machine-learning systems
CN108596026B (zh) 基于双流生成对抗网络的跨视角步态识别装置及训练方法
CN109214973B (zh) 针对隐写分析神经网络的对抗安全载体生成方法
CN106530200B (zh) 一种基于深度学习模型的隐写图像检测方法及系统
CN109584162B (zh) 一种基于生成网络的图像超分辨率重构的方法
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN113570508A (zh) 图像修复方法及装置、存储介质、终端
US20080192991A1 (en) Magnetic Resonance Imaging at Several Rf Frequencies
CN116824307B (zh) 基于sam模型的图像标注方法、装置及相关介质
CN110071798B (zh) 一种等效密钥获取方法、装置及计算机可读存储介质
Singh et al. Steganalysis of digital images using deep fractal network
JP7192128B2 (ja) 機械学習による光学補正
CN109145745A (zh) 一种遮挡情况下的人脸识别方法
Göring et al. deimeq-A Deep Neural Network Based Hybrid No-reference Image Quality Model
CN111046893A (zh) 图像相似性确定方法和装置、图像处理方法和装置
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
CN111291780A (zh) 一种跨域网络训练及图像识别方法
CN113723294A (zh) 数据处理方法、装置及对象识别方法、装置
CN115775218A (zh) 模型训练方法、视频质量评估方法、装置、设备及介质
CN109815796B (zh) 人脸识别通过率的影响因素的测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant