CN111667002B - 一种币种识别方法、识别装置、以及电子设备 - Google Patents
一种币种识别方法、识别装置、以及电子设备 Download PDFInfo
- Publication number
- CN111667002B CN111667002B CN202010505903.0A CN202010505903A CN111667002B CN 111667002 B CN111667002 B CN 111667002B CN 202010505903 A CN202010505903 A CN 202010505903A CN 111667002 B CN111667002 B CN 111667002B
- Authority
- CN
- China
- Prior art keywords
- neural network
- model
- network model
- recognition
- currency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims description 141
- 238000012549 training Methods 0.000 claims description 76
- 238000012360 testing method Methods 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 50
- 238000010606 normalization Methods 0.000 claims description 40
- 238000011176 pooling Methods 0.000 claims description 35
- 238000007781 pre-processing Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 102000006463 Talin Human genes 0.000 description 1
- 108010083809 Talin Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种币种识别方法、识别装置、以及电子设备预先训练一个用于识别钞票币种的第一识别模型、以及用于识别钞票真实性的第二识别模型,两者可以通过处理图像的方式识别钞票的币种信息,整个过程无需人为操作,具备快速、高效、低成本的优势。此外,由于在第一识别模型的基础上增加了第二识别模型,能够识别钞票真实性,这就可以避免模型错误将非钞票物体识别为钞票的误识别问题,提高识别的准确性。
Description
技术领域
本发明涉及数据处理技术领域,更具体地说,涉及一种币种识别方法、识别装置、以及电子设备。
背景技术
银行外币现钞兑换业务通常涉及到多种外币。而在实际生活中,大多数人因知识储备有限而无法准确区分币种。
当前,外币识别主要依靠人工完成,这就要求相关人员具备较高的知识储备,难以大范围推广普及。
发明内容
有鉴于此,为解决上述问题,本发明提供一种币种识别方法、识别装置、以及电子设备,技术方案如下:
一种币种识别方法,所述币种识别方法包括:
获取待识别钞票的图像;
将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息。
优选的,所述第一识别模型的训练过程,包括:
获取第一训练样本和第一测试样本;
确定第一神经网络模型,所述第一神经网络模型是通用的用于图像分类的模型;
对所述第一训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第一神经网络模型中,以调整所述第一神经网络模型的权重参数;
对所述第一测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第一神经网络模型中,以确定所述第一神经网络模型的识别准确率;
在所述第一神经网络模型的识别准确率不符合第一预设结束条件的情况下,返回执行所述对所述第一训练样本中用于本次训练的样本进行图像增强;
在所述第一神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第一神经网络模型作为所述第一识别模型。
优选的,所述第二识别模型的训练过程,包括:
获取第二训练样本和第二测试样本;
搭建第二神经网络模型,所述第二神经网络模型由输入到输出依次包括第一卷积层、均值池化层、第一批量归一化层、第二卷积层、第三卷积层、第一最大池化层、第二批量归一化层、第四卷积层、第五卷积层、第六卷积层、第二最大池化层、第三批量归一化层、flatten层、第一全连接层、Dropout层、第二全连接层;
对所述第二训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第二神经网络模型中,以调整所述第二神经网络模型的权重参数;
对所述第二测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第二神经网络模型中,以确定所述第二神经网络模型的识别准确率;
在所述第二神经网络模型的识别准确率不符合第二预设结束条件的情况下,返回执行所述对所述第二测试样本中用于本次测试样本进行预处理;
在所述第二神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第二神经网络模型作为所述第二识别模型。
优选的,所述第二神经网络模型的激活函数采用Sigmoid函数、损失函数采用CrossEntropy函数。
优选的,所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,包括:
根据所述第一识别模型所输出的第一概率、以及所述第二识别模型所输出的第二概率,计算表征所述待识别钞票所属币种的识别概率,所述识别概率是所述第一概率和所述第二概率的乘积;
判断所述识别概率是否大于所述待识别钞票所属币种对应的识别概率阈值;
若是,输出所述待识别钞票所属币种的币种信息。
优选的,所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,还包括:
若否,输出表征所述待识别钞票属于非真实钞票的提示信息。
一种币种识别装置,所述币种识别装置包括:
图像获取模块,用于获取待识别钞票的图像;
币种识别模块,用于将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息。
优选的,所述币种识别模块训练所述第一识别模型的过程,包括:
获取第一训练样本和第一测试样本;
确定第一神经网络模型,所述第一神经网络模型是通用的用于图像分类的模型;
对所述第一训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第一神经网络模型中,以调整所述第一神经网络模型的权重参数;
对所述第一测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第一神经网络模型中,以确定所述第一神经网络模型的识别准确率;
在所述第一神经网络模型的识别准确率不符合第一预设结束条件的情况下,返回执行所述对所述第一训练样本中用于本次训练的样本进行图像增强;
在所述第一神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第一神经网络模型作为所述第一识别模型。
优选的,所述币种识别模块训练所述第二识别模型的过程,包括:
获取第二训练样本和第二测试样本;
搭建第二神经网络模型,所述第二神经网络模型由输入到输出依次包括第一卷积层、均值池化层、第一批量归一化层、第二卷积层、第三卷积层、第一最大池化层、第二批量归一化层、第四卷积层、第五卷积层、第六卷积层、第二最大池化层、第三批量归一化层、flatten层、第一全连接层、Dropout层、第二全连接层;
对所述第二训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第二神经网络模型中,以调整所述第二神经网络模型的权重参数;
对所述第二测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第二神经网络模型中,以确定所述第二神经网络模型的识别准确率;
在所述第二神经网络模型的识别准确率不符合第二预设结束条件的情况下,返回执行所述对所述第二测试样本中用于本次测试样本进行预处理;
在所述第二神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第二神经网络模型作为所述第二识别模型。
一种电子设备,所述电子设备包括:
存储器,用于存储程序以及所述程序运行所产生的数据;
处理器,用于执行所述程序,以实现功能:获取待识别钞票的图像;将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息。
相较于现有技术,本发明实现的有益效果为:
本发明提供的一种币种识别方法、识别装置、以及电子设备,预先训练一个用于识别钞票币种的第一识别模型、以及用于识别钞票真实性的第二识别模型,两者可以通过处理图像的方式识别钞票的币种信息,整个过程无需人为操作,具备快速、高效、低成本的优势。
此外,由于在第一识别模型的基础上增加了第二识别模型,能够识别钞票真实性,这就可以避免模型错误将非钞票物体识别为钞票的误识别问题,提高识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种币种识别方法的流程示意图;
图2为本发明实施例提供的第二神经网络模型的结构示意图;
图3为本发明实施例提供的一种币种识别流程示意图;
图4为本发明实施例提供的币种识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参考图1,图1为本发明实施例提供的一种币种识别方法的流程示意图。
所述币种识别方法包括:
S101:获取待识别钞票的图像。
在该步骤中,包括但不限定于使用手机等带有图像拍摄功能的终端拍摄待识别钞票的图像。而币种识别模型的识别对象为图像,这就无需使用者具备任何相关知识,普及成本低。
S102:将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息。
在该步骤中,可以预先采用深度学习技术分别训练一个识别钞票币种的第一识别模型、以及一个识别钞票真实性的第二识别模型,综合第一识别模型和第二识别模型针对待识别钞票的输出结果,可以实现识别钞票币种、以及钞票真实性的效果。
需要说明的是,钞票币种包括但不限定于钞票类别、面额。钞票真实性,即待识别钞票是否为真实钞票。
在该实施例中,第一识别模型和第二识别模型通过处理图像的方式识别钞票的币种信息,整个过程无需人为操作,具备快速、高效、低成本的优势。而第二识别模型能够识别钞票真实性,这就可以避免模型错误将非钞票物体识别为钞票的误识别问题,提高识别的准确性。
进一步的,基于本发明上述实施例,第一识别模型的训练过程,包括:
获取第一训练样本和第一测试样本;
确定第一神经网络模型,所述第一神经网络模型是通用的用于图像分类的模型;
对所述第一训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第一神经网络模型中,以调整所述第一神经网络模型的权重参数;
对所述第一测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第一神经网络模型中,以确定所述第一神经网络模型的识别准确率;
在所述第一神经网络模型的识别准确率不符合第一预设结束条件的情况下,返回执行所述对所述第一训练样本中用于本次训练的样本进行图像增强;
在所述第一神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第一神经网络模型作为所述第一识别模型。
在该实施例中,获取第一训练样本和第一测试样本时,需要收集外币图像和非外币图像及标注。
而第一神经网络模型无需重新搭建,可以直接采用通用的用于图像分类的模型。具体可以使用ResNet的一个子模型ResNet50作为第一神经网络模型。而在实际应用中,第一神经网络模型的激活函数可以采用Softmax函数、损失函数可以采用CrossEntropy函数。
以下对ResNet、Softmax函数和CrossEntropy函数进行介绍说明:
ResNet,是2015年提出的一种用于进行图像分类任务的神经网络模型。本发明使用ResNet的一个子模型ResNet50作为基础模型。
Softmax函数,神经网络中常用的一种激活函数,其输出值位于区间[0,1]内,主要用于多分类问题。
CrossEntropy函数,是神经网络中常用的一种代价函数(损失函数)。
此外,在训练第一神经网络模型的过程中,可以随机有放回地从第一训练样本中选择用于本次训练的样本,并对该样本进行模糊化、随机裁剪、随机翻转等图像增强操作,进而将增加后的样本输入至第一神经网络模型中,以调整第一神经网络模型各层的权重参数。
对于本次训练结束的第一神经网络模型,可以随机有放回地从第一测试样本中选择用于本次测试的样本,并对该样本进行尺度变化、归一化等预处理操作,进而将处理后的样本输入至第一神经网络模型中,从而基于所输入样本的标注计算第一神经网络模型对于样本的识别准确率。
如果第一神经网络模型的识别准确率符合第一预设结束条件,即识别准确率高于其准确率阈值,结束第一神经网络模型的训练。反之,则进入下一轮的训练中,直到符合第一预设结束条件为止。最终得到性能最优的第一神经网络模型作为第一识别模型。
在该实施例中,基于深度学习的思想训练通用的用于图像分类的模型得到用于识别钞票币种的第一识别模型,从而为识别钞票币种提供基础。
需要说明的是,本发明将外币识别整合为一个端到端的过程,只需更换相应数据集,该方法就可以推广到其它目标识别的领域中,适用范围广、普及成本低。
进一步的,基于本发明上述实施例,所述第二识别模型的训练过程,包括:
获取第二训练样本和第二测试样本;
搭建第二神经网络模型,所述第二神经网络模型由输入到输出依次包括第一卷积层、均值池化层、第一批量归一化层、第二卷积层、第三卷积层、第一最大池化层、第二批量归一化层、第四卷积层、第五卷积层、第六卷积层、第二最大池化层、第三批量归一化层、flatten层、第一全连接层、Dropout层、第二全连接层;
对所述第二训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第二神经网络模型中,以调整所述第二神经网络模型的权重参数;
对所述第二测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第二神经网络模型中,以确定所述第二神经网络模型的识别准确率;
在所述第二神经网络模型的识别准确率不符合第二预设结束条件的情况下,返回执行所述对所述第二测试样本中用于本次测试样本进行预处理;
在所述第二神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第二神经网络模型作为所述第二识别模型。
在该实施例中,获取第一训练样本和第二测试样本时,需要收集外币图像和非外币图像及标注。
为保证钞票真实性的识别效率,需要重新搭建用于训练第二识别模型的第二神经网络模型。参考图2,图2为本发明实施例提供的第二神经网络模型的结构示意图。第二神经网络模型由输入到输出依次包括:第一卷积层(即conv2d_1:Conv2D)、均值池化层(即average_pooling2d_1:Average pooling2D)、第一批量归一化层(即bath_normalization_1:BathNnormalization)、第二卷积层(即conv2d_2:Conv2D)、第三卷积层(即conv2d_3:Conv2D)、第一最大池化层(即max_pooling2d_1:MaxPooling2D)、第二批量归一化层(即bath_normalization_2:BathNnormalization)、第四卷积层(即conv2d_4:Conv2D)、第五卷积层(即conv2d_5:Conv2D)、第六卷积层(即conv2d_6:Conv2D)、第二最大池化层(即max_pooling2d_2:MaxPooling2D)、第三批量归一化层(即bath_normalization_3:BathNnormalization)、flatten层(即flatten_1:Flatten)、第一全连接层(即dense_1:Dense)、Dropout层(即dropout_1:Dropout)、第二全连接层(即dense_2:Dense)。
以下对第二神经网络模型各层进行介绍:
第一层:conv2d_1,第一卷积层,Conv2D表示该卷积层使用2D卷积,功能在于对输入图像进行2D卷积计算进而提取图像特征。此外,input:(None,192,256,3)表示该层输入数据的维度,None表示输入图片数量;192表示输入数据的高度height;256表示输入数据的宽度width;3表示输入数据通道数。output:(None,192,256,16)表示该层输出数据的维度,None表示输入图片数量;192表示输出数据的高度height;256表示输出数据的宽度width;3表示输出数据通道数。
第二层:averae_pooling2d_1,均值池化层,Average pooling2D表示该池化层使用2D均值池化,功能在于对输入数据进行2D池化计算进而提取图像特征。此外,input:(None,192,256,16)表示该层输入数据的维度,None表示输入图片数量;192表示输入数据的高度height;256表示输入数据的宽度width;16表示输入数据通道数。output:(None,48,64,16)表示该层输出数据的维度,None表示输入图片数量;48表示输出数据的高度height;64表示输出数据的宽度width;16表示输出数据通道数。
第三层:bath_normalization_1,第一批归一化层,BathNnormalization表示该层使用Batchnormalization归一化方法,功能在于对输入数据进行归一化计算进而提取图像特征。此外,input:(None,48,64,16)表示该层输入数据的维度,None表示输入图片数量;48表示输入数据的高度height;64表示输入数据的宽度width;16表示输入数据通道数。output:(None,48,64,16)表示该层输出数据的维度,None表示输入图片数量;48表示输出数据的高度height;64表示输出数据的宽度width;16表示输出数据通道数。
第四层:conv2d_2,第二卷积层,Conv2D表示该池化层使用2D卷积,功能在于对输入数据进行2D卷积计算进而提取图像特征。此外,input:(None,48,64,16)表示该层输入数据的维度,None表示输入图片数量;192表示输入数据的高度height;256表示输入数据的宽度width;16表示输入数据通道数。output:(None,46,62,32)表示该层输出数据的维度,None表示输入图片数量;46表示输出数据的高度height;62表示输出数据的宽度width;32表示输出数据通道数。
第五层:conv2d_3,第三卷积层,Conv2D表示该池化层使用2D卷积,功能在于对输入数据进行2D卷积计算进而提取图像特征。此外,input:(None,46,62,32)表示该层输入数据的维度,None表示输入图片数量;46表示输入数据的高度height;62表示输入数据的宽度width;32表示输入数据通道数。output:(None,44,60,32)表示该层输出数据的维度,None表示输入图片数量;44表示输出数据的高度height;60表示输出数据的宽度width;32表示输出数据通道数。
第六层:max_pooling2d_1,第一最大池化层,MaxPooling2D表示该池化层使用2D最大值池化,功能在于对输入数据进行2D池化计算进而提取图像特征。此外,input:(None,44,60,32)表示该层输入数据的维度,None表示输入图片数量;44表示输入数据的高度height;60表示输入数据的宽度width;32表示输入数据通道数。output:(None,11,15,32)表示该层输出数据的维度,None表示输入图片数量;11表示输出数据的高度height;15表示输出数据的宽度width;32表示输出数据通道数。
第七层:bath_normalization_2,第二批归一化层,BathNnormalization表示该层使用Batchnormalization归一化方法,功能在于对输入数据进行归一化计算进而提取图像特征。此外,input:(None,11,15,32)表示该层输入数据的维度,None表示输入图片数量;11表示输入数据的高度height;15表示输入数据的宽度width;32表示输入数据通道数。output:(None,11,15,32)表示该层输出数据的维度,None表示输入图片数量;11表示输出数据的高度height;15表示输出数据的宽度width;32表示输出数据通道数。
第八层:conv2d_4,第四卷积层,Conv2D表示该池化层使用2D卷积,功能在于对输入数据进行2D卷积计算进而提取图像特征。此外,input:(None,11,15,32)表示该层输入数据的维度,None表示输入图片数量;11表示输入数据的高度height;15表示输入数据的宽度width;32表示输入数据通道数。output:(None,9,13,64)表示该层输出数据的维度,None表示输入图片数量;9表示输出数据的高度height;13表示输出数据的宽度width;64表示输出数据通道数。
第九层:conv2d_5,第五卷积层,Conv2D表示该池化层使用2D卷积,功能在于对输入数据进行2D卷积计算进而提取图像特征。此外,input:(None,9,13,64)表示该层输入数据的维度,None表示输入图片数量;9表示输入数据的高度height;13表示输入数据的宽度width;64表示输入数据通道数。output:(None,7,11,64)表示该层输出数据的维度,None表示输入图片数量;7表示输出数据的高度height;11表示输出数据的宽度width;64表示输出数据通道数。
第十层:conv2d_6,第六卷积层,Conv2D表示该池化层使用2D卷积,功能在于对输入数据进行2D卷积计算进而提取图像特征。此外,input:(None,7,11,64)表示该层输入数据的维度,None表示输入图片数量;7表示输入数据的高度height;11表示输入数据的宽度width;64表示输入数据通道数。output:(None,5,9,64)表示该层输出数据的维度,None表示输入图片数量;5表示输出数据的高度height;9表示输出数据的宽度width;64表示输出数据通道数。
第十一层:max_pooling2d_2,第二最大池化层,MaxPooling2D表示该池化层使用2D最大值池化,功能在于对输入数据进行2D池化计算进而提取图像特征。此外,input:(None,5,9,64)表示该层输入数据的维度,None表示输入图片数量;5表示输入数据的高度height;9表示输入数据的宽度width;64表示输入数据通道数。output:(None,2,4,64)表示该层输出数据的维度,None表示输入图片数量;2表示输出数据的高度height;4表示输出数据的宽度width;64表示输出数据通道数。
第十二层:bath_normalization_3,第三批归一化层,BathNnormalization表示该层使用Batchnormalization归一化方法,功能在于对输入数据进行归一化计算进而提取图像特征。此外,input:(None,2,4,64)表示该层输入数据的维度,None表示输入图片数量;2表示输入数据的高度height;4表示输入数据的宽度width;64表示输入数据通道数。output:(None,2,4,64)表示该层输出数据的维度,None表示输入图片数量;2表示输出数据的高度height;4表示输出数据的宽度width;64表示输出数据通道数。
第十三层:flatten_1,flatten层,功能在于对输入数据进行维度压缩,将数据从4个维度压缩为2个维度。此外,input:(None,2,4,64)表示该层输入数据的维度,None表示输入图片数量;2表示输入数据的高度height;4表示输入数据的宽度width;64表示输入数据通道数。output:(None,512)表示该层输出数据的维度,None表示输入图片数量;512表示输出数据宽度width。
第十四层:dense_1,第一全连接层,Dense表示该层为全连接层,功能在于对数据进行矩阵乘法计算。此外,input:(None,512)表示该层输入数据的维度,None表示输入图片数量;512表示输入数据的宽度width。output:(None,64)表示该层输出数据的维度,None表示输入图片数量;64表示输出数据宽度width。
第十五层:dropout_1,Dropout层,功能在于随机对输入数据进行置零。此外,input:(None,64)表示该层输入数据的维度,None表示输入图片数量;64表示输入数据的宽度width。output:(None,64)表示该层输出数据的维度,None表示输入图片数量;64表示输出数据宽度width。
第十六层:dense_2,第二全连接层,Dense表示该层为全连接层,功能在于对输入数据进行进行矩阵乘法计算。此外,input:(None,64)表示该层输入数据的维度,None表示输入图片数量;64表示输入数据的宽度width。output:(None,1)表示该层输出数据的维度,None表示输入图片数量;1表示输出数据宽度width。
在实际应用中,第二神经网络模型的激活函数可以采用Sigmoid函数、损失函数可以采用CrossEntropy函数。
以下对Sigmoid函数进行介绍说明:
Sigmoid函数,神经网络中常用的一种激活函数,其输出值位于区间[0,1]内,主要用于二分类问题。
此外,在训练第二神经网络模型的过程中,可以随机有放回地从第二训练样本中选择用于本次训练的样本,并对该样本进行模糊化、随机裁剪、随机翻转等图像增强操作,进而将增加后的样本输入至第二神经网络模型中,以调整第二神经网络模型各层的权重参数。
对于本次训练结束的第二神经网络模型,可以随机有放回地从第二测试样本中选择用于本次测试的样本,并对该样本进行尺度变化、归一化等预处理操作,进而将处理后的样本输入至第二神经网络模型中,从而基于所输入样本的标注计算第二神经网络模型对于样本的识别准确率。
如果第二神经网络模型的识别准确率符合第二预设结束条件,即识别准确率高于准确率阈值,结束第二神经网络模型的训练。反之,则进入下一轮的训练中,直到符合第二预设结束条件为止。最终得到性能最优的第二神经网络模型作为第二识别模型。
在该实施例中,基于深度学习的思想训练搭建的第二神经网络模型得到用于识别钞票真实性的第二识别模型,在训练第二识别模型过程中搭建了本发明目的的神经网络模型,从而为识别钞票真实性提供基础。
需要说明的是,本发明将外币识别整合为一个端到端的过程,只需更换相应数据集,该方法就可以推广到其它目标识别的领域中,适用范围广、普及成本低。
进一步的,基于本发明上述实施例,所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,包括:
根据所述第一识别模型所输出的第一概率、以及所述第二识别模型所输出的第二概率,计算表征所述待识别钞票所属币种的识别概率,所述识别概率是所述第一概率和所述第二概率的乘积;
判断所述识别概率是否大于所述待识别钞票所属币种对应的识别概率阈值;
若是,输出所述待识别钞票所属币种的币种信息。
参考图3,图3为本发明实施例提供的一种币种识别流程示意图。在第一识别模型中,其输出表征待识别钞票币种(即类别)的第一概率prob(class)=[prob(class_1),prob(class_2),…,prob(class_n)];在第二识别模型中,其输出表征待识别钞票真实性的第二概率prob(money)。
通过第一识别模型和第二识别模型的输出结果,将第一概率与第二概率的乘积作为待识别钞票所属币种的识别概率,从而以此作为判断基础,输出待识别钞票所属币种的币种信息。
具体的,由于币种类型较多,在判断识别概率是否大于待识别钞票所属币种对应的识别概率阈值时,可以从待识别钞票所属币种的识别概率prob(class)*prob(money)=[prob(class_1)*prob(money),prob(class_2)*prob(money),…,prob(class_n)*prob(money)]中选择最大的识别概率作为待比较的识别概率。
假设所选择的识别概率为prob(class_1)*prob(money),则将prob(class_1)*prob(money)与prob(class_1)对应的识别概率阈值prob’(class_1)进行比较。如果prob(class_1)*prob(money)大于prob’(class_1),则该prob(class_1)*prob(money)为所属币种对应的置信度,并输出所属币种的币种信息,包括钞票类别、面额。
在此基础上,如果识别概率不大于所述待识别钞票所属币种对应的识别概率阈值,则输出表征所述待识别钞票属于非真实钞票的提示信息。具体可以文本信息、语音播报等方式进行提示,对此不做限定。
进一步的,基于本发明上述全部实施例,在本发明另一实施例中还提供了一种币种识别装置,参考图4,图4为本发明实施例提供的币种识别装置的结构示意图。
所述币种识别装置包括:
图像获取模块21,用于获取待识别钞票的图像;
币种识别模块22,用于将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息。
进一步的,基于本发明上述实施例,所述币种识别模块22训练所述第一识别模型的过程,包括:
获取第一训练样本和第一测试样本;
确定第一神经网络模型,所述第一神经网络模型是通用的用于图像分类的模型;
对所述第一训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第一神经网络模型中,以调整所述第一神经网络模型的权重参数;
对所述第一测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第一神经网络模型中,以确定所述第一神经网络模型的识别准确率;
在所述第一神经网络模型的识别准确率不符合第一预设结束条件的情况下,返回执行所述对所述第一训练样本中用于本次训练的样本进行图像增强;
在所述第一神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第一神经网络模型作为所述第一识别模型。
进一步的,基于本发明上述实施例,所述币种识别模块22训练所述第二识别模型的过程,包括:
获取第二训练样本和第二测试样本;
搭建第二神经网络模型,所述第二神经网络模型由输入到输出依次包括第一卷积层、均值池化层、第一批量归一化层、第二卷积层、第三卷积层、第一最大池化层、第二批量归一化层、第四卷积层、第五卷积层、第六卷积层、第二最大池化层、第三批量归一化层、flatten层、第一全连接层、Dropout层、第二全连接层;
对所述第二训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第二神经网络模型中,以调整所述第二神经网络模型的权重参数;
对所述第二测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第二神经网络模型中,以确定所述第二神经网络模型的识别准确率;
在所述第二神经网络模型的识别准确率不符合第二预设结束条件的情况下,返回执行所述对所述第二测试样本中用于本次测试样本进行预处理;
在所述第二神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第二神经网络模型作为所述第二识别模型。
进一步的,基于本发明上述实施例,所述第二神经网络模型的激活函数采用Sigmoid函数、损失函数采用CrossEntropy函数。
进一步的,基于本发明上述实施例,用于通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息的币种识别模块22,具体用于:
根据所述第一识别模型所输出的第一概率、以及所述第二识别模型所输出的第二概率,计算表征所述待识别钞票所属币种的识别概率,所述识别概率是所述第一概率和所述第二概率的乘积;
判断所述识别概率是否大于所述待识别钞票所属币种对应的识别概率阈值;
若是,输出所述待识别钞票所属币种的币种信息。
进一步的,基于本发明上述实施例,所述币种识别模块22,还用于:
若否,输出表征所述待识别钞票属于非真实钞票的提示信息。
需要说明的是,本发明实施例提供的币种识别装置与币种识别方法的原理相同,在此不再赘述。
进一步的,基于本发明上述全部实施例,在本发明另一实施例中还提供了一种电子设备。
所述电子设备包括:
存储器,用于存储程序以及所述程序运行所产生的数据;
处理器,用于执行所述程序,以实现功能:获取待识别钞票的图像;将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息。
需要说明的是,本发明实施例提供的电子设备与币种识别方法的原理相同,在此不再赘述。
以上对本发明所提供的一种币种识别方法、识别装置、以及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素,或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种币种识别方法,其特征在于,所述币种识别方法包括:
获取待识别钞票的图像;
将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息;
所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,包括:
根据所述第一识别模型所输出的第一概率、以及所述第二识别模型所输出的第二概率,计算表征所述待识别钞票所属币种的识别概率,所述识别概率是所述第一概率和所述第二概率的乘积;
判断所述识别概率是否大于所述待识别钞票所属币种对应的识别概率阈值;
若是,输出所述待识别钞票所属币种的币种信息。
2.根据权利要求1所述的方法,其特征在于,所述第一识别模型的训练过程,包括:
获取第一训练样本和第一测试样本;
确定第一神经网络模型,所述第一神经网络模型是通用的用于图像分类的模型;
对所述第一训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第一神经网络模型中,以调整所述第一神经网络模型的权重参数;
对所述第一测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第一神经网络模型中,以确定所述第一神经网络模型的识别准确率;
在所述第一神经网络模型的识别准确率不符合第一预设结束条件的情况下,返回执行所述对所述第一训练样本中用于本次训练的样本进行图像增强;
在所述第一神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第一神经网络模型作为所述第一识别模型。
3.根据权利要求1所述的方法,其特征在于,所述第二识别模型的训练过程,包括:
获取第二训练样本和第二测试样本;
搭建第二神经网络模型,所述第二神经网络模型由输入到输出依次包括第一卷积层输入层、均值池化层、第一批量归一化层、第二卷积层、第三卷积层、第一最大池化层、第二批量归一化层、第四卷积层、第五卷积层、第六卷积层、第二最大池化层、第三批量归一化层、flatten层、第一全连接层、Dropout层、第二全连接层;
对所述第二训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第二神经网络模型中,以调整所述第二神经网络模型的权重参数;
对所述第二测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第二神经网络模型中,以确定所述第二神经网络模型的识别准确率;
在所述第二神经网络模型的识别准确率不符合第二预设结束条件的情况下,返回执行所述对所述第二测试样本中用于本次测试样本进行预处理;
在所述第二神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第二神经网络模型作为所述第二识别模型。
4.根据权利要求3所述的方法,其特征在于,所述第二神经网络模型的激活函数采用Sigmoid函数、损失函数采用CrossEntropy函数。
5.根据权利要求1所述的方法,其特征在于,所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,还包括:
若否,输出表征所述待识别钞票属于非真实钞票的提示信息。
6.一种币种识别装置,其特征在于,所述币种识别装置包括:
图像获取模块,用于获取待识别钞票的图像;
币种识别模块,用于将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息;所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,包括:根据所述第一识别模型所输出的第一概率、以及所述第二识别模型所输出的第二概率,计算表征所述待识别钞票所属币种的识别概率,所述识别概率是所述第一概率和所述第二概率的乘积;判断所述识别概率是否大于所述待识别钞票所属币种对应的识别概率阈值;若是,输出所述待识别钞票所属币种的币种信息。
7.根据权利要求6所述的装置,其特征在于,所述币种识别模块训练所述第一识别模型的过程,包括:
获取第一训练样本和第一测试样本;
确定第一神经网络模型,所述第一神经网络模型是通用的用于图像分类的模型;
对所述第一训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第一神经网络模型中,以调整所述第一神经网络模型的权重参数;
对所述第一测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第一神经网络模型中,以确定所述第一神经网络模型的识别准确率;
在所述第一神经网络模型的识别准确率不符合第一预设结束条件的情况下,返回执行所述对所述第一训练样本中用于本次训练的样本进行图像增强;
在所述第一神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第一神经网络模型作为所述第一识别模型。
8.根据权利要求6所述的装置,其特征在于,所述币种识别模块训练所述第二识别模型的过程,包括:
获取第二训练样本和第二测试样本;
搭建第二神经网络模型,所述第二神经网络模型由输入到输出依次包括第一卷积层、均值池化层、第一批量归一化层、第二卷积层、第三卷积层、第一最大池化层、第二批量归一化层、第四卷积层、第五卷积层、第六卷积层、第二最大池化层、第三批量归一化层、flatten层、第一全连接层、Dropout层、第二全连接层;
对所述第二训练样本中用于本次训练的样本进行图像增强,并将增强后的样本输入至所述第二神经网络模型中,以调整所述第二神经网络模型的权重参数;
对所述第二测试样本中用于本次测试样本进行预处理,并将处理后所述样本输入至所述第二神经网络模型中,以确定所述第二神经网络模型的识别准确率;
在所述第二神经网络模型的识别准确率不符合第二预设结束条件的情况下,返回执行所述对所述第二测试样本中用于本次测试样本进行预处理;
在所述第二神经网络模型的识别准确率符合第一预设结束条件的情况下,将所述第二神经网络模型作为所述第二识别模型。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储程序以及所述程序运行所产生的数据;
处理器,用于执行所述程序,以实现功能:获取待识别钞票的图像;将所述待识别钞票的图像分别输入至预先训练的用于识别钞票币种的第一识别模型和用于识别钞票真实性的第二识别模型中,通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息;所述通过所述第一识别模型和所述第二识别模型的输出结果识别所述待识别钞票的币种信息,包括:根据所述第一识别模型所输出的第一概率、以及所述第二识别模型所输出的第二概率,计算表征所述待识别钞票所属币种的识别概率,所述识别概率是所述第一概率和所述第二概率的乘积;判断所述识别概率是否大于所述待识别钞票所属币种对应的识别概率阈值;若是,输出所述待识别钞票所属币种的币种信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010505903.0A CN111667002B (zh) | 2020-06-05 | 2020-06-05 | 一种币种识别方法、识别装置、以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010505903.0A CN111667002B (zh) | 2020-06-05 | 2020-06-05 | 一种币种识别方法、识别装置、以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667002A CN111667002A (zh) | 2020-09-15 |
CN111667002B true CN111667002B (zh) | 2023-11-24 |
Family
ID=72386593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010505903.0A Active CN111667002B (zh) | 2020-06-05 | 2020-06-05 | 一种币种识别方法、识别装置、以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667002B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112613553B (zh) * | 2020-12-18 | 2022-03-08 | 中电金信软件有限公司 | 图片样本集生成方法、装置、计算机设备和存储介质 |
CN113159777A (zh) * | 2021-05-28 | 2021-07-23 | 中国银行股份有限公司 | 基于vr的外币识别方法、客户端、云端服务器及系统 |
CN113901942A (zh) * | 2021-10-25 | 2022-01-07 | 广州广电运通金融电子股份有限公司 | 多模态货币识别系统、方法、存储介质和终端 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1653492A (zh) * | 2002-08-30 | 2005-08-10 | 富士通株式会社 | 纸片鉴别装置、纸片鉴别方法及程序 |
CN101908241A (zh) * | 2010-08-03 | 2010-12-08 | 广州广电运通金融电子股份有限公司 | 有价文件识别方法及其识别系统 |
CN108734850A (zh) * | 2018-04-27 | 2018-11-02 | 深圳怡化电脑股份有限公司 | 纸币识别方法、纸币识别装置及终端设备 |
CN109117885A (zh) * | 2018-08-17 | 2019-01-01 | 北方民族大学 | 一种基于深度学习的邮票识别方法 |
CN109389615A (zh) * | 2018-09-29 | 2019-02-26 | 佳都新太科技股份有限公司 | 基于深度学习卷积神经网络的硬币识别方法及处理终端 |
CN111209964A (zh) * | 2020-01-06 | 2020-05-29 | 武汉市盛隽科技有限公司 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
-
2020
- 2020-06-05 CN CN202010505903.0A patent/CN111667002B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1653492A (zh) * | 2002-08-30 | 2005-08-10 | 富士通株式会社 | 纸片鉴别装置、纸片鉴别方法及程序 |
CN101908241A (zh) * | 2010-08-03 | 2010-12-08 | 广州广电运通金融电子股份有限公司 | 有价文件识别方法及其识别系统 |
CN108734850A (zh) * | 2018-04-27 | 2018-11-02 | 深圳怡化电脑股份有限公司 | 纸币识别方法、纸币识别装置及终端设备 |
CN109117885A (zh) * | 2018-08-17 | 2019-01-01 | 北方民族大学 | 一种基于深度学习的邮票识别方法 |
CN109389615A (zh) * | 2018-09-29 | 2019-02-26 | 佳都新太科技股份有限公司 | 基于深度学习卷积神经网络的硬币识别方法及处理终端 |
CN111209964A (zh) * | 2020-01-06 | 2020-05-29 | 武汉市盛隽科技有限公司 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
Also Published As
Publication number | Publication date |
---|---|
CN111667002A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652318B (zh) | 一种币种识别方法、识别装置、以及电子设备 | |
CN111667002B (zh) | 一种币种识别方法、识别装置、以及电子设备 | |
CN108198574B (zh) | 变声检测方法及装置 | |
CN106446895A (zh) | 一种基于深度卷积神经网络的车牌识别方法 | |
CN113221673B (zh) | 基于多尺度特征聚集的说话人认证方法及系统 | |
CN107835496A (zh) | 一种垃圾短信的识别方法、装置和服务器 | |
CN112562741B (zh) | 一种基于点积自注意力卷积神经网络的歌声检测方法 | |
CN111564163A (zh) | 一种基于rnn的多种伪造操作语音检测方法 | |
CN103531198A (zh) | 一种基于伪说话人聚类的语音情感特征规整化方法 | |
CN110084812B (zh) | 一种太赫兹图像缺陷检测方法、装置、系统及存储介质 | |
CN111508524B (zh) | 语音来源设备的识别方法和系统 | |
CN113628612A (zh) | 语音识别方法、装置、电子设备及计算机可读存储介质 | |
CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
CN114420151B (zh) | 基于并联张量分解卷积神经网络的语音情感识别方法 | |
CN111242131B (zh) | 一种智能阅卷中图像识别的方法、存储介质及装置 | |
CN109617864B (zh) | 一种网站识别方法及网站识别系统 | |
CN118294455A (zh) | 钕铁硼电镀毛坯的智能检测系统及方法 | |
CN110414586A (zh) | 基于深度学习的防伪标签验伪方法、装置、设备及介质 | |
CN113673465A (zh) | 图像检测方法、装置、设备及可读存储介质 | |
CN117649621A (zh) | 一种伪造视频检测方法、装置及设备 | |
CN116311430A (zh) | 基于图像多样化特征的深度伪造检测方法与装置 | |
CN116186513A (zh) | 一种基于一维卷积神经网络的振动信号识别方法 | |
CN112507137B (zh) | 开放环境下基于粒度感知的少样本关系抽取方法及应用 | |
CN114882289A (zh) | 基于自适应确定拒判准则的sar目标开集识别方法 | |
CN114333840A (zh) | 语音鉴别方法及相关装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Xu Xiaojian Inventor after: Peng Bo Inventor after: Luan Yingying Inventor after: Yan Hao Inventor after: Tong Chujie Inventor after: Li Fuyang Inventor after: Zhang Jing Inventor before: Xu Xiaojian |
|
GR01 | Patent grant | ||
GR01 | Patent grant |