CN104866868A - 基于深度神经网络的金属币识别方法和装置 - Google Patents
基于深度神经网络的金属币识别方法和装置 Download PDFInfo
- Publication number
- CN104866868A CN104866868A CN201510265617.0A CN201510265617A CN104866868A CN 104866868 A CN104866868 A CN 104866868A CN 201510265617 A CN201510265617 A CN 201510265617A CN 104866868 A CN104866868 A CN 104866868A
- Authority
- CN
- China
- Prior art keywords
- layer
- noise
- neural network
- deep neural
- metal coins
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002184 metal Substances 0.000 title claims abstract description 151
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 13
- 238000013461 design Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000019771 cognition Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 11
- 238000005299 abrasion Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 10
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 7
- 229910052802 copper Inorganic materials 0.000 description 7
- 239000010949 copper Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052752 metalloid Inorganic materials 0.000 description 1
- 150000002738 metalloids Chemical class 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明的实施方式提供了一种基于深度神经网络的金属币识别方法。该方法包括:基于金属币的特征设计第一深度神经网络模型,第一深度神经网络模型包括随机噪声网络层和光噪声处理层;将经训练的第一深度神经网络模型去除随机噪声网络层,获得第二深度神经网络模型;利用第二深度神经网络模型,对待识别的金属币进行识别。通过本发明上述实施例方式的方法,可以得到一个能够有效去除金属币的随机噪声和光噪声的影响的深度神经网络模型,通过该模型进行金属币识别可以有效避免因金属币磨损或光照影响而导致的金属币识别容易出错的问题,有效提高了金属币识别的准确性。此外,本发明的实施方式提供了一种基于深度神经网络的金属币识别装置。
Description
技术领域
本发明的实施方式涉及神经网络领域,更具体地,本发明的实施方式涉及一种基于深度神经网络的金属币识别方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着智能技术的发展,图像识别的使用和需求也在迅速发展。所谓的图像识别主要有:从图像中识别出目标对象,或者是识别出图像中的某个对象所属的类别等等。可以将其理解为近似于人面对一副图像或者一个场景时,通过肉眼和大脑实现对图像或者场景中所出现的物品进行区分和辨别。
目前,常用的图像识别(这里主要指识别图像中的某个对象所属的类别)方法主要有以下几种:1)基于神经网络;2)基于Hu不变距特征搜索;3)基于SIFT特征点匹配搜索。
然而,如果通过上述几种方式对金属币进行识别,往往都存在不同程度的问题,具体的:
1)基于神经网络,一般是采用人工设计的图像特征算子作为输入,然而,目前人工设计的特征算子在金属币识别领域并不适用,而且神经网络多为浅层结构,难以学习到有效的高层抽象的金属币特征;
2)基于Hu不变距特征搜索,一般是利用物体的形状特征。然而,在金属币识别领域,由于不同类别的金属币之间区别可能会很小,而且金属币的磨损情况可能会比较严重,因此Hu不变特征搜索的方式难以有效地捕获金属币的形状特征。
3)基于SIFT特征点匹配搜索,由于金属币相似性纹理较多,且字体性位置的边缘特征反光可能较严重,而且可能会有不同程度的磨损,因此容易出现提取出的有效SIFT特征点较少的问题,从而使得错误匹配现象严重。
发明内容
出于金属币存在磨损程度可能比较严重、反光现象也经常出现的原因,现有技术的图像识别技术难以有效实现对金属币的识别。
为此,非常需要一种改进的金属币识别方法,以实现对金属币准确有效地识别。
在本发明实施方式的第一方面中,提供了一种基于深度神经网络的金属币识别方法,例如,可以包括:基于金属币的特征设计第一深度神经网络模型,其中,所述第一深度神经网络模型包括随机噪声网络层和光噪声处理层;利用金属币样本图像,对所述第一深度神经网络模型进行训练;将经训练的所述第一深度神经网络模型去除所述随机噪声网络层,获得第二深度神经网络模型;利用所述第二深度神经网络模型,对待识别的金属币进行识别。
在本发明实施方式的第二方面中,提供了一种基于深度神经网络的金属币识别装置,例如,可以包括:模型设计模块,用于基于金属币的特征设计第一深度神经网络模型,其中,所述第一深度神经网络模型包括随机噪声网络层和光噪声处理层;模型训练模块,用于利用金属币样本图像,对所述第一深度神经网络模型进行训练;识别模型获取模块,用于将经训练的所述第一深度神经网络模型去除所述随机噪声网络层,获得第二深度神经网络模型;金属币识别模块,用于利用所述第二深度神经网络模型,对待识别的金属币进行识别。
通过本发明的基于深度神经网络的金属币识别方法和装置,可以得到一个能够有效去除金属币的随机噪声和光噪声的影响的深度神经网络模型,通过该模型进行金属币识别可以有效避免因金属币磨损或光照影响而导致的金属币识别容易出错的问题,有效提高了金属币识别的准确性。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1示意性地示出了根据本发明实施方式的应用场景示意图;
图2示意性地示出了根据本发明实施例的训练阶段的方法流程图;
图3示意性地示出了根据本发明实施例的深度神经网络模型示意图;
图4示意性地示出了根据本发明实施例的光噪声处理的基本流程图;
图5示意性地示出了根据本发明实施例的深度神经网络模型另一示意图;
图6示意性地示出了根据本发明一实施例的卷积操作模型;
图7示意性地示出了根据本发明一实施例的池化操作模型;
图8示意性地示出了根据本发明实施例的深度神经网络模型又一示意图;
图9示意性地示出了根据本发明实施例的金属币识别阶段的方法流程图;
图10示意性地示出了根据本发明实施例的深度神经网络模型再一示意图;
图11示意性地示出了根据本发明实施例的基于深度神经网络的金属币识别装置的结构框图;
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种基于深度神经网络的金属币识别方法和装置。
值得注意的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
发明概述
本发明人发现,现有的图像识别方法之所以无法有效地实现对金属币的识别,主要是因为金属币存在磨损严重和受光照影响的因素,即,这些影响的原因综合起来而言就是金属币自身会存在一些随机噪声和光噪声。如果可以有效去除光噪声和随机噪声的影响,从一定程度上可以有效提高金属币识别的准确性。
进一步的,发明人考虑到可以通过深度学习的方式为识别模型增加对随机噪声和光噪声的处理,其中,所谓的深度学习(Deep Learning)是一种建立、模拟人脑进行分析学习的神经网络,通过模仿人脑的机制来解释数据,从本质上来说,深度学习是基于以前的人工神经网络模型发展而来的,一般可以采用计算机科学中的图模型来直观的表达深度学习的网络模型,其中,深度学习中的“深度”指的便是图模型的层数以及每一层的节点数量,相对于之前的神经网络模型而言,深度学习的网络模型的智能性更高一些。
为此,本发明提供了一种金属币识别方法,通过该方法进行金属币识别的过程可以包括:基于金属币的特征设计深度神经网络模型,其中,该深度神经网络模型包括:随机噪声网络层和光噪声处理层;利用金属币样本图像,对所述深度神经网络模型进行训练。这样得到的深度神经网络模型就是能够进行随机噪声和光噪声处理的网络模型,也就使得训练得到的模型是已经考虑了随机噪声和光噪声的,这样通过该训练后的神经网络模型进行金属币识别的时候,就可以有效避免因为磨损和光照对金属币识别结果准确度的不利影响。
在本例中,金属币可以是一种具有流通价值、纪念价值或收藏价值的币种,具体的,按照类型可以分可以包括:金属材质的货币、纪念币等,按照使用年代分可以包括:古币、现代币等,按照材质分可以包括:铜币、金币等。然而上述对类型、使用年代和材质等的举例,仅是为了更好的说明本申请,并不构成对本申请的不当限定。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图1,处理设备100可以是一台计算机、一组计算机集群、或者是一台单一的处理器等,只要是能够实现对数据进行分析和处理的设备都是可以的,存储设备200可以是一个常规的存储器、云存储器,甚至也可以是互联网,只要是能够实现训练图像的获取和存储的设备都是可以的。处理设备100与存储设备200之间例如可以通过移动互联网、物理排线等方式进行通信连接。
利用本发明实施例提供的金属币识别方法,处理设备100基于金属币的特征设计一个深度神经网络模型,该模型中加入了随机噪声网络层和光噪声处理层,然后,处理设备100从存储设备200中获取金属币样本图像,通过获取的这些金属币样本图像对设计的深度神经网络模型进行训练以得到该模型可以进行金属币识别,然后将其中的随机噪声网络层去掉,通过去掉了随机噪声网络层的深度神经网络模型进行金属币识别,从而实现了对金属币的准确识别。
示例性方法
下面结合图1的应用场景,对本发明的基于深度神经网络的金属币识别方法进行介绍。
需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
下面结合图2至图9对金属币识别方法的流程进行描述。
从大方向而言,主要可以包括以下两个阶段:第一阶段:模型训练;第二阶段:金属币识别。
下面对这两个阶段进行具体描述:
如图2所示,训练阶段可以包括:
步骤201:基于金属币的特征设计深度神经网络模型:
1)由于在真实场景中,金属币图片受噪声的影响很大,其中,不仅有自身的噪声影响,例如:金属币由于年代久远,磨损情况严重;还有环境噪声影响,例如:环境背景;设置还有用户拍摄噪声影响,例如:用户摆放铜币位置不规整。考虑到金属币真实场景中噪声干扰识别这一问题,针对金属币特有的噪声问题,在该神经网络模型中采用了随机噪声模拟技术,为此,在如图3所示的深度神经网络模型中除了常规的特征抽取模块、特征组合模块和分类层之外还增加了随机噪声层,用来模拟真实场景的噪声,让训练图片与识别图片相对较为一致,从机器学习算法原理而言,也增加了模型训练的鲁棒性,有效地防止了金属币模型训练的过拟合现象。
2)在真实场景中,由于金属币为金属铜材质制造而成,因此光照对金属币识别的影响较大:在弱光场景中,容易造成金属币一团黑现象,从而使得金属币上的凹凸纹理以及文字难以分辨,而在强光场景中,金属铜材质反光现象严重,造成金属币光照不均衡。为此,在如图3所示的深度神经网络模型中除了常规的特征抽取模块和特征组合模块之外还增加光噪声处理层。
步骤202:利用金属币样本图像,对图3所示的深度神经网络模型进行训练;
其中,金属币样本图像可以按照以下步骤获取的:
S1:首先,可以从自然场景中获取包含金属币的图片作为训练样本,也可以从互联网中获取携带有金属币图像的图片作为训练样本。
S2:对图片进行人工裁剪,使得金属币尽量充满裁剪的区域,然后可以按照金属币的类别对金属币样本进行类别记录。例如:可以将湖北省六瓣花系列铜元归为一类。
S3:在获取了人工剪裁图片后,可以通过一定的算法进行圆形区域检测,即检测出金属币区域,例如,可以利用霍夫曼算法进行圆形区域检测,然后为了使得金属币区域与其它非金属币区域进行区分,可以将除金属币区域外的其它区域进行黑色填充,以减少背景干扰。
S4:可以对所有的处理后的图像进行统一缩放,例如可以将其缩放到320*320像素,然后将进行统一缩放后的图像作为最终的金属币样本图像。
在得到金属币样本图像后,就可以将其作为图3所示的深度神经网络模型的输入数据进行模型的有限次的优化迭代训练了,最终保存训练完的模型参数,将模型参数代入至深度神经网络模型中作为最终得到的训练完的模型。具体的,在金属币样本图像经过随机噪声网络层时,对图像进行随机噪声的叠加处理,在经过随机噪声的叠加处理后的图像经过光噪声处理层时,对图像进行降低光噪声影响的处理;利用经过降低光噪声影响的处理后的图像作为输入,从图3所示的深度神经网络模型除随机噪声网络层和光噪声处理层之外的层,由首层至末层逐层进行正向处理;然后再从末层至首层逐层对误差信息进行反向处理,其中,在反向处理的过程中,根据误差信息更新模型参数,以实现模型的训练。
下面对该模型各层的训练过程进行具体描述:
1)随机噪声网络层
本层的目的可以是对样本图像进行随机噪声的叠加处理,其中,随机噪声可以包括但不限于以下至少之一:旋转噪声、平移噪声、图像RGB通道噪声和模糊噪声。为了使得叠加处理的效果达到最佳,在叠加的过程也按照上述噪声的顺序进行叠加处理,即,先添加旋转噪声,再添加平移噪声,然后再添加图像RGB通道噪声,最后再添加模糊噪声。下面对这四种类型的随机噪声的添加过程进行具体描述:
1-1)添加旋转噪声:
可以将样本图像以0.5的概率进行旋转操作,考虑到一般金属币的形状是圆形的,在真是的实场景中,旋转角度覆盖0~360度,因此可以设置旋转角度为随机角度,即,将旋转角度定为:0~360度。
1-2)添加平移噪声:
可以将样本图像以0.5的概率进行向上、向下、向左、向右四个方向之一的平移像素操作。这主要是考虑到在实际场景中,进行圆形区域检测的过程中会存在微小的误差,因此随机平移较小像素(例如可以是0~20像素),从而覆盖待识别位置不准的情况。
1-3)添加RGB通道噪声:
可以对图像的R、G、B三个颜色通道分别以0.3的概率进行相应通道值增加或者减小的操作,具体的,通道值增加或者减小幅度可以设定在0~10左右。
1-4)添加模糊噪声:
考虑到在真实场景中用户拍摄照片时容易抖动,以及由于金属币本身较小且金属币图案不清晰的问题而导致的相机对焦情况不理想的问题,可以将模糊尺度分为8级,其中,可以设定级别越高表示模糊程度越高。具体的,可以利用高斯模糊算法进行随机级别的模糊处理。
2)光噪声处理层
本层的目的可以是对样本图像进行降低光噪声的处理。这主要是考虑到在真实场景中,金属币是由金属材质制造而成的,因此光照对金属币识别的影响较大:在弱光场景中,金属币容易出现一团黑的现象,从而使得金属币上凹凸纹理以及文字难以分辨,然而在强光场景中,金属铜材质反光现象严重,会造成金属币光照不均衡。具体的,在该层可以按照以下方式进行降低光噪声的处理:将通过随机噪声的叠加处理后的图像变换至频域;在频域对该图像进行滤波处理;将滤波处理得到的频域中的结果反变换至时域,以得到降低光噪声影响的处理后的图像。
如图4所示,为光噪声处理的基本流程:先是对原始灰度图像(即样本图像叠加了随机噪声后得到的图像)进行log变换,然后进行DFT变换,再通过滤波函数进行滤波处理,最后再经过IDFT变换和Exp变换得到最终的输出图像。其中,Log表示对图像中的每一个像素进行对数运算,DFT表示傅立叶变换,IDFT表示逆傅里叶变换,Exp表示对图像中的每一个像素进行指数运算。
考虑到金属币的特殊性,在本例中采用将原图图像转换频域,然后在频域进行滤波处理的方式,以降低光照分量的影响,增强图像对比度。为此还设计了一个滤波函数:
H(u,v)=C1*(Hh-Hl)*(1-exp(-C2*(D(u,v)/D0)2))+Hl
其中,u表示滤波函数模板当前元素的横坐标,v表示滤波函数模板当前元素的纵坐标,C1为常数系数1.1,Hh为高频增益系数1.2,Hl为低频增益系数0.6,C2为常数系数2.0,D(u,v)表示滤波函数模板中当前元素到滤波函数模板中心的距离,D0为常数,可以设置为1.414。
3)特征抽取模块:
该模块主要目的是为了进行图像中的特征抽取,在实际操作中,可以按照实际需要确定特征抽取模块的个数,以及每个特征抽取模块中所含的层的数量和类型。一般情况下,如图5所示,特征抽取模块可以依次包括:卷积层、非线性层、最大池化层。但是有时候因为实际需要可能在某一组特征抽取模块中只有上述三个层中的一个或两个层,这些都可以按照实际需要选取。下面对这三个层进行具体介绍:
3-1)卷积层
该层的模板一般是M*M的卷积核,一般M为奇数,例如,如图6所示,就是5*5图像数据与3*3模板卷积核进行卷积操作。其中,卷积核模板中每个元素会被初始化为值服从N(0,1)(0表示均值,1表示方差的高斯分布)的随机值,每次在经过训练迭代后,卷积模板中的参数都会更新为当前一轮训练的参数值。
3-2)非线性(Rectified Linear Unit,ReLU)层
该层采用非线性数学映射的方式,具体的,映射关系可以如下所示:
f(x)=max(x,0)
其中,x表示输入特征图矩阵中的每一个元素,f(x)表示对应的非线性输出:
3-3)最大池化(Max-Pooling)层
该层主要是将M*M的特征图矩阵中的N*N(N<M)邻域内的特征值按照一定规则进行组合,例如,可以将规则设置为选取邻域内特征值最大的邻域。例如,如图7所示,对4*4特征图中进行2*2区域的池化操作。
4)特征组合模块:
该模块主要目的是为了对抽取出的图像特征进行特征组合,在实际操作中,可以按照实际需要确定特征组合模块的个数,以及每个特征组合模块中所含的层的数量和类型。一般情况下,如图5所示,特征组合模块可以依次包括:全相连层和非线性层。下面对这两个层进行具体介绍:
4-1)全相连层
该层的作用是将每一行的元素拼接到上一行元素的尾部,例如,如果输入节点是M*M的二维特征图矩阵,那么将每一行的元素拼接到上一行元素的尾部,就可以形成1*(M*M)的一维特征向量。对于输出节点数目则可以预先设定,且输出的每一个节点都与上述一维特征向量的各元素存在连接关系,且为连接边赋予权重参数w,输出的每个节点的计算结果可以表示为与之连接的所述一维向量的元素的加权和。
4-2)非线性层
在该模块中的非线性层与特征抽取模块中的非线性层类似,在此不再赘述。
5)分类层:
该分类层,可以选择一个多分类器,例如可以选择Softmax,假定节点数目为n,其中,n表示待识别金属币的类别数目,输入特征图节点的维度为1*n,那么对每个特征维度都可以做如下计算:
其中,xi表示输入特征图中第i个维度的数值,分类层的计算结果也是一个1*n维的数值向量,将第i个维度的数值作为金属币属于第i个类别的概率。
上述是对基于金属币特征设计的深度神经网络模型的具体描述,在对该模型进行训练的时候,可以是将上述S4中得到的样本数据,进行迭代输入,每次输入的张数可以按照需求选取,例如,可以每次输入256张图片进行模型训练具体的,在前向传播的过程中,输入数据依次通过图3所示的深度神经网络,每一层的输出作为下一层的输入,第一层的输入数据为256张样本数据,最后一层就会产生预测的分类结果。在BP反向传播的过程中,将预测的分类结果与实际结果进行误差计算,然后再将误差信息进行反向逐层传播与处理,并进行模型参数更新以得到训练后的模型,其中,随机噪声网络层和光噪声处理层不参与反向处理,且光噪声处理层的参数是固定不变的。
步骤203:将经训练后的深度神经网络模型去除随机噪声网络层,得到如图8所示的深度神经网络模型。具体的,该步骤中的深度神经网络模型时由步骤202中训练得到的深度神经网络模型去除随机噪声网络层修改而来,其余网络层的模型参数保持训练结果不变。
如图9所示,金属币识别阶段可以包括:
步骤901:输入将待识别的自然场景中包含金属币的图片;
步骤902:确定金属币的大概位置,考虑到输入图片中金属币占图片画面较大,因此可以采用相对整幅图较大比例(60%)的滑动窗口,先从左往右每隔5个像素滑动,再将窗口移动到最左边,并下移动5个像素并从左往右滑动,直至遍历完整张图片,从而寻找出金属币位置。在具体执行的时候,窗口每滑动一次,可以利用预定的检测算法(例如:Adaboost检测算法)对窗口进行判别,即判断该窗口位置是否完整包含金属币,最终找出金属币的大概位置。
步骤903:将确定出的金属币区域作为一副图像输入至图8所示的深度神经网络模型进行识别,从而判断出该金属币是否属于某类金属币。
经过多次的研究、分析和实验,发明人发现,采用如图10所示的深度神经网络模型的进行金属币识别,即,深度神经网络模型除随机噪声网络层和光噪声处理层之外的层从首层到末层依次包括:卷积层、非线性层、最大池化层、卷积层、非线性层、最大池化层、卷积层、非线性层、卷积层、非线性层、最大池化层、全相连层、非线性层、全相连层、非线性层和分类层,采用这种组合方式得到的金属币识别的准确性最高,经过多次的实验发现,采用本申请的方式可以对多种金属币进行准确的识别,尤其对于铜元的识别的效果非常好。
通过本发明上述实施方式的基于深度神经网络的金属币识别方法,通过增加随机噪声网络层模拟真实场景中的噪声现象,增强了模型训练鲁棒性,通过增加光噪声处理层,减少了真实场景中光照影响,从而可以有效避免金属币因为磨损或者是光照的原因导致难以识别或者识别不准确的技术问题,
示例性设备
在介绍了本发明示例性实施方式的方法之后,接下来,参考图11对本发明示例性实施方式的基于深度神经网络的金属币识别装置进行介绍。
图11为本发明实施例提供的基于深度神经网络的金属币识别装置的结构示意图,如图11所示,该基于深度神经网络的金属币识别装置包括:模型设计模块1101、模型训练模块1102、识别模型获取模块1103和金属币识别模块1104,下面对该装置中的各个模块进行具体描述:
1)模型设计模块1101,可以用于基于金属币的特征设计第一深度神经网络模型,其中,第一深度神经网络模型可以包括随机噪声网络层和光噪声处理层;
2)模型训练模块1102,可以用于利用金属币样本图像,对第一深度神经网络模型进行训练;
3)识别模型获取模块1103,可以用于将经训练的所述第一深度神经网络模型去除所述随机噪声网络层,获得第二深度神经网络模型;
4)金属币识别模块1104,可以用于利用第二深度神经网络模型,对待识别的金属币进行识别。
具体地,上述模型训练模块1102可以包括:随机噪声单元、光噪声单元、正向处理单元和反向处理单元,其中,随机噪声单元可以用于在金属币样本图像经过随机噪声网络层时,对图像进行随机噪声的叠加处理,光噪声单元,可以用于在经过随机噪声的叠加处理后的图像经过所述光噪声处理层时,对所述图像进行降低光噪声影响的处理,正向处理单元,可以利用经过降低光噪声影响的处理后的图像作为输入,从所述第一深度神经网络模型除所述随机噪声网络层和光噪声处理层之外的层,由首层至末层逐层进行正向处理,反向处理单元可以用于从所述末层至所述首层逐层对误差信息进行处理,其中,在反向处理的过程中,反向处理单元根据所述误差信息更新模型参数。
随机噪声单元在进行随机噪声处理时所涉及的随机噪声可以包括但不限于以下一种或多种:旋转噪声、平移噪声、图像RGB通道噪声和模糊噪声。在随机噪声包括旋转噪声的情况下,随机噪声单元以第一预定概率对所述金属币样本图像旋转随机角度,得到叠加了旋转噪声的金属币图像,在随机噪声包括平移噪声的情况下,随机噪声单元以第二预定概率对所述金属币样本图像按照以下四种方向之一平移预定数目范围内的随机数目的像素:向上、向下、向左、向右,得到叠加了平移噪声的金属币图像,在随机噪声包括图像RGB通道噪声的情况下,随机噪声单元11021以第三预定概率对所述金属币样本图像的R、G、B三种颜色的通道增加或减少预定通道值范围内的随机通道值,得到叠加了图像RGB通道噪声的金属币图像,在随机噪声包括模糊噪声的情况下,随机噪声单元以第四预定概率对所述金属币样本图像进行随机级别的模糊处理,得到叠加了模糊噪声的金属币图像。
光噪声单元可以按照以下方式进行光噪声处理:将通过随机噪声的叠加处理后的图像变换至频域,在频域对图像进行滤波处理,并将滤波处理得到的频域中的结果反变换至时域,从而得到降低光噪声影响的处理后的图像。
具体地,上述光噪声单元可以通过以下滤波函数对图像进行滤波处理:
H(u,v)=C1*(Hh-Hl)*(1-exp(-C2*(D(u,v)/D0)2))+Hl
其中,u表示滤波函数模板当前元素的横坐标,v表示滤波函数模板当前元素的纵坐标,C1、C2为常数系数,Hh为高频增益系数,Hl为低频增益系数,D(u,v)表示滤波函数模板中当前元素到滤波函数模板中心的距离,D0为常数。
在实际执行的过程中,上述第一深度神经网络模型可以依次包括:随机噪声网络层、光噪声处理层、一个或一个以上特征抽取模块、一个或一个以上特征组合模块、和分类层,其中,特征抽取模块可以依次包括:卷积层、非线性层、和最大池化层,特征组合模块可以依次包括:全相连层和非线性层,在具体实现时,特征抽取模块和特征组合模块的个数和组成方式可以按照需求选择。
为了适应于金属币识别的需求,可以采用如下效果较好的深度神经网络模型进行金属币识别,具体地,该模型从首层到末层依次为:随机噪声网络层、光噪声处理层、卷积层、非线性层、最大池化层、卷积层、非线性层、最大池化层、卷积层、非线性层、卷积层、非线性层、最大池化层、全相连层、非线性层、全相连层、非线性层、和分类层。
应当注意,尽管在上文详细描述中提及了装置、模块或单元,但是这种划分仅仅为了更好的说明而并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之,上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (10)
1.一种基于深度神经网络的金属币识别方法,包括:
基于金属币的特征设计第一深度神经网络模型,其中,所述第一深度神经网络模型包括随机噪声网络层和光噪声处理层;
利用金属币样本图像,对所述第一深度神经网络模型进行训练;
将经训练的所述第一深度神经网络模型去除所述随机噪声网络层,获得第二深度神经网络模型;
利用所述第二深度神经网络模型,对待识别的金属币进行识别。
2.根据权利要求1所述的方法,其中,利用金属币样本图像,对所述第一深度神经网络模型进行训练,包括:
在所述金属币样本图像经过所述随机噪声网络层时,对所述图像进行随机噪声的叠加处理;
在经过随机噪声的叠加处理后的图像经过所述光噪声处理层时,对所述图像进行降低光噪声影响的处理;
利用经过降低光噪声影响的处理后的图像作为输入,从所述第一深度神经网络模型除所述随机噪声网络层和光噪声处理层之外的层,由首层至末层逐层进行正向处理;
再从所述末层至所述首层逐层对误差信息进行反向处理,其中,在反向处理的过程中,根据误差信息更新模型参数。
3.根据权利要求2所述的方法,其中,所述随机噪声包括以下一种或多种:旋转噪声、平移噪声、图像RGB通道噪声和模糊噪声。
4.根据权利要求3所述的方法,其中,进行随机噪声的叠加处理包括:
在所述随机噪声包括旋转噪声的情况下,以第一预定概率对所述金属币样本图像旋转随机角度,得到叠加了旋转噪声的金属币图像;
在所述随机噪声包括平移噪声的情况下,以第二预定概率对所述金属币样本图像按照以下四种方向之一平移预定数目范围内的随机数目的像素:向上、向下、向左、向右,得到叠加了平移噪声的金属币图像;
在所述随机噪声包括图像RGB通道噪声的情况下,以第三预定概率对所述金属币样本图像的R、G、B三种颜色的通道增加或减少预定通道值范围内的随机通道值,得到叠加了图像RGB通道噪声的金属币图像;
在所述随机噪声包括模糊噪声的情况下,以第四预定概率对所述金属币样本图像进行随机级别的模糊处理,得到叠加了模糊噪声的金属币图像。
5.根据权利要求2所述的方法,其中,在通过随机噪声的叠加处理后的图像经过所述光噪声处理层时,对所述图像进行降低光噪声影响的处理包括:
将通过随机噪声的叠加处理后的图像变换至频域;
在频域对所述图像进行滤波处理;
将滤波处理得到的频域中的结果反变换至时域,得到降低光噪声影响的处理后的图像。
6.根据权利要求5所述的方法,其中,通过以下滤波函数对所述图像进行滤波处理:
H(u,v)=C1*(Hh-Hl)*(1-exp(-C2*(D(u,v)/D0)2))+Hl
其中,u表示滤波函数模板中当前元素的横坐标,v表示滤波函数模板中当前元素的纵坐标,C1、C2为常数系数,Hh为高频增益系数,Hl为低频增益系数,D(u,v)表示滤波函数模板中当前元素到滤波函数模板中心的距离,D0为常数。
7.根据权利要求2所述的方法,其中,所述第一深度神经网络模型依次包括:随机噪声网络层、光噪声处理层、一个或一个以上特征抽取模块、一个或一个以上特征组合模块、和分类层。
8.根据权利要求7所述的方法,其中,所述特征抽取模块依次包括:卷积层、非线性层、和最大池化层,所述特征组合模块依次包括:全相连层和非线性层。
9.根据权利要求8所述的方法,其中,所述第一深度神经网络模型除所述随机噪声网络层和光噪声处理层之外的层从首层到末层依次包括:卷积层、非线性层、最大池化层、卷积层、非线性层、最大池化层、卷积层、非线性层、卷积层、非线性层、最大池化层、全相连层、非线性层、全相连层、非线性层、和分类层。
10.一种基于深度神经网络的金属币识别装置,包括:
模型设计模块,用于基于金属币的特征设计第一深度神经网络模型,其中,所述第一深度神经网络模型包括随机噪声网络层和光噪声处理层;
模型训练模块,用于利用金属币样本图像,对所述第一深度神经网络模型进行训练;
识别模型获取模块,用于将经训练的所述第一深度神经网络模型去除所述随机噪声网络层,获得第二深度神经网络模型;
金属币识别模块,用于利用所述第二深度神经网络模型,对待识别的金属币进行识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510265617.0A CN104866868B (zh) | 2015-05-22 | 2015-05-22 | 基于深度神经网络的金属币识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510265617.0A CN104866868B (zh) | 2015-05-22 | 2015-05-22 | 基于深度神经网络的金属币识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104866868A true CN104866868A (zh) | 2015-08-26 |
CN104866868B CN104866868B (zh) | 2018-09-07 |
Family
ID=53912689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510265617.0A Active CN104866868B (zh) | 2015-05-22 | 2015-05-22 | 基于深度神经网络的金属币识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104866868B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
CN105512725A (zh) * | 2015-12-14 | 2016-04-20 | 杭州朗和科技有限公司 | 一种神经网络的训练方法和设备 |
CN106203499A (zh) * | 2016-07-07 | 2016-12-07 | 青岛大学 | 一种基于深度cnn的安全带检测方法 |
CN108135003A (zh) * | 2017-12-25 | 2018-06-08 | 广东海格怡创科技有限公司 | 干扰类型识别模型的构建方法和系统 |
CN108304859A (zh) * | 2017-12-29 | 2018-07-20 | 达闼科技(北京)有限公司 | 图像识别方法及云端系统 |
CN108475331A (zh) * | 2016-02-17 | 2018-08-31 | 英特尔公司 | 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域 |
CN108596192A (zh) * | 2018-04-24 | 2018-09-28 | 图麟信息科技(深圳)有限公司 | 一种币码堆的面值统计方法、装置及电子设备 |
CN109253985A (zh) * | 2018-11-28 | 2019-01-22 | 东北林业大学 | 基于神经网络的近红外光谱识别古筝面板用木材等级的方法 |
CN109344774A (zh) * | 2018-10-08 | 2019-02-15 | 国网经济技术研究院有限公司 | 遥感影像中的火力发电站目标识别方法 |
CN109389615A (zh) * | 2018-09-29 | 2019-02-26 | 佳都新太科技股份有限公司 | 基于深度学习卷积神经网络的硬币识别方法及处理终端 |
CN109614876A (zh) * | 2018-11-16 | 2019-04-12 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
WO2019128547A1 (zh) * | 2017-12-29 | 2019-07-04 | 华为技术有限公司 | 一种神经网络模型的训练方法及装置 |
WO2019127075A1 (zh) * | 2017-12-27 | 2019-07-04 | 中国科学院深圳先进技术研究院 | 一种识别硬币年份的方法、终端设备及计算机可读存储介质 |
CN111046883A (zh) * | 2019-12-05 | 2020-04-21 | 吉林大学 | 一种基于古钱币图像的智能评估方法及系统 |
CN111709899A (zh) * | 2020-07-02 | 2020-09-25 | 博新融通(北京)科技有限公司 | 胶片噪声去除方法、装置、存储介质及终端 |
CN113330450A (zh) * | 2019-06-04 | 2021-08-31 | 蒂普爱可斯有限公司 | 用于识别图像中的对象的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1142642A (zh) * | 1995-08-07 | 1997-02-12 | 货款接收机公司 | 用人工神经网络对硬币的有效性进行图形识别的装置 |
US20040042650A1 (en) * | 2002-08-30 | 2004-03-04 | Lockheed Martin Corporation | Binary optical neural network classifiers for pattern recognition |
-
2015
- 2015-05-22 CN CN201510265617.0A patent/CN104866868B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1142642A (zh) * | 1995-08-07 | 1997-02-12 | 货款接收机公司 | 用人工神经网络对硬币的有效性进行图形识别的装置 |
US20040042650A1 (en) * | 2002-08-30 | 2004-03-04 | Lockheed Martin Corporation | Binary optical neural network classifiers for pattern recognition |
Non-Patent Citations (2)
Title |
---|
毛玺 等: "基于神经网络的硬币面额识别", 《光电技术应用》 * |
肖峰: "基于古钱币图像识别与检索关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
CN105512725A (zh) * | 2015-12-14 | 2016-04-20 | 杭州朗和科技有限公司 | 一种神经网络的训练方法和设备 |
CN108475331A (zh) * | 2016-02-17 | 2018-08-31 | 英特尔公司 | 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域 |
CN108475331B (zh) * | 2016-02-17 | 2022-04-05 | 英特尔公司 | 用于对象检测的方法、装置、系统和计算机可读介质 |
US11244191B2 (en) | 2016-02-17 | 2022-02-08 | Intel Corporation | Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model |
CN106203499A (zh) * | 2016-07-07 | 2016-12-07 | 青岛大学 | 一种基于深度cnn的安全带检测方法 |
CN108135003A (zh) * | 2017-12-25 | 2018-06-08 | 广东海格怡创科技有限公司 | 干扰类型识别模型的构建方法和系统 |
WO2019127075A1 (zh) * | 2017-12-27 | 2019-07-04 | 中国科学院深圳先进技术研究院 | 一种识别硬币年份的方法、终端设备及计算机可读存储介质 |
CN108304859A (zh) * | 2017-12-29 | 2018-07-20 | 达闼科技(北京)有限公司 | 图像识别方法及云端系统 |
US11966844B2 (en) | 2017-12-29 | 2024-04-23 | Huawei Technologies Co., Ltd. | Method for training neural network model and apparatus |
US11521012B2 (en) | 2017-12-29 | 2022-12-06 | Huawei Technologies Co., Ltd. | Method for training neural network model and apparatus |
WO2019128547A1 (zh) * | 2017-12-29 | 2019-07-04 | 华为技术有限公司 | 一种神经网络模型的训练方法及装置 |
CN108596192A (zh) * | 2018-04-24 | 2018-09-28 | 图麟信息科技(深圳)有限公司 | 一种币码堆的面值统计方法、装置及电子设备 |
CN109389615B (zh) * | 2018-09-29 | 2021-05-28 | 佳都科技集团股份有限公司 | 基于深度学习卷积神经网络的硬币识别方法及处理终端 |
CN109389615A (zh) * | 2018-09-29 | 2019-02-26 | 佳都新太科技股份有限公司 | 基于深度学习卷积神经网络的硬币识别方法及处理终端 |
CN109344774A (zh) * | 2018-10-08 | 2019-02-15 | 国网经济技术研究院有限公司 | 遥感影像中的火力发电站目标识别方法 |
JP2021508388A (ja) * | 2018-11-16 | 2021-03-04 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. | キーポイント検出方法及び装置、電子機器並びに記憶媒体 |
CN113569797A (zh) * | 2018-11-16 | 2021-10-29 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
CN113591754A (zh) * | 2018-11-16 | 2021-11-02 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
CN109614876A (zh) * | 2018-11-16 | 2019-04-12 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
CN109253985A (zh) * | 2018-11-28 | 2019-01-22 | 东北林业大学 | 基于神经网络的近红外光谱识别古筝面板用木材等级的方法 |
CN113330450A (zh) * | 2019-06-04 | 2021-08-31 | 蒂普爱可斯有限公司 | 用于识别图像中的对象的方法 |
CN111046883A (zh) * | 2019-12-05 | 2020-04-21 | 吉林大学 | 一种基于古钱币图像的智能评估方法及系统 |
CN111046883B (zh) * | 2019-12-05 | 2022-08-23 | 吉林大学 | 一种基于古钱币图像的智能评估方法及系统 |
CN111709899A (zh) * | 2020-07-02 | 2020-09-25 | 博新融通(北京)科技有限公司 | 胶片噪声去除方法、装置、存储介质及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN104866868B (zh) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
CN109522942B (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
CN108537102B (zh) | 基于稀疏特征与条件随机场的高分辨sar图像分类方法 | |
CN106228185B (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
CN108647588A (zh) | 物品类别识别方法、装置、计算机设备和存储介质 | |
CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
CN108399386A (zh) | 饼图中的信息提取方法及装置 | |
Shang et al. | Fuzzy-rough feature selection aided support vector machines for mars image classification | |
Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
CN108108751A (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
CN109118504B (zh) | 一种基于神经网络的图像边缘检测方法、装置及其设备 | |
CN109934826A (zh) | 一种基于图卷积网络的图像特征分割方法 | |
CN104299006A (zh) | 一种基于深度神经网络的车牌识别方法 | |
CN106600595A (zh) | 一种基于人工智能算法的人体特征尺寸自动测量方法 | |
CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
Doi et al. | The effect of focal loss in semantic segmentation of high resolution aerial image | |
CN103824090A (zh) | 一种自适应的人脸低层特征选择方法及人脸属性识别方法 | |
CN104751463B (zh) | 一种基于草图轮廓特征的三维模型最佳视角选取方法 | |
CN112800955A (zh) | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统 | |
US11367206B2 (en) | Edge-guided ranking loss for monocular depth prediction | |
CN113191489A (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 310052 Room 301, Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou NetEase Shuzhifan Technology Co.,Ltd. Address before: 310052 Room 301, Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU LANGHE TECHNOLOGY Ltd. |
|
CP01 | Change in the name or title of a patent holder |