CN110569921A - 一种车标识别方法、系统、装置及计算机可读介质 - Google Patents

一种车标识别方法、系统、装置及计算机可读介质 Download PDF

Info

Publication number
CN110569921A
CN110569921A CN201910877042.6A CN201910877042A CN110569921A CN 110569921 A CN110569921 A CN 110569921A CN 201910877042 A CN201910877042 A CN 201910877042A CN 110569921 A CN110569921 A CN 110569921A
Authority
CN
China
Prior art keywords
picture
logo
license plate
recognized
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910877042.6A
Other languages
English (en)
Inventor
周庆标
古川南
李治农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZKTeco Co Ltd
Original Assignee
ZKTeco Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZKTeco Co Ltd filed Critical ZKTeco Co Ltd
Priority to CN201910877042.6A priority Critical patent/CN110569921A/zh
Publication of CN110569921A publication Critical patent/CN110569921A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车标识别方法、系统、装置及计算机可读存储介质，通过根据车牌位置信息在车标图片中截取车标有效特征区域的图片，并将该图片作为待识别图片输入训练好的基于CNN网络结构的车标识别模型，使车标识别模型提取待识别图片中的特征并进行车标类别的预测，输出车标类别的预测结果，实现了对于车标图片特征的自动提取以及对车标类别的预测，并且，截取获得的待识别图片的尺寸小、干扰信息少且数据量小，提高了车标识别的速度和精度。

Description

一种车标识别方法、系统、装置及计算机可读介质
技术领域
本发明涉及机器视觉识别技术领域，尤其涉及一种车标识别方法、系统、装置及计算机可读介质。
背景技术
随着机器视觉识别技术的提高，车标识别技术不断提高。
车标是车辆的一个关键特征，在交通卡扣和停车场进出口等场所，车标的识别可以为车辆信息的确认提供重要的辅助作用。现有技术通常基于人为设计的方向梯度直方图(HOG，Histogram ofOriented Gradient)特征或尺度不变特征变换(SIFT，Scale-invariant feature transform)特征，使用支持向量机(SVM，SupportVectorMachine)模型或k最近邻(kNN，k-NearestNeighbor)模型来完成对车标的识别。
但是，由于HOG特征和SIFT特征的生成时间长，且SVM模型或kNN最近邻模型计算量大，导致车标识别耗时长，实时性差。
发明内容
鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种车标识别方法、系统、装置及计算机可读介质，技术方案如下：
一种车标识别方法，所述方法包括：
在待确定的第一车标的图片中，检测车牌在所述第一车标的图片中的位置信息；
根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片；
将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别，所述车标识别模型的网络结构中设置有Softmax层；
在所述Softmax层输出的各类别车标的概率中，将大于预设阈值的概率所对应的车标类别确定为所述第一车标的类别。
可选的，所述根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片，包括：
从所述位置信息中确定所述车牌中至少一个点的坐标；
在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标；
根据所述四个角的坐标，截取所述待识别图片。
可选的，所述从所述位置信息中确定所述车牌中至少一个点的坐标，包括：
从所述位置信息中确定所述车牌的左上角的坐标；
所述在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标，包括：
在所述第一车标的图片中，控制所述车牌的左上角分别沿第一水平方向移动第一预设长度、沿第二水平方向移动第二预设长度以及沿竖直方向上方移动第三预设长度，确定待识别图片的左下角的坐标、右下角的坐标以及所述待识别图片在竖直方向上的高度；
根据所述左下角的坐标、所述右下角的坐标及所述高度，确定所述待识别图片的左上角及右上角的坐标，所述待识别图片为矩形。
可选的，所述车标识别模型中还设置有第一卷积层、第一池化层、密集单元、过渡层和分类层。
可选的，所述密集单元中设置有第二卷积层和串级层，所述分类层中设置有全局平均池化层和全连接层。
可选的，在所述将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别之前，所述方法还包括：
对所述待识别图片进行图像处理。
一种车标识别系统，所述系统包括车牌检测单元、第一图片截取单元、图片输入单元和车标类别确定单元，其中：
所述车牌检测单元，用于在待确定的第一车标的图片中，检测车牌在所述第一车标的图片中的位置信息；
所述第一图片截取单元，用于根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片；
所述图片输入单元，用于将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别，所述车标识别模型的网络结构中设置有Softmax层；
所述车标类别确定单元，用于在所述Softmax层输出的各类别车标的概率中，将大于预设阈值的概率所对应的车标类别确定为所述第一车标的类别。
可选的，所述第一图片截取单元，具体包括第一坐标确定单元、第二坐标确定单元和第二图片截取单元，其中：
所述第一坐标确定单元，用于从所述位置信息中确定所述车牌中至少一个点的坐标；
所述第二坐标确定单元，用于在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标；
所述第二图片截取单元，用于根据所述四个角的坐标，截取所述待识别图片。
一种车标识别装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述任一车标识别方法。
可选的，所述装置为组成CDN网络或者区块链网络的节点。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现上述任一车标识别方法。
本发明公开的一种车标识别方法、系统、装置及计算机可读存储介质，通过根据车牌位置信息在车标图片中截取车标有效特征区域的图片，并将该图片作为待识别图片输入训练好的基于CNN网络结构的车标识别模型，使车标识别模型提取待识别图片中的特征并进行车标类别的预测，输出车标类别的预测结果，实现了对于车标图片特征的自动提取以及对车标类别的预测，并且，截取获得的待识别图片的尺寸小、干扰信息少且数据量小，提高了车标识别的速度和精度。
附图说明
图1为本实施例提出的一种车标识别方法的流程图；
图2为本实施例提出的另一种车标识别方法的流程图；
图3为本实施例提出的一种车标识别系统的结构示意图；
图4为本实施例提出的另一种车标识别系统的结构示意图；
图5为本实施例揭露的一种车标识别装置的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，本发明提出了一种车标识别方法，所述方法包括以下步骤：
S10、在待确定的第一车标的图片中，检测车牌在所述第一车标的图片中的位置信息；
其中，本发明可以通过车牌识别技术获得第一车标的图片。
其中，第一车标的图片可以是车头处的车标图片，也可以是车尾处的车标图片，本发明对此不做限定。
可选的，本发明可以采用埋地线圈检测、红外检测、雷达检测技术和视频检测等多种方式来感知车辆的经过。
具体的，在感知到车辆经过时，本发明可以通过高清摄像机的抓拍，对通行的车辆进行实时采集，获得车辆的图片，该车辆图片可以包含车身、轮胎、车牌和车标等车辆部位。需要说明的是，本发明对于采用的摄像机的类型不做限定。
可选的，本发明可以对车辆图片进行图像处理，例如噪声过滤、自动白平衡、自动曝光、伽马校正、边缘增强以及对比度调整等，删除图片中的无关信息(例如轮胎和车辆侧身等部分的图片)，保留对于车标识别的相关信息(例如车牌附近区域的图片)，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据。
具体的，本发明可以使用车标定位技术在车辆的图片中确定车标所在的区域，获得车标的图片，该车标图片可以至少包含车标，也可以包含车牌、车身和轮胎等车辆部位。
具体的，本发明可以使用车牌定位技术在车标图片中确定车牌所在区域，确定车牌在车标图片中的位置信息，例如，本发明可以以车标图片中的某一点为原点建立坐标系，获得车牌在该坐标系中的位置信息，即车牌中各个点的坐标。
S20、根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片；
需要说明的是，车辆的车标通常可以处于车牌正上方的区域中。因此，本发明可以通过进一步在车标图片中删除关于车标识别的无关信息，减小待识别图片的数据量，提高本发明对于车标识别的速度。
具体的，本发明可以在车标图片中将车牌位置以下的图片(包含车牌)删除，以获取位于车牌位置上方的图片。在实际应用中，本发明在对车标识别模型进行训练或测试时，选取的待训练图片均可以是经过上述图像处理方式获得的。
可选的，在所述将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别之前，所述方法还可以包括：
对所述待识别图片进行图像处理。
本发明将相应区域的图片从车标图片中截取出来之后，还可以对该区域图片进行进一步的图像处理，例如，对该区域图片尺寸进行缩放成112*112(长度乘以宽度)的像素，之后，将缩放的图片中各通道的像素值均乘以预设参数，例如0.017，以对待识别图片进行灰度处理，获得待识别图片。
需要说明的是，待识别图片进行相应的图像处理后，待识别图片灰度化且尺寸可以得到减小，这可以减小车标识别模型对待识别图片进行特征提取的难度，并可以提高车标识别模型的识别速度。
S30、将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别，所述车标识别模型的网络结构中设置有Softmax层；
其中，本发明在对车标识别模型进行训练的过程中，可以使用梯度下降法得到接近最小偏差的车标识别模型。
具体的，梯度下降法可以是随机梯度下降法。本发明可以将待识别图片输入待训练的车标识别模型，对各张待识别图片进行迭代训练。在迭代过程中，本发明可以通过正向传播计算loss，通过反向传播计算权重和偏置参数，通过随机梯度下降法对权重和偏置进行更新。
可选的，本发明可以对各张训练图片进行多次训练，训练次数不做限定，例如三十次。
可选的，本发明可以将非车标和图片较少的车标类别的图片加入训练图片，并将这两种类别的样本图片分别作为一个单独的部分以对模型进行训练，即在训练中加入负样本，使得训练过程中的不同车标类别的样本图片的差异性增大，提高本发明对于各类车标的预测速度和识别精度。
可选的，本发明可以在随机梯度下降法中使用的损失函数加入正则化系数，如下：
其中，L为车标识别模型的损失函数，N为车标类别的个数，f(xi)为与第i个车标类别对应的预测概率，yi为第i个车标类别的标签，λ为正则化系数，J(f)为正则化项。
其中，本发明将CNN网络的最后一层设置为Softmax(Softmax函数)层，它可以将一个含任意实数的n*1的向量“压缩”到另一个n*1的向量中。其中，压缩后得到的向量的值都在0至1之间(某个车标类别为该次车标识别结果的概率值)，并且所有值的和为1。
可选的，Softmax层可以使得本发明的CNN网络确定压缩后的最大向量值，即本发明可以输出最大概率所对应的车标类别。当然，本发明也可以将大于某个预设概率值的车标类别均作为结果输出，例如，该预设概率值可以为0.2，若本次车标识别中，一号车标概率为0.2，二号车标概率为0.04，三号车标概率为0.03，四号车标概率为0.01，五号车标概率为0.02，六号车标概率为0.7，则CNN网络输出的结果可以是一号车标(概率为0.2)六号车标(概率为0.7)。
在实际应用中，本发明需要对训练好的CNN网络进行测试。具体的，本发明可以将所有测试图片(已知车标类别的图片)平均划分至几个组，以组为单位统计CNN网络的测试准确率。
具体的，本发明可以根据各个组的测试准确率，判断CNN网络的测试准确率是否满足工作要求，例如，在各个组的测试准确率均高于预设的准确率时，认为CNN网络满足应用要求。需要说明的是，预设的准确率可以由技术人员根据实际场景需要进行设定，本发明不做限定。
S40、在所述Softmax层输出的各类别车标的概率中，将大于预设阈值的概率所对应的车标类别确定为所述第一车标的类别。
可选的，预设阈值可以由技术人员根据实际场景需要进行制定，本发明对此不做限定。
可选的，本发明可以根据上述各个组的测试准确率，确定所有车标识别的统一判定标准，确定预设阈值的大小。例如，若第一组的准确率为93％，第二组的准确率为95％，第三组的准确率为97％，本发明可以将最优的测试准确率97％直接作为预设阈值，也可以将三组的平均准确率(95％)作为预设阈值。当然，本发明也可以针对各车标类别设定的判定标准，设定不同预设阈值。
在实际应用中，本发明可以在车标识别模型中设定公式1，以根据Softmax层输出的各类别车标的概率，确定车标识别模型对车标的预测结果。
其中：P为本发明预测的车标类别，index为某个车标类别，p为与index对应的概率，0表示非index的其它车标类别或未知车标类别，T为步骤S40中的预设阈值。
本实施例提出的车标识别方法，可以根据车牌位置信息在车标图片中截取车标有效特征区域的图片，并将该图片作为待识别图片输入训练好的基于CNN网络结构的车标识别模型，使车标识别模型提取待识别图片中的特征并进行车标类别的预测，输出车标类别的预测结果，实现了对于车标图片特征的自动提取，以及对车标类别的预测，并且，截取获得的待识别图片的尺寸小、干扰信息少且数据量小，提高了车标识别的速度和精度。
基于图1所示步骤，本实施例还提出了另一种车标识别方法，如图2所示，步骤S20可以包括步骤S21、S22和S23。
S21、从所述位置信息中确定所述车牌中至少一个点的坐标；
可选的，步骤S21可以包括：
从所述位置信息中确定所述车牌的左上角的坐标；
其中，本发明可以以坐标系中坐标的方法来标识和定位车牌中的点，例如点(5，2)。需要说明的是，本发明对于坐标系的具体类型和生成过程不做限定，例如，该坐标系可以是以车标图片的中心点为原点建立的平面直角坐标系。
S22、在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标；
可选的，当本发明从位置信息中只确定车牌的左上角的坐标时，步骤S22可以包括：
在所述第一车标的图片中，控制所述车牌的左上角分别沿第一水平方向移动第一预设长度、沿第二水平方向移动第二预设长度以及沿竖直方向上方移动第三预设长度，确定待识别图片的左下角的坐标、右下角的坐标以及所述待识别图片在竖直方向上的高度；
根据所述左下角的坐标、所述右下角的坐标及所述高度，确定所述待识别图片的左上角及右上角的坐标，所述待识别图片为矩形。
其中，第一预设长度、第二预设长度及第三预设长度均可以由技术人员根据实际情况进行设置，本发明对此不做限定。
需要说明的是，本发明可以结合矩形的特性，根据待识别图片的左上角及右上角确定待识别图片的高度和一条底边的位置及长度，确定出待识别图片的其余角，即左上角和右上角的坐标。例如，若待识别图片的左下角的坐标为(3，9)，右下角的坐标为(20，9)，高度为5，则待识别图片的左上角的坐标为(3，14)，右上角的坐标为(20，14)，即将表示高度的坐标与待识别图片的高度相加。
其中，若第一预设长度、第二预设长度和/或第三预设长度的设定，使得本发明在控制车牌左下角进行移动的过程中超出了车标图片的范围，则本发明将选取左下角在移动过程中与车标图片的相应边的交点作为待识别图片的一个角，即本发明只选取车标图片以内的范围作为待识别图片的组成部分，例如，若车牌的左下角在移动过程中超出了车标图片的上边线，则本发明将选取左下角在移动过程中与车标图片的上边线的交点作为待识别图片的一个角。
S23、根据所述四个角的坐标，截取所述待识别图片。
其中，本发明在确定待识别图片的四个角后，可以将四个角依次连接，确定并截取待识别图片。
可选的，四个角依次连接的顺序可以是左下角—左上角—右上角—右下角—左下角，可以是左上角—右上角—右下角—左下角—左上角，也可以是右上角—右下角—左下角—左上角—右上角，还可以是右下角—左下角—左上角—右上角—右下角。需要说明的是，本发明对该连接顺序不做限定。
本实施例提出的车标识别方法，通过从车牌的位置信息中确定至少一个点的坐标，控制各点坐标在车标图片中车牌上方的区域进行移动，确定待识别图片的四个角，进而截取待识别图片，实现了对车标图片中对于车标识别无关信息的删除，减小待识别图片的数据量，有利于提高后续车标识别模型对于车标的待识别图片的识别速度和预测精度。
在本发明提出的其它实施例中，可以先行从车牌的位置信息中确定右上角，进而控制右上角移动确定待识别图片的四个角，确定并截取获得待识别图片。
基于图1所示步骤，本实施例还提出了另一种车标识别方法，所述车标识别模型中还设置有第一卷积层、第一池化层、密集单元、过渡层和分类层。
可选的，所述密集单元中设置有第二卷积层和串级层，所述分类层中设置有全局平均池化层和全连接层。
可选的，Softmax层可以设置于所述分类层中。
可选的，车标识别模型中可以设置有四个过渡层。
其中，第一卷积层可以为基础卷积层，第一池化层可以为平均池化层。第一卷积层与第一池化层连接，第一池化层与第一密集单元连接，第一密集单元与第一过渡层连接，过渡层与第二密集单元连接，第二密集单元连接与第二过渡层连接，第二过渡层与第三密集单元连接，第三密集单元与第三过渡层连接，第三过渡层与第四密集单元连接，第四密集单元与第四过渡层，第四过渡层与第五密集单元连接，第五密集单元与Softmax层连接。
参照下述表格，待识别图片输入车标识别模型时，会根据表格中网络层由上至下的结构依次进入各网络层中进行计算，即先进入第一卷积层，之后，本发明将第一卷积层的输出结果输入与第一卷积层连接的第一池化层，直至本发明输出预测的车标类别。
其中，第一dense block(即密集单元)中可以设置有四个卷积层和两个concat层(即串级层)，其中，该四个卷积层中可以包含二个卷积核为1*1大小的卷积，以及二个卷积核为3*3大小的卷积。第二密集单元可以与第一密集单元的网络结构相同；
第三密集单元中可以设置有八个卷积层和四个串级层，其中，该八个卷积层中可以包含四个卷积核为1*1大小的卷积，以及四个卷积核为3*3大小的卷积；
第四密集单元中可以设置有十个卷积层和五个串级层，该十个卷积层中可以包含五个卷积核为1*1大小的卷积，以及五个卷积核为3*3大小的卷积；
第五密集单元可以与第三密集单员的网络结构相同。
其中，四个transition层(即过渡层)的网络结构可以是相同的，均可以包含一个卷积核大小为1*1、步长为1的卷积和一个核大小为2*2、步长为2的平均池化层。
具体的，车标识别模型的详细网络结构如下表格：
需要说明的是，上述车标识别模型是基于轻量化的CNN网络，该网络结构可以大大减少识别模型在预测车标类别部分的计算量，提高识别模型的预测速度。
本实施例提出的车标识别方法，通过基于轻量化CNN网络的车标识别模型进行车标识别，可以减少识别模型在预测车标类别部分的计算量，提高识别模型的预测速度。
与图1所示步骤相对应，本实施例提出了一种车标识别系统，如图3所示，所述系统包括车牌检测单元100、第一图片截取单元200、图片输入单元300和车标类别确定单元400，其中：
所述车牌检测单元100，可以用于在待确定的第一车标的图片中，检测车牌在所述第一车标的图片中的位置信息；
其中，本发明可以通过车牌识别技术获得第一车标的图片。
其中，第一车标的图片可以是车头处的车标图片，也可以是车尾处的车标图片，本发明对此不做限定。
可选的，本发明可以采用埋地线圈检测、红外检测、雷达检测技术和视频检测等多种方式来感知车辆的经过。
具体的，在感知到车辆经过时，本发明可以通过高清摄像机的抓拍，对通行的车辆进行实时采集，获得车辆的图片，该车辆图片可以包含车身、轮胎、车牌和车标等车辆部位。需要说明的是，本发明对于采用的摄像机的类型不做限定。
可选的，本发明可以对车辆图片进行图像处理，删除图片中的无关信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据。
具体的，本发明可以使用车标定位技术在车辆的图片中确定车标所在的区域，获得车标的图片，该车标图片可以至少包含车标，也可以包含车牌、车身和轮胎等车辆部位。
具体的，本发明可以使用车牌定位技术在车标图片中确定车牌所在区域，确定车牌在车标图片中的位置信息，例如，本发明可以以车标图片中的某一点为原点建立坐标系，获得车牌在该坐标系中的位置信息，即车牌中各个点的坐标。
所述第一图片截取单元200，可以用于根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片；
需要说明的是，车辆的车标通常可以处于车牌正上方的区域中。因此，本发明可以通过进一步在车标图片中删除关于车标识别的无关信息，减小待识别图片的数据量，提高本发明对于车标识别的速度。
具体的，本发明可以在车标图片中将车牌位置以下的图片(包含车牌)删除，以获取位于车牌位置上方的图片。在实际应用中，本发明在对车标识别模型进行训练或测试时，选取的待训练图片均可以是经过上述图像处理方式获得的。
可选的，所述系统还可以包括图像处理单元，用于在所述将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别之前，对所述待识别图片进行图像处理。
本发明将相应区域的图片从车标图片中截取出来之后，还可以对该区域图片进行进一步的图像处理以获得待识别图片。
需要说明的是，待识别图片进行相应的图像处理后，待识别图片灰度化且尺寸可以得到减小，这可以减小车标识别模型对待识别图片进行特征提取的难度，并可以提高车标识别模型的识别速度。
所述图片输入单元300，可以用于将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别，所述车标识别模型的网络结构中设置有Softmax层；
其中，本发明在对车标识别模型进行训练的过程中，可以使用梯度下降法得到接近最小偏差的车标识别模型。
具体的，梯度下降法可以是随机梯度下降法。本发明可以将待识别图片输入待训练的车标识别模型，对各张待识别图片进行迭代训练。在迭代过程中，本发明可以通过正向传播计算loss，通过反向传播计算权重和偏置参数，通过随机梯度下降法对权重和偏置进行更新。
可选的，本发明可以对各张训练图片进行多次训练，训练次数不做限定。
可选的，本发明可以将非车标和图片较少的车标类别的图片加入训练图片，并将这两种类别的样本图片分别作为一个单独的部分以对模型进行训练，即在训练中加入负样本，使得训练过程中的不同车标类别的样本图片的差异性增大，提高本发明对于各类车标的预测速度和识别精度。
可选的，本发明可以在随机梯度下降法中使用的损失函数加入正则化系数，如下：
其中，L为车标识别模型的损失函数，N为车标类别的个数，f(xi)为与第i个车标类别对应的预测概率，yi为第i个车标类别的标签，λ为正则化系数，J(f)为正则化项。
其中，本发明将CNN网络的最后一层设置为Softmax(Softmax函数)层，它可以将一个含任意实数的n*1的向量“压缩”到另一个n*1的向量中。其中，压缩后得到的向量的值都在0至1之间(某个车标类别为该次车标识别结果的概率值)，并且所有值的和为1。
可选的，Softmax层可以使得本发明的CNN网络确定压缩后的最大向量值，即本发明可以输出最大概率所对应的车标类别。当然，本发明也可以将大于某个预设概率值的车标类别均作为结果输出。
在实际应用中，本发明需要对训练好的CNN网络进行测试。具体的，本发明可以将所有测试图片(已知车标类别的图片)平均划分至几个组，以组为单位统计CNN网络的测试准确率。
具体的，本发明可以根据各个组的测试准确率，判断CNN网络的测试准确率是否满足工作要求。需要说明的是，预设的准确率可以由技术人员根据实际场景需要进行设定，本发明不做限定。
所述车标类别确定单元400，用于在所述Softmax层输出的各类别车标的概率中，将大于预设阈值的概率所对应的车标类别确定为所述第一车标的类别。
可选的，预设阈值可以由技术人员根据实际场景需要进行制定，本发明对此不做限定。
可选的，本发明可以根据上述各个组的测试准确率，确定所有车标识别的统一判定标准，确定预设阈值的大小。当然，本发明也可以针对各车标类别设定的判定标准，设定不同预设阈值。
在实际应用中，本发明可以在车标识别模型中设定公式1，以根据Softmax层输出的各类别车标的概率，确定车标识别模型对车标的预测结果。
其中：P为本发明预测的车标类别，index为某个车标类别，p为与index对应的概率，0表示非index的其它车标类别或未知车标类别，T为车标类别确定单元400中的预设阈值。
本实施例提出的车标识别系统，可以根据车牌位置信息在车标图片中截取车标有效特征区域的图片，并将该图片作为待识别图片输入训练好的基于CNN网络结构的车标识别模型，使车标识别模型提取待识别图片中的特征并进行车标类别的预测，输出车标类别的预测结果，实现了对于车标图片特征的自动提取，以及对车标类别的预测，并且，截取获得的待识别图片的尺寸小、干扰信息少且数据量小，提高了车标识别的速度和精度。
基于图3所述系统的结构示意图，本实施例提出了另一种车标识别系统，在该系统中，所述第一图片截取单元200，可以具体包括第一坐标确定单元201、第二坐标确定单元202和第二图片截取单元203，其中：
所述第一坐标确定单元201，可以用于从所述位置信息中确定所述车牌中至少一个点的坐标；
可选的，所述第一坐标确定单元201，可以具体用于从所述位置信息中确定所述车牌的左上角的坐标；
其中，本发明可以以坐标系中坐标的方式来标识和定位车牌中的点。需要说明的是，本发明对于坐标系的具体类型和生成过程不做限定。
所述第二坐标确定单元202，用于在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标；
可选的，所述第二坐标确定单元202，可以具体包括点移动控制单元和第三坐标确定单元，其中：
所述点移动控制单元，可以用于在所述第一车标的图片中，控制所述车牌的左上角分别沿第一水平方向移动第一预设长度、沿第二水平方向移动第二预设长度以及沿竖直方向上方移动第三预设长度，确定待识别图片的左下角的坐标、右下角的坐标以及所述待识别图片在竖直方向上的高度；
所述第三坐标确定单元，可以用于根据所述左下角的坐标、所述右下角的坐标及所述高度，确定所述待识别图片的左上角及右上角的坐标，所述待识别图片为矩形。
其中，第一预设长度、第二预设长度及第三预设长度均可以由技术人员根据实际情况进行设置，本发明对此不做限定。
需要说明的是，本发明可以结合矩形的特性，根据待识别图片的左上角及右上角确定待识别图片的高度和一条底边的位置及长度，确定出待识别图片的其余角，即左上角和右上角的坐标。
其中，若第一预设长度、第二预设长度和/或第三预设长度的设定，使得本发明在控制车牌左下角进行移动的过程中超出了车标图片的范围，则本发明将选取左下角在移动过程中与车标图片的相应边的交点作为待识别图片的一个角，即本发明只选取车标图片以内的范围作为待识别图片的组成部分。
所述第二图片截取单元203，用于根据所述四个角的坐标，截取所述待识别图片。
其中，本发明在确定待识别图片的四个角后，可以将四个角依次连接，确定并截取待识别图片。
可选的，四个角依次连接的顺序可以是左下角—左上角—右上角—右下角—左下角，可以是左上角—右上角—右下角—左下角—左上角等。需要说明的是，本发明对该连接顺序不做限定。
本实施例提出的车标识别系统，通过从车牌的位置信息中确定至少一个点的坐标，控制各点坐标在车标图片中车牌上方的区域进行移动，确定待识别图片的四个角，进而截取待识别图片，实现了对车标图片中对于车标识别无关信息的删除，减小待识别图片的数据量，有利于提高后续车标识别模型对于车标的待识别图片的识别速度和预测精度。
在本发明提出的其它实施例中，可以先行从车牌的位置信息中确定右上角，进而控制右上角移动确定待识别图片的四个角，确定并截取获得待识别图片。
如图5所示，图5为本实施例揭露的一种车标识别装置10的内部结构示意图，在本实施例中，车标识别装置10可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机和网络存储设备终端设备。
该车标识别装置10可以是组成CDN网络或者区块链网络的节点。
该车标识别装置10可以包括存储器11、处理器12和总线13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是车标识别装置10的内部存储单元，例如该车标识别装置10的硬盘。存储器11在另一些实施例中也可以车标识别装置10的外部存储设备，例如车标识别装置10上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括车标识别装置10的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于车标识别装置10的应用软件及各类数据，例如车标识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行车标识别程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，车标识别装置还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该装置10与其他电子设备之间建立通信连接。
可选地，该车标识别装置10还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在车标识别车标识别装置10中处理的信息以及用于显示可视化的用户界面。
本领域技术人员可以理解的是，图5示出的结构并不构成对车标识别装置10的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种车标识别方法，其特征在于，所述方法包括：
在待确定的第一车标的图片中，检测车牌在所述第一车标的图片中的位置信息；
根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片；
将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别，所述车标识别模型的网络结构中设置有Softmax层；
在所述Softmax层输出的各类别车标的概率中，将大于预设阈值的概率所对应的车标类别确定为所述第一车标的类别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片，包括：
从所述位置信息中确定所述车牌中至少一个点的坐标；
在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标；
根据所述四个角的坐标，截取所述待识别图片。
3.根据权利要求2所述的方法，其特征在于，所述从所述位置信息中确定所述车牌中至少一个点的坐标，包括：
从所述位置信息中确定所述车牌的左上角的坐标；
所述在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标，包括：
在所述第一车标的图片中，控制所述车牌的左上角分别沿第一水平方向移动第一预设长度、沿第二水平方向移动第二预设长度以及沿竖直方向上方移动第三预设长度，确定待识别图片的左下角的坐标、右下角的坐标以及所述待识别图片在竖直方向上的高度；
根据所述左下角的坐标、所述右下角的坐标及所述高度，确定所述待识别图片的左上角及右上角的坐标，所述待识别图片为矩形。
4.根据权利要求1所述的方法，其特征在于，所述车标识别模型中还设置有第一卷积层、第一池化层、密集单元、过渡层和分类层。
5.根据权利要求4所述的方法，其特征在于，所述密集单元中设置有第二卷积层和串级层，所述分类层中设置有全局平均池化层和全连接层。
6.根据权利要求1至5所述的任一方法，其特征在于，在所述将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别之前，所述方法还包括：
对所述待识别图片进行图像处理。
7.一种车标识别系统，其特征在于，所述系统包括车牌检测单元、第一图片截取单元、图片输入单元和车标类别确定单元，其中：
所述车牌检测单元，用于在待确定的第一车标的图片中，检测车牌在所述第一车标的图片中的位置信息；
所述第一图片截取单元，用于根据所述位置信息，在所述第一车标的图片中截取位于所述车牌上方的图片作为待识别图片；
所述图片输入单元，用于将所述待识别图片输入训练得到的基于卷积神经网络CNN的车标识别模型中进行车标识别，所述车标识别模型的网络结构中设置有Softmax层；
所述车标类别确定单元，用于在所述Softmax层输出的各类别车标的概率中，将大于预设阈值的概率所对应的车标类别确定为所述第一车标的类别。
8.根据权利要求7所述的系统，其特征在于，所述第一图片截取单元，具体包括第一坐标确定单元、第二坐标确定单元和第二图片截取单元，其中：
所述第一坐标确定单元，用于从所述位置信息中确定所述车牌中至少一个点的坐标；
所述第二坐标确定单元，用于在所述第一车标的图片中，控制所述车牌中各个点在位于所述车牌上方的区域中进行移动，确定待识别图片的四个角的坐标；
所述第二图片截取单元，用于根据所述四个角的坐标，截取所述待识别图片。
9.一种车标识别装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的车标识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的车标识别方法。
CN201910877042.6A 2019-09-17 2019-09-17 一种车标识别方法、系统、装置及计算机可读介质 Pending CN110569921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910877042.6A CN110569921A (zh) 2019-09-17 2019-09-17 一种车标识别方法、系统、装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910877042.6A CN110569921A (zh) 2019-09-17 2019-09-17 一种车标识别方法、系统、装置及计算机可读介质

Publications (1)

Publication Number Publication Date
CN110569921A true CN110569921A (zh) 2019-12-13

Family

ID=68780504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877042.6A Pending CN110569921A (zh) 2019-09-17 2019-09-17 一种车标识别方法、系统、装置及计算机可读介质

Country Status (1)

Country Link
CN (1) CN110569921A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914892A (zh) * 2020-06-23 2020-11-10 安徽师范大学 基于轮胎检测的车型及车标识别方法
CN113205069A (zh) * 2021-05-27 2021-08-03 上海高德威智能交通系统有限公司 虚假车牌检测方法、装置及计算机存储介质
CN114416686A (zh) * 2021-12-06 2022-04-29 广州天长信息技术有限公司 一种车辆设备指纹carid识别系统及识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160340A (zh) * 2015-08-31 2015-12-16 桂林电子科技大学 一种车辆品牌识别系统及方法
CN105354568A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法
CN105678304A (zh) * 2015-12-30 2016-06-15 浙江宇视科技有限公司 一种车标识别方法及装置
CN108846334A (zh) * 2018-05-30 2018-11-20 安徽大学 一种云类别自动识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354568A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法
CN105160340A (zh) * 2015-08-31 2015-12-16 桂林电子科技大学 一种车辆品牌识别系统及方法
CN105678304A (zh) * 2015-12-30 2016-06-15 浙江宇视科技有限公司 一种车标识别方法及装置
CN108846334A (zh) * 2018-05-30 2018-11-20 安徽大学 一种云类别自动识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO HUANG ET AL: ""Densely Connected Convolutional Networks"", 《ARXIV》 *
康琦等: "《机器学习中的不平衡分类方法》", 31 October 2017 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914892A (zh) * 2020-06-23 2020-11-10 安徽师范大学 基于轮胎检测的车型及车标识别方法
CN113205069A (zh) * 2021-05-27 2021-08-03 上海高德威智能交通系统有限公司 虚假车牌检测方法、装置及计算机存储介质
CN114416686A (zh) * 2021-12-06 2022-04-29 广州天长信息技术有限公司 一种车辆设备指纹carid识别系统及识别方法

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US10534957B2 (en) Eyeball movement analysis method and device, and storage medium
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
WO2021012484A1 (zh) 基于深度学习的目标跟踪方法、装置及计算机可读存储介质
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN109165589B (zh) 基于深度学习的车辆重识别方法和装置
CN110633712A (zh) 一种车身颜色识别方法、系统、装置及计算机可读介质
CN108009543A (zh) 一种车牌识别方法及装置
CN111815577B (zh) 安全帽佩戴检测模型处理方法、装置、设备和存储介质
WO2018120460A1 (zh) 图像焦距检测方法、装置、设备及计算机可读存储介质
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
CN110569921A (zh) 一种车标识别方法、系统、装置及计算机可读介质
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
WO2021090771A1 (en) Method, apparatus and system for training a neural network, and storage medium storing instructions
US10762372B2 (en) Image processing apparatus and control method therefor
CN109033955A (zh) 一种人脸跟踪方法和系统
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
WO2020217368A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523710, 26, 188 Industrial Road, Pingshan Town, Guangdong, Dongguan, Tangxia

Applicant after: Entropy Technology Co.,Ltd.

Address before: 523710, 26, 188 Industrial Road, Pingshan Town, Guangdong, Dongguan, Tangxia

Applicant before: ZKTECO Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213