CN115862060A - 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 - Google Patents
基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 Download PDFInfo
- Publication number
- CN115862060A CN115862060A CN202211489199.XA CN202211489199A CN115862060A CN 115862060 A CN115862060 A CN 115862060A CN 202211489199 A CN202211489199 A CN 202211489199A CN 115862060 A CN115862060 A CN 115862060A
- Authority
- CN
- China
- Prior art keywords
- pig
- identification
- feature vector
- result
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000005809 Carpobrotus aequilaterus Nutrition 0.000 title claims abstract description 71
- 235000004550 Disphyma australe Nutrition 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 65
- 241000200554 Disphyma crassifolium Species 0.000 title claims description 6
- 239000013598 vector Substances 0.000 claims abstract description 118
- 244000187801 Carpobrotus edulis Species 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 35
- 230000010354 integration Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 30
- 241000282887 Suidae Species 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 19
- 239000000523 sample Substances 0.000 description 17
- 210000003194 forelimb Anatomy 0.000 description 13
- 238000012549 training Methods 0.000 description 11
- 238000009395 breeding Methods 0.000 description 10
- 230000001488 breeding effect Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 210000003141 lower extremity Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000001624 hip Anatomy 0.000 description 6
- 210000000689 upper leg Anatomy 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000005303 weighing Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 241000239290 Araneae Species 0.000 description 3
- 238000002255 vaccination Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 210000000784 arm bone Anatomy 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000001981 hip bone Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 210000000623 ulna Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
本发明公开了基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统，该方法包括如下步骤：S1：获取待识别的图片或图片序列；S2：并行进行猪脸识别和猪只重识别，分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；S3：通过输出整合神经网络对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量；S4：将结果特征向量与底库中的特征向量进行比对，计算相似度，输出相似度最高的猪只个体编号标签。本发明具有低成本、高效率、广适应性、高鲁棒性等优势，极大程度上提升了猪只个体的识别效率以及识别精度。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种猪只重识别方法及系统。
背景技术
生猪养殖行业中，对猪只个体做区分编号是记录猪只数据库表项的基础，例如称量猪只体重的记录，记录猪只疫苗接种情况等，都是基于猪只个体已经做好区分的前提下进行的。传统的猪只个体区分方法主要依靠人工巡视，检查比对猪只栏圈、脸部、生活习性、体表体征等以区分不同个体。此方法效率低下，并且十分消磨工作人员的意志与精力。对于长年累月生活在小型养殖场（40头左右规模）的工作人员来说，区分不同猪只个体的任务并不困难，然而对于大型养殖场，仅依靠人工记录区分不同个体，并且以之作为依据开展诸如称重、接种疫苗、配种等其他工作将会是一项繁琐且庞大的工作。该项人力成本占据了生产成本的很大部分，并且随着养殖规模的增大，该项人力成本亦将随之增加。神经网络深度学习等人工智能技术应用于行人重识别领域已取得极大成功，在业界首次命中率最高已达到99%，并且重识别框架已足够成熟，足以投入工农业生产。所谓行人重识别（Person Re-identification）指的是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，被广泛认为是一个图像检索的子问题。行人重识别可以实现在给定一个监控行人图像的条件下跨设备检索该行人图像。它旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。应用于野生动物或家畜的重识别（Re-identification）基于已有的行人重识别框架而产生，可实现依据拍摄到图像或者视频序列中的野生动物或家畜的体表特征来确定其个体编号的功能，方兴未艾，有望实现科技反哺工农业发展的美好愿景。
本申请人发现现有技术当中至少存在以下技术问题：
在生猪养殖行业中，现有的猪只个体的识别方法效率较低，并且精度较差，无法满足日常饲养工作。
发明内容
本发明的目的在于提供一种基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统，以解决现有的猪只个体的识别方法效率较低，并且精度较差的技术问题。
本发明的目的是采用以下技术方案实现的：基于猪脸识别与猪只重识别的猪只唯一化识别方法，包括如下步骤：
S1：获取待识别的图片或图片序列；
S2：并行进行猪脸识别和猪只重识别，分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；
S3：通过输出整合神经网络对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量；
S4：将结果特征向量与底库中的特征向量进行比对相似度最高的猪只个体编号标签。
进一步的，所述猪脸识别包括如下步骤：
利用目标检测模型对图片或图片序列中的猪脸进行检测，并截取感兴趣区域；
通过神经网络对截取的感兴趣区域进行特征提取，将原图片转化为一个若干维的特征向量；
将猪脸识别的结果特征输入到输出整合神经网络。
进一步的，所述神经网络包括ResNet50和FaceNet，通过神经网络对截取的感兴趣区域进行特征提取，并通过多次卷积和池化操作，将原图片转化为一个若干维的特征向量，并通过欧几里得距离计算方法或余弦距离计算方法计算该特征向量与目标个体特征向量之间的特征距离。
进一步的，若是单张感兴趣区域，则通过神经网络直接提取特征；若是多张相同部位感兴趣区域，则通过神经网络分别提取特征，并取平均；若是多张不同部位感兴趣区域，则采用策略A或策略B提取特征，其中，策略A为：通过神经网络对相应部位提取特征，得到多个分别代表不同部位特征的特征向量组，并计算该特征向量组与目标个体的特征向量组中对应向量之间的度量距离，得到多个不同部位的度量距离值，对度量距离值进行加权平均，作为原图与目标个体之间的度量距离；策略B为：通过神经网络对相应部位提取特征，得到多个分别代表不同部位特征的特征向量组，然后将特征向量组按顺序连接，再经过全连接层缩减维数，最终得到一个融合了多特征的总特征向量，并利用该特征向量计算其与目标个体之间的度量距离。
进一步的，所述猪只重识别包括如下步骤：
利用目标检测模型对图片或图片序列中的猪脸进行检测，并截取感兴趣区域；
通过特征提取网络对截取的感兴趣区域进行特征提取，得到特征信息；
将该上述特征向量输入到整合输出神经网络中。
进一步的，所述特征提取网络包括ResNet和CNN，通过特征提取网络对截取区域进行特征提取的策略包括只进行全局特征提取、只进行局部特征提取和全局特征提取与局部特征提取相结合。
进一步的，所述全局特征提取包括：输入图片、卷积网络层、输出全局特征图谱、池化层、输出特征向量、全连接层和输出分类结果；所述局部特征提取包括：输入图片、依据分块策略分块、每个子块均输入卷积网络、每个子块均输出特征图谱、特征融合、输出特征向量、全连接层和输出分类结果。
进一步的，所述分块策略包括水平切块、依据姿态信息切块、语义分割和网格切块。
进一步的，所述输出整合神经网络包括误差逆传播多层前馈网络，通过误差逆传播多层前馈网络将猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合。
基于猪脸识别与猪只重识别的猪只唯一化识别系统，包括图片获取模块、猪脸识别模块、猪只重识别模块和输出整合模块，其中，所述图片获取模块用以获取待识别的图片或图片序列；猪脸识别模块和猪只重识别模块用于对猪只个体进行并行识别，并所述分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；所述输出整合模块用以对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量，并将结果特征向量与底库中的特征向量进行比对，计算相似度，输出相似度最高的猪只个体编号标签。
本发明的有益效果在于：本发明创造性地提出了一种基于计算机视觉技术、关键点检测技术、重识别技术与深度神经网络技术，可用于全自动区分识别猪只个体编号的方法，相较于传统的全人工流程，效率提高了多个量级，减轻了从业人员进行称重工作所面临的风险，大大减轻了测温过程对猪只健康的不良影响，大幅度降低了人力成本；本发明使用模块化解耦，可针对不同使用场景采取不同策略，灵活性强，逻辑结构清晰；本发明是一种低成本、高效率、广适应性、高鲁棒性于一体的科学化规模化猪只唯一化识别方案，极大程度上提升了猪只个体的识别效率以及识别精度。
本发明依托于计算机视觉与深度学习等计算机科学领域的快速发展，为现代化、科学化的猪只养殖提供了有力保障，在真正意义上实现了养殖学、食品工程、材料科学与计算机科学等多学科的交叉融合，以新兴技术领域为传统工农业赋能；同时，本发明在现代化养殖产业中具有较高的技术优势和市场价值，适合于生产中的实际应用与技术上的进一步推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明流程图；
图2为猪脸识别流程图；
图3为猪只重识别流程图；
图4为输出整合流程图；
图5为本发明系统框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
本发明的目的是：为提高养殖作业过程中确定猪只个体编号的效率，减轻人员劳动强度，同时用于辅助其他高精确度个体区分技术，如在猪脸识别、猪只体表二维码识别失效时提供替代技术，本发明基于计算机视觉技术、神经网络与深度学习方法、目标检测技术、重识别技术、图像检索技术等实现了全自动标识猪只个体编号，以达到区分不同个体的功能，为其他重要的生产作业过程，如称重、接种疫苗的开展等提供了基础。
为了达到上述目的，本发明提供了以下实施例，下面结合附图，对本发明的一些实施方式作详细说明，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例1：
参阅图1，基于猪脸识别与猪只重识别的猪只唯一化识别方法，包括如下步骤：
S1：获取待识别的图片或图片序列；
S2：并行进行猪脸识别和猪只重识别，分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；
S3：通过输出整合神经网络对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量；
S4：将结果特征向量与底库中的特征向量进行比对，计算相似度，输出相似度最高的猪只个体编号标签。
进一步的，所述猪脸识别主要包括目标检测/关键点检测、特征提取与度量学习以及测试评估三个阶段，具体包括如下步骤：
目标检测/关键点检测：本阶段是利用已经训练好的目标检测模型，如YOLOv5、FastRCNN等目标检测模型检测猪脸在图片中所在的位置，获得猪脸的锚框（boundingbox），并将该部分作为ROI（感兴趣区域）截取出来以供后续阶段使用。若要提高模型的准确度，可以使用MTCNN等多任务目标检测模型同时检测猪脸和猪脸部关键点（如耳朵、鼻子、眼睛等特征明显的区域）所在位置，并将猪脸以及猪脸部关键点周围一定大小的区域均作为ROI进行截取以供后续阶段统一进行特征提取。此阶段主要是为了尽可能地减少无关信息的干扰，提高特征提取的准确度；
特征提取与度量学习：本阶段在上一阶段得到的ROI的基础上，使用ResNet50、
FaceNet等神经网络对于ROI图片进行特征提取，通过多次卷积和池化操作，将原图片转化
为一个若干维的特征向量。随后计算该特征向量与目标个体的特征向量之间的度量距离。
常用的度量距离表示方式有欧几里得距离、余弦距离等，其中欧几里得距离的计算公式为
，余弦距离的计算公式为
；
测试评估：在对模型进行训练时，只需要进行前两个阶段的步骤，进行测试评估的基础思路如下：首先使用目标检测/关键点检测以及特征提取和度量学习过程的方法对待测试的图片（称为query或者probe）的脸部/脸部关键点区域进行锚框并提取特征，在底库（gallery）中已经预先保存了所有猪只个体的脸部特征信息与身份信息的对应关系，利用度量学习过程的方法计算出待测试的图片与所有猪只个体的特征距离，依据一定规则将特征距离转换为相似度，随后对于相似度从高到低进行排序，选出排序最靠前的若干个猪只个体，并认为待测试的图片最有可能属于这些猪只个体之一，若最高相似度仍低于一定的阈值，则认为待测试图片中的猪只个体不存在于底库中，需要将其脸部特征信息与身份信息存入底库中。
进一步的，为了提升预测速度，有以下可行的改进思路。在算力有限的条件下，在第一阶段可以进行单独的脸部检测而不进行关键点检测，而后进行特征提取、度量和相似度排序时也只使用脸部的全局特征进行计算，但可能对精度产生一定的影响。同时，可以使用聚类的方式缩小检索的范围，即将底库中已存在的猪只个体根据特征信息分为若干类，在检索时先确定待测试的图片属于哪一类，再在将待测试的图片在该类中进行度量和相似度排序。此种方法需要事先消耗一定的算力进行聚类，但实时性好，能够尽快找到符合要求的个体。
在猪脸识别过程中，若是单张感兴趣区域，则通过神经网络直接提取特征；若是多张相同部位感兴趣区域，则分别使用同一模型对每张图片进行特征提取，并对得到的特征向量取平均，而后再计算度量距离；若是多张不同部位感兴趣区域，则采用策略A或策略B提取特征。
策略A为：通过神经网络对相应部位提取特征，得到多个分别代表不同部位特征的特征向量组，并计算该特征向量组与目标个体的特征向量组中对应向量之间的度量距离，得到多个不同部位的度量距离值，对度量距离值进行加权平均，作为原图与目标个体之间的度量距离；这种方法在实现上较为简单，但必须分别对于各模型进行训练，因此训练代价较高。
策略B为：通过神经网络对相应部位提取特征，得到多个分别代表不同部位特征的特征向量组，然后将特征向量组按顺序连接，再经过全连接层缩减维数，最终得到一个融合了多特征的总特征向量，并利用该特征向量计算其与目标个体之间的度量距离。在进行训练时，损失值（loss）先会通过全连接层反向传播给各部位的专用模型，再由每个模型分别反向传播，以保证各模型都能够得到有效的训练。
在传入多张不同部位ROI图片的情况下，最好使用余弦距离作为度量距离，以解决
各特征之间的可比性问题。常用的损失值表示有交叉熵损失（Cross entropy loss）、对比
损失（Contrastive loss）、三元组损失（Triplet loss）、改进三元组损失（Improved
triplet loss）、四元组损失（Quadruplet loss）。其中交叉熵损失的定义式为
，其中
为样本数量，
为类别数量，
为符号函
数，若样本
的真实类别为
则取1，否则为0，
为样本
属于类别
的预测概率；对比损
失的定义式为
，式中
为两个样本是否匹配
的标签，
代表两个样本相似或者匹配，
则代表不匹配，
为设定的阈值，
为两样本的欧氏距离，计算公式见上文，
表示
，即当
时，取
z，否则取0；三元组损失的定义式为
，式中下标中的
分别代表锚点图片（anchor）、正样本图片（positive）、负样本图片（negative），
为锚
点图片与正样本图片的距离，
为锚点图片与负样本图片的距离，
为设定的阈值，三
元组即随机挑选的的锚点图片、与锚点图片个体相同的正样本图片、与锚点图片个体不同
的负样本图片所组成的元组，
表示
；改进三元组损失定义式为
，式中各项表征意义同三元组损失；四元组损失是三元组
损失的另一个改进版本，其定义式为
，
式中下标中
为设定的两个阈值，通常令
为两张不同的负样本图
片，其余定义与上文相同，通常称式中前一项为强推动，后一项为弱推动。在实际训练的过
程中，ResNet50模型使用的是交叉熵损失，而FaceNet使用的是三元组损失。训练过程中，在
通过多级神经网络得到预测的特征向量值并计算其与真实值之间的损失值之后，将损失值
反向传播，同时使用如SGD、Adam等优化器（optimizer）迭代寻找损失值最小值，通过不断更
新网络的参数达到学习的效果。当调整网络参数得到近似收敛的损失值时，此时产生的权
重即为目标模型的权重。
在本实施例当中，猪脸识别根据精度要求与算力条件选择目标检测模型或者带关键点检测的多目标检测模型进行锚框，并将该部分作为ROI截取出来以供后续阶段使用。随后根据ROI图片的类型选择合适的特征提取策略：若为单张ROI图片则直接进行特征提取并输出特征向量；若为多张相同部位ROI图片则分别提取特征并求平均；若为多张不同部位ROI图片则有两种特征提取策略，可以根据需要进行选择，一般使用ResNet50或FaceNet作为特征提取的骨干网络。在训练过程中，得到特征向量之后，计算其与目标个体的度量距离，并根据度量距离计算推理结果与真实结果之间的损失值。损失值有多种计算形式，在实际训练的过程中，ResNet50模型使用的是交叉熵损失，而FaceNet使用的是三元组损失。在完成损失计算后，需要将损失值反向传播，同时使用如SGD、Adam等优化器（optimizer）迭代寻找损失值最小值，通过不断更新网络的参数达到学习的效果。当调整网络参数得到近似收敛的损失值时，此时产生的权重即为目标模型的权重。在测试评估的过程中，直接将提取出的特征向量作为输出整合神经网络的输入即可。（参阅图2）
进一步的，所述猪只重识别包括目标检测、特征提取、度量学习和测试评估四个阶段，具体包括如下步骤：
目标检测：利用已经训练好的目标检测模型，如YOLO系列、Fast RCNN等目标检测模型检测猪只个体，获得猪只个体的锚框（bounding-box），并且将此部分利用save crop等截取ROI功能截取出来以供后续步骤使用。此步骤主要是为了尽可能地减少无关信息的干扰，提高特征提取的准确度；
特征提取：根据已有的自有数据集训练特征提取网络，骨干网络一般选取ResNet、CNN等。训练过程中采取全局特征与局部特征相结合的策略，用户可根据实际的软硬件状况与实际需求选择，其中局部特征的切块风格包括但不限于水平切块、依据姿态信息切块、语义分割、网格切块等；
度量学习：根据黑盒性质的诸多特征所计算得到的度量距离得到损失值（loss），
常用的度量距离表示方式有欧几里得距离、余弦距离等，其中欧几里得距离的计算公式为
，余弦距离的计算公式为
；常用的损失
值表示有Softmax、对比损失（Contrastive loss）、三元组损失（Triplet loss）、改进三元
组损失（Improved triplet loss）、四元组损失（Quadruplet loss）。其中对比损失的定义
式为
，式中
为两个样本是否匹配的标签，
代表两个样本相似或者匹配，
则代表不匹配，
为设定的阈值，
为两
样本的欧氏距离，计算公式见上文，
表示
，即当
时，取z，否则取0；三元
组损失的定义式为
，式中下标中的
分别代表锚点图片
（anchor）、正样本图片（positive）、负样本图片（negative），
为锚点图片与正样本图
片的距离，
为锚点图片与负样本图片的距离，
为设定的阈值，三元组即随机挑选的
的锚点图片、与锚点图片个体相同的正样本图片、与锚点图片个体不同的负样本图片所组
成的元组，
表示
；改进三元组损失定义式为
，
式中各项表征意义同三元组损失；四元组损失是三元组损失的另一个改进版本，其定义式
为
，式中下标中
为设定的两个阈
值，通常令
为两张不同的负样本图片，其余定义与上文相同，通常称式
中前一项为强推动，后一项为弱推动；选用优化器（optimizer）迭代寻找损失值最小值，并
不断更新网络的参数达到学习的效果；
测试评估：在对模型进行训练时，只需要进行前三个部分的步骤，进行测试评估的基础思路如下：首先使用目标检测和特征提取过程的方法对待测试的图片（称为query或者probe）进行锚框并提取特征。在底库（gallery）中已经预先保存了所有猪只个体的特征信息与身份信息的对应关系。利用度量学习过程的方法计算出待测试的图片与所有猪只个体的特征距离，依据一定规则将特征距离转换为相似度。随后对于相似度从高到低进行排序，选出排序最靠前的若干个猪只个体，并认为待测试的图片最有可能属于这些猪只个体之一。若最高相似度仍低于一定的阈值，则认为待测试图片中的猪只个体不存在于底库中，需要将其特征信息与身份信息存入底库中。
为了提升预测速度，有以下可行的改进思路。在算力有限的条件下，可以只进行全局特征提取的步骤，略去局部特征提取的步骤，而后进行度量和相似度排序时也只使用全局特征进行计算，但可能对精度产生一定的影响。同时，可以使用聚类的方式缩小检索的范围，即将底库中已存在的猪只个体根据特征信息分为若干类，在检索时先确定待测试的图片属于哪一类，再在将待测试的图片在该类中进行度量和相似度排序。此种方法需要事先消耗一定的算力进行聚类，但实时性好，能够尽快找到符合要求的个体。
进一步的，所述特征提取网络包括ResNet和CNN，通过特征提取网络对截取区域进行特征提取的策略包括只进行全局特征提取、只进行局部特征提取和全局特征提取与局部特征提取相结合。所述全局特征提取包括：输入图片、卷积网络层、输出全局特征图谱、池化层、输出特征向量、全连接层和输出分类结果；所述局部特征提取包括：输入图片、依据分块策略分块、每个子块均输入卷积网络、每个子块均输出特征图谱、特征融合、输出特征向量、全连接层和输出分类结果。
进一步的，水平切块是指，将图像进行水平方向的等分，每一个水平切块通过水平
池化提取一个特征，运用了水平切块的常见算法有Gate Siamese、AlignedReID、PCB、ICNN、
SCPNet等等。以AlignedReID为例说明其过程，AlignedReID对切块的对齐方面采取了动态
连接 (Dynamic Time Warping) 的策略，计算局部特征的特征距离时会进行归一化处理，
归一化公式为
，式中
分别表示图片A第
块切块的特
征与图片B第
块切块的特征，故归一化距离与原始的欧氏距离是成正相关的关系，将归一
化公式对原始的欧氏距离（用
表示）求导有
，由此可得，距离越小梯度越
大，即网络将会更加关注相似的区域。其他水平切块方式大同小异，基本路线与目的相同。
进一步的，依据姿态信息切块可以借助猪只骨架关键点检测模型（PigPose）进行关键点检测，再依据关键点将图像切分成具有语义的不同部分，随后进行特征提取，具体分块的数量与多少可以根据实际的软硬件计算可承载量情况取舍，下面将以头部，前肢，躯干，后肢，臀部五个部分为例，说明基于姿态信息切块的特征提取的运作过程。
进一步的，猪只姿态关键点识别（PigPose）是一种基于开源算法人体姿态检测（OpenPose）开发的自底向上的猪只2D姿态无参数表示方法。它将猪全身分为22个关键点，其位置分别位于猪左耳、猪右耳、猪鼻子最前端、猪左前肢肩胛骨中心位置、猪左前肢尺骨与臂骨的交接点、猪左前肢腕与臂交接处、猪左前肢系的中心处、猪右前肢肩胛骨中心处、猪右前肢尺骨与臂骨的交接点、猪右前肢腕与臂交接处、猪右前肢系的中心处、猪左后肢髋骨与股骨连接处的位置、猪左后肢股骨与胫骨的交界点、猪左后肢腓骨与跌骨连接处、猪左后肢系的中心位置、猪右后肢髋骨与股骨连接处的位置、猪右后肢股骨与胫骨的交界点、猪右后肢腓骨与跌骨连接处位置、猪右后肢系的中心位置、猪背、腰处中点处、猪下腹中点处。仿照Spindle Net结构实现专用于猪只重识别特征提取的Pig Spindle Net，经由姿态信息关键点估计模型预测得到22个关键点后，根据关键点信息分为五个部分，头部、前肢、躯干、后肢、臀部。先进行特征提取（feature extraction）的过程如下：首先提取身体与四肢的特征提取，随后对身体进行拆分，提取头部、躯干、臀部的特征，然后对四肢区分为左前肢、右前肢、左后肢、右后肢四个部分提取特征，最终得到7个特征。后进行特征融合（featurefusion）的过程如下：首先将躯干特征与前、后肢特征融合，随后依次融合头部、臀部特征，最后与原始的全局特征融合得到最终特征。整个过程呈现三层特征提取，得到5个局部特征，三层特征融合得到最终的特征图（feature map），特征提取与特征融合呈现对称特点，保证了该网络的精准性。
进一步的，利用语义分割的局部特征提取可以通过图像蒙版技术（imagematting）实现。利用已经训练好的针对猪只身体轮廓识别的语义分割模型（骨架网络为HarDNet，使用两千余张猪只照片作为数据集，使用Labelme作为标注工具）对图片中待重识别的猪只个体进行图像蒙版处理。其中语义分割模型的分割风格分为粗粒度分割和细粒度分割：粗粒度分割即只讲猪只整体轮廓作为蒙版将猪只语义区域抠像处理；细粒度分割即借助猪只关键点检测模型预测出当前图片中存在的关键点，依据关键点将猪只身体分为不同部分，以五个部分为例，可分为头部、前肢、躯干、后肢、臀部五个部分，依次将语义分割得到的图像蒙版中对应部分提取局部特征。语义分割的结果除了可以作为图像蒙版中的遮罩（mask）参与到局部特征提取中，还可以作为特征图中注意力（attention）与原图相乘以达成提取特征的目的。
网格切块的过程类似于水平切块，同样是基于骨干网络，对图像做分块处理，分为若干网格，对每个一个网格提取局部特征，一般来说依据语义分割进行局部特征提取的方法和网格切块进行局部特征提取的方法并不常用。
在本实施例当中，猪只重识别不返回个体编号标签，而是返回该个体特征向量，在工作时首先使用目标检测算法模型获取图片中含有猪只部分的ROI并储存；随后进入特征提取阶段，此阶段可选择全局特征、局部特征、全局特征与局部特征相结合三种策略，对于追求预测速度的场合，一般使用全局特征，在姿态过于丰富、遮挡较为严重、应用序列重识别的场合一般使用全局特征与局部特征相结合，在追求精确度而算力条件有限的情况下使用局部特征；随后对提取出的特征距离进行度量学习，本实施例对特征距离选取最常用的欧氏距离，而对于损失值通常选取三元组损失，进行有监督学习，不断调整网络参数得到损失值最小的最优模型并保存；测试阶段将会拍摄或抽取视频中的某一帧含有底库所包含的个体的图片，输入模型网络中锚框并提取特征（为保证预测速度，测试阶段可以只提取全局特征），输出该个体重识别结果的特征向量。（参阅图3）
在本实施例当中，所述输出整合神经网络用于综合猪脸识别与猪只重识别的结果
生成最终识别结果，包括误差逆传播多层前馈网络，设矩阵
为权重
矩阵，令最终特征向量，即输出结果为向量
，猪脸识别的结果特
征向量为
，猪只重识别的结果特征向量为
，
则定义中间结果为矩阵
，则最终结果的表达式为
，即
。在训练过程中，依据正确标签不断
调整权重矩阵，一个完整的训练轮次过程如下：输入若干图片，对每一张图片同时进行猪脸
识别与猪只重识别，得到上文所述的两个特征向量
和
，由最终结果特征向量表达式计
算得到本层次结果
（矩阵
初始化为0到1之间的随机值），经过若干隐含层计算后由输
出层输出本轮次结果
，依据正确标签计算该图片所表征个体的正确
，根据选取的损失
函数计算损失值，修改权重矩阵，随后开始下一轮训练，直至损失函数值收敛即可得到最佳
的权重矩阵。（参阅图4）
本方法在正式使用前，将使用最佳权重矩阵对底库内的图片与图片序列做猪脸识
别与猪只重识别处理并在整合输出后存储其对应的最终结果特征向量。在用户使用过程
中，图片输入后，同时进行猪脸识别与猪只重识别，得到上文所述的两个特征向量
和
，由
最终结果特征向量表达式计算得到本轮次结果
，与底库中的最终结果特征向量值比对，
依据一定规则定义相似度，例如使用余弦相似度，其定义式为
，式中S
为相似度，
为余弦距离，返回最可能的个体编号标签。
参阅图5，基于同一方面构思，本发明还提供了一种基于猪脸识别与猪只重识别的猪只唯一化识别系统，该系统包括图片获取模块、猪脸识别模块、猪只重识别模块和输出整合模块，其中，所述图片获取模块用以获取待识别的图片或图片序列；猪脸识别模块和猪只重识别模块用于对猪只个体进行并行识别，并所述分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；所述输出整合模块用以对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量，并将结果特征向量与底库中的特征向量进行比对，计算相似度，输出相似度最高的猪只个体编号标签。
本发明至少具备以下技术效果：
本发明创造性地提出了一种基于计算机视觉技术、关键点检测技术、重识别技术与深度神经网络技术，可用于全自动区分识别猪只个体编号的方法，相较于传统的全人工流程，效率提高了多个量级，减轻了从业人员进行称重工作所面临的风险，大大减轻了测温过程对猪只健康的不良影响，大幅度降低了人力成本；本发明使用模块化解耦，可针对不同使用场景采取不同策略，灵活性强，逻辑结构清晰；本发明是一种低成本、高效率、广适应性、高鲁棒性于一体的科学化规模化猪只唯一化识别方案，极大程度上提升了猪只个体的识别效率以及识别精度。
本发明依托于计算机视觉与深度学习等计算机科学领域的快速发展，为现代化、科学化的猪只养殖提供了有力保障，在真正意义上实现了养殖学、食品工程、材料科学与计算机科学等多学科的交叉融合，以新兴技术领域为传统工农业赋能；同时，本发明在现代化养殖产业中具有较高的技术优势和市场价值，适合于生产中的实际应用与技术上的进一步推广。
需要说明的是，对于前述的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例属于优选实施例，所涉及的动作并不一定是本申请所必须的。
上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，包括如下步骤：
S1：获取待识别的图片或图片序列；
S2：并行进行猪脸识别和猪只重识别，分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；
S3：通过输出整合神经网络对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量；
S4：将结果特征向量与底库中的特征向量进行比对，计算相似度，输出相似度最高的猪只个体编号标签。
2.如权利要求1所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述猪脸识别包括如下步骤：
利用目标检测模型对图片或图片序列中的猪脸进行检测，并截取感兴趣区域；
通过神经网络对截取的感兴趣区域进行特征提取，将原图片转化为一个若干维的特征向量；
将猪脸识别的结果特征输入到输出整合神经网络。
3.如权利要求2所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述神经网络包括ResNet50和FaceNet，通过神经网络对截取的感兴趣区域进行特征提取，并通过多次卷积和池化操作，将原图片转化为一个若干维的特征向量，并通过欧几里得距离计算方法或余弦距离计算方法计算该特征向量与目标个体特征向量之间的特征距离。
4.如权利要求2所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，若是单张感兴趣区域，则通过神经网络直接提取特征；若是多张相同部位感兴趣区域，则通过神经网络分别提取特征，并取平均；若是多张不同部位感兴趣区域，则采用策略A或策略B提取特征，其中，策略A为：通过神经网络对相应部位提取特征，得到多个分别代表不同部位特征的特征向量组，并计算该特征向量组与目标个体的特征向量组中对应向量之间的度量距离，得到多个不同部位的度量距离值，对度量距离值进行加权平均，作为原图与目标个体之间的度量距离；策略B为：通过神经网络对相应部位提取特征，得到多个分别代表不同部位特征的特征向量组，然后将特征向量组按顺序连接，再经过全连接层缩减维数，最终得到一个融合了多特征的总特征向量，并利用该特征向量计算其与目标个体之间的度量距离。
5.如权利要求1所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述猪只重识别包括如下步骤：
利用目标检测模型对图片或图片序列中的猪脸进行检测，并截取感兴趣区域；
通过特征提取网络对截取的感兴趣区域进行特征提取，得到特征信息；
将该上述特征向量输入到整合输出神经网络中。
6.如权利要求5所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述特征提取网络包括ResNet和CNN，通过特征提取网络对截取区域进行特征提取的策略包括只进行全局特征提取、只进行局部特征提取和全局特征提取与局部特征提取相结合。
7.如权利要求6所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述全局特征提取包括：输入图片、卷积网络层、输出全局特征图谱、池化层、输出特征向量、全连接层和输出分类结果；所述局部特征提取包括：输入图片、依据分块策略分块、每个子块均输入卷积网络、每个子块均输出特征图谱、特征融合、输出特征向量、全连接层和输出分类结果。
8.如权利要求7所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述分块策略包括水平切块、依据姿态信息切块、语义分割和网格切块。
9.如权利要求7所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，所述输出整合神经网络包括误差逆传播多层前馈网络，通过误差逆传播多层前馈网络将猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合。
10.基于猪脸识别与猪只重识别的猪只唯一化识别系统，用以实现权利要求1~9任意一项所述的基于猪脸识别与猪只重识别的猪只唯一化识别方法，其特征在于，包括，图片获取模块、猪脸识别模块、猪只重识别模块和输出整合模块，其中，所述图片获取模块用以获取待识别的图片或图片序列；猪脸识别模块和猪只重识别模块用于对猪只个体进行并行识别，并所述分别输出猪脸识别结果特征向量和猪只重识别结果特征向量；所述输出整合模块用以对猪脸识别结果特征向量和猪只重识别结果特征向量进行输出整合，计算加权平均后的结果特征向量，并将结果特征向量与底库中的特征向量进行比对，计算相似度，输出相似度最高的猪只个体编号标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211489199.XA CN115862060B (zh) | 2022-11-25 | 2022-11-25 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211489199.XA CN115862060B (zh) | 2022-11-25 | 2022-11-25 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115862060A true CN115862060A (zh) | 2023-03-28 |
| CN115862060B CN115862060B (zh) | 2023-09-26 |
Family
ID=85666378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211489199.XA Active CN115862060B (zh) | 2022-11-25 | 2022-11-25 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862060B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463111A (zh) * | 2014-11-21 | 2015-03-25 | 天津工业大学 | 多尺度特征区域曲率相融合的三维人脸识别方法 |
| KR20160091119A (ko) * | 2015-01-23 | 2016-08-02 | 한국전자통신연구원 | 영상 기반 인물 특성 추정 장치 및 방법 |
| CN109101865A (zh) * | 2018-05-31 | 2018-12-28 | 湖北工业大学 | 一种基于深度学习的行人重识别方法 |
| WO2019200735A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN111639629A (zh) * | 2020-06-15 | 2020-09-08 | 安徽工大信息技术有限公司 | 一种基于图像处理的猪只体重测量方法、装置及存储介质 |
| CN112101076A (zh) * | 2019-06-18 | 2020-12-18 | 虹软科技股份有限公司 | 识别猪只的方法和装置 |
| CN112560720A (zh) * | 2020-12-21 | 2021-03-26 | 奥比中光科技集团股份有限公司 | 一种行人识别方法及系统 |
| JP2021051376A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN113486813A (zh) * | 2021-07-08 | 2021-10-08 | 深圳喜为智慧科技有限公司 | 一种猪只重识别方法 |
| CN113989836A (zh) * | 2021-10-20 | 2022-01-28 | 华南农业大学 | 基于深度学习的奶牛牛脸重识别方法、系统、设备及介质 |
| US20220215647A1 (en) * | 2019-10-28 | 2022-07-07 | Shenzhen Sensetime Technology Co., Ltd. | Image processing method and apparatus and storage medium |
| CN114898402A (zh) * | 2022-04-28 | 2022-08-12 | 高新兴科技集团股份有限公司 | 一种融合人脸和人体特征的行人重识别方法、装置及介质 |
| CN115331266A (zh) * | 2022-10-17 | 2022-11-11 | 天津大学四川创新研究院 | 一种猪只唯一化识别去重警报方法 |
| CN115359542A (zh) * | 2022-09-13 | 2022-11-18 | 华北电力大学扬中智能电气研究中心 | 基于人脸识别和行人重识别的人员身份确定方法及系统 |
-
2022
- 2022-11-25 CN CN202211489199.XA patent/CN115862060B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463111A (zh) * | 2014-11-21 | 2015-03-25 | 天津工业大学 | 多尺度特征区域曲率相融合的三维人脸识别方法 |
| KR20160091119A (ko) * | 2015-01-23 | 2016-08-02 | 한국전자통신연구원 | 영상 기반 인물 특성 추정 장치 및 방법 |
| WO2019200735A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN109101865A (zh) * | 2018-05-31 | 2018-12-28 | 湖北工业大学 | 一种基于深度学习的行人重识别方法 |
| CN112101076A (zh) * | 2019-06-18 | 2020-12-18 | 虹软科技股份有限公司 | 识别猪只的方法和装置 |
| JP2021051376A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US20220215647A1 (en) * | 2019-10-28 | 2022-07-07 | Shenzhen Sensetime Technology Co., Ltd. | Image processing method and apparatus and storage medium |
| CN111639629A (zh) * | 2020-06-15 | 2020-09-08 | 安徽工大信息技术有限公司 | 一种基于图像处理的猪只体重测量方法、装置及存储介质 |
| CN112560720A (zh) * | 2020-12-21 | 2021-03-26 | 奥比中光科技集团股份有限公司 | 一种行人识别方法及系统 |
| CN113486813A (zh) * | 2021-07-08 | 2021-10-08 | 深圳喜为智慧科技有限公司 | 一种猪只重识别方法 |
| CN113989836A (zh) * | 2021-10-20 | 2022-01-28 | 华南农业大学 | 基于深度学习的奶牛牛脸重识别方法、系统、设备及介质 |
| CN114898402A (zh) * | 2022-04-28 | 2022-08-12 | 高新兴科技集团股份有限公司 | 一种融合人脸和人体特征的行人重识别方法、装置及介质 |
| CN115359542A (zh) * | 2022-09-13 | 2022-11-18 | 华北电力大学扬中智能电气研究中心 | 基于人脸识别和行人重识别的人员身份确定方法及系统 |
| CN115331266A (zh) * | 2022-10-17 | 2022-11-11 | 天津大学四川创新研究院 | 一种猪只唯一化识别去重警报方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN XL等: "Holstein Cattle Face Re-Identification Unifying Global and Part Feature Deep Network with Attention Mechanism", 《ANIMALS》, vol. 12, no. 8, pages 1 - 18 * |
| 付美霞: "行人重识别中的关键技术研究", 《中国博士学位论文全文数据库信息科技辑》, pages 138 - 158 * |
| 李萌 等: "视听资料中的目标人物重识别方法", 《电子测量技术》, vol. 45, no. 19, pages 19 - 24 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115862060B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huixian | The analysis of plants image recognition based on deep learning and artificial neural network | |
| Shen et al. | Generative adversarial learning towards fast weakly supervised detection | |
| CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| TWI766618B (zh) | 關鍵點檢測方法、電子設備及電腦可讀儲存介質 | |
| CN110163258A (zh) | 一种基于语义属性注意力重分配机制的零样本学习方法及系统 | |
| Li et al. | Mixed supervised object detection with robust objectness transfer | |
| CN106548194B (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
| WO2022062419A1 (zh) | 基于非督导金字塔相似性学习的目标重识别方法及系统 | |
| Xuan et al. | Evolving convolutional neural network and its application in fine-grained visual categorization | |
| Yu et al. | Exemplar-based recursive instance segmentation with application to plant image analysis | |
| Chen et al. | Military image scene recognition based on CNN and semantic information | |
| Zha et al. | Deep position-sensitive tracking | |
| CN115713786A (zh) | 一种猪只重识别方法及系统 | |
| CN109614928A (zh) | 基于有限训练数据的熊猫脸部识别方法 | |
| CN115909403B (zh) | 基于深度学习的低成本高精度猪脸识别方法 | |
| CN114627496B (zh) | 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法 | |
| CN107563327B (zh) | 一种基于自步反馈的行人重识别方法及系统 | |
| CN115862060B (zh) | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 | |
| CN113158870A (zh) | 2d多人姿态估计网络的对抗式训练方法、系统及介质 | |
| CN112488116A (zh) | 基于多模态嵌入的场景理解语义生成方法 | |
| CN110163106A (zh) | 一体式纹身检测与识别方法和系统 | |
| Li et al. | Tlcd: A transformer based loop closure detection for robotic visual slam | |
| Qu et al. | Illation of video visual relation detection based on graph neural network | |
| Sun | Facial expression classification using R-CNN based methods | |
| Wang et al. | A few-shot fine-grained image recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231010 Address after: F13, Building 6, Block B, No. 99, West Section of Hupan Road, Tianfu New Area, China (Sichuan) Pilot Free Trade Zone, Chengdu, Sichuan Province, 610000 Patentee after: Sichuan Tianling Innovation Technology Group Co.,Ltd. Patentee after: Sichuan Innovation Research Institute of Tianjin University Address before: 610000 13th floor, building B6, Tianfu New Economic Industrial Park, Chengdu, Sichuan Patentee before: Sichuan Innovation Research Institute of Tianjin University |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 610000 13th floor, building B6, Tianfu New Economic Industrial Park, Chengdu, Sichuan Patentee after: Sichuan Innovation Research Institute of Tianjin University Patentee after: Sichuan Tianling Innovation Technology Group Co.,Ltd. Address before: F13, Building 6, Block B, No. 99, West Section of Hupan Road, Tianfu New Area, China (Sichuan) Pilot Free Trade Zone, Chengdu, Sichuan Province, 610000 Patentee before: Sichuan Tianling Innovation Technology Group Co.,Ltd. Patentee before: Sichuan Innovation Research Institute of Tianjin University |
|
| CP03 | Change of name, title or address |