CN109886145B

CN109886145B - 宠物脸部识别方法及系统

Info

Publication number: CN109886145B
Application number: CN201910085232.4A
Authority: CN
Inventors: 不公告发明人
Original assignee: Zhejiang Zexi Technology Co ltd
Current assignee: Zhejiang Zexi Technology Co ltd
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2021-09-03
Anticipated expiration: 2039-01-29
Also published as: CN109886145A

Abstract

本发明提供了一种宠物脸部识别方法，包括以下步骤：S1.注册，接收用户输入的短视频和注册信息，对所述短视频进行切帧处理，提取及识别所有含有宠物脸部的视频帧以获得所有宠物脸部视频帧的特征向量，并基于所述特征向量和注册信息生成注册ID；S2.查找，接收用户输入的图片，检测所述图片中是否存在宠物脸部，若存在，则对检测到的宠物脸部进行身份匹配，且在匹配成功后向用户返回相应的注册ID。本发能够对宠物生成一个唯一的ID，例如针对宠物犬，当宠物犬丢失，宠物犬被遗弃或被遗弃犬类伤人时，可以找到相关责任人，便于监管人员的养犬管理工作。

Description

宠物脸部识别方法及系统

技术领域

本发明属于AI技术领域，尤其涉及一种宠物脸部识别方法及系统。

背景技术

随着城市人口生活水平不断提高，许多城市居民开始饲养宠物，但是日常生活里不断听到宠物丢失的消息，以及街上随处可见的寻宠启示。宠物丢失给宠物主人带来巨大的打击，宠物主人会花费大量的时间和精力去寻找宠物，最终找到宠物的几率微乎其微；丢失的宠物很可能沦为路边的流浪狗，对市民的安居、交通、卫生、人身安全构成威胁。

为了解决上述技术问题，人们进行了的长期的探索，例如中国专利公开了一种基于狗脸图像识别技术的寻狗系统及方法[申请号：CN201810499850.9]，包括移动终端、服务器和数据库，移动终端包括Lost模块、Found模块和Adop模块，Lost模块用于发布寻狗启示，Found模块用于验证流浪狗，Adopt模块用于发布领养启示用户交互界面；服务器用来响应用户请求完成各个功能，实现对数据库的操作以及宠物脸部图像识别；数据库存放发布启示里狗的信息。

上述专利方案通过宠物脸部识别技术实现网上寻狗，提高丢失狗狗的找回概率，但是上述方案只能实现寻狗功能，并且限定在部分用户之间的小范围使用，无法对宠物犬生成一个唯一的识别ID，尤其是犬类宠物，随着饲养犬类的居民不断增加，宠物犬丢失、遗弃宠物犬、宠物犬伤人的事件不断发生。目前，主要通过行政手段对城市内养犬居民做出限制，以避免宠物犬伤人及养犬对其他城市居民造成影响，但是该方案需要养犬用户自觉遵守及城市管理人员进行督察，一旦居民不自觉遵守，或者监管缺失，很难对相关责任人进行监管。尤其是针对放养的宠物犬伤人事件，受害人员以及行政管理人员无法找到或无法及时找到宠物犬主人，造成一定的监管困难。

发明内容

本发明的目的是针对上述问题，提供一种便于宠物管理的宠物脸部识别方法；

本发明的目的是针对上述问题，提供一种基于上述方法的系统。

为达到上述目的，本发明提出了一种宠物脸部识别方法，包括以下步骤：

S1.注册，接收用户输入的短视频和注册信息，对所述短视频进行切帧处理，提取及识别所有含有宠物脸部的视频帧以获得所有宠物脸部视频帧的特征向量，并基于所述特征向量和注册信息生成注册ID；

S2.查找，接收用户输入的图片，检测所述图片中是否存在宠物脸部，若存在，则对检测到的宠物脸部进行身份匹配，且在匹配成功后向用户返回相应的注册ID。

在上述的宠物脸部识别方法中，步骤S1具体包括：

S11.接收用户输入的短视频和注册信息，对所述短视频进行切帧处理以获得多张视频帧；

S12.使用检测模型对所述视频帧进行检测，以提取存在宠物脸部的所有宠物脸部视频帧；

S13.使用识别模型提取所述宠物脸部视频帧中宠物脸部的特征向量，生成注册ID，并将所述特征向量、注册信息和注册ID相绑定后一并存入数据库中。

在上述的宠物脸部识别方法中，步骤S12具体包括：

S121.使用检测模型依次对所述视频帧进行检测，并将检测概率大于第一检测阈值的所有视频帧中的宠物脸部裁剪出来；

S122.将经过步骤S121裁剪的视频帧缩放到预设大小以获得宠物脸部视频帧。

在上述的宠物脸部识别方法中，步骤S13具体包括：

S131.选取若干张宠物脸部视频帧，使用识别模型提取所述若干张宠物脸部视频帧512维的特征向量，并基于所述特征向量判断是否重复注册，若是，则找到已有的注册ID，并将所述若干张宠物脸部视频帧的特征向量更新至所述注册ID，否则，执行步骤S132；

S132.判断所述宠物脸部视频帧数量是否超过数量阈值，若是，则执行步骤S133，否则，返回注册失败；

S133.生成注册ID，继续提取剩余宠物脸部视频帧512维的特征向量，并将所有特征向量与所述注册ID相绑定后存入数据库中。

在上述的宠物脸部识别方法中，在步骤S12中，使用opencv对所述短视频进行切帧处理，并转换到RGB颜色空间以获得多张视频帧；

在步骤S131中，使用欧式距离或余弦距离基于数据库判断是否重复注册。

在上述的宠物脸部识别方法中，步骤S2具体包括：

S21.接收用户输入的图片；

S22.通过检测模型对所述图片进行检测，并判断所述图片中是否存在宠物脸部，若存在，则执行步骤S23；

S23.通过识别模型提取所述图片中的特征向量，并基于所述特征向量查找数据库中是否存在相应的注册ID，若存在，则返回所述注册ID，否则返回查找失败。

在上述的宠物脸部识别方法中，在步骤S22中，通过以下方法判断所述图片中是否存在宠物脸部：

S221.将所述图片进行预处理，并调用分类模型和种类名称，以获得所述图片的可能性种类及相应的可能性概率值；

S222.当可能性概率值低于第二检测阈值时，检测结果为不存在，当有可能性概率值高于第一检测阈值时，判断为存在宠物脸部，且输出可能性概率值最高的可能性种类。

在上述的宠物脸部识别方法中，在步骤S23具体包括：

S231.将所述图片缩放到预设大小以获得缩放图片，并通过识别模型提取所述缩放图片512维的特征向量；

S232.使用余弦距离或欧式距离将所述特征向量与数据库中相应的特征向量进行距离计算；

S233.判断最小距离是否小于第一距离阈值，若是，则输出对应的注册ID。

在上述的宠物脸部识别方法中，在步骤S233之后还包括：

S244.当最小距离大于第一距离阈值时，判断最小距离是否小于第二距离阈值，若是，判断最小距离对应的注册ID与第二小距离对应的注册ID是否为同一个，若是，则输出所述注册ID，否则执行步骤S245；

S245.判断最小距离是否小于第三距离阈值，若是，判断最小距离对应的注册ID与第二小、第三小距离对应的注册ID是否为同一个，若是，则输出所述注册ID，否则执行步骤S246；

S246.判断最小距离是否小于第四距离阈值，若是，判断最小距离对应的注册ID与第二小、第三小和第四小距离对应的注册ID是否为同一个，若是，则输出所述注册ID，否则查找失败。

一种宠物脸部识别系统，包括存储器、处理器和程序，所述程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于执行如前述所述的方法。

与现有的技术相比，本发明具有以下优点：生成一个唯一的ID，当宠物丢失，宠物被遗弃或被遗弃宠物伤人时，可以找到相关责任人；减轻相关管理人员的管理任务，同时提高管理效率，使城市宠物饲养更加文明有序。

附图说明

图1是本发明实施例一中注册功能的流程示意图；

图2是本发明实施例一中查找功能的流程示意图；

图3是本发明实施例一中分类功能的流程示意图；

图4是本发明实施例一ssd的网络架构如图。

具体实施方式

实施例一

近年来随着深度学习技术的发展，图像识别准确率显著提高，例如人脸识别的准确率高达99.8％。基于深度学习的图像识别技术能自动完成特征抽取与分类任务，具有使用简单、易于工业化、识别准确率高等优点，为宠物脸部图像识别奠定夯实的基础。本实施例采用现有技术的深度学习技术提出一种宠物脸部识别方法。

本实施例主要包括注册和查找两部分，用户可以在移动终端上安装相应的应用程序，然后打开应用程序选择扫一扫，对宠物面部进行扫描得到短视频后上传以进行注册，或直接面对宠物面部进行拍摄或上传具有宠物面部的图片以进行信息查找。例如，针对养犬管理，行政部门可以要求每个养犬用户通过上传符合要求的短视频以在本平台中对狗狗进行唯一ID的身份注册来进行养犬登记，也可以通过注册方式来颁发养犬许可证，这样，每一条宠物犬就都能够有自己相应的身份ID。当发现流浪宠物犬/放养宠物犬时，管理人员可以通过对流浪/放养宠物犬进行拍摄/扫描查找该犬信息，如果该犬是经过身份注册的狗狗，管理人员就能够通过本系统查找狗狗及其主人信息，从而更便于管理人员的养犬管理工作。

如图1所示，本实施例的注册方法包括以下步骤：

S11.接收用户输入的短视频和注册信息，使用opencv(Open Source ComputerVision Library，计算机视觉库)对该短视频进行切帧处理并转换到RGB颜色空间，以获得多张视频帧；注册信息包括一些基本信息，例如犬的年龄、脾气、犬主人联系方式等。

S121.这里当总的视频帧数量不满足视频帧数要求时，直接返回注册失败，若满足视频帧数要求，则使用检测模型依次对视频帧进行检测，且满足要求以11张为标准，并将检测概率大于第一检测阈值的所有视频帧中的宠物脸部；S122.将经过步骤S121裁剪的视频帧缩放到预设大小，优选160x160以获得宠物脸部视频帧，并将所有缩放后的宠物脸部视频帧放入到列表中；

S131.选取若干张宠物脸部视频帧，这里优选11张，使用识别模型提取11张宠物脸部视频帧512维的特征向量，然后使用欧式距离判断是否重复注册，若是，则找到已有的注册ID，并将若干张宠物脸部视频帧的特征向量更新至注册ID，随后返回更新成功消息，否则认为是新注册的狗，并执行步骤S132；S132.判断宠物脸部视频帧数量是否超过数量阈值，若是，则执行步骤S133，否则，返回注册失败；S133.生成注册ID，继续提取剩余宠物脸部视频帧512维的特征向量，并将所有特征向量、注册信息与注册ID相绑定后存入数据库中。与注册ID绑定的信息除了相应的特征向量外，还包括狗狗的其他信息，例如犬主人的姓名、电话等基本信息以便于狗狗丢失找回和便于养犬管理工作人员的管理工作。

通过步骤S132视频帧数量的判断步骤保证注册新狗的宠物脸部图片足够多，从而保证后期查找准确率。这里的的数量阈值可以由工程人员依据实际情况自行确定，例如25张宠物脸部视频帧就能保证后期准确率，那么这里的数量阈值就可以为25。

同样地，如图2所示，查找方法包括以下步骤：

S21.接收用户输入的图片；当场拍摄或已有图片上传。

S22.通过检测模型对图片进行检测，并判断图片中是否存在宠物脸部，若存在，则执行步骤S23；

S23.通过识别模型提取图片中的特征向量，并基于特征向量查找数据库中是否存在相应的注册ID，若存在，则返回注册ID，否则返回查找失败。

进一步地，如图3所示，在步骤S22中，通过以下方法判断图片中是否存在宠物脸部：

S221.将图片进行预处理，预处理过程包括将图片缩放到299x299，然后扩张维度到4维，并使用normalization归一化处理，调用分类模型和种类名称，以获得图片的可能性种类及相应的可能性概率值；

S222.当可能性概率值低于第二检测阈值时，检测结果为不存在，当可能性概率值在第一检测阈值与第二检测阈值之间时，判断结果为人脸，当可能性概率值高于第一检测阈值时，判断为存在宠物脸部，在判断结果为宠物脸部的时候，可以对图片进行左右90度旋转操作，取3者中可能性概率值最大的可能性种类，例如，第一检测阈值选用60％，第二检测阈值为30％，针对一张图片，若可能性概率值为20％，那么判断结果为不存在宠物脸部，若可能性概率结果为40％，那么判断结果为人脸，若可能性概率为萨摩耶犬70％，则对图片进行左右90度旋转检测，向左旋转后的可能性概率为萨摩耶犬可能性90％，向右旋转后的可能性概率为泰迪80％，那么判断结果为萨摩耶犬。

进一步地，在步骤S23具体包括：

S231.将图片缩放到预设大小以获得缩放图片，这里的预设大小可以为160x160，并通过识别模型提取缩放图片512维的特征向量；

S232.使用余弦距离或欧式距离将特征向量与数据库中相应的特征向量进行距离计算，按照距离从小到大排列，对应的也排列相应的注册ID；

S233.判断最小距离是否小于第一距离阈值，若是，则输出对应的注册ID；

S244.当最小距离大于第一距离阈值时，判断最小距离是否小于第二距离阈值，若是，判断最小距离对应的注册ID与第二小距离对应的注册ID是否为同一个，若是，则输出注册ID，否则执行步骤S245；

S245.判断最小距离是否小于第三距离阈值，若是，判断最小距离对应的注册ID与第二小、第三小距离对应的注册ID是否为同一个，若是，则输出注册ID，否则执行步骤S246；

S246.判断最小距离是否小于第四距离阈值，若是，判断最小距离对应的注册ID与第二小、第三小和第四小距离对应的注册ID是否为同一个，若是，则输出注册ID，否则查找失败。

本实施例主要针对犬类注册和查找，下面对本实施例使用到的相关模型及对初始模型的训练方式进行简单介绍：

分类模型：本实施例实现分类功能采用的是迁移学习的方法，网络使用的是谷歌公司发布的inception_v3，使用的初始模型是预训练好的模型。inception_v3网络使用了很多改进方法，包括将一个较大的二维卷积拆成两个较小的一维卷积，例将3x 3的卷积拆成3*1、1*3的卷积；5x 5的卷积拆成两个3x 3的卷积。这样可以降低计算量和参数量，还增加网络的宽度和深度，避免网络的表达瓶颈。分类模型训练的数据集使用的是斯塔福大学的120个分类的狗狗数据集、kaggle比赛中提供的数据集和关于狗狗的几百个视频，最终数据集的种类数是163个种类。

分类模型的训练环境是GeForce GTX 1080Ti，cuda9.0,cudnn-7,tensorflow-gpu-1.10.0

在进入训练之前先对数据集进行预处理，将斯坦福数据集和kaggle数据集的英文名翻译为中文名，数据清理，将是别名但是同种狗的数据集合并。将所有视频切成帧，然后人为筛选，将切出的帧放到相应狗狗种类的文件夹中。

训练使用inception_v3，下载好预训练模型以后，开始训练然后查看验证集的准确率。训练完成以后计算每个种类的准确率，将种类相同的狗狗数据集合并，然后重新训练，这个过程直到整体准确率达到90％以上才停止。其中还包括删除步骤，用来删除数据集有问题导致准确率低于50％的种类。最终的狗狗种类数量是163种。本实施例将训练好的模型和种类文档在文件夹dog_web/models/classify中。

检测模型：训练本实施例用到的检测模型使用的是TensorFlow官方的objectdetection模块，也是使用的迁移学习方法，其中包含各种经典的检测网络和预训练模型，这里下载使用的是ssd_inception_v2_coco，即基础网络为inception_v2的ssd网络在coco数据集上预训练好的检测模型。ssd的网络架构如图4所示。

这里这里将VGG-16基础网络更改为inception_v2网络。inception_v2网络的主要改进在于使用Batch Normalization批归一化，以及将5x 5的卷积修改为两个3x 3的卷积。SSD是增强版的RPN网络，将一个尺度的特征图上预测提升为多个尺度的特征图上同时预测。

训练检测模型的数据集与训练分类模型的相同，不同的是，悬链检测模型需要进行人工打标签，打标签的工具使用的是labelImg，打好标签的图片数量约有3000张，然后根据object detection中训练自己的数据集的流程，转换为TFRecords格式。然后进行一系列的配置，下载预训练模型就可以开始训练，训练完成以后将模型冻结。

同样地，训练检测模型的训练环境也是GeForce GTX 1080Ti，cuda9.0,cudnn-7,tensorflow-gpu-1.10.0。

识别模型：识别模型使用的方法是FaceNet，网络是inception_resnet_v1，网络将单纯的inception模块用resnet模块代替。

FaceNet的主要特点在于损失函数(Triplet Loss)，损失函数最小化锚和正样本之间的距离，这两者同属一个类。最大化锚和负样本之间的距离，这两者属于不同的类，实现时使用的是欧氏距离度量。Center Loss最小化类内的距离，每个batch更新相应的类中心，类间距离使用的是softmax loss。这样softmax loss和Center loss组合起来就可以最小化类内距离，最大化类间距离。

识别模型训练用的的数据集与分类模型和检测模型的相同，不同的是数量和预处理的方式，使用检测模型遍历遍历斯坦福和kaggle的数据集，由于斯坦福和kaggle的数据集中每只狗都不相同，将检测到的宠物脸部裁剪出来并缩放到160x 160，单独放在一个文件夹中，然后进行镜像、旋转和平移操作，这样每个文件夹中有5张图片。每个视频提取出来的帧单独放在一个文件夹，即一只狗的图片放在同一个文件夹中。然后使用检测模型对这些文件夹中的图片检测，检测到宠物脸部就将宠物脸部裁剪出来并缩放到160x 160，覆盖掉裁剪前图片，没有检测到宠物脸部就删除这张图片。预处理完成以后就得到近1万多个文件夹，每个文件夹中都有不少于5张的160x 160的宠物脸部图片。接着就可以使用FaceNet网络训练识别模型，训练完成以后将模型冻结。这里冻结以后的检测模型存储在文件夹dog_web/models/facenetmodel中。

识别模型的训练环境也是GeForce GTX 1080Ti，cuda9.0,cudnn-7,tensorflow-gpu-1.10.0。

需要说明的是，这里的宠物可以为犬科宠物，猫科宠物等等。本实施例可以专门针对一类宠物，例如犬类，也可以集合各种宠物。

虽然本实施例用于训练各模型的训练集使用的是斯塔福大学的120个分类的狗狗数据集、kaggle比赛中提供的数据集和关于狗狗的几百个视频，最终数据集的种类数是163个种类，但是在实际投入使用中中，并不限定前述训练集，也不限定最终有多少种类，本领域技术人员可以选用其他训练集对训练模型进行训练。

实施例二

本发明提供的另一实施例是一种宠物脸部识别系统，包括存储器、处理器和程序，存储器包括有数据库，数据库存储有训练集、训练好的识别模型、检测模型、分类模型和注册ID及其绑定信息等内容，程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行实施例一中的部分或全部方法。

这里的存储器、处理器、数据库和程序可以全部或部分位于服务器中。程序也可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令实现实施例一中的一个或多个功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现实施例一中的一个或多个功能的步骤。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了检测模型、识别模型、分类模型、存储器、处理器等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims

1.一种宠物脸部识别方法，其特征在于，包括以下步骤：

S2.查找，接收用户输入的图片，检测所述图片中是否存在宠物脸部，若存在，则对检测到的宠物脸部进行身份匹配，且在匹配成功后向用户返回相应的注册ID；

步骤S1具体包括：

S13.使用识别模型提取所述宠物脸部视频帧中宠物脸部的特征向量，生成注册ID，并将所述特征向量、注册信息和注册ID相绑定后一并存入数据库中；

步骤S13具体包括：

S133.生成注册ID，继续提取剩余宠物脸部视频帧512维的特征向量，并将所有特征向量与所述注册ID相绑定后存入数据库中；

步骤S2具体包括：

S21.接收用户输入的图片；

S23.通过识别模型提取所述图片中的特征向量，并基于所述特征向量查找数据库中是否存在相应的注册ID，若存在，则返回所述注册ID，否则返回查找失败；

且在步骤S22中，通过以下方法判断所述图片中是否存在宠物脸部：

S222.当可能性概率值低于第二检测阈值时，检测结果为不存在，当可能性概率值高于第一检测阈值时，判断为存在宠物脸部，且当判断为存在宠物脸部时对图片进行向左和向右旋转90度后分别再次检测可能性概率，并且输出可能性概率值最高的可能性种类。

2.根据权利要求1所述的宠物脸部识别方法，其特征在于，步骤S12具体包括：

3.根据权利要求2所述的宠物脸部识别方法，其特征在于，在步骤S12中，使用opencv对所述短视频进行切帧处理，并转换到RGB颜色空间以获得多张视频帧；

4.根据权利要求3所述的宠物脸部识别方法，其特征在于，在步骤S23具体包括：

5.根据权利要求4所述的宠物脸部识别方法，其特征在于，在步骤S233之后还包括：

6.一种宠物脸部识别系统，其特征在于，包括存储器、处理器和程序，所述程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-5任意一项所述的方法。