CN113688264A - 生物体重识别方法、装置、电子设备及存储介质 - Google Patents

生物体重识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113688264A
CN113688264A CN202111045382.6A CN202111045382A CN113688264A CN 113688264 A CN113688264 A CN 113688264A CN 202111045382 A CN202111045382 A CN 202111045382A CN 113688264 A CN113688264 A CN 113688264A
Authority
CN
China
Prior art keywords
image
training
retrieval
images
information corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111045382.6A
Other languages
English (en)
Inventor
陈海波
罗志鹏
姚粤汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Robot Shanghai Co ltd
Original Assignee
Shenyan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Technology Beijing Co ltd filed Critical Shenyan Technology Beijing Co ltd
Priority to CN202111045382.6A priority Critical patent/CN113688264A/zh
Publication of CN113688264A publication Critical patent/CN113688264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种生物体重识别方法,所述方法包括:获取查询图像;将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息;利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息。该方法基于查询图像,得到各查询图像对应的预测检测信息,基于查询图像及其对应的预测检测信息和生物体重识别模型,得到查询图像分别和检索图像集中各检索图像对应的预测重识别信息,所得到查询图像和检索图像对应的预测重识别信息用于指示查询图像和检索图像是否包含同一生物体,重识别效率高,识别结果准确度高。

Description

生物体重识别方法、装置、电子设备及存储介质
技术领域
本申请涉及深度学习技术领域,尤其涉及生物体重识别方法、装置、电子设备及存储介质。
背景技术
濒危物种尤其是生物多样性和环境健康的重要指标,保护野生生物对于维持健康和平衡的生态系统以及确保我们世界的持续生物多样性至关重要。计算机视觉技术能够从摄像机陷阱甚至无人机收集大量图像数据,并使用此图像构建从边缘到云的系统,并可以应用于智能成像传感器,以捕获与野生动植物相关的图像/视频并监视野生动植物。
公开号为CN208282866U的中国专利“一种用于畜牧业的健康检测机器人”中公开了一种用于畜牧业的健康检测机器人,其运动机构在位于饲养场内的轨道上做直线运动,路线规划装置提供手工设定所述运动机构的检测行进路线,射频定位装置记录检测机器人的实时位置,耳标读取装置读取动物耳标内所存储的动物个体识别信息,传送到嵌入式运算装置,再汇总检测所得的巡检点标记、耳标、体温、图像、动物活跃性、环境温湿度、空气浓度以及空气异味信息,通过无线网络接口传送到外部的控制主机进行呈现,以达到在畜牧业应用领域综合应用自动化技术和机器人技术自动进行动物健康检测,提高作业效率和降低人工劳动强度的技术目的。
但是以上的现有技术只靠动物身体的一个部位的信息进行检测,显然准确度较低。
发明内容
本申请的目的在于提供生物体重识别方法、装置、电子设备及存储介质,解决现有技术中对于生物体进行重识别时准确度较低的问题。
本申请的目的采用以下技术方案实现:
第一方面,本申请提供了一种生物体重识别方法,所述方法包括:获取查询图像;将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息;利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息,所述查询图像和所述检索图像对应的预测重识别信息用于指示所述查询图像和所述检索图像是否包含同一生物体。
该技术方案的有益效果在于,基于查询图像,得到各查询图像对应的预测检测信息,基于查询图像及其对应的预测检测信息和生物体重识别模型,得到查询图像分别和检索图像集中各检索图像对应的预测重识别信息,所得到查询图像和检索图像对应的预测重识别信息用于指示查询图像和检索图像是否包含同一生物体,重识别效率高,识别结果准确度高。
在一些可选的实施例中,所述方法还包括:利用SE-ResNext50网络、RPN网络以及第一头结构至第三头结构,构建预设检测网络;获取训练数据集,所述训练数据集中的每个训练数据包括一个训练图像和所述训练图像对应的标注检测信息;针对所述训练数据集中的每个所述训练图像,将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息;将所述训练图像输入所述RPN网络,得到所述训练图像对应的ROI信息;将所述训练图像对应的特征信息和ROI信息输入所述第一头结构,得到所述训练图像对应的第一分类信息和第一回归信息;将所述训练图像对应的特征信息和第一回归信息输入第二头结构,得到所述训练图像对应的第二分类信息和第二回归信息;将所述训练图像对应的特征信息和第二回归信息输入所述第三头结构,得到所述训练图像对应的第三分类信息和第三回归信息作为所述训练图像对应的预测检测信息;利用所述训练图像对应的预测检测信息和标注检测信息训练所述预设检测网络,得到所述生物体检测模型;其中,所述第一头结构至所述第三头结构是结构相同的头结构,每个头结构分别包括ROI Align层、分类分支和回归分支,分类分支包括两个全连接层,回归分支包括两个卷积层和一个全连接层。
该技术方案的有益效果在于,利用SE-ResNext50网络,结合RPN网络以及第一头结构至第三头结构,构建预设检测网络,使网络能够越来越深,避免了深层网络中梯度弥散和精度下降的问题,既控制了速度,又控制了精度;而获取训练数据集,基于训练数据集中的每个训练图像,得到训练图像对应的特征信息,基于训练图像对应的特征信息得到训练图像对应的ROI信息,基于训练图像对应的特征信息和ROI信息得到训练图像对应的第一分类信息和第一回归信息,基于训练图像对应的特征信息和第一回归信息得到信息图像对应的第二分类信息和第二回归信息,基于训练图像对应的特征信息和第二回归信息得到训练图像对应的第三分类信息和第三回归信息作为训练图像对应的预检测信息,基于训练图像对应的预检测信息和标注检测信息训练预设检测网络得到生物体检测模型,由此得到的生物体检测模型准确度高,利用此生物体检测模型进行生物体检测进一步提高了检测精度;第一头结构至第三头结构是结构相同的头结构使得检测速度更快。
在一些可选的实施例中,所述SE-ResNext50网络包括第二stage模块至第五stage模块,所述将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息,包括:将所述训练图像输入所述第二stage模块,得到所述训练图像对应的第二特征图;将所述训练图像对应的第二特征图输入第三stage模块,得到所述训练图像对应的第三特征图;将所述训练图像对应的第三特征图输入第四stage模块,得到所述训练图像对应的第四特征图;将所述训练图像对应的第四特征图输入所述第五stage模块,得到所述训练图像对应的第五特征图;
利用所述训练图像对应的第二特征图至第五特征图构建特征金字塔,得到所述训练图像对应的按照特征图尺寸顺序排列的多个特征图作为所述训练图像对应的特征信息。该技术方案的有益效果在于,构建特征金字塔,使得获取特征信息的速度更快,得到的特征信息更加准确。
在一些可选的实施例中,所述训练数据集中的每个训练数据还包括所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,所述训练图像和所述检索图像对应的标注重识别信息用于指示所述训练图像和所述检索图像是否包含同一生物体,所述方法还包括:利用ResNet50网络、池化层和BNNeck网络,构建预设重识别网络;利用所述训练图像及其对应的预测检测信息和所述ResNet50网络,获取所述训练图像对应的图残差特征;将所述训练图像对应的图残差特征输入所述池化层,得到所述训练图像对应的池化特征;将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征;利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息;利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型。
该技术方案的有益效果在于,基于ResNet50网络、池化层和BNNeck网络,构建预设重识别网络,基于训练图像及其对应的预检测信息和ResNet50网络,得到训练图像对应的图残差特征,基于训练图像对应的图残差特征得到训练图像对应的池化特征,基于训练图像对应的池化特征得到训练图像对应的归一化特征,基于训练图像对应的归一化特征得到训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息,基于训练图像分别和所述检索图像集中各检索图像对应的预测重识别信息、训练图像分别和检索图像集中各所述检索图像对应的标注重识别信息训练预设重识别网络,得到所述生物体重识别模型,该方法获得的重识别模型的计算过程更快,结果更容易收敛,用该方法获得的生物体重识别模型进行生物体识别,准确度更高。
在一些可选的实施例中,所述方法还包括:利用各所述训练图像对应的预测检测信息,对各所述训练图像分别进行数据增广,得到各所述训练图像对应的增广图像并存储至所述训练数据集作为新的训练图像;基于各所述训练图像对应的增广图像,对所述检索图像集中所有所述检索图像进行重新排序,得到所述检索图像集中各所述检索图像对应的排序信息;所述利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息,包括:利用所述训练图像对应的归一化特征,基于所述检索图像集中各所述检索图像对应的排序信息,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息。
该技术方案的有益效果在于,对训练图像进行数据增广,给图像加入不同程度遮挡,在可以减少模型过拟合的风险,同时对遮挡具有一定的鲁棒性;对检索图像集中所有检索图像进行重新排序,使得识别效果有所提升。
在一些可选的实施例中,所述BNNeck网络包括归一化层和全连接层,所述将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征,包括:将所述训练图像对应的池化特征输入所述归一化层,得到所述训练图像对应的归一化特征,所述训练图像对应的池化特征用于计算所述训练图像对应的第一损失值和第二损失值;将所述训练图像对应的归一化特征输入所述全连接层,得到所述训练图像对应的全连接特征,所述训练图像对应的全连接特征用于计算所述训练图像对应的第三损失值;其中,各所述训练图像对应的第一损失值、第二损失值和第三损失值用于训练所述预设重识别网络。该技术方案的有益效果在于,将训练图像对应的池化特征输入BNNeck网络,得到所述训练图像对应的归一化特征,增加了训练图像的聚类性能,因此基于此训练图像得到的预设重识别网络准确度更高。
在一些可选的实施例中,所述训练图像对应的全连接特征还用于计算所述训练图像对应的标签平滑度值;各所述训练图像对应的第一损失值、第二损失值、第三损失值和标签平滑度值用于训练所述预设重识别网络。该技术方案的有益效果在于,加入标签平滑训练策略有利于增加重识别训练模型的泛化能力,防止过拟合,保持重识别模型深层的稳定性。
在一些可选的实施例中,所述利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型,包括:利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,使用预设学习率策略对所述预设重识别网络进行训练,得到所述生物体重识别模型;其中,所述预设学习率策略用于指示每个epoch对应的学习率,且第一个epoch至第N1个epoch对应的学习率逐渐递增至第一预设学习率,第N1+1个至第N2个epoch对应的学习率是第二预设学习率,第N2+1个至第N3个epoch对应的学习率是第三预设学习率,第N3+1个至第N4个epoch对应的学习率是第四预设学习率,且所述第一预设学习率小于所述第二预设学习率,所述第二预设学习率大于所述第三预设学习率,所述第三预设学习率大于所述第四预设学习率。该技术方案的有益效果在于,使用预设学习率策略对预设重识别网络进行训练,有助于减缓训练得到生物体重识别模型时,在初始阶段发生的提前过拟合现象,保持生物体重识别模型深层的稳定性。
在一些可选的实施例中,所述方法还包括:获取目标类别信息;基于所述目标类别信息,从所述检索图像集中确定至少一个目标检索图像;基于所述查询图像和各所述目标检索图像对应的预测重识别信息,检测所述查询图像中是否存在所述目标类别信息对应的目标生物体;当所述查询图像中存在所述目标生物体时,利用所述查询图像,获取所述目标生物体的当前状态信息和/或空间分布趋势信息。该技术方案的有益效果在于,基于目标类别信息,确定至少一个目标检索图像,基于查询图像和各目标检索图像对应的预测重识别信息,检测查询图像中是否存在目标类别信息对应的目标生物体,当查询图像中存在目标生物体时,利用该查询图像,获取目标生物体的当前状态信息和/或空间分布趋势信息,有利于提高生物体识别的效率和精确度。
第二方面,本申请提供了一种生物体重识别装置,所述装置包括:查询图像模块,用于获取查询图像;预测检测模块,用于将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息;图像重识别模块,用于利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息,所述查询图像和所述检索图像对应的预测重识别信息用于指示所述查询图像和所述检索图像是否包含同一生物体。
在一些可选的实施例中,所述生物体重识别装置还包括:预设检测模块,用于利用SE-ResNext50网络、RPN网络以及第一头结构至第三头结构,构建预设检测网络;训练数据模块,用于获取训练数据集,所述训练数据集中的每个训练数据包括一个训练图像和所述训练图像对应的标注检测信息;特征信息模块,用于针对所述训练数据集中的每个所述训练图像,将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息;ROI信息模块,用于将所述训练图像输入所述RPN网络,得到所述训练图像对应的ROI信息;第一分类模块,用于将所述训练图像对应的特征信息和ROI信息输入所述第一头结构,得到所述训练图像对应的第一分类信息和第一回归信息;第二分类模块,用于将所述训练图像对应的特征信息和第一回归信息输入第二头结构,得到所述训练图像对应的第二分类信息和第二回归信息;检测信息模块,用于将所述训练图像对应的特征信息和第二回归信息输入所述第三头结构,得到所述训练图像对应的第三分类信息和第三回归信息作为所述训练图像对应的预测检测信息;检测模型模块,用于利用所述训练图像对应的预测检测信息和标注检测信息训练所述预设检测网络,得到所述生物体检测模型。
在一些可选的实施例中,SE-ResNext50网络包括第二stage模块至第五stage模块,所述特征信息模块包括:第二特征图单元,用于将所述训练图像输入所述第二stage模块,得到所述训练图像对应的第二特征图;第三特征图单元,用于将所述训练图像对应的第二特征图输入第三stage模块,得到所述训练图像对应的第三特征图;第四特征图单元,将所述训练图像对应的第三特征图输入第四stage模块,得到所述训练图像对应的第四特征图;第五特征图单元,用于将所述训练图像对应的第四特征图输入所述第五stage模块,得到所述训练图像对应的第五特征图;特征信息单元,用于利用所述训练图像对应的第二特征图至第五特征图构建特征金字塔,得到所述训练图像对应的按照特征图尺寸顺序排列的多个特征图作为所述训练图像对应的特征信息。
在一些可选的实施例中,所述训练数据集中的每个训练数据还包括所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,所述训练图像和所述检索图像对应的标注重识别信息用于指示所述训练图像和所述检索图像是否包含同一生物体,所述生物体重识别装置还包括:预设网络模块,用于利用ResNet50网络、池化层和BNNeck网络,构建预设重识别网络;图残差特征模块,用于利用所述训练图像及其对应的预测检测信息和所述ResNet50网络,获取所述训练图像对应的图残差特征;池化特征模块,用于将所述训练图像对应的图残差特征输入所述池化层,得到所述训练图像对应的池化特征;归一化特征模块,用于将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征;预测重识别模块,用于利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息;重识别模型模块,用于利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型。
在一些可选的实施例中,所述生物体重识别装置还包括:增广图像模块,用于利用各所述训练图像对应的预测检测信息,对各所述训练图像分别进行数据增广,得到各所述训练图像对应的增广图像并存储至所述训练数据集作为新的训练图像;排序信息模块,用于基于各所述训练图像对应的增广图像,对所述检索图像集中所有所述检索图像进行重新排序,得到所述检索图像集中各所述检索图像对应的排序信息;预测重识别模块,用于所述利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息,包括:预测重识别单元,用于利用所述训练图像对应的归一化特征,基于所述检索图像集中各所述检索图像对应的排序信息,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息。
在一些可选的实施例中,所述BNNeck网络包括归一化层和全连接层,所述归一化特征模块,包括:归一化特征单元,用于将所述训练图像对应的池化特征输入所述归一化层,得到所述训练图像对应的归一化特征,所述训练图像对应的池化特征用于计算所述训练图像对应的第一损失值和第二损失值;全连接特征单元,用于将所述训练图像对应的归一化特征输入所述全连接层,得到所述训练图像对应的全连接特征,所述训练图像对应的全连接特征用于计算所述训练图像对应的第三损失值;其中,各所述训练图像对应的第一损失值、第二损失值和第三损失值用于训练所述预设重识别网络。
在一些可选的实施例中,全连接特征单元,还用于计算所述训练图像对应的标签平滑度值;各所述训练图像对应的第一损失值、第二损失值、第三损失值和标签平滑度值用于训练所述预设重识别网络。
在一些可选的实施例中,所述重识别模型模块,包括:重识别模型单元;其中,所述预设学习率策略用于指示每个epoch对应的学习率,且第一个epoch至第N1个epoch对应的学习率逐渐递增至第一预设学习率,第N1+1个至第N2个epoch对应的学习率是第二预设学习率,第N2+1个至第N3个epoch对应的学习率是第三预设学习率,第N3+1个至第N4个epoch对应的学习率是第四预设学习率,且所述第一预设学习率小于所述第二预设学习率,所述第二预设学习率大于所述第三预设学习率,所述第三预设学习率大于所述第四预设学习率。
在一些可选的实施例中,所述生物体重识别装置还包括:目标类别模块,用于获取目标类别信息;目标检索模块,用于基于所述目标类别信息,从所述检索图像集中确定至少一个目标检索图像;查询检测模块,用于基于所述查询图像和各所述目标检索图像对应的预测重识别信息,检测所述查询图像中是否存在所述目标类别信息对应的目标生物体;状态分布模块,用于当所述查询图像中存在所述目标生物体时,利用所述查询图像,获取所述目标生物体的当前状态信息和/或空间分布趋势信息。
第三方面,本申请提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合详细附图说明如后。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种生物体重识别方法的流程示意图;
图2是本申请实施例提供的一种生物体重识别方法的原理示意图;
图3是本申请实施例提供的另一种生物体重识别方法的部分流程示意图;
图4是本申请实施例提供的一种SE-ResNext50模块的结构示意图;
图5是本申请实施例提供的一种得到训练图像对应的特征信息的流程示意图;
图6是本申请实施例提供的又一种生物体重识别方法的部分流程示意图;
图7是本申请实施例提供的又一种生物体重识别方法的部分流程示意图;
图8是本申请实施例提供的一种获取预测重识别信息的流程示意图;
图9是本申请实施例提供的一种得到训练图像对应的归一化特征的流程示意图;
图10是本申请实施例提供的一种得到所述训练图像对应的归一化特征的结构示意图;
图11是本申请实施例提供的一种得到生物体重识别模型的流程示意图;
图12是本申请实施例提供的又一种生物体重识别方法的部分流程示意图;
图13是本申请实施例提供的一种生物体重识别装置的结构示意图;
图14是本申请实施例提供的又一种生物体重识别装置的部分结构示意图;
图15是本申请实施例提供的一种特征信息模块的结构示意图;
图16是本申请实施例提供的又一种生物体识别装置的部分结构示意图;
图17是本申请实施例提供的又一种生物体识别装置的部分结构示意图;
图18是本申请实施例提供的一种归一化特征模块的结构示意图;
图19是本申请实施例提供的一种重识别模型模块的结构示意图;
图20是本申请实施例提供的又一种生物体重识别装置的部分结构示意图;
图21是本申请实施例提供的一种电子设备的结构示意图;
图22是本申请实施例提供的一种用于实现生物体重识别方法的程序产品的结构示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本申请做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
参见图1和图2,本申请提供了一种生物体重识别方法,所述方法包括步骤S101~S103。
本申请中的生物体,指可以通过手持或固定摄像机拍摄到的具有一定体积和形状的生物个体。在一些实施方式中,生物体例如是老虎、狮子、狼、豹子、大象、猩猩等。
步骤S101:获取查询图像。
其中,所述查询图像可以从预先存储与存储介质中的图像库中获取,也可以由人工手动输入,也可以在运服务器中检索获取。
步骤S102:将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息。
步骤S103:利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息,所述查询图像和所述检索图像对应的预测重识别信息用于指示所述查询图像和所述检索图像是否包含同一生物体。
由此,基于查询图像,得到各查询图像对应的预测检测信息,基于查询图像及其对应的预测检测信息和生物体重识别模型,得到查询图像分别和检索图像集中各检索图像对应的预测重识别信息,所得到查询图像和检索图像对应的预测重识别信息用于指示查询图像和检索图像是否包含同一生物体,重识别效率高,识别结果准确度高。
参见图3,在一些具体实施方式中,所述方法还可以包括步骤S104~S111。
步骤S104:利用SE-ResNext50网络、RPN网络以及第一头结构至第三头结构,构建预设检测网络。
步骤S105:获取训练数据集,所述训练数据集中的每个训练数据包括一个训练图像和所述训练图像对应的标注检测信息。
步骤S106:针对所述训练数据集中的每个所述训练图像,将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息。
步骤S107:将所述训练图像输入所述RPN网络,得到所述训练图像对应的ROI信息。
步骤S108:将所述训练图像对应的特征信息和ROI信息输入所述第一头结构,得到所述训练图像对应的第一分类信息和第一回归信息。
步骤S109:将所述训练图像对应的特征信息和第一回归信息输入第二头结构,得到所述训练图像对应的第二分类信息和第二回归信息。
步骤S110:将所述训练图像对应的特征信息和第二回归信息输入所述第三头结构,得到所述训练图像对应的第三分类信息和第三回归信息作为所述训练图像对应的预测检测信息。
步骤S111:利用所述训练图像对应的预测检测信息和标注检测信息训练所述预设检测网络,得到所述生物体检测模型。
其中,所述第一头结构至所述第三头结构是结构相同的头结构,每个头结构分别包括ROI Align层、分类分支和回归分支,分类分支包括两个全连接层,回归分支包括两个卷积层和一个全连接层。
参见图4,在一些具体实施方式中,SE-ResNext50中的残差单元分支由三个连续的卷积层和一个SE模块组成,第一层输入通道是256,输出通道是4,卷积核尺寸是1×1;第二层输入通道是4,卷积核尺寸是3×3,输出通道是4;第三层输入通道是4,卷积核尺寸是1×1,输出通道是256;最后通过一个SE模块。每一个残差单元由32组残差单元分支结构并列组成,最终在通道上做加性运算。
由此,利用SE-ResNext50网络,结合RPN网络以及第一头结构至第三头结构,构建预设检测网络,使网络能够越来越深,避免了深层网络中梯度弥散和精度下降的问题,既控制了速度,又控制了精度;而获取训练数据集,基于训练数据集中的每个训练图像,得到训练图像对应的特征信息,基于训练图像对应的特征信息得到训练图像对应的ROI信息,基于训练图像对应的特征信息和ROI信息得到训练图像对应的第一分类信息和第一回归信息,基于训练图像对应的特征信息和第一回归信息得到信息图像对应的第二分类信息和第二回归信息,基于训练图像对应的特征信息和第二回归信息得到训练图像对应的第三分类信息和第三回归信息作为训练图像对应的预检测信息,基于训练图像对应的预检测信息和标注检测信息训练预设检测网络得到生物体检测模型,由此得到的生物体检测模型准确度高,利用此生物体检测模型进行生物体检测进一步提高了检测精度;第一头结构至第三头结构是结构相同的头结构使得检测速度更快。
参见图5,在一些具体实施方式中,所述SE-ResNext50网络包括第二stage模块至第五stage模块,所述步骤S106,可以包括步骤S201~S205。
步骤S201:将所述训练图像输入所述第二stage模块,得到所述训练图像对应的第二特征图。
步骤S202:将所述训练图像对应的第二特征图输入第三stage模块,得到所述训练图像对应的第三特征图。
步骤S203:将所述训练图像对应的第三特征图输入第四stage模块,得到所述训练图像对应的第四特征图。
步骤S204:将所述训练图像对应的第四特征图输入所述第五stage模块,得到所述训练图像对应的第五特征图。
步骤S205:利用所述训练图像对应的第二特征图至第五特征图构建特征金字塔,得到所述训练图像对应的按照特征图尺寸顺序排列的多个特征图作为所述训练图像对应的特征信息。
由此,构建特征金字塔,使得获取特征信息的速度更快,得到的特征信息更加准确。
参见图6,在一些具体实施方式中,所述训练数据集中的每个训练数据还包括所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,所述训练图像和所述检索图像对应的标注重识别信息用于指示所述训练图像和所述检索图像是否包含同一生物体,所述方法还可以包括步骤S111~S116。
步骤S111:利用ResNet50网络、池化层和BNNeck网络,构建预设重识别网络。
步骤S112:利用所述训练图像及其对应的预测检测信息和所述ResNet50网络,获取所述训练图像对应的图残差特征。
步骤S113:将所述训练图像对应的图残差特征输入所述池化层,得到所述训练图像对应的池化特征。
步骤S114:将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征。
步骤S115:利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息。
步骤S116:利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型。
由此,基于ResNet50网络、池化层和BNNeck网络,构建预设重识别网络,基于训练图像及其对应的预检测信息和ResNet50网络,得到训练图像对应的图残差特征,基于训练图像对应的图残差特征得到训练图像对应的池化特征,基于训练图像对应的池化特征得到训练图像对应的的归一化特征,基于训练图像对应的归一化特征得到训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息,基于训练图像分别和所述检索图像集中各检索图像对应的预测重识别信息、训练图像分别和检索图像集中各所述检索图像对应的标注重识别信息训练预设重识别网络,得到所述生物体重识别模型,该方法获得的重识别模型的计算过程更快,结果更容易收敛,用该方法获得的生物体重识别模型进行生物体识别,准确度更高。
参见图7,在一些具体实施方式中,所述方法还可以包括步骤S117~S118。
步骤S117:利用各所述训练图像对应的预测检测信息,对各所述训练图像分别进行数据增广,得到各所述训练图像对应的增广图像并存储至所述训练数据集作为新的训练图像。
步骤S118:基于各所述训练图像对应的增广图像,对所述检索图像集中所有所述检索图像进行重新排序,得到所述检索图像集中各所述检索图像对应的排序信息。
在一具体应用场景中,在训练图像中随机的选择一个矩形框,在随机的位置上使用随机的值来擦除训练图像原来的像素。其具体方法为:输入训练图像I、擦除的概率p、擦除区域比例范围从sl到sh,以及长宽比概率范围从r1到r2。首先根据概率p确定一张图片是否需要擦除,p1>p则不对图片进行处理,反之则需要擦除。根据输入训练图像I可以得
到训练图像的长宽W和H,继而可以得到面积S。根据Rand(sl,sh)*S得到擦除的面积Se,擦除面积的长(He)、擦除面积的宽(We)根据下式得到:
Figure BDA0003251007100000111
其中,re代表擦除区域的长宽比,其余字符所代指的含义已在上述应用场景中进行描述,在此不再赘述。
参见图8,所述步骤S115包括步骤S301。
步骤S301:利用所述训练图像对应的归一化特征,基于所述检索图像集中各所述检索图像对应的排序信息,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息。
由此,对训练图像进行数据增广,得到各训练图像对应的增广图像并存储至训练数据集作为新的训练图像,给图像加入不同程度遮挡,在可以减少模型过拟合的风险,同时对遮挡具有一定的鲁棒性;基于各训练图像对应的增广图像,对检索图像集中所有所述检索图像进行重新排序,得到检索图像集中各检索图像对应的排序信息,利用训练图像对应的归一化特征,获取训练图像分别和检索图像集中各检索图像对应的预测重识别信息,使得识别效果有所提升。
参见图9和图10,在一些具体实施方式中,所述BNNeck网络包括归一化层和全连接层,所述步骤S114可以包括步骤S401~S402。
步骤S401:将所述训练图像对应的池化特征输入所述归一化层,得到所述训练图像对应的归一化特征,所述训练图像对应的池化特征用于计算所述训练图像对应的第一损失值和第二损失值。
步骤S402:将所述训练图像对应的归一化特征输入所述全连接层,得到所述训练图像对应的全连接特征,所述训练图像对应的全连接特征用于计算所述训练图像对应的第三损失值。
其中,各所述训练图像对应的第一损失值、第二损失值和第三损失值用于训练所述预设重识别网络。
在一具体应用场景中,为了增加正样本之间的聚类性能,我们加入了Centerloss:
Figure BDA0003251007100000121
公式中,τc代表中心损失值,B代表训练数据集中的样本数量,ftj代表第j个训练数据对应的池化特征,cyj代表第j个训练数据对应的类别的所有训练数据特征的平均特征。
由此,将训练图像对应的池化特征输入BNNeck网络,得到所述训练图像对应的归一化特征,增加了训练图像的聚类性能,因此基于此训练图像得到的预设重识别网络准确度更高。
在一些具体实施方式中,所述训练图像对应的全连接特征还用于计算所述训练图像对应的标签平滑度值;各所述训练图像对应的第一损失值、第二损失值、第三损失值和标签平滑度值用于训练所述预设重识别网络。
继续参见图10,在一具体应用场景中,标签平滑度值采用下式计算:
Figure BDA0003251007100000122
公式中Pi表示第i个类别的概率分布,K表示多分类的类别总数,ε是一个较小的超参数,y代表第i个类别的真实标签,将分类损失结合标签平滑度值一起计算。
由此,加入标签平滑训练策略有利于增加重识别训练模型的泛化能力,防止过拟合,保持重识别模型深层的稳定性。
参见图11,在一些具体实施方式中,步骤S116可以包括步骤S501。
步骤S501:利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,使用预设学习率策略对所述预设重识别网络进行训练,得到所述生物体重识别模型。
其中,所述预设学习率策略用于指示每个epoch对应的学习率,且第一个epoch至第N1个epoch对应的学习率逐渐递增至第一预设学习率,第N1+1个至第N2个epoch对应的学习率是第二预设学习率,第N2+1个至第N3个epoch对应的学习率是第三预设学习率,第N3+1个至第N4个epoch对应的学习率是第四预设学习率,且所述第一预设学习率小于所述第二预设学习率,所述第二预设学习率大于所述第三预设学习率,所述第三预设学习率大于所述第四预设学习率。由此,使用预设学习率策略对预设重识别网络进行训练,有助于减缓训练得到生物体重识别模型时,在初始阶段发生的提前过拟合现象,保持生物体重识别模型深层的稳定性。
在一具体应用场景中,学习率可以利用下述公式计算:
Figure BDA0003251007100000131
参见图12,在一些具体实施方式中,所述方法还可以包括步骤S119~S122。
步骤S119:获取目标类别信息。
步骤S120:基于所述目标类别信息,从所述检索图像集中确定至少一个目标检索图像。
步骤S121:基于所述查询图像和各所述目标检索图像对应的预测重识别信息,检测所述查询图像中是否存在所述目标类别信息对应的目标生物体。
步骤S122:当所述查询图像中存在所述目标生物体时,利用所述查询图像,获取所述目标生物体的当前状态信息和/或空间分布趋势信息。
由此,基于目标类别信息,确定至少一个目标检索图像,基于查询图像和各目标检索图像对应的预测重识别信息,检测查询图像中是否存在目标类别信息对应的目标生物体,当查询图像中存在目标生物体时,利用该查询图像,获取目标生物体的当前状态信息和/或空间分布趋势信息,有利于提高生物体识别的效率和精确度。
参见图13,本申请提供了一种生物体重识别装置,其具体实现方式与上述模型训练方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
所述装置包括:查询图像模块101,用于获取查询图像;预测检测模块102,用于将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息;图像重识别模块103,用于利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息,所述查询图像和所述检索图像对应的预测重识别信息用于指示所述查询图像和所述检索图像是否包含同一生物体。
参见图14,在一些具体实施方式中,所述生物体重识别装置还可以包括:预设检测模块104,用于利用SE-ResNext50网络、RPN网络以及第一头结构至第三头结构,构建预设检测网络;训练数据模块105,用于获取训练数据集,所述训练数据集中的每个训练数据包括一个训练图像和所述训练图像对应的标注检测信息;特征信息模块106,用于针对所述训练数据集中的每个所述训练图像,将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息;ROI信息模块107,用于将所述训练图像输入所述RPN网络,得到所述训练图像对应的ROI信息;第一分类模块108,用于将所述训练图像对应的特征信息和ROI信息输入所述第一头结构,得到所述训练图像对应的第一分类信息和第一回归信息;第二分类模块109,用于将所述训练图像对应的特征信息和第一回归信息输入第二头结构,得到所述训练图像对应的第二分类信息和第二回归信息;检测信息模块110,用于将所述训练图像对应的特征信息和第二回归信息输入所述第三头结构,得到所述训练图像对应的第三分类信息和第三回归信息作为所述训练图像对应的预测检测信息;检测模型模块111,用于利用所述训练图像对应的预测检测信息和标注检测信息训练所述预设检测网络,得到所述生物体检测模型。
参见图15,在一些具体实施方式中,SE-ResNext50网络可以包括第二stage模块至第五stage模块,所述特征信息模块106包括:第二特征图单元201,用于将所述训练图像输入所述第二stage模块,得到所述训练图像对应的第二特征图;第三特征图单元202,用于将所述训练图像对应的第二特征图输入第三stage模块,得到所述训练图像对应的第三特征图;第四特征图单元203,将所述训练图像对应的第三特征图输入第四stage模块,得到所述训练图像对应的第四特征图;第五特征图单元204,用于将所述训练图像对应的第四特征图输入所述第五stage模块,得到所述训练图像对应的第五特征图;特征信息单元205,用于利用所述训练图像对应的第二特征图至第五特征图构建特征金字塔,得到所述训练图像对应的按照特征图尺寸顺序排列的多个特征图作为所述训练图像对应的特征信息。
参见图16,在一些具体实施方式中,所述训练数据集中的每个训练数据还可以包括所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,所述训练图像和所述检索图像对应的标注重识别信息用于指示所述训练图像和所述检索图像是否包含同一生物体,所述生物体重识别装置还可以包括:预设网络模块111,用于利用ResNet50网络、池化层和BNNeck网络,构建预设重识别网络;图残差特征模块112,用于利用所述训练图像及其对应的预测检测信息和所述ResNet50网络,获取所述训练图像对应的图残差特征;池化特征模块113,用于将所述训练图像对应的图残差特征输入所述池化层,得到所述训练图像对应的池化特征;归一化特征模块114,用于将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征;预测重识别模块115,用于利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息;重识别模型模块116,用于利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型。
参见图17,在一些具体实施方式中,所述生物体重识别装置还可以包括:增广图像模块117,用于利用各所述训练图像对应的预测检测信息,对各所述训练图像分别进行数据增广,得到各所述训练图像对应的增广图像并存储至所述训练数据集作为新的训练图像;排序信息模块118,用于基于各所述训练图像对应的增广图像,对所述检索图像集中所有所述检索图像进行重新排序,得到所述检索图像集中各所述检索图像对应的排序信息;预测重识别模块115,用于所述利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息,包括:预测重识别单元301,用于利用所述训练图像对应的归一化特征,基于所述检索图像集中各所述检索图像对应的排序信息,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息。
参见图18,在一些具体实施方式中,所述BNNeck网络可以包括归一化层和全连接层,所述归一化特征模块114,包括:归一化特征单元401,用于将所述训练图像对应的池化特征输入所述归一化层,得到所述训练图像对应的归一化特征,所述训练图像对应的池化特征用于计算所述训练图像对应的第一损失值和第二损失值;全连接特征单元402,用于将所述训练图像对应的归一化特征输入所述全连接层,得到所述训练图像对应的全连接特征,所述训练图像对应的全连接特征用于计算所述训练图像对应的第三损失值;其中,各所述训练图像对应的第一损失值、第二损失值和第三损失值用于训练所述预设重识别网络。
在一些具体实施方式中,全连接特征单元,还用于计算所述训练图像对应的标签平滑度值;各所述训练图像对应的第一损失值、第二损失值、第三损失值和标签平滑度值用于训练所述预设重识别网络。
参见图19,在一些具体实施方式中,所述重识别模型模块116,可以包括:重识别模型单元501;其中,所述预设学习率策略用于指示每个epoch对应的学习率,且第一个epoch至第N1个epoch对应的学习率逐渐递增至第一预设学习率,第N1+1个至第N2个epoch对应的学习率是第二预设学习率,第N2+1个至第N3个epoch对应的学习率是第三预设学习率,第N3+1个至第N4个epoch对应的学习率是第四预设学习率,且所述第一预设学习率小于所述第二预设学习率,所述第二预设学习率大于所述第三预设学习率,所述第三预设学习率大于所述第四预设学习率。
参见图20,在一些具体实施方式中,所述生物体重识别装置还可以包括:目标类别模块119,用于获取目标类别信息;目标检索模块120,用于基于所述目标类别信息,从所述检索图像集中确定至少一个目标检索图像;查询检测模块121,用于基于所述查询图像和各所述目标检索图像对应的预测重识别信息,检测所述查询图像中是否存在所述目标类别信息对应的目标生物体;状态分布模块122,用于当所述查询图像中存在所述目标生物体时,利用所述查询图像,获取所述目标生物体的当前状态信息和/或空间分布趋势信息。
参见图21,本申请实施例还提供了一种电子设备200,电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220执行本申请实施例中生物体重识别方法的步骤,其具体实现方式与上述生物体重识别方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214,这样的程序模块215包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的,处理器220可以执行上述计算机程序,以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序被执行时实现本申请实施例中生物体重识别方法的步骤,其具体实现方式与上述生物体重识别方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
该计算机可读存储介质用于存储计算机程序或者生物体重识别模型,所述计算机程序被执行时实现本申请实施例中生物体重识别方法的步骤,所述生物体重识别模型是利用本申请实施例中生物体重识别方法识别得到的。
图22示出了本实施例提供的用于实现上述生物体重识别方法的程序产品300,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本申请的程序产品300不限于此,在本申请中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请采用了基于深度学习目标检测方法,设计出了一种更加稳定,准确率更高的生物体重识别方法。以此来监测生物地理空间分布的趋势并跟踪种群,有着很高的准确率以及很好的应用前景。
本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。

Claims (12)

1.一种生物体重识别方法,其特征在于,所述方法包括:
获取查询图像;
将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息;
利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息,所述查询图像和所述检索图像对应的预测重识别信息用于指示所述查询图像和所述检索图像是否包含同一生物体。
2.根据权利要求1所述的生物体重识别方法,其特征在于,所述方法还包括:
利用SE-ResNext50网络、RPN网络以及第一头结构至第三头结构,构建预设检测网络;
获取训练数据集,所述训练数据集中的每个训练数据包括一个训练图像和所述训练图像对应的标注检测信息;
针对所述训练数据集中的每个所述训练图像,将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息;
将所述训练图像输入所述RPN网络,得到所述训练图像对应的ROI信息;
将所述训练图像对应的特征信息和ROI信息输入所述第一头结构,得到所述训练图像对应的第一分类信息和第一回归信息;
将所述训练图像对应的特征信息和第一回归信息输入第二头结构,得到所述训练图像对应的第二分类信息和第二回归信息;
将所述训练图像对应的特征信息和第二回归信息输入所述第三头结构,得到所述训练图像对应的第三分类信息和第三回归信息作为所述训练图像对应的预测检测信息;
利用所述训练图像对应的预测检测信息和标注检测信息训练所述预设检测网络,得到所述生物体检测模型;
其中,所述第一头结构至所述第三头结构是结构相同的头结构,每个头结构分别包括ROI Align层、分类分支和回归分支,分类分支包括两个全连接层,回归分支包括两个卷积层和一个全连接层。
3.根据权利要求2所述的生物体重识别方法,其特征在于,所述SE-ResNext50网络包括第二stage模块至第五stage模块,所述将所述训练图像输入所述SE-ResNext50网络,得到所述训练图像对应的特征信息,包括:
将所述训练图像输入所述第二stage模块,得到所述训练图像对应的第二特征图;
将所述训练图像对应的第二特征图输入第三stage模块,得到所述训练图像对应的第三特征图;
将所述训练图像对应的第三特征图输入第四stage模块,得到所述训练图像对应的第四特征图;
将所述训练图像对应的第四特征图输入所述第五stage模块,得到所述训练图像对应的第五特征图;
利用所述训练图像对应的第二特征图至第五特征图构建特征金字塔,得到所述训练图像对应的按照特征图尺寸顺序排列的多个特征图作为所述训练图像对应的特征信息。
4.根据权利要求2所述的生物体重识别方法,其特征在于,所述训练数据集中的每个训练数据还包括所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,所述训练图像和所述检索图像对应的标注重识别信息用于指示所述训练图像和所述检索图像是否包含同一生物体,所述方法还包括:
利用ResNet50网络、池化层和BNNeck网络,构建预设重识别网络;
利用所述训练图像及其对应的预测检测信息和所述ResNet50网络,获取所述训练图像对应的图残差特征;
将所述训练图像对应的图残差特征输入所述池化层,得到所述训练图像对应的池化特征;
将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征;
利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息;
利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型。
5.根据权利要求4所述的生物体重识别方法,其特征在于,所述方法还包括:
利用各所述训练图像对应的预测检测信息,对各所述训练图像分别进行数据增广,得到各所述训练图像对应的增广图像并存储至所述训练数据集作为新的训练图像;
基于各所述训练图像对应的增广图像,对所述检索图像集中所有所述检索图像进行重新排序,得到所述检索图像集中各所述检索图像对应的排序信息;
所述利用所述训练图像对应的归一化特征,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息,包括:
利用所述训练图像对应的归一化特征,基于所述检索图像集中各所述检索图像对应的排序信息,获取所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息。
6.根据权利要求4所述的生物体重识别方法,其特征在于,所述BNNeck网络包括归一化层和全连接层,所述将所述训练图像对应的池化特征输入所述BNNeck网络,得到所述训练图像对应的归一化特征,包括:
将所述训练图像对应的池化特征输入所述归一化层,得到所述训练图像对应的归一化特征,所述训练图像对应的池化特征用于计算所述训练图像对应的第一损失值和第二损失值;
将所述训练图像对应的归一化特征输入所述全连接层,得到所述训练图像对应的全连接特征,所述训练图像对应的全连接特征用于计算所述训练图像对应的第三损失值;
其中,各所述训练图像对应的第一损失值、第二损失值和第三损失值用于训练所述预设重识别网络。
7.根据权利要求6所述的生物体重识别方法,其特征在于,所述训练图像对应的全连接特征还用于计算所述训练图像对应的标签平滑度值;
各所述训练图像对应的第一损失值、第二损失值、第三损失值和标签平滑度值用于训练所述预设重识别网络。
8.根据权利要求4所述的生物体重识别方法,其特征在于,所述利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息训练所述预设重识别网络,得到所述生物体重识别模型,包括:
利用所述训练图像分别和所述检索图像集中各所述检索图像对应的预测重识别信息、所述训练图像分别和所述检索图像集中各所述检索图像对应的标注重识别信息,使用预设学习率策略对所述预设重识别网络进行训练,得到所述生物体重识别模型;
其中,所述预设学习率策略用于指示每个epoch对应的学习率,且第一个epoch至第N1个epoch对应的学习率逐渐递增至第一预设学习率,第N1+1个至第N2个epoch对应的学习率是第二预设学习率,第N2+1个至第N3个epoch对应的学习率是第三预设学习率,第N3+1个至第N4个epoch对应的学习率是第四预设学习率,且所述第一预设学习率小于所述第二预设学习率,所述第二预设学习率大于所述第三预设学习率,所述第三预设学习率大于所述第四预设学习率。
9.根据权利要求1所述的生物体重识别方法,其特征在于,所述方法还包括:
获取目标类别信息;
基于所述目标类别信息,从所述检索图像集中确定至少一个目标检索图像;
基于所述查询图像和各所述目标检索图像对应的预测重识别信息,检测所述查询图像中是否存在所述目标类别信息对应的目标生物体;
当所述查询图像中存在所述目标生物体时,利用所述查询图像,获取所述目标生物体的当前状态信息和/或空间分布趋势信息。
10.一种生物体重识别装置,其特征在于,所述装置包括:
查询图像模块,用于获取查询图像;
预测检测模块,用于将所述查询图像输入生物体检测模型,得到所述查询图像对应的预测检测信息;
图像重识别模块,用于利用所述查询图像及其对应的预测检测信息和生物体重识别模型,获取所述查询图像分别和检索图像集中各所述检索图像对应的预测重识别信息,所述查询图像和所述检索图像对应的预测重识别信息用于指示所述查询图像和所述检索图像是否包含同一生物体。
11.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-9任一项所述生物体重识别方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-9任一项所述生物体重识别方法的步骤。
CN202111045382.6A 2021-09-07 2021-09-07 生物体重识别方法、装置、电子设备及存储介质 Pending CN113688264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111045382.6A CN113688264A (zh) 2021-09-07 2021-09-07 生物体重识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111045382.6A CN113688264A (zh) 2021-09-07 2021-09-07 生物体重识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113688264A true CN113688264A (zh) 2021-11-23

Family

ID=78585605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111045382.6A Pending CN113688264A (zh) 2021-09-07 2021-09-07 生物体重识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113688264A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458107A (zh) * 2019-08-13 2019-11-15 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN111310795A (zh) * 2020-01-19 2020-06-19 中国科学院动物研究所 基于图像及分子数据的多模态实蝇识别系统及方法
US20200320769A1 (en) * 2016-05-25 2020-10-08 Metail Limited Method and system for predicting garment attributes using deep learning
CN112052350A (zh) * 2020-08-25 2020-12-08 腾讯科技(深圳)有限公司 一种图片检索方法、装置、设备和计算机可读存储介质
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
CN112668483A (zh) * 2020-12-30 2021-04-16 福州大学 一种融合行人重识别和人脸检测的单目标人物跟踪方法
CN112734800A (zh) * 2020-12-18 2021-04-30 上海交通大学 一种基于联合检测与表征提取的多目标跟踪系统和方法
CN112818175A (zh) * 2021-02-07 2021-05-18 中国矿业大学 一种厂区工作人员搜索方法及人员识别模型的训练方法
CN113869352A (zh) * 2021-08-16 2021-12-31 深延科技(北京)有限公司 模型训练方法、服装检索方法及相关装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200320769A1 (en) * 2016-05-25 2020-10-08 Metail Limited Method and system for predicting garment attributes using deep learning
CN110458107A (zh) * 2019-08-13 2019-11-15 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN111310795A (zh) * 2020-01-19 2020-06-19 中国科学院动物研究所 基于图像及分子数据的多模态实蝇识别系统及方法
CN112052350A (zh) * 2020-08-25 2020-12-08 腾讯科技(深圳)有限公司 一种图片检索方法、装置、设备和计算机可读存储介质
CN112734800A (zh) * 2020-12-18 2021-04-30 上海交通大学 一种基于联合检测与表征提取的多目标跟踪系统和方法
CN112668483A (zh) * 2020-12-30 2021-04-16 福州大学 一种融合行人重识别和人脸检测的单目标人物跟踪方法
CN112818175A (zh) * 2021-02-07 2021-05-18 中国矿业大学 一种厂区工作人员搜索方法及人员识别模型的训练方法
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
CN113869352A (zh) * 2021-08-16 2021-12-31 深延科技(北京)有限公司 模型训练方法、服装检索方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN NING ET AL.: "Feature Refinement and Filter Network for Person Re-identification", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 31, no. 9, pages 1 - 13 *
代菊: "基于语义投影学习和深度特征学习的行人重识别算法研究", 《中国博士学位论文全文数据库 信息科技辑》, pages 138 - 7 *

Similar Documents

Publication Publication Date Title
CN111052146B (zh) 用于主动学习的系统和方法
CN110148142B (zh) 图像分割模型的训练方法、装置、设备和存储介质
Eikelboom et al. Improving the precision and accuracy of animal population estimates with aerial image object detection
CN112183577A (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
Wang et al. Development and validation of an ensemble classifier for real-time recognition of cow behavior patterns from accelerometer data and location data
CN111767954A (zh) 车辆细粒度识别模型生成方法、系统、设备及存储介质
Soeb et al. Tea leaf disease detection and identification based on YOLOv7 (YOLO-T)
WO2020147500A1 (zh) 超声波阵列障碍物检测结果处理方法及系统
CN110069129B (zh) 确定系统和确定方法
Bjerge et al. Accurate detection and identification of insects from camera trap images with deep learning
Zheng et al. Cows' legs tracking and lameness detection in dairy cattle using video analysis and Siamese neural networks
CN112116657B (zh) 基于表检索的同时定位与建图方法和装置
CN112036457A (zh) 训练目标检测模型的方法及装置、目标检测方法及装置
CN114565780A (zh) 一种目标识别方法、装置、电子设备及存储介质
CN115735233A (zh) 对象检测模型的训练方法、对象检测方法及装置
CN115527083B (zh) 图像标注方法、装置和电子设备
CN113688264A (zh) 生物体重识别方法、装置、电子设备及存储介质
CN111429414A (zh) 基于人工智能的病灶影像样本确定方法和相关装置
Fazzari et al. Using AI to decode the behavioral responses of an insect to chemical stimuli: towards machine-animal computational technologies
CN113887505A (zh) 牛图像分类方法、装置、电子设备及存储介质
CN113869352A (zh) 模型训练方法、服装检索方法及相关装置
CN114241376A (zh) 行为识别模型训练和行为识别方法、装置、系统及介质
Bao et al. Combining vision learning and interaction for mobile robot path planning
Nan et al. A novel method for maize leaf disease classification using the RGB-D post-segmentation image data
CN113869353A (zh) 模型训练方法、老虎关键点检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240513

Address after: Room 6227, No. 999, Changning District, Shanghai 200050

Applicant after: Shenlan robot (Shanghai) Co.,Ltd.

Country or region after: China

Address before: 100081 1508, 15th floor, 27 Zhongguancun Street, Haidian District, Beijing

Applicant before: Shenyan Technology (Beijing) Co.,Ltd.

Country or region before: China