CN116612498A - 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备 - Google Patents

一种鸟类识别模型训练方法、鸟类识别方法、装置及设备 Download PDF

Info

Publication number
CN116612498A
CN116612498A CN202310607380.4A CN202310607380A CN116612498A CN 116612498 A CN116612498 A CN 116612498A CN 202310607380 A CN202310607380 A CN 202310607380A CN 116612498 A CN116612498 A CN 116612498A
Authority
CN
China
Prior art keywords
bird
recognition
target
video sample
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310607380.4A
Other languages
English (en)
Inventor
高树会
滕兵
雷佳琳
舒璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bainiao Data Technology Beijing Co ltd
Original Assignee
Bainiao Data Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bainiao Data Technology Beijing Co ltd filed Critical Bainiao Data Technology Beijing Co ltd
Priority to CN202310607380.4A priority Critical patent/CN116612498A/zh
Publication of CN116612498A publication Critical patent/CN116612498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机领域，提供了一种鸟类识别模型训练方法、鸟类识别方法、装置及设备，其中，鸟类识别模型训练方法包括：获取鸟类视频样本；对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型，根据各个鸟类运动轨迹以及各个鸟类识别结果，筛选出鸟类视频样本中的困难样本，再基于上述困难样本对鸟类识别模型进行训练，使得训练得到鸟类识别模型能够有效识别各类鸟类图像，从而提高鸟类识别模型的识别准确率。

Description

一种鸟类识别模型训练方法、鸟类识别方法、装置及设备
技术领域
本发明属于计算机领域，尤其涉及一种鸟类识别模型训练方法、鸟类识别方法、装置及设备。
背景技术
为了研究鸟类物种的生存和迁徙状况，并采取相应的措施来保护濒危物种，会在保护区设置大量的相机以获取鸟类图像，通过鸟类识别模型对鸟类图像进行识别，得到鸟类的物种。
在训练鸟类识别模型的过程中，通过采集鸟类图像数据，并对采集的数据进行人工标注后作为训练样本，使得鸟类识别模型通过已有数据学习一些鸟类重要特征，包括但不限于轮廓，姿态，关键部位特征等信息，再通过分类器对图像特征进行分析，确定鸟的具体种类。
但现有技术训练得到的鸟类识别模型对于特征不太明显的鸟类图像的识别率不高。
发明内容
本申请实施例的目的在于提供一种鸟类识别模型训练方法，旨在解决现有技术训练得到的鸟类识别模型识别准确率不高的问题。
本申请实施例是这样实现的，一种鸟类识别模型训练方法，所述方法包括：
获取鸟类视频样本；
对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；
基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
本申请实施例的另一目的在于一种鸟类识别方法，包括：
获取待识别鸟类图像；
根据所述待识别鸟类图像以及根据上述鸟类识别模型训练方法训练得到的鸟类识别模型，确定鸟类识别结果。
本申请实施例的另一目的在于一种鸟类识别模型训练装置，包括：
鸟类视频样本获取单元，用于获取鸟类视频样本；
目标识别以及目标追踪单元，用于对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
目标鸟类图像帧筛选单元，用于基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；以及，
初始模型训练单元，用于基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
本申请实施例的另一目的在于一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述鸟类识别模型训练方法的步骤。
本申请实施例的另一目的在于一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述鸟类识别模型训练方法的步骤。
本申请通过获取鸟类视频样本，对鸟类视频样本进行目标识别以及目标追踪，得到各个鸟类识别结果以及各个鸟类运动轨迹，根据各个鸟类识别结果以及各个鸟类运动轨迹，从鸟类视频样本中筛选出困难样本，即目标鸟类图像帧，将困难样本加入初始模型的训练集中，使得训练集包括各类鸟类图像，基于该训练集对初始模型进行训练，从而使得训练得到鸟类识别模型能够有效识别各类鸟类图像，从而提高鸟类识别模型的识别准确率。
附图说明
图1为本申请实施例提供的一种鸟类识别模型训练方法的应用环境图；
图2为本申请实施例提供的一种鸟类识别模型训练方法的流程图；
图3为本申请实施例提供的一种鸟类识别以及鸟类追踪方法的流程图；
图4为本申请实施例提供的一种鸟类追踪方法的流程图；
图5为本申请实施例提供的一种目标鸟类图像帧确定方法的流程图；
图6为本申请实施例提供的一种鸟类运动轨迹正确识别结果确定方法的流程图；
图7为本申请实施例提供的另一种目标鸟类图像帧确定方法的流程图；
图8为本申请实施例提供的鸟类识别模型训练装置的结构框图；
图9为一个实施例中终端设备的内部结构框图。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
在介绍本申请的技术方案之前，先介绍一些相关概念：
正样本：我们想要正确分类出的类别所对应的样本，例如，我们需要对一张图片分类，确定是否属于鸟，那么在训练的时候，鸟的图片就是正样本。
负样本：根据上面的例子，不是鸟的其他所有的图片都是负样本。
难分正样本：易错分成负样本的正样本，也可以是在训练过程中损失最高的正样本。
难分负样本：易错分成正样本的负样本，也可以是在训练过程中损失最高的负样本。
困难样本：难分正样本和难分负样本统称困难样本。
图1为本申请实施例提供的鸟类识别模型训练方法的应用环境图，如图1所示，在该应用环境中，包括终端110以及计算机设备120。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端110以及计算机设备120可以通过网络进行连接，本申请在此不做限制。
在一个实施例中，如图2所述，提出了一种鸟类识别模型训练方法，本实施例主要以该方法应用与上述图1中的终端110进行举例说明。一种鸟类识别模型训练方法，包括：
步骤S202：获取鸟类视频样本。
其中，鸟类视频样本可以是在线实时获取的视频图像，也可以是离线视频图像，本申请对鸟类视频样本的具体形式以及获取方式不做具体限制，只要视频图像中出现鸟类，均可以作为本申请的鸟类视频样本。
步骤S204：对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹。
其中，目标识别可以通过R-CNN（Region with CNN Feature）算法、Faster R-CNN算法、YOLO（You Only Look Once）算法等目标识别算法得到，本申请在此不做具体限制。目标追踪可采用SORT (Simple Online and Realtime Tracking)算法、DeepSORT算法、KCF（Kernel Correlation Filter）算法等目标追踪算法得到，本申请在此不做具体限制。进行目标识别时所采用的鸟类识别模型，可以是将要进行优选的初始模型，也可以是其他已经训练好了的鸟类识别模型，本申请在此不做具体限制。
优选的，进行目标识别时采用的鸟类识别模型为将会进行优化的初始模型，在基于现有数据对神经网络进行训练后，得到初始模型，然后利用初始模型对鸟类视频样本中的鸟类图像进行识别，得到相对于该初始模型的困难样本，从而使得困难样本的针对性更高，基于该困难样本的优化训练效果更好。
步骤S206：基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧。
其中，由于鸟类运动轨迹由多个图像帧组成，组成轨迹的各个图像帧中均会存在鸟类图像，因而鸟类运动轨迹上会存在多个鸟类识别结果，根据鸟类运动轨迹上的多个鸟类识别结果确定鸟类运动轨迹的正确识别结果，并将识别结果与正确识别结果存在差异的图像帧作为该鸟类运动轨迹的困难样本，即目标鸟类图像帧，从而得到一种鸟类物种的困难样本。由于存在多个鸟类轨迹，且每个鸟类运动轨迹对应的正确识别结果不同，因而可以得到多个鸟类物种的困难样本。
步骤S208：基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
其中，得到各个鸟类物种的困难样本之后，将困难样本加入初始模型的训练集中，从而使得训练样本更为全面，基于该训练样本得到的鸟类识别模型能够对各种鸟类图像进行有效识别，提高鸟类识别模型的识别准确率。
在一个实施例中，如图3所示，步骤S204包括：
步骤S302：基于预设的鸟类检测模型，对鸟类视频样本中各图像帧进行鸟类检测，得到各个鸟类检测结果。
其中，鸟类检测模型用于检测当前图像帧中是否存在鸟，该鸟类检测模型可以采用R-CNN（Region with CNN Feature）算法、Faster R-CNN算法、YOLO（You Only LookOnce）算法等。需要注意的是，虽然鸟类检测模型会对鸟类视频样本中的每一帧都进行检测，但并不要求每一帧都存在检测结果，即部分图像帧中没有鸟，也有可能在一帧中存在多个检测结果，即部分图像帧中存在多只鸟。当鸟类检测模型检测到当前图像帧存在鸟时，会生成检测框将识别到的鸟框出，并为该检测框生成唯一的检测框ID，以供后续步骤使用。
优选的，在步骤S302之前，包括：基于预设分割时长，将所述鸟类视频样本划分为多个视频片段。由于鸟类视频样本可能会很长，在对其进行处理的过程中，各个算法模型均需要较多的系统资源以记录中间结果，因而按照预设的分割时长，将鸟类视频样本划分为多个短视频，在对各个短视频进行处理前，对处理过程中需要使用的各个算法模型进行初始化，以减少处理过程中需要占用的系统资源。预设的分割时长的长度，本领域的技术人员可以根据实际需要进行确定，本申请在此不做限制。
步骤S304：基于预设的初始模型，对所述各个鸟类检测结果进行目标识别，得到各个鸟类识别结果。
其中，预设的初始模型可根据已有的鸟类图像数据对神经网络模型进行训练得到。在得到各个检测结果之后，基于初始模型对各个检测结果，即各个检测框进行识别，得到各个检测框的识别结果，即鸟类的物种。采用初始模型对检测框进行识别，得到各个识别结果，使得在后续过程中得到的困难样本更具有针对性，从而使得基于该困难样本对初始模型进行优化的效果更好。
鸟类检测和鸟类识别可以同时进行，即在同一帧中同时进行鸟类检测和鸟类识别；也可以依次进行，即先对鸟类视频样本或者分割后的短视频进行鸟类检测，得到多个检测框，再使用鸟类识别模型，对多个检测框依次进行识别，本申请对于鸟类检测和鸟类识别的具体顺序不做限制。优选的，同时对一帧进行鸟类检测以及鸟类识别，即先采用鸟类检测模型得到检测框，再通过鸟类识别模型得到检测框对应的鸟类物种，然后再对下一帧进行上述过程，从而提高算法处理效率。
步骤S306：对所述鸟类视频样本进行目标追踪，得到各个鸟类运动轨迹，并将所述各个鸟类识别结果分配至各个对应的鸟类运动轨迹。
其中，对鸟类视频样本进行目标追踪时，可以只采用各个鸟类的运动信息，如SORT算法，也可以采用各个鸟类的运动信息以及外观信息，如DeepSORT算法，本申请对于如何实现目标追踪不做限制。优选的，基于各个鸟类的运动信息以及外观信息进行目标追踪，从而使得目标追踪的结果更为准确。由于在目标追踪时，需要运用到鸟类检测模型提供的检测框，而鸟类识别模型的识别结果也基于检测框，因而在目标追踪算法将前后帧的检测框建立联系，得到鸟类运动轨迹时，也已经将各个鸟类识别结果分配至各个鸟类运动轨迹。
在一个实施例中，如图4所示，步骤S306包括：
步骤S402：根据所述各个鸟类识别结果对应的各个鸟类图像，确定各个鸟类识别结果的外观信息。
其中，由于鸟类识别结果基于鸟类检测模型提供的检测框，目标追踪也基于鸟类检测模型提供的检测框，因而鸟类识别结果对应的鸟类图像，即该鸟类识别结果对应的检测框框内的图像，也是进行目标追踪时采用目标外观信息的来源。在进行目标追踪时，也参考追踪目标的外观信息，从而使得目标追踪的结果更为准确。
步骤S404：根据所述各个鸟类识别结果在所述鸟类视频样本中的时序信息以及位置信息，确定各个鸟类识别结果的运动信息。
其中，鸟类识别结果在所述鸟类视频样本中的时序信息为鸟类识别结果对应的检测框在鸟类视频样本/短视频中的帧数，鸟类识别结果在所述鸟类视频样本中的位置信息为鸟类识别结果对应的检测框在对应的图像帧中的位置。由于视频采集设备在进行采样时基于一定的帧率，因而得到的视频图像中前后帧的时间间隔一致，因而可以根据前后帧检测框的位置变化，得到追踪目标的运动信息。
步骤S406：根据所述各个鸟类识别结果的外观信息以及运动信息，确定各个鸟类运动轨迹，并将所述各个鸟类识别结果分配至各个对应的鸟类运动轨迹。
其中，由于在目标追踪时，需要运用到鸟类检测模型提供的检测框，而鸟类识别模型的识别结果也基于检测框，因而在目标追踪算法将前后帧的检测框建立联系，得到鸟类运动轨迹时，也已经将各个鸟类识别结果分配至各个鸟类运动轨迹。在进行目标追踪时，除了目标的运动信息，还考虑目标的外观信息，从而使得得到的各个轨迹更为准确，便于确定各个轨迹的正确识别结果以及挖掘出各个轨迹中的困难样本。
在一个实施例中，如图5所示，步骤S206包括：
步骤S502：针对每一个长度超过预设长度阈值的鸟类运动轨迹，根据所述鸟类运动轨迹上的各个鸟类识别结果，确定所述鸟类运动轨迹的正确识别结果。
其中，预设的长度阈值本领域的技术人员可根据实际情况确定，本申请在此不做具体限定。由于长度较短的鸟类运动轨迹对应的图像帧较少，即鸟类运动轨迹上识别结果的数量较少，难于保证识别结果较多的鸟类物种即为该鸟类运动轨迹的正确识别结果，因而将长度较短的鸟类运动轨迹删除，从而保证得到的困难样本的鸟类物种的准确性。在鸟类运动轨迹的长度超过预设的长度阈值之后，对该鸟类运动轨迹上的各个鸟类识别结果进行统计，得到数量最多的鸟类物种，在数量最多的鸟类物种超过预设的阈值或者是占比达到一定程度之后，将数量最多的鸟类物种确定为该鸟类运动轨迹的正确识别结果。
步骤S504：根据所述鸟类运动轨迹的正确识别结果以及所述鸟类运动轨迹上的各个鸟类识别结果，从所述鸟类视频样本中筛选出目标鸟类图像帧。
其中，在确定鸟类运动轨迹的正确识别结果之后，即可筛选出该鸟类运动轨迹上识别结果不为正确识别结果的各个识别结果，在鸟类视频样本中筛选出上述各个识别结果对应的图像帧，并将上述图像帧作为困难样本，即目标鸟类图像帧。由于同一鸟类运动轨迹中的各个识别结果应该相同，识别结果与检测框绑定，因而在得到困难样本之后，可以确定困难样本的鸟类物种以及其检测框位置，即困难样本的标注信息，从而实现自动识别和标注，无需工作人员进行人工识别以及标注。
在一个实施例中，如图6所示，步骤S502包括：
S602：根据所述鸟类运动轨迹上的各个鸟类识别结果，确定所述鸟类运动轨迹的候选正确识别结果。
其中，对鸟类运动轨迹上的各个鸟类识别结果进行统计，得到数量最多的鸟类识别结果，即数量最多的鸟类物种，将该物种确定为该鸟类运动轨迹的候选正确识别结果。
S604：当判断所述候选正确识别结果的数量与所述鸟类运动轨迹的长度之比大于预设比例阈值时，则将所述候选正确识别结果确定为所述鸟类运动轨迹的正确识别结果。
其中，当鸟类运动轨迹上的识别结果为候选正确识别结果的数量与鸟类运动轨迹的长度之比，即数量最多的鸟类物种的数量与该鸟类运动轨迹的总帧数之比大于预设的比例阈值时，则认为该鸟类运动轨迹对应的鸟类物种为数量最多的鸟类物种。上述比例阈值本领域的技术人员可根据实际情况确定，本申请在此不做限制。在确定鸟类运动轨迹应当属于哪一个鸟类物种之后，可以确定轨迹上的各个识别结果都应当为该鸟类运动轨迹的正确识别结果，若识别结果与该鸟类运动轨迹的正确识别结果不同，则说明对于鸟类识别模型，即预设的初始模型来说，识别结果错误的各图像帧属于困难样本，从而能够将该鸟类视频样本中的困难样本筛选出来。由于得知该鸟类运动轨迹的正确识别结果，因而也可以得知困难样本的正确鸟类物种，从而能够自动标注困难样本的鸟类物种。
在一个实施例中，如图7所示，步骤S504包括：
S702：基于所述鸟类运动轨迹的正确识别结果以及所述鸟类运动轨迹上的各个鸟类识别结果，从所述鸟类运动轨迹中筛选出识别结果不为正确识别结果的各个候选困难识别结果。
其中，在确定鸟类运动轨迹的正确识别结果之后，在该鸟类运动轨迹上且识别结果不为正确识别结果的各个检测框均为预设的初始模型的困难样本，但由于在后续的步骤中会对困难样本进行一次筛选，以将相似性较高的困难样本剔除，使得训练集中不会存在相似度较高的训练样本，因而将此步骤得到的各个困难样本确定为候选困难识别结果。
S704：针对每一个候选困难识别结果，当判断所述候选困难识别结果在对应的鸟类图像帧中的位置信息与所述鸟类运动轨迹的最后一个困难识别结果在对应的鸟类图像帧中的位置信息之差大于预设位移阈值时，则将所述候选困难识别结果确定为所述鸟类运动轨迹的困难识别结果，并将所述候选困难识别结果对应的鸟类图像帧确定为目标鸟类图像帧。
其中，候选困难识别结果在对应的鸟类图像帧中的位置信息，即候选识别结果的检测框在对应的鸟类图像帧中的位置，同理，鸟类运动轨迹的最后一个困难识别结果在对应的鸟类图像帧中的位置信息，即最后一个困难识别结果的检测框在对应的鸟类图像帧中的位置，当候选困难识别结果的检测框与最后一个困难识别结果的检测框之间的位移大于预设的位移阈值之后，则将该候选困难识别结果确定为困难识别结果，并将该候选困难识别结果对应的鸟类图像帧确定为目标鸟类图像帧，即将要加入到初始模型的训练集中的困难样本。通过对比候选困难识别结果与最后一个困难识别结果的检测框位置，较为快捷地对候选困难识别结果进行筛选，将相似度较高的候选困难识别结果剔除，使得得到的困难样本相似度较低。另外，由于得知了困难样本对应的鸟类运动轨迹的正确识别结果，因而也可以确定该困难样本的鸟类物种，因而可以实现对该困难样本的自动标注，使得工作人员无需手动标注，减少工作人员的工作负担且提高效率。
在一个实施例中，一种鸟类识别方法，运用于图1中的终端110中，该方法包括：
获取待识别鸟类图像；
根据所述待识别鸟类图像以及根据上述鸟类识别模型训练方法训练得到的鸟类识别模型，确定鸟类识别结果。
其中，基于困难样本训练得到的鸟类识别模型能够有效地对各类鸟类图像进行识别，提高识别的准确率。
在一个实施例中，如图8所示，一种鸟类识别模型训练装置8000，包括：
鸟类视频样本获取单元8010，用于获取鸟类视频样本；
目标识别以及目标追踪单元8020，用于对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
目标鸟类图像帧筛选单元8030，用于基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；以及，
初始模型训练单元8040，用于基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
其中，装置中各个单元的具体执行步骤可参照上面实施例的内容，在此不再重复。
在一个实施例中，如图9所示，提出了一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取鸟类视频样本；
对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；
基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取鸟类视频样本；
对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；
基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种鸟类识别模型训练方法，其特征在于，所述方法包括：
获取鸟类视频样本；
对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；
基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
2.根据权利要求1所述的一种鸟类识别模型训练方法，其特征在于，所述对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹，包括：
基于预设的鸟类检测模型，对鸟类视频样本中各图像帧进行鸟类检测，得到各个鸟类检测结果；
基于预设的初始模型，对所述各个鸟类检测结果进行目标识别，得到各个鸟类识别结果；
对所述鸟类视频样本进行目标追踪，得到各个鸟类运动轨迹，并将所述各个鸟类识别结果分配至各个对应的鸟类运动轨迹。
3.根据权利要求2所述的一种鸟类识别模型训练方法，其特征在于，所述对所述鸟类视频样本进行目标追踪，得到各个鸟类运动轨迹，并将所述各个鸟类识别结果分配至各个对应的鸟类运动轨迹，包括：
根据所述各个鸟类识别结果对应的各个鸟类图像，确定各个鸟类识别结果的外观信息；
根据所述各个鸟类识别结果在所述鸟类视频样本中的时序信息以及位置信息，确定各个鸟类识别结果的运动信息；
根据所述各个鸟类识别结果的外观信息以及运动信息，确定各个鸟类运动轨迹，并将所述各个鸟类识别结果分配至各个对应的鸟类运动轨迹。
4.根据权利要求2所述的一种鸟类识别模型训练方法，其特征在于，所述基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧，包括：
针对每一个长度超过预设长度阈值的鸟类运动轨迹，根据所述鸟类运动轨迹上的各个鸟类识别结果，确定所述鸟类运动轨迹的正确识别结果；
根据所述鸟类运动轨迹的正确识别结果以及所述鸟类运动轨迹上的各个鸟类识别结果，从所述鸟类视频样本中筛选出目标鸟类图像帧。
5.根据权利要求4所述的一种鸟类识别模型训练方法，其特征在于，所述根据所述鸟类运动轨迹上的各个鸟类识别结果，确定所述鸟类运动轨迹的正确识别结果，包括：
根据所述鸟类运动轨迹上的各个鸟类识别结果，确定所述鸟类运动轨迹的候选正确识别结果；
当判断所述候选正确识别结果的数量与所述鸟类运动轨迹的长度之比大于预设比例阈值时，则将所述候选正确识别结果确定为所述鸟类运动轨迹的正确识别结果。
6.根据权利要求4所述的一种鸟类识别模型训练方法，其特征在于，所述根据所述鸟类运动轨迹的正确识别结果以及所述鸟类运动轨迹上的各个鸟类识别结果，从所述鸟类视频样本中筛选出目标鸟类图像帧，包括：
基于所述鸟类运动轨迹的正确识别结果以及所述鸟类运动轨迹上的各个鸟类识别结果，从所述鸟类运动轨迹中筛选出识别结果不为正确识别结果的各个候选困难识别结果；
针对每一个候选困难识别结果，当判断所述候选困难识别结果在对应的鸟类图像帧中的位置信息与所述鸟类运动轨迹的最后一个困难识别结果在对应的鸟类图像帧中的位置信息之差大于预设位移阈值时，则将所述候选困难识别结果确定为所述鸟类运动轨迹的困难识别结果，并将所述候选困难识别结果对应的鸟类图像帧确定为目标鸟类图像帧。
7.一种鸟类识别方法，其特征在于，包括：
获取待识别鸟类图像；
根据所述待识别鸟类图像以及根据权利要求1至6中任一项所述的鸟类识别模型训练方法训练得到的鸟类识别模型，确定鸟类识别结果。
8.一种鸟类识别模型训练装置，其特征在于，包括：
鸟类视频样本获取单元，用于获取鸟类视频样本；
目标识别以及目标追踪单元，用于对所述鸟类视频样本进行目标识别以及目标追踪，得到鸟类视频样本中各图像帧对应的鸟类识别结果以及鸟类运动轨迹；
目标鸟类图像帧筛选单元，用于基于所述鸟类识别结果以及鸟类运动轨迹，从所述鸟类视频样本中筛选出目标鸟类图像帧；以及，
初始模型训练单元，用于基于所述目标鸟类图像帧对预设的初始模型进行训练，得到鸟类识别模型。
9.一种终端设备，所述其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的一种鸟类识别模型训练方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的一种鸟类识别模型训练方法的步骤。
CN202310607380.4A 2023-05-26 2023-05-26 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备 Pending CN116612498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310607380.4A CN116612498A (zh) 2023-05-26 2023-05-26 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310607380.4A CN116612498A (zh) 2023-05-26 2023-05-26 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116612498A true CN116612498A (zh) 2023-08-18

Family

ID=87679718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310607380.4A Pending CN116612498A (zh) 2023-05-26 2023-05-26 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116612498A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117420931A (zh) * 2023-12-19 2024-01-19 百鸟数据科技(北京)有限责任公司 基于增强现实的鸟类观测方法、系统、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117420931A (zh) * 2023-12-19 2024-01-19 百鸟数据科技(北京)有限责任公司 基于增强现实的鸟类观测方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN111626123B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN108875676B (zh) 活体检测方法、装置及系统
CN109801260B (zh) 牲畜个数的识别方法、装置、控制装置及可读存储介质
CN111191533B (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
WO2021114612A1 (zh) 目标重识别方法、装置、计算机设备和存储介质
CN111160275B (zh) 行人重识别模型训练方法、装置、计算机设备和存储介质
CN112183252B (zh) 视频的动作识别方法、装置、计算机设备和存储介质
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
CN111949827A (zh) 视频抄袭检测方法、装置、设备和介质
CN110930434A (zh) 目标对象跟踪方法、装置、存储介质和计算机设备
CN110162664B (zh) 视频推荐方法、装置、计算机设备及存储介质
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN112232140A (zh) 人群计数方法、装置、电子设备及计算机存储介质
WO2022134104A1 (en) Systems and methods for image-to-video re-identification
CN114139015A (zh) 基于关键事件识别的视频存储方法、装置、设备及介质
CN109740003A (zh) 一种归档方法及装置
CN116612498A (zh) 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备
CN111091041A (zh) 一种车辆违法判别方法、装置、计算机设备和存储介质
CN109887001A (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN110298239B (zh) 目标监控方法、装置、计算机设备及存储介质
CN109919017B (zh) 人脸识别优化方法、装置、计算机设备和存储介质
CN111091146A (zh) 图片相似度获取方法、装置、计算机设备及存储介质
CN113128448B (zh) 基于肢体识别的视频匹配方法、装置、设备及存储介质
CN112836682B (zh) 视频中对象的识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination