CN115035450A - 确定动物种类的方法及装置 - Google Patents
确定动物种类的方法及装置 Download PDFInfo
- Publication number
- CN115035450A CN115035450A CN202210669102.7A CN202210669102A CN115035450A CN 115035450 A CN115035450 A CN 115035450A CN 202210669102 A CN202210669102 A CN 202210669102A CN 115035450 A CN115035450 A CN 115035450A
- Authority
- CN
- China
- Prior art keywords
- animal
- recognition result
- type
- target
- species
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了确定动物种类的方法及装置,涉及动物监测技术领域。该方法包括:对获取到的待识别动物的图像进行特征数据提取,得到第一特征数据,第二特征数据和第三特征数据,第一特征数据包括待识别动物的动物体表数据,第二特征数据包括动物姿态数据,第三特征数据包括动物捕食信息,利用多维度的特征数据输入不同的模型,得到多维度的识别结果,根据多维度的识别结果确定待识别动物的动物种类,即使待识别动物的图像中某一维度的特征数据缺失,可能导致某一维度下的识别结果不准确,但根据其他维度的特征数据可以得到相对准确的动物种类识别结果,这样综合得到的动物种类相对比较准确,从而可以提高动物种类识别的准确率。
Description
技术领域
本申请属于动物监测技术领域,尤其涉及确定动物种类的方法及装置。
背景技术
为了更好的监测复杂环境中的动物,需要对动物种类进行识别监测,来帮助动物学家或动物保护部门研究掌握动物资源。现有的动物种类识别一般通过将采集到的动物图像输入特定的模型,输出动物图像中的动物种类,当采集到的动物图像不完整或者不全面时,会导致输出的动物种类不准确,甚至无法输出动物种类,从而影响识别动物种类的准确率。
发明内容
本申请提供了确定动物种类的方法及装置,能够提高动物种类识别的准确率。
为了实现上述目的,第一方面,提供了确定动物种类的方法,该方法应用于第一设备,包括:
获取待识别动物的视频流,视频流包括第一图像;
提取第一图像的第一特征数据,第二特征数据和第三特征数据,第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项;第二特征数据包括待识别动物的动物姿态;第三特征数据包括待识别动物的捕食信息;
将第一特征数据输入第一模型,输出第一识别结果;
将第二特征数据输入第二模型,输出第二识别结果;
将第三特征数据输入第三模型,输出第三识别结果;
根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类。
可选地,该方法还包括:
获取与视频流对应的声音数据;
将声音数据输入第四模型,输出第四识别结果,第四识别结果指示待识别动物的种类;
若目标动物种类与第四识别结果指示的待识别动物的种类相符,根据第四识别结果以及声音数据更新第四模型;
若目标动物种类与第四识别结果指示的待识别动物的种类不相符,输出第一指令,第一指令用于指示人工校准第四识别结果;
接收校准后的第四识别结果;
根据校准后的第四识别结果和声音数据更新第四模型。
可选地,该方法还包括:
获取与视频流对应的声音数据;
将声音数据输入第五模型,输出第五识别结果,第五识别结果指示待识别动物的种类;
其中,根据所述第一识别结果、所述第二识别结果和所述第三识别结果确定待识别动物的目标动物种类,包括:
根据第一识别结果、第二识别结果、第三识别结果和第五识别结果确定待识别动物的目标动物种类。
可选地,该方法还包括:
获取与视频流对应的声音数据;
根据声音数据,确定目标动物种类的健康状况。
可选地,在根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类之后,还包括:
根据第一特征数据确定目标动物种类的第一健康状况;
根据第二特征数据确定目标动物种类的第二健康状况;
根据第三特征数据确定目标动物种类的第三健康状况;
其中,根据声音数据,确定目标动物种类的健康状况,包括:
根据第一健康状况、第二健康状况、第三健康状况和声音数据,确定目标动物种类的健康状况。
可选地,该方法还包括:
对第一图像中相同的动物种类的动物标记相同的标签,对不同的动物种类的动物标记不同的标签,得到标记后的第一图像;
在根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类之后,还包括:
统计标记后的第一图像中目标动物种类的标签数量,确定目标动物种类的数量。
可选地,第一识别结果用于指示待识别动物的种类,第二识别结果用于指示待识别动物的种类,第三识别结果用于指示待识别动物的种类;在根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类之后,还包括:
在动物信息数据库中确定与第一图像的相似度最大的第二图像;
将第二图像输入只需要浏览一次YOLO算法,得到第一动物种类;
若第一动物种类与目标动物种类相同,根据目标动物种类以及第一特征数据更新第一模型;根据目标动物种类以及第二特征数据更新第二模型;根据目标动物种类以及第三特征数据更新第三模型;或者,
若第一动物种类与目标动物种类不同,输出第二指令,第二指令用于指示人工校准目标动物种类;
接收校准后的目标动物种类;
根据校准后的目标动物种类和第一特征数据更新第一模型;根据校准后的目标动物种类和第二特征数据更新第二模型;根据校准后的目标动物种类和第三特征数据更新第三模型。
可选地,动物信息数据库包括动物体表数据库、动物姿态数据库以及动物捕食信息数据库,在动物信息数据库中确定与所述第一图像的相似度最大的第二图像,包括:
获取动物体表数据库中与第一特征数据对应的相似度最大的第一体表数据;
获取动物运动状态数据库中与第二特征数据对应的相似度最大的第一姿态数据;
获取动物捕食状态数据库中与第三特征数据对应的相似度最大的第一捕食信息;
根据第一体表数据、第一姿态数据和第一捕食信息得到第二图像。
第二方面,本申请实施例提供了确定动物种类的装置,该装置包括:
获取单元,用于获取待识别动物的视频流,视频流包括第一图像;以及用于获取第一图像的第一特征数据,第二特征数据和第三特征数据,第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项,第二特征数据包括待识别动物的动物姿态,第三特征数据包括待识别动物的捕食信息。
处理单元,用于:
将第一特征数据输入第一模型,输出第一识别结果;
将第二特征数据输入第二模型,输出第二识别结果;
将第三特征数据输入第三模型,输出第三识别结果;
根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类。
第三方面,本申请实施例提供了确定动物种类的装置,该装置包括处理器,处理器与存储器耦合,处理器用于执行存储器中存储的计算机程序或指令时,以实现上述第一方面或第一方面的任一实施方式的方法。
第四方面,本申请实施例提供一种计算机存储介质,计算机存储介质上存储有计算机程序,计算机程序被处理器执行时,以实现上述第一方面或第一方面的任一实施方式的方法。
本申请实施例与现有技术相比存在的有益效果是:本申请第一设备对获取到的待识别动物的图像进行特征数据提取,得到第一特征数据,第二特征数据和第三特征数据,第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项,第二特征数据包括待识别动物的动物姿态,第三特征数据包括待识别动物的捕食信息,第一特征数据、第二特征数据和第三特征数据是待识别动物的多维度的特征,这样,利用多维度的特征输入不同的模型,得到多维度的第一识别结果、第二识别结果和第三识别结果,利用多维度的识别结果确定的待识别动物的目标动物种类,即使待识别动物的图像中某一维度的特征缺失时,可能导致某一维度的识别结果不准确,但是提取到的其他维度的特征输入对应的模型,可以得到相对准确的动物种类识别结果,这样综合得到的目标动物种类相对比较准确,从而可以提高动物种类识别的准确率,例如,待识别动物的图像中第一特征数据不完整或者不全面,可能导致第一识别结果不准确,但是通过第二特征数据输入第二模型以及第三特征数据输入第三模型,可以得到相对准确的第二识别结果和第三识别结果,这样综合第一识别结果,第二识别结果和第三识别结果得到的目标动物种类就相对比较准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种确定动物种类的方法的示意图;
图2是本申请实施例提供的一种确定动物种类的方法的流程图;
图3是本申请实施例提供的一种确定动物种类的装置的示意性框图;
图4是本申请实施例提供的另一种确定动物种类的装置的示意性框图。
具体实施方式
下面将结合本申请实施例中的,对本申请实施例中的技术方案进行详细说明。
应当理解,本申请实施例中的方式、情况、类别以及实施例的划分只是为了方便描述,不对本申请构成任何限定,各种方式、类别、情况以及实施例中的特征在不相矛盾的情况下可以相互结合。
还应当理解,本申请实施例中的“第一”、“第二”、“第三”、“第四”和“第五”仅是为了区分,不对本申请构成任何限定。还应当理解,在本申请的各个实施例中,各个过程中的序号大小并不意味着步骤的执行顺序,其步骤的执行顺序由其内在逻辑确定,而不对本申请实施例的执行过程构成任何限定。
对于动物种类的识别,目前主要采用的方法是将采集到的动物图像输入特定的模型,输出动物图像中的动物种类,当采集到的动物图像不完整或者不全面时,会导致输出的动物种类不准确,甚至无法输出动物种类,从而影响识别动物种类的准确率。
基于上述问题,本申请提出了确定动物种类的方法和装置,第一设备对获取到的待识别动物的第一图像进行特征提取,得到第一特征数据,第二特征数据和第三特征数据,第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项,第二特征数据包括待识别动物的动物姿态,第三特征数据包括待识别动物的捕食信息,将第一特征数据输入第一模型,得到第一识别结果,将第二特征数据输入第二模型,得到第二识别结果,将第三特征数据输入第三模型,得到第三识别结果,根据第一识别结果,第二识别结果和第三识别结果确定动物种类。其中,第一特征数据、第二特征数据和第三特征数据是待识别动物的多维度的特征,这样,利用多维度的特征输入不同的模型,得到多维度的第一识别结果、第二识别结果和第三识别结果,利用多维度的识别结果确定的待识别动物的目标动物种类,即使待识别动物的图像中某一维度的特征缺失时,可能导致某一维度的识别结果不准确,但是提取到的其他维度的特征输入对应的模型,可以得到相对准确的动物种类识别结果,这样综合得到的目标动物种类相对比较准确,从而可以提高动物种类识别的准确率。
下面以具体地实施例对本申请的技术方案进行详细说明。
本申请先对实施例中的第一模型、第二模型、第三模型、第四模型以及第五模型的训练过程进行描述。第一模型、第二模型、第三模型、第四模型以及第五模型中的任意一个模型可以是神经网络模型。
下面是对第一模型的训练过程进行的描述。
可选地,第二设备获取N个样本数据,N大于预设值。N个样本数据中的第n样本数据包括输入参数和输出参数,输入参数包括第n样本数据对应的第n动物的动物体表的轮廓,第n动物的动物体表的颜色或第n动物的动物体表的纹理中的至少一项,输出参数包括第n样本数据对应的第n动物的动物种类,或者第n动物的动物种类和动物种类的概率;第二设备根据N个样本数据训练得到第一模型,也就是说第一模型的输出可以是动物的动物种类,或者也可以是动物的动物种类以及该动物种类的概率。其中,n为从1到N的正整数。
可选地,第n样本数据对应的第n动物的动物种类可以是动物种类的大类,例如,动物种类的大类可以是指哺乳类,爬行类,鸟类等。可选地,第n样本数据对应的第n动物的动物种类也可以是动物种类的小类,例如,动物种类的小类可以是指老虎,狮子等。
下面是对第二模型的训练过程进行的描述。
可选地,第二设备获取M个样本数据,M大于预设值。M个样本数据中的第m样本数据包括输入参数和输出参数,输入参数包括第m样本数据对应的第m动物的动物姿态,输出参数包括第m样本数据对应的第m动物的动物种类,或者第m动物的动物种类和动物种类的概率;第二设备根据M个样本数据训练得到第二模型,也就是说第二模型的输出可以是动物的动物种类,或者也可以是动物的动物种类以及该动物种类的概率。其中,m为从1到M的正整数。
可选地,第m样本数据对应的第m动物的动物种类可以是动物种类的大类,也可以是动物种类的小类。
下面是对第三模型的训练过程进行的描述。
可选地,第二设备获取X个样本数据,X大于预设值。X个样本数据中的第x样本数据包括输入参数和输出参数,输入参数包括第x样本数据对应的第x动物的捕食信息,输出参数包括第x样本数据对应的第x动物的动物种类,或者第x动物的动物种类和动物种类的概率;第二设备根据X个样本数据训练得到第三模型,也就是说第三模型的输出可以是动物的动物种类,或者也可以是动物的动物种类以及该动物种类的概率。其中,x为从1到X的正整数。
可选地,第x样本数据对应的第x动物的动物种类可以是动物种类的大类,也可以是动物种类的小类。
下面是对第四模型的训练过程进行的描述。
可选地,第二设备获取Y个样本数据,Y大于预设值。Y个样本数据中的第y样本数据包括输入参数和输出参数,输入参数包括第y样本数据对应的第y动物的声音数据,输出参数包括第y样本数据对应的第y动物的动物种类;第二设备根据Y个样本数据训练得到第四模型,也就是说第四模型的输出是动物的动物种类。其中,y为从1到Y的正整数。
可选地,第y样本数据对应的第y动物的动物种类可以是动物种类的大类,也可以是动物种类的小类。
下面是对第五模型的训练过程进行的描述。
可选地,第二设备获取Z个样本数据,Z大于预设值。Z个样本数据中的第z样本数据包括输入参数和输出参数,输入参数包括第z样本数据对应的第z动物的声音数据,输出参数包括第z样本数据对应的第z动物的动物种类,或者第z动物的动物种类和动物种类的概率;第二设备根据Z个样本数据训练得到第五模型,也就是说第五模型的输出可以是动物的动物种类,或者也可以是动物的动物种类以及该动物种类的概率。其中,z为从1到Z的正整数。
可选地,第z样本数据对应的第z动物的动物种类可以是动物种类的大类,也可以是动物种类的小类。
可选地,第一模型,第二模型,第三模型以及第五模型在训练过程中样本数据的输出参数的类型应相同,例如,第一模型,第二模型,第三模型以及第五模型的输出可以都是动物种类的大类,或者可以都是动物种类的大类以及该动物种类的大类的概率,或者还可以都是动物种类的小类,或者还可以都是动物种类的小类以及该动物种类的小类的概率。
可选地,第二设备和第一设备可以是同一个设备,也可以是不同的设备。
图1为本申请实施例提供的一种确定动物种类的方法的示意图,如图1所示,方法可应用于第一设备,该方法100可以包括如下步骤:
S110,第一设备获取待识别动物的视频流,视频流包括第一图像。
可选地,S110中的第一图像可以是待识别动物的视频流中的任意一图像。
可选地,第一设备可以是边缘计算设备。
可选地,S110,包括:摄像头采集原始的视频流,并发送给第一设备,第一设备从摄像头接收原始的视频流,第一设备对原始的视频流进行动物检测,若有动物,则第一设备从原始的视频流中提取有动物的视频流作为S110中的待识别动物的视频流,若没有动物,则删除原始的视频流,也就是说,摄像头采集到的原始的视频流中可以是包括有动物或者没有动物的视频流,换句话说,不管摄像头的拍摄画面中有没有动物,摄像头始终在采集视频流。在另一种可能的实现方式中,第一设备对从原始的视频流中提取有动物的视频流进行预处理后得到的视频流作为S110中的待识别动物的视频流,可选地,对从原始的视频流中提取有动物的视频流进行预处理包括:图像增强、图像去噪或图像去重中的至少一种。
可选地,第一设备对原始的视频流进行动物检测,包括:第一设备对接收摄像头采集到的原始的视频流进行动物检测可以是使用只需要浏览一次(You Only Look Once,YOLO)算法对原始的视频流进行动物目标检测。需要说明的是,动物目标检测是指只需要检测视频流中是否有动物,而不需要检测动物的种类。
可选地,S110,包括:声音传感器采集声音数据,第一设备对声音传感器采集到的声音数据进行动物声音检测,若有动物声音,第一设备还可以根据提取到的有动物声音的声音数据确定动物声音的声源方向,向摄像头输出控制指令,控制指令用于控制摄像头方向旋转至声源方向采集原始的视频流;若没有动物声音,第一设备删除声音数据。
S120,第一设备提取第一图像的第一特征数据,第二特征数据和第三特征数据,其中,第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项,第二特征数据包括待识别动物的动物姿态,第三特征数据包括待识别动物的捕食信息。
可选地,S120中的动物体表的纹理可以包括:动物的羽毛、毛发、皮肤纹路或者鳞甲等。
可选地,S120中第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项可以理解为:第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的任意一项,或者第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的任意两项,或者第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色和动物体表的纹理。
可选地,提取第一图像的第一特征数据中的动物体表的轮廓可以是采用边界特征法,通过对边界特征的描述来获取第一图像中动物的轮廓。
可选地,提取第一图像的第一特征数据中的动物体表的颜色可以采用颜色直方图、颜色集、颜色矩、颜色聚合向量或者颜色相关图中的任意一种颜色特征提取的方法。
可选地,提取第一图像的第一特征数据中的动物体表的纹理可以采用统计方法、几何法、模型法或信号处理法中的任意一种纹理特征提取的方法。
可选地,S120中提取第一图像的第二特征数据可以理解为提取第一图像中待识别动物的动物姿态。
可选地,待识别动物的动物姿态可以指示待识别动物的运动状态,例如,动物的运动状态可以包括奔跑、爬卧、蹦跳、飞翔等。
可选地,提取第一图像中待识别动物的动物姿态可以采用基于模型的姿态估计方法或者基于学习的姿态估计方法,例如,采用基于学习的姿态估计方法,利用开放式OpenPose算法,对不同的动物进行关键点检测,关键点包括动物的左眼、右眼、嘴、左耳、右耳、首、左肩带、右肩带、腰带、左前肢、右前肢、左后肢、右后肢以及尾,计算关键点之间的映射关系,判断输出动物的姿态。
可选地,S120中提取第一图像的第三特征数据可以理解为提取第一图像中的待识别动物的捕食信息。
可选地,待识别动物的捕食信息可以指示待识别动物的捕食对象,待识别动物的捕食对象包括动物,树叶或者草等。
可选地,提取第一图像中的待识别动物的捕食信息可以采用YOLO算法对待识别动物的捕食对象进行识别,例如,通过YOLO算法识别到图像中待识别动物的捕食对象为树叶,第三特征数据包括树叶的特征数据。
S130,第一设备将第一特征数据输入第一模型,输出第一识别结果,将第二特征数据输入第二模型,输出第二识别结果,将第三特征输入第三模型,输出第三识别结果。
可选地,第一识别结果用于指示待识别动物的种类,第二识别结果用于指示所述待识别动物的种类,第三识别结果用于指示待识别动物的种类。
可选地,第一识别结果,第二识别结果以及第三识别结果可以都指示待识别动物的动物种类,或者第一识别结果,第二识别结果以及第三识别结果可以都指示待识别动物的动物种类以及该动物种类的概率。
下面分四种情况对S130中的第一识别结果,第二识别结果和第三识别结果进行描述。
情况一
可选地,S130中的第一识别结果,第二识别结果和第三识别结果可以都指示动物种类的大类。可选地,第一识别结果,第二识别结果和第三识别结果指示的动物种类的大类中任意两个识别结果指示的动物种类的大类可以相同或者不同。例如,第一识别结果指示的动物种类是哺乳类,第二识别结果指示的动物种类是爬行类,第三识别结果指示的动物种类是哺乳类。
也就是说,在情况一中,前述训练第一模型、第二模型和第三模型的过程中,第一模型、第二模型和第三模型的输出参数都是动物种类的大类。
情况二
可选地,S130中的第一识别结果,第二识别结果和第三识别结果可以都指示动物种类的大类以及该动物种类的大类的概率。可选地,第一识别结果,第二识别结果和第三识别结果指示的动物种类的大类中任意两个识别结果指示的动物种类的大类可以相同或者不同;可选地,第一识别结果,第二识别结果和第三识别结果指示的动物种类的大类的概率中任意两个识别结果指示的动物种类的大类的概率可以相同或者不同。例如,第一识别结果指示的动物种类是哺乳类以及是哺乳类的概率为80%,第二识别结果指示的动物种类是爬行类以及是爬行类的概率为70%,第三识别结果指示的动物种类是哺乳类以及是哺乳类的概率为50%。
也就是说,在情况二中,前述训练第一模型、第二模型和第三模型的过程中,第一模型、第二模型和第三模型的输出参数都是动物种类的大类以及该动物种类的大类的概率。
情况三
可选地,S130中的第一识别结果,第二识别结果和第三识别结果可以都指示动物种类的小类。可选地,第一识别结果,第二识别结果和第三识别结果指示的动物种类的小类中任意两个识别结果指示的动物种类的小类可以相同或者不同。例如,第一识别结果指示的动物种类是老虎,第二识别结果指示的动物种类是狮子,第三识别结果指示的动物种类是老虎。
也就是说,在情况三中,前述训练第一模型、第二模型和第三模型的过程中,第一模型、第二模型和第三模型的输出参数都是动物种类的小类。
情况四
可选地,S130中的第一识别结果,第二识别结果和第三识别结果可以都指示动物种类的小类以及该动物种类的小类的概率。可选地,第一识别结果,第二识别结果和第三识别结果指示的动物种类的小类中任意两个识别结果指示的动物种类的小类可以相同或者不同;可选地,第一识别结果,第二识别结果和第三识别结果指示的动物种类的小类的概率中任意两个识别结果指示的动物种类的小类的概率可以相同或者不同。例如,第一识别结果指示的动物种类是老虎以及是老虎的概率为70%,第二识别结果指示的动物种类是狮子以及是狮子的概率为70%,第三识别结果指示的动物种类是老虎以及是老虎的概率为50%。
也就是说,在情况四中,前述训练第一模型、第二模型和第三模型的过程中,第一模型、第二模型和第三模型的输出参数都是动物种类的小类以及该动物种类的小类的概率。
S140,第一设备根据第一识别结果,第二识别结果以及第三识别结果确定待识别动物的目标动物种类。
可选地,S140第一设备根据第一识别结果,第二识别结果以及第三识别结果确定待识别动物的目标动物种类,包括:第一识别结果,第二识别结果或第三识别结果中至少两个识别结果指示的动物种类相同,则待识别动物的目标动物种类为相同的动物种类;或者,第一识别结果,第二识别结果以及第三识别结果指示的动物种类都不相同,则可以根据第一特征数据,第二特征数据以及第三特征数据对目标动物种类的贡献值来确定目标动物种类。
需要说明的是,第一特征数据,第二特征数据以及第三特征数据对目标动物种类的贡献值可以是由经验来确定的。
下面分四种情况对S140进行描述。
情况一
可选地,第一识别结果,第二识别结果以及第三识别结果都指示的是动物种类的大类。
若第一识别结果,第二识别结果或第三识别结果中至少两个识别结果指示的动物种类的大类相同,则待识别动物的目标动物种类为相同的动物种类的大类。
若第一识别结果,第二识别结果以及第三识别结果指示的动物种类都是不同的大类,则可以根据第一特征数据,第二特征数据以及第三特征数据对目标动物种类的贡献值来确定。具体地,确定第一特征数据,第二特征数据以及第三特征数据中对目标动物种类的贡献值最大的特征数据,贡献值最大的特征数据输入对应的模型所输出的识别结果指示的动物种类为待识别动物的目标动物种类。例如,第一特征数据对目标动物种类的贡献值最大,则待识别动物的目标动物种类为第一识别结果指示的动物种类的大类。
情况二
可选地,第一识别结果,第二识别结果以及第三识别结果都指示的是动物种类的大类以及该动物种类的大类的概率。
可选地,待识别动物的目标动物种类可以是第一识别结果,第二识别结果以及第三识别结果指示的动物种类的大类的概率中最大的。例如,第一识别结果指示的动物种类是哺乳类以及是哺乳类的概率为80%,第二识别结果指示的动物种类是爬行类以及是爬行类的概率为70%,第三识别结果指示的动物种类是哺乳类以及是哺乳类的概率为50%,那么确定目标动物种类为哺乳类。
需要说明的是,若第一识别结果,第二识别结果以及第三识别结果指示的动物种类的大类的概率中有任意两个或三个的概率值相同,则可以根据第一特征数据,第二特征数据以及第三特征数据对目标动物种类的贡献值来确定。具体地,确定第一特征数据,第二特征数据以及第三特征数据中对目标动物种类的贡献值最大的特征数据,贡献值最大的特征数据输入对应的模型所输出的识别结果指示的动物种类为待识别动物的目标动物种类。
可选地,待识别动物的目标动物种类也可以是对第一识别结果,第二识别结果以及第三识别结果采用加权融合的方法来确定的。其中,第一识别结果的加权因子可以是指示第一特征数在确定目标动物种类中的相对重要程度,第二识别结果的加权因子可以是指示第二特征数在确定目标动物种类中的相对重要程度,以及第三识别结果的加权因子可以是指示第三特征数在确定目标动物种类中的相对重要程度,各个加权因子可以是根据经验来确定的。利用加权融合的方法重新计算第一识别结果,第二识别结果以及第三识别结果指示的动物种类的大类的概率。具体地,可以将相同的大类利用加权因子求和计算该大类的概率,不同的大类利用加权因子独立计算该大类的概率,然后将计算得到的各个大类的概率中最大概率对应的大类确定为目标动物种类。例如,第一识别结果指示的动物种类是哺乳类以及是哺乳类的概率为80%,第二识别结果指示的动物种类是爬行类以及是爬行类的概率为70%,第三识别结果指示的动物种类是哺乳类以及是哺乳类的概率为50%,其中第一识别结果的加权因子为0.4,第二识别结果的加权因子为0.4,第三识别结果的加权因子为0.2,那么目标动物种类是哺乳类的概率为:80%*0.4+50%*0.2=42%,目标动物种类是爬行类的概率为:70%*0.4=28%,利用加权融合重新计算得到的目标动物种类是哺乳类的概率大于目标动物种类是爬行类的概率,所以确定目标动物种类是哺乳类。
情况三
可选地,第一识别结果,第二识别结果以及第三识别结果都指示的是动物种类的小类。
若第一识别结果,第二识别结果或第三识别结果中至少两个识别结果指示的动物种类的小类相同,则待识别动物的目标动物种类为相同的动物种类的小类。
若第一识别结果,第二识别结果以及第三识别结果指示的动物种类都是不同的小类,则可以根据第一特征数据,第二特征数据以及第三特征数据对目标动物种类的贡献值来确定。具体地,确定第一特征数据,第二特征数据以及第三特征数据中对目标动物种类的贡献值最大的特征数据,贡献值最大的特征数据输入对应的模型所输出的识别结果指示的动物种类为待识别动物的目标动物种类。例如,第一特征数据对目标动物种类的贡献值最大,则待识别动物的目标动物种类为第一识别结果指示的动物种类的小类。
情况四
可选地,第一识别结果,第二识别结果以及第三识别结果都指示的是动物种类的小类以及该动物种类的小类的概率。
可选地,待识别动物的目标动物种类可以是第一识别结果,第二识别结果以及第三识别结果指示的动物种类的小类的概率中最大的。例如,第一识别结果指示的动物种类是老虎以及是老虎的概率为60%,第二识别结果指示的动物种类是狮子以及是狮子的概率为70%,第三识别结果指示的动物种类是老虎以及是老虎的概率为50%,那么确定目标动物种类为狮子。
需要说明的是,若第一识别结果,第二识别结果以及第三识别结果指示的动物种类的小类的概率中有任意两个或三个的概率值相同,则可以根据第一特征数据,第二特征数据以及第三特征数据对目标动物种类的贡献值来确定。具体地,确定第一特征数据,第二特征数据以及第三特征数据中对目标动物种类的贡献值最大的特征数据,贡献值最大的特征数据输入对应的模型所输出的识别结果指示的动物种类为待识别动物的目标动物种类。
可选地,待识别动物的目标动物种类也可以是对第一识别结果,第二识别结果以及第三识别结果采用加权融合的方法来确定的。其中,第一识别结果的加权因子可以是指示第一特征数在确定目标动物种类中的相对重要程度,第二识别结果的加权因子可以是指示第二特征数在确定目标动物种类中的相对重要程度,以及第三识别结果的加权因子可以是指示第三特征数在确定目标动物种类中的相对重要程度,各个加权因子可以是根据经验来确定的。利用加权融合的方法重新计算第一识别结果,第二识别结果以及第三识别结果指示的动物种类的小类的概率。具体地,可以将相同的小类利用加权因子求和计算该小类的概率,不同的小类利用加权因子独立计算该小类的概率,然后将计算得到的各个小类的概率中最大概率对应的小类确定为目标动物种类。例如,第一识别结果是老虎以及是老虎的概率为60%,第二识别结果是狮子以及是狮子的概率为70%,第三识别结果是老虎以及是老虎的概率为50%,其中,第一识别结果的加权因子为0.4,第二识别结果的加权因子为0.4,第三识别结果的加权因子为0.2,那么目标动物种类是老虎的概率为:60%*0.4+50%*0.2=34%,目标动物种类是狮子的概率为70%*0.4=28%,利用加权融合重新计算得到的目标动物种类是老虎的概率大于目标动物种类是狮子的概率,所以确定目标动物种类是老虎。
可选地,S140,包括:第一设备获取与待识别动物的视频流对应的声音数据,将声音数据输入第五模型,输出第五识别结果。第一设备根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类,包括:第一设备根据第一识别结果,第二识别结果,第三识别结果以及第五识别结果确定待识别动物的目标动物种类。
可选地,与待识别动物的视频流对应的声音数据可以理解为:在采集待识别动物的视频流的时间内检测到的有动物声音的声音数据。或者,与待识别动物的视频流对应的声音数据可以理解为:将在采集待识别动物的视频流的时间内检测到的有动物声音的声音数据进行声音预处理后的声音数据。
可选地,声音预处理可以包括滤除非动物的声音,例如,非动物的声音可以包括雨声、风声以及树叶抖动声等。
需要说明的是,根据第一识别结果,第二识别结果,第三识别结果以及第五识别结果确定待识别动物的目标动物种类和根据第一识别结果,第二识别结果以及第三识别结果确定待识别动物的目标动物种类的方法类似,为了避免赘述,本申请实施例不详细描述。
以上是确定待识别动物的目标动物种类的过程,通过第一图像中的多维度的特征数据,得到多维度的第一识别结果,第二识别结果以及第三识别结果,根据多维度的识别结果来综合得到目标动物种类,还可以通过融合声音数据的第五识别结果,来提高目标动物种类识别的准确率。当第一图像中的某一维度的特征信息缺失,例如,第一图像中的待识别动物被遮挡,可能无法提取到完整的第二特征数据,根据第二特征数据和第二模型得到的第二识别结果相对不准确,但是提取到的其他维度的特征输入对应的模型,可以得到相对准确的动物种类识别结果,这样综合得到的目标动物种类相对比较准确,从而可以提高动物种类识别的准确率。
在前述方法100中确定目标动物种类后,本申请实施例目标动物种类还可以用于验证第四识别结果指示的动物种类是否准确。
可选地,第一设备将获取到的声音数据输入第四模型,输出第四识别结果,第四识别结果用于指示待识别动物的种类。其中,第四识别结果可以是动物种类的大类,或者还可以动物种类的小类。
可选地,第一设备通过判断目标动物种类与第四识别结果指示的动物种类是否相符来验证第四识别结果指示的动物种类是否准确。若目标动物种类与第四识别结果指示的动物种类相符,则说明第四识别结果指示的动物种类正确,若目标动物种类与第四识别结果指示的动物种类不相符,则说明第四识别结果指示的动物种类错误。
需要说明的是,目标动物种类与第四识别结果指示的动物种类相符是指:若目标动物种类和第四识别结果指示的动物种类都是动物种类的大类或者都是动物种类的小类,目标动物种类与第四识别结果指示的动物种类相同,则目标动物种类与第四识别结果指示的动物种类相符;若目标动物种类是动物种类的大类,第四识别结果指示的动物种类是动物种类的小类,第四识别结果指示的动物种类属于目标动物种类,则目标动物种类与第四识别结果指示的动物种类相符;若目标动物种类是动物种类的小类,第四识别结果指示的动物种类是动物种类的大类,目标动物种类属于第四识别结果指示的动物种类,则目标动物种类与第四识别结果指示的动物种类相符。
需要说明的是,目标动物种类与第四识别结果指示的动物种类不相符是指:若目标动物种类和第四识别结果指示的动物种类都是动物种类的大类或者都是动物种类的小类,目标动物种类与第四识别结果指示的动物种类不相同,则目标动物种类与第四识别结果指示的动物种类不相符;若目标动物种类是动物种类的大类,第四识别结果指示的动物种类是动物种类的小类,第四识别结果指示的动物种类不属于目标动物种类,则目标动物种类与第四识别结果指示的动物种类不相符;若目标动物种类是动物种类的小类,第四识别结果指示的动物种类是动物种类的大类,目标动物种类不属于第四识别结果指示的动物种类,则目标动物种类与第四识别结果指示的动物种类不相符。
可选地,若目标动物种类与第四识别结果指示的动物种类相符,第一设备根据第四识别结果以及声音数据更新第四模型。
可选地,若目标动物种类与第四识别结果指示的动物种类不相符,第一设备输出第一指令,第一指令用于指示人工校准,人工根据声音数据校准第四识别结果,得到校准后的第四识别结果,第一设备根据校准后的第四识别结果和声音数据更新第四模型。
下面是根据前述方法100中确定的目标动物种类以及由第二图像得到的第一动物种类对前述S130中的第一模型,第二模型和第三模型进行更新的描述。
可选地,S130包括:在动物信息数据库中确定与第一图像的相似度最大的第二图像,将第二图像输入YOLO算法,得到第一动物种类。
可选地,动物信息数据库可以是包括不同动物种类的动物信息数据库,各个动物的动物信息数据库包括该各个动物的动物体表数据库、动物姿态数据库以及动物捕食信息数据库。
需要说明的是,各个动物的动物体表数据库中包括:动物体表的轮廓、动物体表的颜色或动物体表的纹理中的至少一项。各个动物的动物姿态数据库包括动物姿态。各个动物的动物捕食信息数据库包括动物捕食信息,其中,各个动物的动物捕食信息可以是动物的捕食对象。
可选地,在动物信息数据库中确定与第一图像的相似度最大的第二图像包括:获取动物体表数据库中与第一特征数据对应的相似度最大的第一体表数据,获取动物姿态数据库中与第二特征数据对应的相似度最大的第一姿态数据,获取动物捕食信息数据库中与第三特征数据对应的相似度最大的第一捕食信息,根据第一体表数据、第一姿态数据和第一捕食信息得到第二图像。
需要说明的是,获取动物体表数据库中与第一特征数据对应的相似度是指获取各个动物的动物体表数据库中与第一特征数据对应的相似度。获取动物姿态数据库中与第二特征数据对应的相似度是指获取各个动物的动物姿态数据库中与第二特征数据对应的相似度。获取动物捕食信息数据库中与第三特征数据对应的相似度是指获取各个动物的动物捕食信息数据库中与第三特征数据对应的相似度。
可选地,相似度计算方法可以是欧式距离、曼哈顿距离、皮尔逊相关系数或者余弦距离中的任意一种方法,分别对得到的三个相似度集合取最大值可以得到对应的第一体表数据、第一姿态数据和第一捕食信息。
可选地,根据第一体表数据、第一姿态数据和第一捕食信息得到第二图像可以是将得到的第一体表数据、第一姿态数据和第一捕食信息进行简单的加权叠加。
可选地,目标动物种类和第一动物种类可以都是动物种类的大类,第一模型,第二模型以及第三模型的输出参数也都为动物种类的大类或者也都为动物种类的大类以及该动物种类的大类的概率;或者,目标动物种类和第一动物种类可以都是动物种类的小类,第一模型,第二模型以及第三模型的输出参数也都为动物种类的小类或者也都为动物种类的小类以及该动物种类的小类的概率。
可选地,若第一动物种类与目标动物种类相同,可以根据目标动物种类以及第一特征数据更新第一模型。
可选地,若第一动物种类与目标动物种类不同,输出第二指令,第二指令用于指示人工校准,人工根据第一图像校准目标动物种类,得到校准后的目标动物种类,可以根据校准后的目标动物种类和第一特征数据更新第一模型。
可选地,若第一动物种类与目标动物种类相同,可以根据目标动物种类以及第二特征数据更新第二模型。
可选地,若第一动物种类与目标动物种类不同,可以根据校准后的目标动物种类和第二特征数据更新第二模型。
可选地,若第一动物种类与目标动物种类相同,可以根据目标动物种类以及第三特征数据更新第三模型。
可选地,若第一动物种类与目标动物种类不同,可以根据校准后的目标动物种类和第三特征数据更新第三模型。
在前述方法100中确定目标动物种类后,本申请实施例还用于确定目标动物种类中动物的健康状况。
可选地,第一设备获取与待识别动物的视频流对应的声音数据,根据声音数据确定目标动物种类的健康状况。
可选地,根据声音数据确定目标动物种类的健康状况包括:根据目标动物种类在已建立的各个动物声音数据库中确定目标动物种类的声音数据库,各个动物声音数据库包括各个动物的正常声音和异常声音;将声音数据与目标动物种类的声音数据库中的正常声音和异常声音进行匹配,若声音数据与目标动物种类的声音数据库中的正常声音匹配,确定目标动物种类的身体健康;若声音数据与目标动物种类的声音数据库中的异常声音匹配,确定目标动物种类的身体异常。
可选地,根据声音数据确定目标动物种类的健康状况还包括:根据目标动物种类的第一健康状况,第二健康状况,第三健康状况和声音数据,确定目标动物种类的健康状况。
可选地,第一设备根据目标动物种类在已建立的各个动物信息数据库中确定目标动物种类的动物信息数据库,各个动物信息数据库包括各个动物的动物体表数据库、动物姿态数据库以及动物捕食信息数据库。
需要说明的是,各个动物的动物体表数据库包括各个动物的正常体表和异常体表。各个动物的动物姿态数据库包括各个动物的正常姿态和异常姿态。各个动物的动物捕食信息数据库包括各个动物的正常捕食和异常捕食。
需要说明的是,第一设备根据第一特征数据确定目标动物种类的第一健康状况,根据第二特征数据确定目标动物种类的第二健康状况,根据第三特征数据确定目标动物种类的第三健康状况。
可选地,第一设备将第一特征数据与目标动物种类的动物体表数据库中的正常体表和异常体表进行匹配,若第一特征数据与目标动物种类的动物体表数据库中的正常体表匹配,确定目标动物种类的第一健康状况为身体健康;若第一特征数据与目标动物种类的动物体表数据库中的异常体表匹配,确定目标动物种类的第一健康状况为身体异常。
可选地,第一设备将第二特征数据与目标动物种类的动物姿态数据库中的正常姿态和异常姿态进行匹配,若第二特征数据与目标动物种类的动物姿态数据库中的正常姿态匹配,确定目标动物种类的第二健康状况为身体健康;若第二特征数据与目标动物种类的动物姿态数据库中的异常姿态匹配,确定目标动物种类的第二健康状况为身体异常。
可选地,第一设备将第三特征数据与目标动物种类的动物捕食信息数据库中的正常捕食和异常捕食进行匹配,若第三特征数据与目标动物种类的动物捕食信息数据库中的正常捕食匹配,确定目标动物种类的第三健康状况为身体健康;若第三特征数据与目标动物种类的动物捕食信息数据库中的异常捕食匹配,确定目标动物种类的第三健康状况为身体异常。
可选地,根据目标动物种类的第一健康状况,第二健康状况,第三健康状况和声音数据,确定目标动物种类的健康状况可以是:判断若第一健康状况,第二健康状况,第三健康状况以及由声音数据确定的健康状况中有任意一个身体异常的结果,则确定目标动物种类的身体异常,例如,第一健康状况是目标动物种类的身体健康,第二健康状况是目标动物种类的身体异常,第三健康状况是目标动物种类的身体健康,以及由声音数据确定的健康状况为身体健康,则确定目标动物种类的身体异常。若第一健康状况,第二健康状况,第三健康状况以及由声音数据确定的健康状况都正常,则确定目标动物种类的身体健康。
以上是对目标动物种类的健康状况的判断过程,在确定目标动物种类后还实现了对目标动物种类的健康状况的监测,如果有存在身体异常的状况,可以提示动物保护部门采取相应的救治措施,有助于动物学家或动物保护部门研究掌握更全面的动物资源。
在前述方法100中确定目标动物种类后,本申请实施例还用于确定目标动物种类的数量。
可选地,第一设备确定目标动物种类的数量可以是对第一图像中相同的动物种类的动物标记相同的标签,对不同的动物种类的动物标记不同的标签,得到标记后的第一图像,统计标记后的第一图像中目标动物种类的标签数量,确定目标动物种类的数量。
可选地,第一设备确定目标动物种类的数量还可以是在确定目标动物种类后,对第一图像中的目标动物种类标记标签,得到标记后的第一图像,统计标记后的第一图像中的标签数量,确定目标动物种类的数量。
以上是对目标动物种类的数量的统计过程,在确定目标动物种类后还实现了对目标动物种类的动物数量的统计,有助于动物学家或动物保护部门研究掌握更全面的动物资源。
为了更好地理解本申请的方案,图2以一种确定动物种类的方法的流程图为例给出了具体描述,如图2所示,第一设备为边缘计算设备。
S201,摄像头旋转。
具体地,边缘计算设备根据声音传感器采集到的原始的声音信息,判断原始的声音信息中是否存在动物声音,若存在动物声音,并定位声源方向,输出第一控制指令,第一控制指令用于控制摄像头旋转至声源方向。
例如,前述S110中的第一设备对声音传感器采集到的声音数据进行动物声音检测,若有动物声音,第一设备还可以根据提取到的有动物声音的声音数据确定动物声音的声源方向,向摄像头输出控制指令,控制指令用于控制摄像头方向旋转至声源方向采集原始的视频流可以是S201。
S202,摄像头采集原始的视频信息。
具体地,原始的视频信息可以是有动物或者没有动物的视频信息。
例如,前述S110中的摄像头采集的原始的视频流可以是图2中的原始的视频信息。
S203,使用YOLO算法检测是否存在动物。
具体地,使用YOLO算法检测是否存在动物是指使用YOLO算法检测原始的视频信息中是否有动物,若有动物,执行S204,若没有动物,则执行S205。
例如,前述S110中的第一设备对原始的视频流进行动物检测可以是S203。
S204,提取有动物的视频信息,对有动物的视频信息进行预处理,获取图像A。
具体地,提取有动物的视频信息是指从原始的视频信息中提取有动物的视频信息,对提取到的有动物的视频信息进行预处理包括:图像增强、图像去噪和图像去重,获取到的图像A是经过预处理后的视频信息中的任意一张图像。
例如,前述S110中的第一设备从原始的视频流中提取有动物的视频流,对提取到的有动物的视频流进行预处理可以是S204,方法100中的第一图像可以是图像A。
S205,删除没有动物的视频信息。
例如,前述S110中的若原始的视频流没有动物,则删除原始的视频流可以是S205。
S206,提取图像A的体表特征,姿态特征和捕食特征。
具体地,图像A的体表特征包括:包括第一待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项;图像A的姿态特征包括第一待识别动物的动物姿态;图像A的捕食特征包括第一待识别动物的捕食信息。
例如,前述S120可以是S206,前述S120中的第一特征数据可以是S206中的体表特征,前述S120中的第二特征数据可以是S206中的姿态特征,前述S120中的第三特征数据可以是S206中的捕食特征。
S207,将体表特征输入动物体表识别模型,输出动物种类1。
例如,方法100中的第一模型可以是图2中的动物体表识别模型,方法100中的第一识别结果可以是图2中的动物种类1。
S208,将姿态特征输入动物姿态识别模型,输出动物种类2。
例如,方法100中的第二模型可以是图2中的动物姿态识别模型,方法100中的第二识别结果可以是图2中的动物种类2。
S209,将捕食特征输入动物捕食信息识别模型,输出动物种类3。
例如,方法100中的第三模型可以是图2中的动物捕食信息识别模型,方法100中的第三识别结果可以是图2中的动物种类3。
S210,根据动物种类1,动物种类2和动物种类3确定第一待识别动物的动物种类为动物种类5。
例如,前述S130可以是S210,方法100中的待识别动物的目标动物种类可以是图2中的动物种类5。
S211,提取动物信息数据库中与体表特征相似度最大的类似体表特征。
例如,方法100中的提取动物信息数据库中与第一特征数据相似度最大的第一体表数据可以是图2中的S211,方法100中的第一体表数据可以是图2中的类似体表特征。
S212,提取动物信息数据库中与姿态特征相似度最大的类似姿态特征。
例如,方法100中的提取动物信息数据库中与第二特征数据相似度最大的第一姿态数据可以是图2中的S212,方法100中的第一姿态数据可以是图2中的类似姿态特征。
S213,提取动物信息数据库中与捕食特征相似度最大的类似捕食特征。
例如,方法100中的提取动物信息数据库中与第三特征数据相似度最大的第一捕食信息可以是图2中的S213,方法100中的第一捕食信息可以是图2中的类似捕食特征。
S214,根据类似体表特征,类似姿态特征和类似捕食特征得到图像A’。
例如,方法100中的根据第一体表数据,第一姿态数据和第一捕食信息得到第二图像可以是图2中的S214,方法100中的第二图像可以是图2中的图像A’。
S215,使用YOLO算法识别图像A’中的第一待识别动物为动物种类6。
例如,前述S130中将第二图像输入YOLO算法,得到第一动物种类可以是S215,方法100中的第一动物种类可以是图2中的动物种类6。
S216,判断动物种类5与动物种类6是否相同。
具体地,若动物种类5与动物种类6相同,则执行S217,若动物种类5与动物种类6不相同,则输出第一人工校准指令,执行S218。其中,第一人工校准指令用于指示人工校准动物种类5。
例如,方法100中的判断第一动物种类与目标动物种类是否相同可以是图2中的S216。
S217,根据动物种类5和图像A更新动物种类识别模型。
具体地,根据动物种类5和图像A更新动物种类识别模型是指:根据图像A中的体表特征和动物种类5更新动物体表识别模型,根据图像A中的姿态特征和动物种类5更新动物姿态识别模型,根据图像A中的捕食特征和动物种类5更新动物捕食信息识别模型。
例如,方法100中的若第一动物种类与目标动物种类相同,可以根据目标动物种类以及第一特征数据更新第一模型,可以根据目标动物种类以及第二特征数据更新第二模型,可以根据目标动物种类以及第三特征数据更新第三模型可以是图2中的S217。
S218,进行人工校准动物种类5为动物种类7,并根据动物种类7和图像A更新动物种类识别模型。
具体地,根据动物种类7和图像A更新动物种类识别模型是指:根据图像A中的体表特征和动物种类7更新动物体表识别模型,根据图像A中的姿态特征和动物种类7更新动物姿态识别模型,根据图像A中的捕食特征和动物种类7更新动物捕食信息识别模型。
例如,方法100中的若第一动物种类与目标动物种类不同,输出第二指令,第二指令用于指示人工校准目标动物种类,可以根据校准后的目标动物种类和第一特征数据更新第一模型,根据校准后的目标动物种类和第二特征数据更新第二模型,根据校准后的目标动物种类和第三特征数据更新第三模型可以是图2中的S218,方法100中的校准后的目标动物种类可以是图2中的动物种类7。
S219,声音传感器采集原始的声音信息。
例如,方法100中的声音传感器采集到的声音数据可以是图2中的原始的声音信息。
S220,判断原始的声音信息中是否存在动物声音。
具体地,若原始的声音信息中有动物声音,执行S221,若原始的声音信息中没有动物声音,执行S222。
例如,方法100中的第一设备对声音传感器采集到的声音数据进行动物声音检测可以是S220。
S221,提取有动物声音的声音信息,并对有动物声音的声音信息进行声音预处理,得到预处理后的声音信息。
具体地,提取有动物声音的声音信息是指从原始声音信息中提取有动物声音的声音信息,对有动物声音的声音信息进行声音预处理是指滤除非动物的声音。
例如,方法100中的对采集待识别动物的视频流的时间内检测到的有动物声音的声音数据进行声音预处理可以是S221,方法100中的对采集待识别动物的视频流的时间内检测到的有动物声音的声音数据进行声音预处理后的声音数据可以是图2中的预处理后的声音信息。
S222,删除没有动物声音的原始的声音信息。
例如,方法100中的若声音传感器采集到的声音数据中没有动物声音,则删除声音数据可以是S222。
S223,将预处理后的声音信息输入声音识别模型,输出第一待识别动物为动物种类4。
例如,方法100中的第四模型可以是图2中的声音识别模型,方法100中的第四识别结果可以是图2中的动物种类4,方法100中的第一设备将获取与待识别动物的视频流对应的声音数据输入第四模型,输出第四识别结果可以是S223。
S224,判断动物种类4和动物种类5是否相同。
具体地,若动物种类4和动物种类5相同,则执行S225,若动物种类4和动物种类5不同,输出第二人工校准指令,执行S226。其中,第二人工校准指令用于指示人工校准动物种类4。
S225,根据动物种类4和预处理后的声音信息更新声音识别模型。
例如,方法100中的若目标动物种类与第四识别结果指示的动物种类相符,则根据第四识别结果指示的动物种类和声音数据更新第四模型可以是S225。
S226,进行人工校准动物种类4为动物种类8,并根据动物种类8和预处理后的声音信息更新声音识别模型。
例如,方法100中的若目标动物种类与第四识别结果指示的动物种类不相符,第一设备输出第一指令,第一指令用于指示人工校准第四识别结果,第一设备根据校准后的第四识别结果和声音数据更新第四模型可以是S226。
S227,将预处理后的声音信息和动物种类5输入声音数据库。
S228,判断预处理后的声音信息是否存在异常。
具体地,若预处理后的声音信息存在异常,则执行S229,若预处理后的声音信息没有异常,则执行S239。
S229,输出动物种类5身体异常。
S230,根据动物种类5和体表特征确定动物种类5的体表健康状况。
S231,判断动物体表是否存在异常。
具体地,若动物种类5的动物体表异常,则执行S232,若动物种类5的动物体表正常,则执行S239。
S232,输出动物种类5身体异常。
S233,根据动物种类5和姿态特征确定动物种类5的姿态健康状况。
S234,判断动物姿态是否存在异常。
具体地,若动物种类5的动物姿态异常,则执行S235,若动物种类5的动物姿态正常,则执行S239。
S235,输出动物种类5身体异常。
S236,根据动物种类5和捕食特征确定动物种类5的捕食健康状况。
S237,判断动物捕食是否存在异常。
具体地,若动物种类5的动物捕食异常,则执行S238,若动物种类5的动物捕食正常,则执行S239。
S238,输出动物种类5身体异常。
S239,输出动物种类5身体健康。
上述S227~S239是在确定第一待识别动物种类为动物种类5后,进行动物种类5的健康状况判断的过程。
S240,统计动物种类5的数量。
具体地,对图像A中相同的动物种类的动物标记相同的标签,对不同的动物种类的动物标记不同的标签,得到标记后的图像A,统计标记后的图像A中目标动物种类的标签数量,确定动物种类5的数量。
需要说明的是,本申请可以包括比图2更多步骤或者更少步骤,图2中不同步骤的组合可以形成不同的实施例,例如,S201~S210可以构成第一设备获取待识别动物的图像中的第一特征数据,第二特征数据以及第三特征数据,利用这些多维度的特征数据输入不同的模型,得到多维度的动物种类识别结果,利用多维度的识别结果确定待识别动物的目标动物种类的实施例,S201~S217可以构成第一设备利用确定的目标动物种类和动物信息数据库中与待识别动物的图像相似度最大的图像所识别的动物种类的比较来更新第一模型,第二模型以及第三模型的实施例,S201~S226可以构成第一设备利用确定的目标动物种类和声音数据识别确定的动物种类的比较来更新第四模型的另一实施例,S201~S239可以构成在确定目标动物种类后,对目标动物种类的健康状况进行判断输出的另一实施例,S201~S240可以构成在确定目标动物种类后,对目标动物种类的健康状况以及目标动物种类的数量统计输出的又一实施例。
以上图2完成了第一待识别动物种类的确定,通过对获取到的图像A进行特征提取,得到体表特征,姿态特征以及捕食特征,利用这些多维度的特征输入不同的模型,得到多维度的动物种类1、动物种类2和动物种类3,利用多维度的识别结果确定的第一待识别动物的动物种类,即使第一待识别动物的图像中某一维度的特征缺失时,可能导致某一维度的识别结果不准确,但是提取到的其他维度的特征输入对应的模型,可以得到相对准确的动物种类识别结果,这样综合得到的动物种类识别结果相对比较准确,从而可以提高动物种类识别的准确率。同时,在确定第一待识别动物的动物种类后,还实现了对动物种类的健康状况以及动物种类的数量的判断统计,有助于动物学家或动物保护部门研究掌握更全面的动物资源。
图3为本申请实施例提供的一种确定动物种类的装置的示意性框图,如图3所示,本实施例提供的装置包括:
获取单元310,用于获取待识别动物的视频流,视频流包括第一图像。
获取单元310,还用于获取第一图像的第一特征数据,第二特征数据和第三特征数据,第一特征数据包括待识别动物的动物体表的轮廓,动物体表的颜色或动物体表的纹理中的至少一项,第二特征数据包括待识别动物的动物姿态,第三特征数据包括待识别动物的捕食信息。
处理单元320,用于将第一特征数据输入第一模型,输出第一识别结果。
处理单元320,还用于将第二特征数据输入第二模型,输出第二识别结果。
处理单元320,还用于将第三特征数据输入第三模型,输出第三识别结果。
处理单元320,还用于根据第一识别结果、第二识别结果和第三识别结果确定待识别动物的目标动物种类。
图3所述的装置可以执行上述方法实施例中第一设备的功能,为了避免赘述,在此不详细描述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
基于同一发明构思,图4为本申请实施例提供的另一种确定动物种类的装置的示意性框图,包括处理器,处理器与存储器耦合,处理器用于执行存储器中存储的计算机程序或指令时,以实现上述第一方面或第一方面的任一实施方式的方法。
基于同一发明构思,本申请实施例提供的一种计算机存储介质,计算机存储介质上存储有计算机程序,计算机程序被处理器执行时,以实现上述第一方面或第一方面的任一实施方式的方法。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个装置中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储在计算机的芯片中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
在本申请所提供的实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.确定动物种类的方法,其特征在于,所述方法应用于第一设备,包括:
获取待识别动物的视频流,所述视频流包括第一图像;
提取所述第一图像的第一特征数据,第二特征数据和第三特征数据,所述第一特征数据包括所述待识别动物的动物体表的轮廓,所述动物体表的颜色或所述动物体表的纹理中的至少一项;所述第二特征数据包括所述待识别动物的动物姿态;所述第三特征数据包括所述待识别动物的捕食信息;
将所述第一特征数据输入第一模型,输出第一识别结果;
将所述第二特征数据输入第二模型,输出第二识别结果;
将所述第三特征数据输入第三模型,输出第三识别结果;
根据所述第一识别结果、所述第二识别结果和所述第三识别结果确定所述待识别动物的目标动物种类。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述视频流对应的声音数据;
将所述声音数据输入第四模型,输出第四识别结果,所述第四识别结果指示所述待识别动物的种类;
若所述目标动物种类与所述第四识别结果指示的所述待识别动物的种类相符,根据所述第四识别结果以及所述声音数据更新所述第四模型;
若所述目标动物种类与所述第四识别结果指示的所述待识别动物的种类不相符,输出第一指令,所述第一指令用于指示人工校准所述第四识别结果;
接收校准后的所述第四识别结果;
根据所述校准后的所述第四识别结果和所述声音数据更新所述第四模型。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述视频流对应的声音数据;
将所述声音数据输入第五模型,输出第五识别结果,所述第五识别结果指示所述待识别动物的种类;
其中,所述根据所述第一识别结果、所述第二识别结果和所述第三识别结果确定所述待识别动物的目标动物种类,包括:
根据所述第一识别结果、所述第二识别结果、所述第三识别结果和所述第五识别结果确定所述待识别动物的目标动物种类。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述视频流对应的声音数据;
根据所述声音数据,确定所述目标动物种类的健康状况。
5.如权利要求4所述的方法,其特征在于,在根据第一识别结果、第二识别结果和第三识别结果确定所述待识别动物的目标动物种类之后,所述方法还包括:
根据所述第一特征数据确定所述目标动物种类的第一健康状况;
根据所述第二特征数据确定所述目标动物种类的第二健康状况;
根据所述第三特征数据确定所述目标动物种类的第三健康状况;
其中,所述根据所述声音数据,确定所述目标动物种类的健康状况,包括:
根据所述第一健康状况、所述第二健康状况、所述第三健康状况和所述声音数据,确定所述目标动物种类的健康状况。
6.如权利要求1中所述的方法,其特征在于,所述方法还包括:
对所述第一图像中相同的动物种类的动物标记相同的标签,对不同的动物种类的动物标记不同的标签,得到标记后的第一图像;
在所述根据第一识别结果、第二识别结果和第三识别结果确定所述待识别动物的目标动物种类之后,所述方法还包括:
统计所述标记后的第一图像中所述目标动物种类的标签数量,确定所述目标动物种类的数量。
7.如权利要求1所述的方法,其特征在于,所述第一识别结果用于指示所述待识别动物的种类,所述第二识别结果用于指示所述待识别动物的种类,所述第三识别结果用于指示所述待识别动物的种类;在所述根据第一识别结果、第二识别结果和第三识别结果确定所述待识别动物的目标动物种类之后,所述方法还包括:
在动物信息数据库中获取与所述第一图像的相似度最大的第二图像;
将所述第二图像输入只需要浏览一次YOLO算法,得到第一动物种类;
若所述第一动物种类与所述目标动物种类相同,根据所述目标动物种类以及所述第一特征数据更新所述第一模型;根据所述目标动物种类以及所述第二特征数据更新所述第二模型;根据所述目标动物种类以及所述第三特征数据更新所述第三模型;或者,
若所述第一动物种类与所述目标动物种类不同,输出第二指令,所述第二指令用于指示人工校准所述目标动物种类;
接收校准后的所述目标动物种类;
根据所述校准后的所述目标动物种类和所述第一特征数据更新所述第一模型;根据所述校准后的所述目标动物种类和所述第二特征数据更新所述第二模型;根据所述校准后的所述目标动物种类和所述第三特征数据更新所述第三模型。
8.如权利要求7所述的方法,其特征在于,所述动物信息数据库包括动物体表数据库、动物姿态数据库以及动物捕食信息数据库,所述在动物信息数据库中获取与所述第一图像的相似度最大的第二图像,包括:
获取所述动物体表数据库中与所述第一特征数据对应的相似度最大的第一体表数据;
获取所述动物运动状态数据库中与所述第二特征数据对应的相似度最大的第一姿态数据;
获取所述动物捕食状态数据库中与所述第三特征数据对应的相似度最大的第一捕食信息;
根据所述第一体表数据、所述第一姿态数据和所述第一捕食信息得到所述第二图像。
9.确定动物种类的装置,包括处理器,所述处理器与存储器耦合,所述处理器用于执行所述存储器中存储的计算机程序或指令时,以实现如权利要求1-8中任意一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时,以实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210669102.7A CN115035450A (zh) | 2022-06-14 | 2022-06-14 | 确定动物种类的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210669102.7A CN115035450A (zh) | 2022-06-14 | 2022-06-14 | 确定动物种类的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115035450A true CN115035450A (zh) | 2022-09-09 |
Family
ID=83124173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210669102.7A Pending CN115035450A (zh) | 2022-06-14 | 2022-06-14 | 确定动物种类的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115035450A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115690448A (zh) * | 2022-11-09 | 2023-02-03 | 广东省科学院动物研究所 | 一种基于ai的鸟类物种识别方法及装置 |
-
2022
- 2022-06-14 CN CN202210669102.7A patent/CN115035450A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115690448A (zh) * | 2022-11-09 | 2023-02-03 | 广东省科学院动物研究所 | 一种基于ai的鸟类物种识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022033150A1 (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN108108662B (zh) | 深度神经网络识别模型及识别方法 | |
CN112561080B (zh) | 样本筛选方法、样本筛选装置及终端设备 | |
CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
WO2020164278A1 (zh) | 一种图像处理方法、装置、电子设备和可读存储介质 | |
WO2019119396A1 (zh) | 人脸表情识别方法及装置 | |
WO2021120961A1 (zh) | 大脑成瘾结构图谱评估方法及装置 | |
CN110610125A (zh) | 基于神经网络的牛脸识别方法、装置、设备及存储介质 | |
Chandran et al. | Missing child identification system using deep learning and multiclass SVM | |
US20240087368A1 (en) | Companion animal life management system and method therefor | |
CN112183212A (zh) | 一种杂草识别方法、装置、终端设备及可读存储介质 | |
US20240087352A1 (en) | System for identifying companion animal and method therefor | |
CN115035450A (zh) | 确定动物种类的方法及装置 | |
CN115497124A (zh) | 身份识别方法和装置及存储介质 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
CN114596618A (zh) | 戴口罩的人脸识别训练方法、装置、电子设备及存储介质 | |
CN110210425B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN112818946A (zh) | 年龄识别模型的训练、年龄识别方法、装置及电子设备 | |
CN115661142B (zh) | 一种基于关键点检测的舌诊图像处理方法、设备及介质 | |
CN111163332A (zh) | 视频色情度检测方法、终端及介质 | |
CN115482569A (zh) | 目标客流统计方法、电子设备以及计算机可读存储介质 | |
CN116071569A (zh) | 图像选择方法、计算机设备及存储装置 | |
CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
CN112347879B (zh) | 一种针对视频运动目标的主题挖掘及行为分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |