CN111144236A - 一种蜚蠊交配行为分析的方法、系统及存储介质 - Google Patents
一种蜚蠊交配行为分析的方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111144236A CN111144236A CN201911261512.2A CN201911261512A CN111144236A CN 111144236 A CN111144236 A CN 111144236A CN 201911261512 A CN201911261512 A CN 201911261512A CN 111144236 A CN111144236 A CN 111144236A
- Authority
- CN
- China
- Prior art keywords
- cockroach
- video
- behavior
- target
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001674044 Blattodea Species 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007758 mating behavior Effects 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000006399 behavior Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000013079 data visualisation Methods 0.000 claims abstract description 7
- 238000003892 spreading Methods 0.000 claims description 7
- 241000238659 Blatta Species 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000007480 spreading Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 241000238661 Periplaneta Species 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 241000577457 Lestidae Species 0.000 claims 1
- 230000013011 mating Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 4
- 238000009395 breeding Methods 0.000 abstract description 3
- 230000001488 breeding effect Effects 0.000 abstract description 3
- 230000002265 prevention Effects 0.000 abstract description 3
- 241001465754 Metazoa Species 0.000 abstract description 2
- 241000607479 Yersinia pestis Species 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000238631 Hexapoda Species 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000238675 Periplaneta americana Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 244000000010 microbial pathogen Species 0.000 description 2
- 230000001850 reproductive effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000193738 Bacillus anthracis Species 0.000 description 1
- 206010008631 Cholera Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010059866 Drug resistance Diseases 0.000 description 1
- 241000231739 Rutilus rutilus Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000027326 copulation Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000032669 eclosion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000035558 fertility Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Husbandry (AREA)
- Economics (AREA)
- Agronomy & Crop Science (AREA)
- Human Resources & Organizations (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Marketing (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Catching Or Destruction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种蜚蠊交配行为分析的方法、系统及存储介质，其中方法包括以下步骤：获取蜚蠊视频和训练集视频；根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；对目标检测操作后的蜚蠊进行目标跟踪；生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；将所述数据统计结果进行数据可视化及结果分析，生成蜚蠊防治或人工养殖方案；本方法从源头上研究和控制蜚蠊交配繁殖行为，使得蜚蠊的防治以及养殖工作脱离了单纯依靠经验指导，从而更加科学化、数据化和精细化，可广泛应用于动物行为研究技术领域。
Description
技术领域
本发明涉及动物行为研究技术领域，尤其是一种蜚蠊交配行为分析的方法、系统及存储介质。
背景技术
名词解释:
IoU：Intersection over Union(IOU)是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用IoU来进行测量；
匈牙利匹配算法：一种在多项式时间内求解任务分配问题的组合优化算法，并推动了后来的原始对偶方法；设G＝(V，E)是一个无向图。如顶点集V可分割为两个互不相交的子集V1和V2，选择这样的子集中边数最大的子集称为图的最大匹配问题(maximal matchingproblem)。如果一个匹配中，|V1|≤|V2|且匹配数|M|＝|V1|，则称此匹配为完全匹配，也称作完备匹配。特别的当|V1|＝|V2|称为完美匹配；
二值化：就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
蜚蠊是一类重要的世界性卫生害虫，对人类健康和公共卫生造成严重危害。其携带多种病原微生物，可引发霍乱、炭疽、结核等传染性疾病。蜚蠊具有强大的生命力和惊人的繁殖能力，难以彻底灭除。加之全球温室效应逐渐增强，蜚蠊不仅在我国南方爆发，而且有不断北迁的趋势。因此，从源头遏止其繁殖和种群扩张成为我国城镇卫生害虫防治亟需解决并渐趋紧迫的重要问题。美洲大蠊是蜚蠊目蟑螂中最常见种之一，具有超强的环境适应能力和生命力，惊人的繁殖力和解毒能力，素有“小强”之称。作为重要的世界性卫生害虫，其传播病原微生物、污染食物，与人类健康息息相关并严重影响正常生活，在我国已发展为城镇蟑螂群落的优势物种，危害和爆发频率逐年加重并且有不断北迁的趋势。
目前对美洲大蠊防治仍主要依赖于传统的化学农药，不能从根本上消除蟑螂肆虐的状况，同时蟑螂的繁殖能力极强，伴随抗药性、药剂残留和再猖獗等问题日益攀升，严重威胁着人畜健康和生态环境；此外目前已经出现相当规模的蟑螂养殖现象，利用蟑螂生物价值和药用价值来造福人类，但目前蟑螂养殖也仅是凭经验进行养殖，没有实现养殖的科学化和数据化。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种科学化、精细化并且能同时适用于蜚蠊防治以及蜚蠊养殖的蜚蠊交配行为分析的方法、系统及存储介质。
本发明所采取的第一种技术方案是：一种蜚蠊交配行为分析的方法，包括以下步骤：获取蜚蠊视频和训练集视频；根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；对目标检测操作后的蜚蠊进行目标跟踪；生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；将所述数据统计结果进行数据可视化及结果分析，生成蜚蠊防治或人工养殖方案；
所述个体信息包括重心和身体面积，所述行为信息包括展翅和交尾。
进一步，所述对目标检测操作后的蜚蠊进行目标跟踪这一步骤具体包括：获取所述蜚蠊视频并按每帧截取转换成图像，得到当前帧待处理的图像和前一帧图像；通过IoU获取所述当前帧待处理图像和前一帧图像的交集面积和并集面积的商值；根据所述商值，通过匈牙利匹配算法进行前后帧图像的蜚蠊个体匹配；生成匹配操作后的当前帧已处理图像。
进一步，所述根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息这一步骤具体包括：获取所述训练集视频并将所述训练集视频按每帧截取转换成图像；根据所述图像生成个体目标的数据集；对所述目标个体数据集进行数据清洗；从清洗后的数据集中提取出个体目标的特征参数；根据提取出的特征参数进行个体目标识别训练；获取所述训练后生成个体目标的权重模型，并对所述蜚蠊视频进行目标检测；根据蜚蠊视频进行目标检测的结果，获取蜚蠊的个体信息。
进一步，所述根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取行为信息这一步骤具体包括：获取所述训练集视频并将所述训练集视频按每帧截取转换成图像；根据所述图像生成行为样本数据集；对所述行为样本数据集进行数据清洗；从清洗后的行为样本数据集中分别提取出展翅行为的特征参数和交尾行为的特征参数；根据提取的特征参数进行行为识别训练；获取所述训练后生成的展翅行为的权重模型和交尾行为的权重模型，对所述实验视频中的蜚蠊进行行为检测。
进一步，所述对所述实验视频中的蜚蠊进行行为检测这一步骤还包括：获取所述蜚蠊视频进行目标检测的结果，并对其进行二值化处理；根据二值化处理后的结果，拟合并记录蜚蠊的身体方向；根据记录结果以及所述展翅行为的权重模型和所述交尾行为的权重模型对蜚蠊的行为进行检测。
进一步，采用YOLOv3神经网络生成所述个体目标的权重模型、所述展翅行为的权重模型和所述交尾行为的权重模型。
进一步，采用Darknet-53的特征提取网络结构，提取个体目标的特征参数，提取展翅行为的特征参数和交尾行为的特征参数。
本发明所采取的第二种技术方案是：一种蜚蠊交配行为分析的系统，包括：
视频获取单元，用于获取蜚蠊视频和训练集视频；
目标检测单元，用于根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；
目标跟踪单元，用于对目标检测操作后的蜚蠊进行目标跟踪；
数据整合单元，用于生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；
结果分析及可视化单元，用于将所述数据统计结果进行数据可视化及结果分析。
本发明所采取的第三种技术方案是：一种蜚蠊交配行为分析的系统，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被至少一个处理器执行，使得所述至少一个处理器实现所述的一种蜚蠊交配行为分析方法。
本发明所采取的第四种技术方案是：一种存储介质，其中存储有可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种蜚蠊交配行为分析。
本发明的有益效果是：本发明方案根据蜚蠊的大量的训练集视频提取出个体信息和行为的特征参数通过神经网络进行个体识别以及行为识别，将神经网络模型运用于蜚蠊视频中的个体信息和行为信息进行提取并完成可视化，同时还能输出目标跟踪的结果并生成相应的防治或养殖方案，以此作为蜚蠊防治以及人工养殖的技术支撑，使得防治以及养殖工作不仅仅只是依靠经验指导，更加科学化、数据化和精细化。
附图说明
图1为本发明实施例的蜚蠊交配行为分析的方法的流程图；
图2是本发明实施例的蜚蠊目标识别训练流程图；
图3是本发明实施例的蜚蠊目标追踪流程图；
图4是本发明实施例的蜚蠊展翅、交尾行为识别训练流程图；
图5是本发明实施例的蜚蠊交配行为分析的方法的详细流程图；
图6是本发明实施例的Darknet-53网络结构示意图；
图7是本发明实施例的位置预测框的示意图；
图8是本发明实施例的模型在训练集准确率的曲线图；
图9是本发明实施例的训练模型过程中损失值逐渐下降的loss曲线图；
图10是本发明实施例的模型在测试集准确率曲线图。
具体实施方式
下面结合具体的实施例对本发明进行进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，为本发明实施例的具体步骤的流程图，本实施例一种蜚蠊交配行为分析的方法具体实施步骤为:
S101、获取蜚蠊视频和训练集视频；具体的，首先分别取羽化后不同天数的雌雄虫，按雌雄1：1成对放入玻璃皿中
利用红外摄像机(FL2G-50S5M，镜头H0514-MP)连续拍摄蜚蠊的求偶交配行为，并将最终拍摄得到的视频截取一部分作为训练集视频。
S102、根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；具体的，如图2所示，根据所述训练集视频，生成共计1000张标记好的蜚蠊(标签为：Roach)样本图片作为训练(数据)集，而后进行数据清洗工序，主要包括数据的一致性检查以及删除无效值以及插补缺失值等；根据构建好的训练集，选取体型大小、重心以及其他可作为蜚蠊生物个体信息的特征参数通过神经网络进行特征参数的提取，结合训练集进行个体目标的识别训练，其训练批量大小batch设置设定为64，即每64个样本更新一次参数，设置细分大小subdivisions为8，使得GPU可以每次处理batch/subdivisions＝8张图像，在处理完64个图像后更新参数。输入训练图像宽高使用默认值416×416。设置channels＝3，表示处理3通道RGB输入图像，即彩色图像。最终经过1000张标记好的样本图片，在GTX1080Ti GPU上经过4个小时的训练，得到了最终的个体识别权重模型，其mAP(meanAverage Precision平均准确率为99.2088％)，且每秒可以处理约40帧图像，可达到实时处理的目的。
此外，由于样本数量的不均衡，且需要定位蜚蠊个体目标做分析，因此蜚蠊个体和行为无法运用一个模型去识别的，个体的识别网络和行为辨别网络需要使用两个模型来分析；但同样的，如图4所示，将获取的蜚蠊(识别训练)原始视频按每帧截取转换成图像，标记蜚蠊行为类别，其标签有两个，为Mating和Flapping，生成200张蜚蠊行为识别数据集，尔后根据蜚蠊展翅以及交尾动作通过神经网络进行特征参数提取，并结合训练集进行的识别训练，最终经过200张标记好的样本图片，在GTX 1080Ti GPU上经过3个小时的训练，得到了最终的行为识别权重模型，其mAP(mean Average Precision平均准确率为98.1988％)，在对视频(待监测个体行为的实验视频)进行个体行为检测时，需将已经进行逐帧截取并蜚蠊个体目标检测的图片再进行二值化处理，得到相应的灰度图片，通过矩形拟合获取蜚蠊的身体方向信息并进行记录，并结合行为识别权重模型判断蜚蠊是否有交配行为的相关动作，例如展翅以及交尾。
S103、对目标检测操作后的蜚蠊进行目标跟踪；具体的，如图3所示，本实施例采用High-Speed tracking-by-detection without using image information的高速追踪方法，使用IoU(Intersection over Union，即交并比)作为前后帧的图像的个体之间匹配的依据。IoU计算两个预测框之间的交集面积和并集面积的商。在使用YOLO作为检测器前提下，对每一帧的目标进行检测定位，将目标的信息保存，与下一帧作对比。下一帧的每一个预测框都与前一帧的预测框做IoU计算，认为IoU最大的两个框作为前后帧的图像匹配的同一个个体。此外，设置IoU阈值为0.6以避免个体短暂性消失现象。当小于阈值0.6时，将前一帧的框作为当前帧的框来做匹配。当目标在连续5帧图像内都没有被检测到或者正常的通过IoU匹配到，就直接将该对象从匹配队列中删除。当一个对象连续5帧出现并且没有前一帧匹配的话，那么该对象可以认为是新的追踪对象，那么就将对象加入追踪匹配队列中。在高速IoU匹配的前提下，用匈牙利匹配算法辅佐。匈牙利匹配是使用匈牙利算法对二分图进行完美匹配的过程。当蜚蠊彼此之间的距离接近或是重叠时，各蜚蠊前后帧的图像之间的IoU的值趋于相同，此时，直接使用最大IoU匹配的时候会出现错误匹配的情况。匈牙利匹配能够保证在某只蜚蠊找到极大IoU的同时，也能保证其他IoU接近的蜚蠊能找到前一帧匹配的对象。通过使用匈牙利匹配，降低出现错误匹配的次数。最后生成当前帧已经处理的图像。
S104、生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；具体的，根据S103步骤所处理的图像进行整合，由此可以得到目标蜚蠊的跟踪视频，获知其具体的个体信息以及行为记录；此外还可对实验中的变量进行调整(温度湿度等)得到对应条件下蜚蠊交配行为的频率等。
S105、将所述数据统计结果进行数据可视化及结果分析，生成蜚蠊防治或人工养殖方案；具体的，根据S104步骤所得到结果分析，生成蜚蠊的防治方案，对本实施例的结果分析可得出：蜚蠊活动的适温范围是28～33℃；在此温度条件下，蜚蠊最活跃，食量最大，生长发育最快，繁殖力最强；所以针对蜚蠊的防治，可调整室内温度降低蜚蠊的交配行为的频率从而达到降低蜚蠊危害的目的。
作为一种优选的实施方式，本发明实施例采用采用YOLOv3(You Only Look Oncev3)架构，利用Darknet-53作为特征提取网络结构。其详细流程如图5所示，该网络主要是由一系列的1x1和3x3的Convolutional(卷积层)，以及用来解决梯度消失，梯度爆炸问题和网络退化问题的Residual block(残差块)，如图6所示；YOLOv3使用逻辑回归来预测每个类别得分，并且使用阈值来预测对象的多个标签，以代替Softmax分类所假设的类型是互斥的。如图7所示，σ(tx),σ(ty)，是基于矩形框中心点左上角格点坐标的偏移量，激活函数
(cx，cy)为图像左上角坐标。通过如下公式和网络的预测值(tx,ty,tw,th)计算出实际的预测框(bx,by,bw,bh)：
bx＝σ(tx)+cx (1)
式中，bx是预测框中心的x轴坐标，tx为网络输出x轴坐标，σ是激活函数sigmoid，
cx为图像左上角x轴坐标；
by＝σ(ty)+cy (2)
式中，by是预测框中心的y轴坐标，ty为网络输出y轴坐标，σ是激活函数sigmoid，
cy为图像左上角y轴坐标；
式中，bw是预测框的宽度，tw为网络输出的宽度，Pw为先验框的宽度；
式中，bh是预测框的高度，th为网络输出的高度，Ph为先验框的高度。
如图8所示，最终，本实施的神经网络模型在训练集上的准确度为99％，IoU框的准确度为76.11％，recall、F1-score都达到了99％，表示模型拟合完好，如图9所示，模型在测试集上的准确率在82％左右，如图10所示，横轴均为模型训练的迭代次数，在800次迭代后，在训练集和测试集上的准确率基本收敛并且loss值趋近于0，此时模型达到最优(BCD)。
除此之外，本发明实施例还提供了一种蜚蠊交配行为分析的系统，包括：
视频获取单元，用于获取蜚蠊视频和训练集视频；
目标识别单元；用于根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；
目标跟踪单元，用于对目标检测操作后的蜚蠊进行目标跟踪；
行为捕捉单元，用于获取目标识别操作后蜚蠊的行为信息；
数据整合单元，用于生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；
结果分析及可视化单元，用于将所述数据统计结果进行数据可视化及结果分析。
本发明还提供一种蜚蠊交配行为分析的系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被至少一个处理器执行，使得所述至少一个处理器实现所述的一种蜚蠊交配行为分析的方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种蜚蠊交配行为分析的方法。
相对于现有技术，本发明一种蜚蠊交配行为分析的方法、系统及存储介质具有以下优点：
1)本发明方案对性成熟的雌雄虫进行连续监测，明确成熟雄虫求偶行为主要参数特征：包括展翅、爬行速度、腹部伸长等参数以及交配率和交配时间；利用自主开发的数据分析软件对上述求偶行为特征进行定性和定量分析，确定最佳参数。
2)本方案从源头研究和控制其交配繁殖行为，为发掘新的生物防治方法、探索新的防治策略提供了精确可靠的数据支持。
对于上述方法实施例中的步骤编号，仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种蜚蠊交配行为分析的方法，其特征在于，包括以下步骤：
获取蜚蠊视频和训练集视频；
根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；
对目标检测操作后的蜚蠊进行目标跟踪；
生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；
将所述数据统计结果进行数据可视化及结果分析，生成蜚蠊防治或人工养殖方案；
所述个体信息包括重心和身体面积，所述行为信息包括展翅和交尾。
2.根据权利要求1所述的一种蜚蠊交配行为分析的方法，其特征在于，所述对目标检测操作后的蜚蠊进行目标跟踪这一步骤具体包括：
获取所述蜚蠊视频并按每帧截取转换成图像，得到当前帧待处理的图像和前一帧图像；
通过IoU获取所述当前帧待处理图像和前一帧图像的交集面积和并集面积的商值；
根据所述商值，通过匈牙利匹配算法进行前后帧图像的蜚蠊个体匹配；
生成匹配操作后的当前帧已处理图像。
3.根据权利要求1所述的一种蜚蠊交配行为分析的方法，其特征在于，所述根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息这一步骤具体包括：
获取所述训练集视频并将所述训练集视频按每帧截取转换成图像；
根据所述图像生成个体目标的数据集；
对所述目标个体数据集进行数据清洗；
从清洗后的数据集中提取出个体目标的特征参数；
根据提取出的特征参数进行个体目标识别训练；
获取所述训练后生成个体目标的权重模型，并对所述蜚蠊视频进行目标检测；
根据蜚蠊视频进行目标检测的结果，获取蜚蠊的个体信息。
4.根据权利要求1所述的一种蜚蠊交配行为分析的方法，其特征在于，所述根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取行为信息这一步骤具体包括：
获取所述训练集视频并将所述训练集视频按每帧截取转换成图像；
根据所述图像生成行为样本数据集；
对所述行为样本数据集进行数据清洗；
从清洗后的行为样本数据集中分别提取出展翅行为的特征参数和交尾行为的特征参数；
根据提取的特征参数进行行为识别训练；
获取所述训练后生成的展翅行为的权重模型和交尾行为的权重模型，对所述实验视频中的蜚蠊进行行为检测。
5.根据权利要求4所述的一种蜚蠊交配行为分析的方法，其特征在于，所述对所述实验视频中的蜚蠊进行行为检测这一步骤还包括：
获取所述蜚蠊视频进行目标检测的结果，并对其进行二值化处理；
根据二值化处理后的结果，拟合并记录蜚蠊的身体方向；
根据记录结果以及所述展翅行为的权重模型和所述交尾行为的权重模型对蜚蠊的行为进行检测。
6.根据权利要求3-5任一项所述的一种蜚蠊交配行为分析的方法，其特征在于，采用YOLOv3神经网络生成所述个体目标的权重模型、所述展翅行为的权重模型和所述交尾行为的权重模型。
7.根据权利要求3-5任一项所述的一种蜚蠊交配行为分析的方法，其特征在于，采用Darknet-53的特征提取网络结构，提取个体目标的特征参数，提取展翅行为的特征参数和交尾行为的特征参数。
8.一种蜚蠊交配行为分析的系统，其特征在于，包括：
视频获取单元，用于获取蜚蠊视频和训练集视频；
目标识别单元，用于根据所述蜚蠊视频和训练集视频通过神经网络模型进行目标检测，并提取个体信息和行为信息；
目标跟踪单元，用于对目标检测操作后的蜚蠊进行目标跟踪；
行为捕捉单元，用于获取目标识别操作后蜚蠊的行为信息；
数据整合单元，用于生成所述目标跟踪的视频，并结合个体信息和行为信息生成数据统计结果；
结果分析及可视化单元，用于将所述数据统计结果进行数据可视化及结果分析。
9.一种蜚蠊交配行为分析的系统，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的一种蜚蠊交配行为分析的方法。
10.一种存储介质，其中存储有可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述的一种蜚蠊交配行为分析的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261512.2A CN111144236B (zh) | 2019-12-10 | 2019-12-10 | 一种蜚蠊交配行为分析的方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261512.2A CN111144236B (zh) | 2019-12-10 | 2019-12-10 | 一种蜚蠊交配行为分析的方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111144236A true CN111144236A (zh) | 2020-05-12 |
| CN111144236B CN111144236B (zh) | 2024-04-26 |
Family
ID=70517998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911261512.2A Active CN111144236B (zh) | 2019-12-10 | 2019-12-10 | 一种蜚蠊交配行为分析的方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144236B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666881A (zh) * | 2020-06-08 | 2020-09-15 | 成都大熊猫繁育研究基地 | 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法 |
| CN114549516A (zh) * | 2022-03-03 | 2022-05-27 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
| US20190050981A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a target object from a 3d image |
| CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及系统 |
| CN109949283A (zh) * | 2019-03-12 | 2019-06-28 | 天津瑟威兰斯科技有限公司 | 基于卷积神经网络识别虫子种类和活性的方法及系统 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110363100A (zh) * | 2019-06-24 | 2019-10-22 | 昆明理工大学 | 一种基于YOLOv3的视频目标检测方法 |
-
2019
- 2019-12-10 CN CN201911261512.2A patent/CN111144236B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190050981A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a target object from a 3d image |
| CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
| CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及系统 |
| CN109949283A (zh) * | 2019-03-12 | 2019-06-28 | 天津瑟威兰斯科技有限公司 | 基于卷积神经网络识别虫子种类和活性的方法及系统 |
| CN110276780A (zh) * | 2019-06-17 | 2019-09-24 | 广州织点智能科技有限公司 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
| CN110363100A (zh) * | 2019-06-24 | 2019-10-22 | 昆明理工大学 | 一种基于YOLOv3的视频目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高云;陈斌;廖慧敏;雷明刚;黎煊;李静;罗俊杰;: "群养猪侵略性行为的深度学习识别方法", 农业工程学报, no. 23, 8 December 2019 (2019-12-08), pages 200 - 208 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666881A (zh) * | 2020-06-08 | 2020-09-15 | 成都大熊猫繁育研究基地 | 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法 |
| CN114549516A (zh) * | 2022-03-03 | 2022-05-27 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
| CN114549516B (zh) * | 2022-03-03 | 2023-01-17 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
| WO2023165299A1 (zh) * | 2022-03-03 | 2023-09-07 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
| US11967182B2 (en) | 2022-03-03 | 2024-04-23 | Shihezi University | Intelligent analysis system applied to ethology of various kinds of high-density minimal polypides |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111144236B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Trianto et al. | Morphological characteristics and morphometrics of stingless bees (Hymenoptera: Meliponini) in Yogyakarta, Indonesia | |
| An et al. | Application of computer vision in fish intelligent feeding system—A review | |
| CN109738435B (zh) | 一种荞麦生长监测诊断及产量预测方法 | |
| CA3176420A1 (en) | Analysis and sorting in aquaculture | |
| CN111144236A (zh) | 一种蜚蠊交配行为分析的方法、系统及存储介质 | |
| CN108460370B (zh) | 一种固定式家禽生命信息报警装置 | |
| Papadakis et al. | Sub-second analysis of fish behavior using a novel computer-vision system | |
| Zhao et al. | An algorithm for tracking multiple fish based on biological water quality monitoring | |
| Yang et al. | A survey on deep learning in crop planting | |
| CN116030343A (zh) | 一种基于机器视觉识别的农作物病虫害监管系统 | |
| Zhan et al. | Key points tracking and grooming behavior recognition of Bactrocera minax (Diptera: Trypetidae) via DeepLabCut | |
| Cao et al. | Recognition of common insect in field based on deep learning | |
| CN115861721A (zh) | 基于图像数据的畜禽养殖喷雾设备状态识别方法 | |
| Ozyilmaz | Evaluation of the effectiveness of antagonistic bacteria against Phytophthora blight disease in pepper with artificial intelligence | |
| Fathipoor et al. | Crop and weed segmentation on ground-based images using deep convolutional neural network | |
| Sajitha et al. | The plant disease detection using CNN and deep learning techniques merged with the concepts of machine learning | |
| Korsnes et al. | Computer-assisted image processing to detect spores from the fungus Pandora neoaphidis | |
| WO2023165299A1 (zh) | 一种应用于多种类高密度极小虫体行为学的智能分析系统 | |
| CN110532854B (zh) | 一种生猪爬跨行为检测方法及系统 | |
| Reddy et al. | Predicting the cotton leaf disease using convolution neural networks | |
| Zhang et al. | An approach for goose egg recognition for robot picking based on deep learning | |
| Pourdarbani et al. | Automatic detection of greenhouse plants pests by image analysis | |
| CN114463581A (zh) | 一种基于深度学习的蚊虫种类识别方法和系统 | |
| Maharani et al. | Application of Artificial Intelligence in Modern Ecology for Detecting Plant Pests and Animal Diseases | |
| Yogeshraj et al. | Smart Automated Sericulture Based On Image Processing Technique And Embedded System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |