CN114847196B - 智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统 - Google Patents

智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统 Download PDF

Info

Publication number
CN114847196B
CN114847196B CN202210606275.4A CN202210606275A CN114847196B CN 114847196 B CN114847196 B CN 114847196B CN 202210606275 A CN202210606275 A CN 202210606275A CN 114847196 B CN114847196 B CN 114847196B
Authority
CN
China
Prior art keywords
bee
beehive
bees
data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210606275.4A
Other languages
English (en)
Other versions
CN114847196A (zh
Inventor
刘升平
张�杰
郭秀明
孙开梦
诸叶平
李世娟
岳慧丽
吕纯阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN202210606275.4A priority Critical patent/CN114847196B/zh
Publication of CN114847196A publication Critical patent/CN114847196A/zh
Application granted granted Critical
Publication of CN114847196B publication Critical patent/CN114847196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K47/00—Beehives
    • A01K47/06—Other details of beehives, e.g. ventilating devices, entrances to hives, guards, partitions or bee escapes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及蜜蜂养殖领域。具体包括：蜂箱，其下部设置有出入通道；摄像头，其设置在蜂箱上，且监控方向朝向出入通道；称重仪，其设置在蜂箱底部；温湿度传感器，其设置在蜂箱内部；终端，其设置在蜂箱外部，且与摄像头、称重仪和温湿度传感器分别通讯连接，用于收集采集的数据并传输至微服务器。本发明能自动采集蜜蜂养殖中的时空多维度、多角度及多结构的全周期数据，并对数据进行智能分析和处理，提供蜜蜂活动规律、环境数据统计分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决策。本发明特色在于基于深度学习的蜜蜂识别跟踪计数系统，其特征包括：蜜蜂图像数据集构建、蜜蜂检测与识别模型构建和蜜蜂识别模型构建。

Description

智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统
技术领域
本发明涉及蜜蜂养殖领域，特别是涉及智能蜂箱及基于深度学习的蜜蜂识 别跟踪计数系统。
背景技术
养蜂业是我国传统农业，也是现代农业的重要组成部分，蜂蜜作为一种保 健食品，与人民群众的生活密切相关。蜂箱是蜜蜂养殖的重要工具，也是蜂蜜 生产的基本工具。长期以来，蜂箱都是人工手工操作，人力投入成本高。如何 将信息技术用于蜂箱的管理，是现代蜜蜂养殖需要解决的重要问题。随着信息 技术的不断进步，智能蜂箱开始在蜜蜂养殖领域出现。调查发现，目前的智能 蜂箱多注重蜂箱的环境监测，比如温湿度、二氧化碳、氧气监测。更多的应用 在于改造传统的蜂箱结构，在养殖、繁殖、取蜜这些减少人工劳动强度方面形 成特色，距离真正的智能蜂箱还有差距。
中国专利公开号CN210181653U公开了基于云计算的人工智能(AI)养蜂系 统，包括安装在每个蜂箱内的数据采集终端，用于对蜂箱内的温湿度、气体、 音频、视频、蜜蜂出勤、重量和位置进行采集；安装在蜂场的信息采集终端， 用于对蜂场内的气象数据和蜜源数据进行采集；与数据采集终端和信息采集终 端连接的数据传输装置，用于将采集的数据进行上传；与数据传输装置连接的 云端服务器，用于将接收并储存采集的数据，并根据采集的数据以及历史数据 对蜜蜂、蜂箱和蜂场进行分析，并将分析结果发送至养蜂人的手持终端。
中国专利公开号CN112308268A公开了一种智能蜂箱、管理平台、电子设备 以及管理系统。在一个实施例中，智能蜂箱将采集到的数据添加到区块链，数 据为能够用于判断智能蜂箱中的蜂蜜的成熟度和/或掺假情况的数据，管理平台 获取数据，基于数据判断智能蜂箱中的蜂蜜的成熟度和/或掺假情况，并将成熟 度和/或掺假情况添加到区块链，电子设备获取用户针对成熟度和/或掺假情况 的评价信息，并将评价信息添加到区块链。
但是，对于上述公开号CN210181653U公开的方案，其注重蜂箱的人工操作 设计，以及蜂箱环境数据的采集，没有从蜜蜂活动规律的根本出发，缺乏对蜜 蜂活动状况研究与分析，缺少从根本上了解蜂蜜产生量的影响因素；在算法上， 没有用现代较先进的智能识别技术，不能从根本上体现智能技术的应用优势。
对于上述公开号CN210181653U公开的方案，设计思路只限于判断蜂蜜成熟 度或有无掺假，并未详细描述采用的智能技术。更多的是采取图像人眼识别； 从技术的先进性看，采用智能识别算法技术，只能在一定程度上减少人工识别 的误差，在一定程度上提高蜂蜜生产管理的自动化程度。
发明内容
本发明目的是针对背景技术中存在的问题，提出智能蜂箱及基于深度学习 的蜜蜂识别跟踪计数系统，能自动采集蜂箱重量、温湿度数据和照片或视频数 据，并对数据进行分析、处理和智能识别，提供蜜蜂活动规律、环境数据统计 分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决 策。
一方面，本发明提出智能蜂箱，包括：
蜂箱，其下部设置有出入通道；
摄像头，其设置在蜂箱上，且监控方向朝向出入通道，用于拍照或录像；
称重仪，其设置在蜂箱底部；
温湿度传感器，其设置在蜂箱内部；
终端，其设置在蜂箱外部，且与摄像头、称重仪和温湿度传感器分别通讯 连接，用于收集摄像头、称重仪和温湿度传感器所采集的数据并传输至微服务 器。
优选的，蜂箱包括：
底板，其设置在称重仪上；
箱体，其设置在底板上；
顶盖，其设置在箱体顶部；
支架，其设置在箱体上，用于安装摄像头。
优选的，终端包括可拆卸连接的壳体和盖体，盖体上设置有双止口，双止 口处设置有与壳体密封连接的O形密封圈。
优选的，摄像头涂刷防水密封胶。
优选的，温湿度传感器外部包覆环氧树脂并露出探头，探头外侧套设有保 护套，保护套为镂空结构。
优选的，终端包括树莓派与采集板，采集板与树莓派使用SPI方式进行通 信传输，将采集板获取的称重数据和传感器数据发给树莓派，树莓派与微服务 器使用以太网方式进行通信传输，将称重数据和传感器数据发给微服务器，同 时也将摄像头视频流以UVC协议方式推给微服务器；
微服务器将数据经过打包后上传远程服务器，对数据进行本地采集和异地 保存。
另一方面，本发明提出基于深度学习的蜜蜂识别跟踪计数系统，应用于上 述智能蜂箱，蜜蜂识别跟踪计数系统包括：
蜜蜂图像数据集构建：构建蜜蜂图像数据集合，用于蜜蜂检测和识别的模 型训练，包括利用智能蜂箱的采集终端模块通过摄像头采集的蜜蜂图像数据集， 及通过手工进行的蜜蜂标注。
蜜蜂检测与识别模型训练：将训练数据输入蜜蜂检测识别模型，通过模型 的自学习功能不断调整权重参数，直到模型损失降低到一定要求且趋于稳定， 获得用于蜜蜂检测与识别的蜜蜂检测与识别网络模型。
蜜蜂识别模型：搭建蜜蜂检测和识别的深度卷积神经网络。由于蜜蜂尺度 偏小，采用高层语义特征和低层的低级特征二次融合的方法充分提取蜜蜂的特 征。同时室外环境复杂多变，干扰因素较多，使用注意力模块提高蜜蜂特征的 提取效率。在目标分类和定位中，采用回归分析的方法自回归识别出蜜蜂及其 位置。
优选的，系统的损失函数包括两部分，一方面用于识别蜜蜂的定位损失， 以准确的找到蜜蜂的位置，另一方面用于对蜜蜂进行分类的类别损失，以正确 的对蜜蜂识别；Lconf表示置信度损耗，Lloc表示蜜蜂预测的定位损耗，由于 两者尺度有差异，采用调整系数α进行调整；
L＝Lconf+αLloc (1)
系统的最终输出结果为一个二维向量[n，m]，其中n表示搜索框的数量，m 表示每个搜索框的输出数量，其值为p+4，p为目标种类的个数(蜜蜂种类的个 数和背景)，每个数值分别表示对应类别的预测置信度，增加的4个数值cx、cy、 h和w分别表示实际目标框和搜索框的位置偏移和大小偏移；定位损失采用SL1 (即Smooth L1)损失函数，见公式(2)，x为预测值和真实值的差值；
Figure BDA0003671477600000041
对于每一个预测为正例(非背景)的预测框，计算其预测偏移和实际偏移 的差值作为该搜索框的定位损失，将所有正例的预测损失作为整体定位损失； 定位损失的计算见公式(3)；
Figure BDA0003671477600000051
其中，pos表示预测为正例的搜索框，
Figure BDA0003671477600000052
表示预测的实际目标和搜索框的 偏移信息，
Figure BDA0003671477600000053
表示实际的目标和搜索框的偏移信息；
置信度损失采用softmax损失函数，如公式(4)所示：
Figure BDA0003671477600000054
其中，
Figure BDA0003671477600000055
表示搜索框i对于种类j的置信度，q表示搜索框i待预测的目标 框的种类q。
蜜蜂跟踪模块：依据蜜蜂识别的结果，采用基于目标识别的跟踪方法关联 分析连续多帧的蜜蜂，实现对多只蜜蜂的同时跟踪并获取其移动轨迹。同时考 虑蜜蜂的位置和深度特征进行多帧中蜜蜂的关联，提高蜜蜂跟踪的可靠性和鲁 棒性。
蜜蜂进出统计模块：依据蜜蜂跟踪模块获得的多只蜜蜂移动轨迹，同时综 合考虑蜜蜂距离蜂巢口的距离因素，判断蜜蜂的进出行为，统计蜜蜂的出入数 量。
与现有技术相比，本发明具有如下有益的技术效果：
本发明保持了传统蜂箱的外形，采用了适合蜂箱安装的温湿度传感器、称 重仪和摄像头，能自动采集蜂箱重量、温湿度数据和照片或视频数据；自主设 计了终端和相应的数据采集接口，采集的数据经过终端传输到远端服务器，服 务器安装有自主设计的智能化软件处理系统，实现对数据的智能分析和处理， 提供蜜蜂活动规律、环境数据统计分析结果显示和超阈值数据报警，形成蜂蜜 产生全过程的数据分析、管理和决策。在基于蜜蜂活动规律分析模型的基础上， 更准确的为蜂蜜生产的效率提高提供有效手段，达到减轻生产人员的劳动强度， 提高蜂蜜产品产量、质量的目的。
附图说明
图1为智能蜂箱的结构示意图；
图2为图1的局部结构示意图；
图3为图2中A处的结构放大图；
图4为智能蜂箱系统网络拓扑结构示意图；
图5为终端算法及连接图；
图6和图7为终端算法原理图。
附图标记：1、摄像头；11、支架；2、称重仪；3、温湿度传感器；4、终 端；5、底板；6、箱体；601、出入通道；7、顶盖。
具体实施方式
实施例一
如图1-4所示，本发明提出的智能蜂箱，包括蜂箱、摄像头1、称重仪2、 温湿度传感器3和终端4。蜂箱下部设置有出入通道601；摄像头1设置在蜂箱 上，且监控方向朝向出入通道601，用于拍照或录像，摄像头1采集蜜蜂的活动 图像，用于后期分析图像识别，以及智能算法进行蜜蜂活动规律数据分析；称 重仪2设置在蜂箱底部，称重仪2实时采集蜂箱重量变化，数据用于后台系统 实时对蜂蜜产生量数据进行分析；温湿度传感器3设置在蜂箱内部，温湿度传 感器3采集蜂箱内温湿度实时数据，以备后台体统进行蜂箱环境数据分析；终端4设置在蜂箱外部，且与摄像头1、称重仪2和温湿度传感器3分别通讯连接， 用于收集摄像头1、称重仪2和温湿度传感器3所采集的数据并传输至微服务器， 即终端4用于蜂箱数据的收集处理以及数据输出，终端4还连接POE电源线。 终端4与摄像头1、称重仪2和温湿度传感器3连接时，通过连接线束端部的航 插接头进行连接，航插接头选用防水航插接头，蜂箱上设置有供连接线束穿过 的通孔，以与温湿度传感器3进行连接。
蜂箱包括底板5、箱体6、顶盖7和支架11。底板5设置在称重仪2上；箱 体6设置在底板5上；顶盖7设置在箱体6顶部；支架11设置在箱体6上，用 于安装摄像头1，摄像头1能稳定的对出入通道601处的蜜蜂进出情况进行监控。
终端4包括可拆卸连接的壳体和盖体，盖体上设置有双止口，双止口处设 置有与壳体密封连接的O形密封圈，起到防水、防尘、防污、防腐蚀和减震的 效果。
摄像头1涂刷防水密封胶，进一步防水。温湿度传感器3外部包覆环氧树 脂并露出探头，防水、防潮，探头外侧套设有保护套，保护套为镂空结构，在 保证温湿度传感器3对蜂箱内的温湿度环境进行监测的前提下增强对温湿度传 感器3的防护，防止温湿度传感器3的探头遭到侵蚀破坏，防止影响监测结果 的精确性。
终端4包括树莓派与采集板，采集板与树莓派使用SPI方式进行通信传输， 将采集板获取的称重数据和传感器数据发给树莓派，树莓派与微服务器使用以 太网方式进行通信传输，将称重数据和传感器数据发给微服务器，同时也将摄 像头1视频流以UVC协议方式推给微服务器；微服务器将数据经过打包后上传 远程服务器，对数据进行本地采集和异地保存。
终端4支持蜂箱内部的温度、湿度的定时监测功能；支持单个蜂箱内巢脾 的测重功能；支持获取蜜蜂出勤情况的统计功能；支持集群布署，单系统最高 支持500箱；支持隔离型PoE供电，符合IEEE802.3AF标准；支持视觉AI分析； 具体防尘、防水、防雨、防污功能；具有易布署、易搬动、高可靠性等特点。
本实施例中，对于某一个蜂箱的集群点，安置一台本地服务器，智能蜂箱 的终端4也都采用以太网方式联网，每20台终端4连接至一个交换机，交换机 继续上联交换机，最终形成一个本地局域网，同时，微服务器也与交换机连接 并入局域网，再将局域网通过路由器联入互联网。
实施例二
如图5、图6、图7所示，本发明提出的基于深度学习的蜜蜂识别跟踪计数 系统，应用于上述实施例一中的智能蜂箱，蜜蜂识别跟踪计数系统包括：
蜜蜂图像数据集构建：构建蜜蜂图像数据集合，用于蜜蜂检测和识别的模 型训练，包括利用智能蜂箱的采集终端模块通过摄像头采集的蜜蜂图像数据集， 及通过手工进行的蜜蜂标注；
蜜蜂检测与识别模型训练：将训练数据输入蜜蜂检测识别模型，通过模型 的自学习功能不断调整权重参数，直到模型损失降低到一定要求且趋于稳定， 获得用于蜜蜂检测与识别的蜜蜂检测与识别网络模型。
蜜蜂识别模型：搭建蜜蜂检测和识别的深度卷积神经网络。由于蜜蜂尺度偏 小，采用高层语义特征和低层的低级特征二次融合的方法充分提取蜜蜂的特征。 同时室外环境复杂多变，干扰因素较多，使用注意力模块提高蜜蜂特征的提取 效率。在目标分类和定位中，采用回归分析的方法自回归识别出蜜蜂和其位置。
蜜蜂跟踪模块：依据蜜蜂识别的结果，采用基于目标识别的跟踪方法关联 分析连续多帧的蜜蜂，实现对多只蜜蜂的同时跟踪并获取其移动轨迹。同时考 虑蜜蜂的位置和深度特征进行多帧中蜜蜂的关联，提高蜜蜂跟踪的可靠性和鲁 棒性。
蜜蜂进出统计模块：依据蜜蜂跟踪模块获得的多只蜜蜂移动轨迹，同时综 合考虑蜜蜂距离蜂巢口的距离因素，判断蜜蜂的进出行为，统计蜜蜂的出入数 量。
基于深度学习的蜜蜂识别系统采用智能算法，通过摄像头采集蜜蜂在出入 通道601处的进出数据并进行智能识别处理，对蜜蜜蜂体数量变化进行统计， 获得蜜蜂的变化规律。算法设计解决了传统的人工神经网络等图像识别方法中 无法满足网络模型深度需要，导致泛化性能不够，不能直接适用于蜜蜂进出活 动统计解析的弱点；本蜜蜂识别系统将主干网设计为残差网，残差模块将低层 特征直接连接到高层，减少梯度损耗，有助于提高网络层级深度，提取更高层 的抽象特征。此方法可以更准确地提供蜜蜂活动数据分析，为研究蜜蜂活动规 律与蜂蜜产生量的关系，提供有效的数据支持。
传统的自动检测方法多利用统计法或者定位法解决目标去重的问题，利用 传统方法解决目标去重问题的精度整体偏低，造成了极高的误检率。为了充分 提取蜜蜂的特征，采取多层特征融合的方式提高蜜蜂的特征表达能力，提高蜜 蜂检测的精度和召回率。低层特征更多关注于细节信息，缺乏高层的语义信息， 高层语义则相反。因此，本发明采取了对不同深度层的特征进行融合，首先将 高层特征通过上采样的方式逐层向下融合，丰富较低层特征层的语义信息，然 后自底向上通过下采样逐层融合较低层的特征，提高高层的细节特征表达能力。
系统的损失函数包括两部分，一方面用于识别蜜蜂的定位损失，以准确的 找到蜜蜂的位置，另一方面用于对蜜蜂进行分类的类别损失，以正确的对蜜蜂 识别；Lconf表示置信度损耗，Lloc表示蜜蜂预测的定位损耗，由于两者尺度 有差异，采用调整系数α进行调整；
L＝Lconf+αLloc (1)
系统的最终输出结果为一个二维向量[n，m]，其中n表示搜索框的数量，m 表示每个搜索框的输出数量，其值为p+4，p为目标种类的个数(蜜蜂种类的个 数和背景)，每个数值分别表示对应类别的预测置信度，增加的4个数值cx、cy、 h和w分别表示实际目标框和搜索框的位置偏移和大小偏移；定位损失采用SL1 (即Smooth L1)损失函数，见公式(2)，x为预测值和真实值的差值；
Figure BDA0003671477600000101
对于每一个预测为正例(非背景)的预测框，计算其预测偏移和实际偏移 的差值作为该搜索框的定位损失，将所有正例的预测损失作为整体定位损失； 定位损失的计算见公式(3)；
Figure BDA0003671477600000102
其中，pos表示预测为正例的搜索框，
Figure BDA0003671477600000103
表示预测的实际目标和搜索框的 偏移信息，
Figure BDA0003671477600000104
表示实际的目标和搜索框的偏移信息；
置信度损失采用softmax损失函数，如公式(4)所示：
Figure BDA0003671477600000105
其中，
Figure BDA0003671477600000106
表示搜索框i对于种类j的置信度，q表示搜索框i待预测的目标 框的种类q。
蜜蜂识别系统通过自动记录调查蜜蜂进出、蜜蜂位置记录，统计蜜蜂的出 入活动数量，更全面的获取蜜蜂活动数据。
本发明从智能技术的算法做起，从蜂箱设计、传输方式、后台管理系统以 及蜂蜜生产的整体出发，除了具有现有智能蜂箱的多传感器、摄像头等主要的 采集系统特征外，重心放在智能技术的核心-图像识别算法，其智能算法有别于 传统的人工神经网络算法，体现智能技术的优势。与现有智能蜂箱相比，具有 明显的特点和优势，运算结果更加准确有效。
本发明保持了传统蜂箱的外形，采用了适合蜂箱安装的温湿度传感器3、称 重仪2和摄像头1；自主设计了终端4和相应的数据采集接口，采集的数据经过 终端4传输到连接的交换机。在数据传输至远端服务器以后，由自主设计的智 能化软件处理系统。能自动采集蜂箱重量、温湿度数据和照片或视频数据，并 对数据进行分析、处理和智能识别、处理，提供蜜蜂活动规律、环境数据统计 分析结果显示和超阈值数据报警，形成蜂蜜产生全过程的数据分析、管理和决 策。在基于蜜蜂活动规律分析模型的基础上，更准确的为蜂蜜生产的效率提高 提供有效手段，达到减轻生产人员的劳动强度，提高蜂蜜产品产量、质量的目的。
本发明集蜂箱的温湿度环境数据、称重数据以及蜜蜂活动图像实时采集、 数据传输以及后台智能处理为一体，提供了蜂箱环境状况的实时检测数据、蜜 蜂活动状况识别处理、蜂蜜产生量变化数据，并可提供超阈值报警功能，是非 常实用、技术含量高的智能化养蜂工具。相关产品可应用于各种养殖蜂场和养 殖农户，用于露天和野外放置，蜂箱体及主要部件具有防尘、防雨和防污作用， 安装移动方便。
与现有多数类型的智能蜂箱相比，本发明提供了更加完备的集数据采集、 收集、传输为一体的蜂蜜生产解决方案，具有采集效率高、数据全面准确、智 能化水平高和实用性好的特点。为蜂蜜生产行业减少人力投入、蜂蜜生产管理 的自动化水平的提高、蜂蜜生产的高效率和蜂产品的高质量提供有效的技术手 段和工具。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此， 在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提 下还可以作出各种变化。

Claims (1)

1.基于深度学习的蜜蜂识别跟踪计数系统，应用于智能蜂箱，所述智能蜂箱包括蜂箱、摄像头(1)、称重仪(2)、温湿度传感器(3)和终端(4)，蜂箱下部设置有出入通道(601)；摄像头(1)设置在蜂箱上，且监控方向朝向出入通道(601)，用于拍照或录像；称重仪(2)设置在蜂箱底部；温湿度传感器(3)设置在蜂箱内部；终端(4)设置在蜂箱外部，且与摄像头(1)、称重仪(2)和温湿度传感器(3)分别通讯连接，用于收集摄像头(1)、称重仪(2)和温湿度传感器(3)所采集的数据并传输至微服务器，其特征在于，所述基于深度学习的蜜蜂识别跟踪计数系统包括：
蜜蜂图像数据集构建：构建蜜蜂图像数据集合，用于蜜蜂检测和识别的模型训练，包括利用智能蜂箱的终端(4)通过摄像头(1)采集的蜜蜂图像数据集，及通过手工进行的蜜蜂标注；
蜜蜂检测与识别模型训练：将训练数据输入蜜蜂检测识别模型，通过模型的自学习功能不断调整权重参数，直到模型损失降低到预定要求且趋于稳定，获得用于蜜蜂检测与识别的蜜蜂检测与识别网络模型；
蜜蜂识别模型：搭建蜜蜂检测和识别的深度卷积神经网络，由于蜜蜂尺度偏小，采用高层语义特征和低层的低级特征二次融合的方法充分提取蜜蜂的特征，同时室外环境复杂多变，干扰因素较多，使用注意力机制提高蜜蜂特征的提取效率，在目标分类和定位中，采用回归分析的方法自回归识别出蜜蜂和其位置；
系统的损失函数包括两部分，一方面用于识别蜜蜂的定位损失，以准确的找到蜜蜂的位置，另一方面用于对蜜蜂进行分类的类别损失，以正确的对蜜蜂识别；Lconf表示置信度损耗，Lloc表示蜜蜂预测的定位损耗，由于两者尺度有差异，采用调整系数α进行调整；
L＝Lconf+αLloc(Ⅰ)
系统的最终输出结果为一个二维向量[n，m]，其中n表示搜索框的数量，m表示每个搜索框的输出数量，其值为p+4，p为目标种类的个数，每个数值分别表示对应类别的预测置信度，增加的4个数值cx、cy、h和w分别表示实际目标框和搜索框的位置偏移和大小偏移；定位损失采用SL1损失函数，见公式(Ⅱ)，x为预测值和真实值的差值；
Figure FDA0003845136560000021
对于每一个预测为正例的预测框，计算其预测偏移和实际偏移的差值作为该搜索框的定位损失，将所有正例的预测损失作为整体定位损失；定位损失的计算见公式(Ⅲ)；
Figure FDA0003845136560000022
其中，pos表示预测为正例的搜索框，
Figure FDA0003845136560000023
表示预测的实际目标和搜索框的偏移信息，
Figure FDA0003845136560000024
表示实际的目标和搜索框的偏移信息；
置信度损失采用softmax损失函数，如公式(Ⅳ)所示：
Figure FDA0003845136560000025
其中，
Figure FDA0003845136560000026
表示搜索框i对于种类j的置信度，q表示搜索框i待预测的目标框的种类q；
蜜蜂跟踪模块：依据蜜蜂识别的结果，采用基于目标识别的跟踪方法关联分析连续多帧的蜜蜂，实现对多只蜜蜂的同时跟踪并获取其移动轨迹；
蜜蜂进出统计模块：依据蜜蜂跟踪模块获得的多只蜜蜂移动轨迹，综合考虑蜜蜂距离蜂巢口的距离因素，判断蜜蜂的进出行为，统计蜜蜂的出入数量。
CN202210606275.4A 2022-05-31 2022-05-31 智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统 Active CN114847196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210606275.4A CN114847196B (zh) 2022-05-31 2022-05-31 智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210606275.4A CN114847196B (zh) 2022-05-31 2022-05-31 智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统

Publications (2)

Publication Number Publication Date
CN114847196A CN114847196A (zh) 2022-08-05
CN114847196B true CN114847196B (zh) 2022-11-01

Family

ID=82641205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210606275.4A Active CN114847196B (zh) 2022-05-31 2022-05-31 智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统

Country Status (1)

Country Link
CN (1) CN114847196B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7368915B1 (ja) 2023-01-18 2023-10-25 ファームコネクト カンパニー リミテッド 学習による蜂の軌跡追跡及び分析装置及び方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117426333A (zh) * 2023-10-25 2024-01-23 中国农业科学院农业信息研究所 一种智能蜂箱

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575764A (zh) * 2013-07-30 2014-02-12 中国标准化研究院 一种基于支持向量机算法优化的蜂蜜检测方法
CN206933011U (zh) * 2017-06-23 2018-01-30 四川天府蜂谷科技有限公司 能实时监测数据的智能蜂箱
CN109120610A (zh) * 2018-08-03 2019-01-01 上海海事大学 一种融合改进智能蜂群算法和bp神经网络的入侵检测方法
CN109463314A (zh) * 2018-10-17 2019-03-15 华南农业大学 一种多维度传感的蜜蜂箱智能监控装置
CN110290181A (zh) * 2019-05-31 2019-09-27 中国热带农业科学院环境与植物保护研究所 蜂场数据采集系统及分析方法
CN211506555U (zh) * 2019-11-28 2020-09-15 云南本季生物技术有限公司 一种蜂箱蜂群出入计数检测系统
CN112544503A (zh) * 2020-11-26 2021-03-26 重庆邮电大学 一种智能蜂箱的监测预警系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10064395B2 (en) * 2015-09-18 2018-09-04 Mario Chapa Beehive monitoring system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575764A (zh) * 2013-07-30 2014-02-12 中国标准化研究院 一种基于支持向量机算法优化的蜂蜜检测方法
CN206933011U (zh) * 2017-06-23 2018-01-30 四川天府蜂谷科技有限公司 能实时监测数据的智能蜂箱
CN109120610A (zh) * 2018-08-03 2019-01-01 上海海事大学 一种融合改进智能蜂群算法和bp神经网络的入侵检测方法
CN109463314A (zh) * 2018-10-17 2019-03-15 华南农业大学 一种多维度传感的蜜蜂箱智能监控装置
CN110290181A (zh) * 2019-05-31 2019-09-27 中国热带农业科学院环境与植物保护研究所 蜂场数据采集系统及分析方法
CN211506555U (zh) * 2019-11-28 2020-09-15 云南本季生物技术有限公司 一种蜂箱蜂群出入计数检测系统
CN112544503A (zh) * 2020-11-26 2021-03-26 重庆邮电大学 一种智能蜂箱的监测预警系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Markerless tracking of an entire honey bee colony;Katarzyna Bozek 等;《NATURE COMMUNICATIONS》;20210319;第1-13页 *
基于SSD模型的巢门蜜蜂检测;吕纯阳 等;《中国农业科技导报》;20210531;第98-107页 *
基于深度学习的蜜蜂出入行为检测模型;王诗吟;《中国优秀硕士学位论文全文数据库农业科技辑》;20220215;D051-12 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7368915B1 (ja) 2023-01-18 2023-10-25 ファームコネクト カンパニー リミテッド 学習による蜂の軌跡追跡及び分析装置及び方法

Also Published As

Publication number Publication date
CN114847196A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114847196B (zh) 智能蜂箱及基于深度学习的蜜蜂识别跟踪计数系统
CN109145032B (zh) 一种蜜蜂养殖智能监测方法与系统
CN111626985A (zh) 基于图像融合的家禽体温检测方法及禽舍巡检系统
CN113223035B (zh) 笼养鸡智能巡检系统
CN111476091A (zh) 一种输电线路通道树障信息的处理方法及系统
CN110290181B (zh) 蜂场数据采集系统
CN112418737A (zh) 一种区域水环境管理平台
CN115220479B (zh) 动静协同的输电线路精细化巡检方法与系统
CN111257320A (zh) 一种智慧林业监测系统
CN114898405B (zh) 基于边缘计算的便携式肉鸡异常监测系统
CN116034904B (zh) 基于轨道式巡检机器人的猪只健康监测系统及方法
CN115372571A (zh) 一种水环境智能监测系统
CN112613438A (zh) 一种便携式柑橘在线测产仪
CN113409538A (zh) 一种智能远程监控预警管理系统
US20240016127A1 (en) System and method for monitoring, identifying and recording beehive status
CN116645232A (zh) 一种农业栽培智慧管理系统
CN116187740A (zh) 一种输电线路沿线山火监测方法及系统
CN111797831A (zh) 基于bim和人工智能的家禽进食并行异常检测方法
CN116229518B (zh) 一种基于机器学习的鸟类物种观测方法及系统
CN116189076A (zh) 一种鸟类观测站的观测识别系统及其方法
CN115265657A (zh) 一种深远海养殖网箱综合监测系统
CN211532340U (zh) 一种定位栏母猪的监测系统
CN114511801A (zh) 一种虫害识别模型训练方法、虫害监测方法和电子设备
CN112293332A (zh) 一种可视化智能生态养殖集装箱
CN117268261B (zh) 一种基于履带式巡检车的西瓜长势采集与分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant