CN116452967B - 基于机器视觉的鱼游动速度识别方法 - Google Patents
基于机器视觉的鱼游动速度识别方法 Download PDFInfo
- Publication number
- CN116452967B CN116452967B CN202310712312.4A CN202310712312A CN116452967B CN 116452967 B CN116452967 B CN 116452967B CN 202310712312 A CN202310712312 A CN 202310712312A CN 116452967 B CN116452967 B CN 116452967B
- Authority
- CN
- China
- Prior art keywords
- fish
- speed
- swimming
- fish body
- waterproof camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009182 swimming Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 20
- 241000251468 Actinopterygii Species 0.000 claims abstract description 160
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000009360 aquaculture Methods 0.000 abstract description 4
- 244000144974 aquaculture Species 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 16
- 238000005286 illumination Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000252229 Carassius auratus Species 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 229910002651 NO3 Inorganic materials 0.000 description 1
- NHNBFGGVMKEFGY-UHFFFAOYSA-N Nitrate Chemical compound [O-][N+]([O-])=O NHNBFGGVMKEFGY-UHFFFAOYSA-N 0.000 description 1
- IOVCWXUNBOPUCH-UHFFFAOYSA-M Nitrite anion Chemical compound [O-]N=O IOVCWXUNBOPUCH-UHFFFAOYSA-M 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 208000010824 fish disease Diseases 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机器视觉的鱼游动速度识别方法,属于水产养殖领域,包括以下步骤:S1、采集视频信息,基于采集的视频信息构建鱼体目标检测模型;S2、构建鱼体目标跟踪模型,基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄,得到鱼体图像;S3、基于所述鱼体图像计算鱼游动速度。本发明的优点是:通过两个垂直摆放的摄像头,采用目标检测技术和目标跟踪技术,检测鱼在三维空间中的游动距离及速度,对鱼无接触进行速度检测,效率高且检测精准,操作难度低,检测出的速度为养殖户提供发现鱼活动异常及环境异常提供判断条件,为养殖户科学养殖具有重要的意义。
Description
技术领域
本发明涉及一种基于机器视觉的鱼游动速度识别方法,属于水产养殖领域。
背景技术
近年来,针对鱼游动速度检测,国内外学者不断研究并取得了一定成果。
专利公告号:CN104381170B,发明名称:一种鱼类突进游泳速度测试方法,通过鱼类游泳测试装置对鱼类突进游泳速度进行测试,游泳测试装置包括:外水箱,环道,试验段,螺旋桨,变频电机等,统计测试数据。该方法需将鱼捕捞上来进行实验,对鱼的伤害较大;
专利公告号为CN213603835U,发明名称为:一种鱼类偏好游泳速度测定装置” ,其提及了水槽内设置有两个对称分布的倾斜板,这两个倾斜板的两端之间均连接有格栅,所述的倾斜板和格栅共同形成横断面呈梯形的测速水道,与所述测速水道相配有同样呈梯形的顶部透明盖体,在透明盖体上设置有多条相互平行的区域界线,在水槽内还设置有位于测速水道较小一端的水泵,同时在测速水道内还设置有顶部敞开的内拦网,在所述测速水道的上方设置有摄像头。该方式工作效率较低,在一定程度上造成了能源的浪费,并且需要占据较大的空间。
专利公开号为CN106355589A,发明名称为:一种工厂化循环水养殖鱼类游动速度估算系统及方法,通过水池上方的近红外相机、近红外光源和处理设备,近红外光源,用于在处理设备的控制下为近红外相机补光;红外相机,用于在处理设备的控制下采集鱼体的近红外图像;处理设备根据两幅近红外图像中同一鱼体的位置计算欧氏距离以及所述鱼体游动的相对速度,该方法中的距离检测只能检测出鱼游动的水平距离,鱼游动的垂直距离无法检测,所以速度检测的不够精确。
现有的鱼游动速度检测,一部分是通过各种物理装置检测,此类方法操作难度大,效率低。一部分通过单一摄像头进行检测,只能检测到鱼在水平方向的游动距离及速度,因此检测结果不准确,
发明内容
为克服现有技术的缺陷,本发明提供一种基于机器视觉的鱼游动速度识别方法,本发明的技术方案是:
一种基于机器视觉的鱼游动速度识别方法,包括以下步骤:
S1、采集视频信息,基于采集的视频信息构建鱼体目标检测模型;
S2、构建鱼体目标跟踪模型,基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄,得到鱼体图像;
S3、基于所述鱼体图像计算鱼游动速度;
所述的步骤S1包括:
S1-1、构建鱼体目标检测图像数据集,具体为:采集鱼体上方和侧方的图像,并对鱼体上方和侧方图像进行数据标注,得到标注后图像数据;对标注后图像数据按照预设比例划分为训练集、验证集和测试集,得到鱼体目标检测图像数据集;
S1-2、基于鱼体目标检测数据集进行鱼体目标检测模型训练,具体为:对鱼体目标检测图像数据集进行预处理,得到预处理后图像;将预处理后图像输入至YOLOv7网络,对YOLOv7网络进行训练,得到鱼体目标检测模型。
所述的步骤S3具体为:
S3-1、获得鱼的游动距离,具体为:
通过目标检测模型和目标跟踪模型对鱼体进行跟踪,获得两帧图像中的鱼中心点的坐标,利用第一防水摄像头获取鱼体俯视图,利用第二防水摄像头获取鱼体正视图,其中,包括第一防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像,以及第二防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像,通过第一防水摄像头和第二防水摄像头的相互垂直摆放,获得一个三维立体空间;
计算得出第一时刻的鱼中心坐标和第二时刻的鱼中心坐标;第一时刻的鱼中心坐标由第一防水摄像头的第一帧图像和第二防水摄像头的第一帧图像得出,第二时刻的鱼中心坐标由第一防水摄像头的第二帧图像和第二防水摄像头的第二帧图像得出;第一帧图像中鱼在第一防水摄像头中的中心点坐标为(x1,y1),鱼在第二防水摄像头中的中心点坐标为(x1,z1),所以鱼在三维空间中的位置为(x1,y1,z1),第二帧图像中鱼在第一防水摄像头中的中心点坐标为(x2,y2),鱼在第二防水摄像头中的中心点坐标为(x2,z2),所以鱼在三维空间中的位置为(x2,y2,z2),通过以下公式求出鱼在两帧图像之间的游动距离s,;
S3-2、获得第一帧图像和第二帧图像之间的时间差:
第一防水摄像头的第一帧图像、第二帧图像的处理时间与第二防水摄像头的第一帧图像和第二帧图像的处理时间相同,当接收第一帧图像时,进行鱼体目标检测处理,检测结束后获取处理时间t1,接收第二帧图像时,继续进行鱼体目标检测处理,检测结束后获取处理时间t2,处理第一帧图像和第二帧图像之间的时间差,即为游动时间,游动速度即为游动距离/游动时间;
S3-3、实验确定速度基准:获取十条正常的鱼在正常环境状态下的游动速度v0,设置为基准速度;
S3-4、检测鱼游动速度判定识别结果:将每两帧图像检测出的速度以及两帧图像中的第二帧的处理时间保存,检测每两帧图像之间的游动距离和时间差,求出游动速度,将游动速度和两帧图像中的第二帧的处理时间保存,然后过滤异常速度,最后输出鱼在预设时间之内的游动速度;
在所述的步骤S3-4中,过滤异常速度的具体步骤为:
当速度v和速度基准差距在四倍以上时,标记为异常速度,当/>在相邻20组数据中占比小于10%时,删除该速度;
输出鱼在预设时间段内的游动速度,包括5秒钟,10秒钟,30秒钟,1分钟,10分钟,30分钟,1小时内的平均速度,假设获取t0时间内的游动速度,获取当前时间tx,则tx-t0时刻的速度为v1,依次将这段tx-t0时刻到tx时刻的速度加起来求出平均速度:
,其中,tx-t0时刻到tx时刻共有n个速度,vn表示最后一个速度。
本发明的优点是:通过两个垂直摆放的摄像头,采用目标检测技术和目标跟踪技术,检测鱼在三维空间中的游动距离及速度,对鱼无接触进行速度检测,效率高且检测精准,操作难度低,检测出的速度为养殖户提供发现鱼活动异常及环境异常提供判断条件,为养殖户科学养殖具有重要的意义。
附图说明
图1是本发明的流程示意图。
图2是本发明的第一防水摄像头获取鱼体的示意图(俯视图)。
图3是本发明的第二防水摄像头获取的鱼体示意图(侧视图)。
具体实施方式
下面结合具体实施例来进一步描述本发明,本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的,并不对本发明的范围构成任何限制。本领域技术人员应该理解的是,在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换,但这些修改和替换均落入本发明的保护范围内。
参见图1至图3,本发明涉及一种基于机器视觉的鱼游动速度识别方法,包括以下步骤:
S1、采集视频信息,基于采集的视频信息构建鱼体目标检测模型;
S2、构建鱼体目标跟踪模型,基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄,得到鱼体图像;在本实施例中,鱼体目标跟踪模型构建是基于StrongSort构建的,以下是基于StrongSort构建鱼体目标跟踪模型的具体步骤:
数据收集:收集包含鱼类的视频数据,并手动标注每条鱼的位置和大小。
数据预处理:将标注数据转换成目标框格式,并进行数据增强,如随机裁剪、缩放和翻转等操作,以扩充数据集并提高模型的鲁棒性。
模型选择:选择合适的基于深度学习的目标检测模型作为基础模型,本实施例中使用的是YOLOv7。在此基础上,使用StrongSort算法对检测到的目标进行多目标跟踪。
模型训练:使用预处理后的数据集训练目标检测模型,并使用StrongSort算法对检测到的目标进行跟踪。在训练过程中,可以使用交叉验证等技术来评估模型的性能并进行调优。
模型测试:使用测试数据集对训练好的模型进行测试,评估其目标检测和跟踪性能。可以使用常见的指标,如准确率、召回率、平均精度等来评估模型的性能。
模型部署:将训练好的模型部署到实际应用中,并对其性能进行监控和优化。
通过以上步骤,基于StrongSort的鱼体目标跟踪模型可以较为准确地识别和跟踪鱼类。
通过简单地在DeepSORT中装备各方面的先进组件,产生了StrongSORT,它可以在流行基准MOT17和MOT20上实现新的SOTA。StrongSORT中提出了两种轻量级、即插即用、模型无关、外观无关的算法来优化跟踪结果,首先,为了更好地利用全局信息,有几种方法提出使用全局链接模型将短轨迹与轨迹相关联,它们通常生成精确但不完整的轨迹,并将它们与全局信息相关联,尽管这些方法显著提高了跟踪性能,但它们都依赖于计算密集型模型,特别是外观特征,相比之下,提出了一种无外观链接模型(AFLink),该模型仅利用时空信息来预测两个输入的tracklet是否属于同一个ID。其次,线性插值被广泛用于补偿漏检,然而,它忽略了运动信息,这限制了插值位置的准确性,为了解决这一问题,提出了高斯平滑插值算法(GSI),该算法使用高斯过程回归算法来增强插值。
S3、基于所述鱼体图像计算鱼游动速度;
所述的步骤S1包括:
S1-1、构建鱼体目标检测图像数据集,具体为:采集鱼体上方和侧方的图像,并对鱼体上方和侧方图像进行数据标注,得到标注后图像数据;对标注后图像数据按照预设比例划分为训练集、验证集和测试集,得到鱼体目标检测图像数据集;
在本实施例中,将通过YOLOv7网络构建鱼体目标检测模型,利用边缘设备获取收集的上方与侧方鱼体图像,通过labelimg软件进行鱼体目标检测人工数据标注,根据名称从数据集原有的标注文件中匹配出每幅图像的标注信息,转换成YOLO标注格式文件,最后对所有图像数据按照80%、10%、10%的比例划分训练集、验证集、测试集,最终形成鱼体目标检测图像数据集。
鱼体目标检测模型的训练方法包括:对鱼体目标检测图像数据集进行预处理,得到预处理后图像;将预处理后图像输入至YOLOv7网络,对YOLOv7网络进行训练,得到鱼体目标检测模型。在本实施例中,如图2和图3所示,YOLOv7网络由三个部分组成:input,backbone和head,其中backbone用于提取特征,head用于预测。根据图2的架构图走一遍网络流程:先对输入的图片预处理,对齐成640*640大小的RGB图片,输入到backbone网络中,根据backbone网络中的三层输出,在head层通过backbone网络继续输出三层不同size大小的feature map(以下简称fm),经过RepVGG block和conv,对图像检测的三类任务(分类、前后背景分类、边框)预测,输出最后的结果。
S1-2、基于鱼体目标检测数据集进行鱼体目标检测模型训练,具体为:对鱼体目标检测图像数据集进行预处理,得到预处理后图像;将预处理后图像输入至YOLOv7网络,对YOLOv7网络进行训练,得到鱼体目标检测模型。
所述的步骤S3具体为:
S3-1、获得鱼的游动距离,具体为:
通过目标检测模型和目标跟踪模型对鱼体进行跟踪,获得两帧图像中的鱼中心点的坐标,利用第一防水摄像头获取鱼体俯视图,利用第二防水摄像头获取鱼体正视图,其中,包括第一防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像,以及第二防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像,通过第一防水摄像头和第二防水摄像头的相互垂直摆放,获得一个三维立体空间;其中,第一防水摄像头和第二防水摄像头帧率是固定的,比如25fps,表示一秒钟有25帧画面,所以两帧图像之间的时间间隔为1/25=0.04秒,但是由于每帧图像需要进行检测识别,所以两帧图像之间的间隔为0.04秒+处理时间;
计算得出第一时刻的鱼中心坐标和第二时刻的鱼中心坐标;第一时刻的鱼中心坐标由第一防水摄像头的第一帧图像和第二防水摄像头的第一帧图像得出,第二时刻的鱼中心坐标由第一防水摄像头的第二帧图像和第二防水摄像头的第二帧图像得出;第一帧图像中鱼在第一防水摄像头中的中心点坐标为(x1,y1),鱼在第二防水摄像头中的中心点坐标为(x1,z1),所以鱼在三维空间中的位置为(x1,y1,z1),第二帧图像中鱼在第一防水摄像头中的中心点坐标为(x2,y2),鱼在第二防水摄像头中的中心点坐标为(x2,z2),所以鱼在三维空间中的位置为(x2,y2,z2),通过以下公式求出鱼在两帧图像之间的游动距离s,;
S3-2、获得第一帧图像和第二帧图像之间的时间差:
第一防水摄像头的第一帧图像、第二帧图像的处理时间与第二防水摄像头的第一帧图像和第二帧图像的处理时间相同,当接收第一帧图像时,进行鱼体目标检测处理,检测结束后获取处理时间t1,接收第二帧图像时,继续进行鱼体目标检测处理,检测结束后获取处理时间t2,处理第一帧图像和第二帧图像之间的时间差,即为游动时间,游动速度即为游动距离/游动时间;
S3-3、实验确定速度基准:获取十条正常的鱼在正常环境状态下的游动速度v0,设置为基准速度;水族箱:使用200升的水族箱。
正常环境状态具体指:
水温:维持水温在18℃-28℃之间。在实验过程中,应使用温度计监测水温,并根据需要加热或降温。
水质:水质的影响因素较多,包括水中的溶氧量、氨氮、亚硝酸盐、硝酸盐、pH值等,这些参数都可能影响鱼的生长和游动。因此,使用过滤装置、水泵等设备维护水质达标;
光照:模拟鱼类自然生境的光照条件,提供足够的自然光进行照射。
饲料:应根据金鱼的饮食习惯提供适宜的饲料。
S3-4、检测鱼游动速度判定识别结果:将每两帧图像检测出的速度以及两帧图像中的第二帧的处理时间保存,检测每两帧图像之间的游动距离和时间差,求出游动速度,将游动速度和两帧图像中的第二帧的处理时间保存,然后过滤异常速度,最后输出鱼在预设时间之内的游动速度;
在所述的步骤S3-4中,过滤异常速度的具体步骤为:
当速度v和速度基准差距在四倍以上时,标记为异常速度,当/>在相邻20组数据中占比小于10%时,删除该速度。
输出鱼在预设时间段内的游动速度,包括5秒钟,10秒钟,30秒钟,1分钟,10分钟,30分钟,1小时内的平均速度,假设获取t0时间内的游动速度,获取当前时间tx,则tx-t0时刻的速度为v1,依次将这段tx-t0时刻到tx时刻的速度加起来求出平均速度:
;其中,tx-t0时刻到tx时刻共有n个速度,vn表示最后一个速度。
本发明将测出鱼在一段时间之内的游动速度,包括5秒钟,10秒钟,30秒钟,1分钟,10分钟,30分钟,1小时内的平均速度,通过对鱼游动速度的检测,可以及时发现鱼饥饿、鱼病等内部问题,水质恶化、水中缺氧、设备漏电等外部问题,使水产养殖更加科学化、规范化,促进水产养殖业的发展。
本发明可用其他水生动物替换鱼类,检测其他水生动物的速度。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种基于机器视觉的鱼游动速度识别方法,其特征在于,包括以下步骤:
S1、采集视频信息,基于采集的视频信息构建鱼体目标检测模型;
S2、构建鱼体目标跟踪模型,基于所述鱼体目标检测模型和所述鱼体目标跟踪模型对所述视频信息中的鱼体进行跟踪拍摄,得到鱼体图像;
S3、基于所述鱼体图像计算鱼游动速度;
所述的步骤S1包括:
S1-1、构建鱼体目标检测图像数据集,具体为:采集鱼体上方和侧方的图像,并对鱼体上方和侧方图像进行数据标注,得到标注后图像数据;对标注后图像数据按照预设比例划分为训练集、验证集和测试集,得到鱼体目标检测图像数据集;
S1-2、基于鱼体目标检测数据集进行鱼体目标检测模型训练,具体为:对鱼体目标检测图像数据集进行预处理,得到预处理后图像;将预处理后图像输入至YOLOv7网络,对YOLOv7网络进行训练,得到鱼体目标检测模型;
所述的步骤S3具体为:
S3-1、获得鱼的游动距离,具体为:
通过目标检测模型和目标跟踪模型对鱼体进行跟踪,获得两帧图像中的鱼中心点的坐标,利用第一防水摄像头获取鱼体俯视图,利用第二防水摄像头获取鱼体正视图,其中,包括第一防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像,以及第二防水摄像头所连续拍摄的相邻的第一帧图像和第二帧图像,通过第一防水摄像头和第二防水摄像头的相互垂直摆放,获得一个三维立体空间;
计算得出第一时刻的鱼中心坐标和第二时刻的鱼中心坐标;第一时刻的鱼中心坐标由第一防水摄像头的第一帧图像和第二防水摄像头的第一帧图像得出,第二时刻的鱼中心坐标由第一防水摄像头的第二帧图像和第二防水摄像头的第二帧图像得出;第一帧图像中鱼在第一防水摄像头中的中心点坐标为(x1,y1),鱼在第二防水摄像头中的中心点坐标为(x1,z1),所以鱼在三维空间中的位置为(x1,y1,z1),第二帧图像中鱼在第一防水摄像头中的中心点坐标为(x2,y2),鱼在第二防水摄像头中的中心点坐标为(x2,z2),所以鱼在三维空间中的位置为(x2,y2,z2),通过以下公式求出鱼在两帧图像之间的游动距离s,
S3-2、获得第一帧图像和第二帧图像之间的时间差:
第一防水摄像头的第一帧图像、第二帧图像的处理时间与第二防水摄像头的第一帧图像和第二帧图像的处理时间相同,当接收第一帧图像时,进行鱼体目标检测处理,检测结束后获取处理时间t1,接收第二帧图像时,继续进行鱼体目标检测处理,检测结束后获取处理时间t2,处理第一帧图像和第二帧图像之间的时间差,即为游动时间,游动速度即为游动距离/游动时间;
S3-3、实验确定速度基准:获取十条正常的鱼在正常环境状态下的游动速度v0,设置为基准速度;
S3-4、检测鱼游动速度判定识别结果:将每两帧图像检测出的速度以及两帧图像中的第二帧的处理时间保存,检测每两帧图像之间的游动距离和时间差,求出游动速度,将游动速度和两帧图像中的第二帧的处理时间保存,然后过滤异常速度,最后输出鱼在预设时间之内的游动速度。
2.根据权利要求1所述的基于机器视觉的鱼游动速度识别方法,其特征在于,在所述的步骤S3-4中,过滤异常速度的具体步骤为:
当速度v和速度基准差距在四倍以上时,标记为异常速度vm,当vm在相邻20组数据中占比小于10%时,删除该速度;
输出鱼在预设时间段内的游动速度,包括5秒钟,10秒钟,30秒钟,1分钟,10分钟,30分钟,1小时内的平均速度,假设获取t0时间内的游动速度,获取当前时间tx,则tx-t0时刻的速度为v1,依次将这段tx-t0时刻到tx时刻的速度加起来求出平均速度:其中,tx-t0时刻到tx时刻共有n个速度,vn表示最后一个速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310712312.4A CN116452967B (zh) | 2023-06-16 | 2023-06-16 | 基于机器视觉的鱼游动速度识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310712312.4A CN116452967B (zh) | 2023-06-16 | 2023-06-16 | 基于机器视觉的鱼游动速度识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116452967A CN116452967A (zh) | 2023-07-18 |
CN116452967B true CN116452967B (zh) | 2023-08-22 |
Family
ID=87128807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310712312.4A Active CN116452967B (zh) | 2023-06-16 | 2023-06-16 | 基于机器视觉的鱼游动速度识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116452967B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824458B (zh) * | 2023-08-28 | 2023-11-24 | 中国民用航空飞行学院 | 一种机场跑道防侵入方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315351A (zh) * | 2008-06-26 | 2008-12-03 | 江南大学 | 一种同时检测19种喹诺酮类药物的hplc-esi-ms/ms测定方法 |
WO2014125867A1 (ja) * | 2013-02-12 | 2014-08-21 | 株式会社椿本チエイン | 指示装置、コンピュータプログラム、移動体システム及び指示方法 |
CN104381170A (zh) * | 2014-11-13 | 2015-03-04 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种鱼类突进游泳速度测试方法 |
CN106355589A (zh) * | 2016-09-20 | 2017-01-25 | 北京农业信息技术研究中心 | 一种工厂化循环水养殖鱼类游动速度估算系统及方法 |
CN112802064A (zh) * | 2021-01-28 | 2021-05-14 | 江西省水利规划设计研究院有限公司 | 一种水利枢纽鱼道视觉识别系统 |
WO2021130893A1 (ja) * | 2019-12-25 | 2021-07-01 | 日本電気株式会社 | 移動速度推定装置、給餌判定装置、移動速度推定システム、給餌制御システム、移動速度推定方法、及び、移動速度推定プログラムが格納された記録媒体 |
CN213603835U (zh) * | 2020-10-09 | 2021-07-06 | 大连海洋大学 | 一种鱼类偏好游泳速度测定装置 |
CN113822233A (zh) * | 2021-11-22 | 2021-12-21 | 青岛杰瑞工控技术有限公司 | 一种深海养殖异常鱼类跟踪方法及系统 |
EP3954206A1 (en) * | 2020-08-12 | 2022-02-16 | Furuno Electric Company Limited | Fish size calculation with compensation of the tail beat |
CN114359689A (zh) * | 2021-12-08 | 2022-04-15 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种动态目标的检测与跟踪方法 |
CN115424292A (zh) * | 2022-07-29 | 2022-12-02 | 华南农业大学 | 基于改进YOLOX与DeepSORT的鱼群跟踪方法 |
WO2023284341A1 (zh) * | 2021-07-15 | 2023-01-19 | 北京小蝇科技有限责任公司 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
CN116030373A (zh) * | 2022-05-24 | 2023-04-28 | 国能大渡河枕头坝发电有限公司 | 鱼道智能监测系统 |
-
2023
- 2023-06-16 CN CN202310712312.4A patent/CN116452967B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315351A (zh) * | 2008-06-26 | 2008-12-03 | 江南大学 | 一种同时检测19种喹诺酮类药物的hplc-esi-ms/ms测定方法 |
WO2014125867A1 (ja) * | 2013-02-12 | 2014-08-21 | 株式会社椿本チエイン | 指示装置、コンピュータプログラム、移動体システム及び指示方法 |
CN104381170A (zh) * | 2014-11-13 | 2015-03-04 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种鱼类突进游泳速度测试方法 |
CN106355589A (zh) * | 2016-09-20 | 2017-01-25 | 北京农业信息技术研究中心 | 一种工厂化循环水养殖鱼类游动速度估算系统及方法 |
WO2021130893A1 (ja) * | 2019-12-25 | 2021-07-01 | 日本電気株式会社 | 移動速度推定装置、給餌判定装置、移動速度推定システム、給餌制御システム、移動速度推定方法、及び、移動速度推定プログラムが格納された記録媒体 |
EP3954206A1 (en) * | 2020-08-12 | 2022-02-16 | Furuno Electric Company Limited | Fish size calculation with compensation of the tail beat |
CN213603835U (zh) * | 2020-10-09 | 2021-07-06 | 大连海洋大学 | 一种鱼类偏好游泳速度测定装置 |
CN112802064A (zh) * | 2021-01-28 | 2021-05-14 | 江西省水利规划设计研究院有限公司 | 一种水利枢纽鱼道视觉识别系统 |
WO2023284341A1 (zh) * | 2021-07-15 | 2023-01-19 | 北京小蝇科技有限责任公司 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
CN113822233A (zh) * | 2021-11-22 | 2021-12-21 | 青岛杰瑞工控技术有限公司 | 一种深海养殖异常鱼类跟踪方法及系统 |
CN114359689A (zh) * | 2021-12-08 | 2022-04-15 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种动态目标的检测与跟踪方法 |
CN116030373A (zh) * | 2022-05-24 | 2023-04-28 | 国能大渡河枕头坝发电有限公司 | 鱼道智能监测系统 |
CN115424292A (zh) * | 2022-07-29 | 2022-12-02 | 华南农业大学 | 基于改进YOLOX与DeepSORT的鱼群跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116452967A (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Labao et al. | Cascaded deep network systems with linked ensemble components for underwater fish detection in the wild | |
Lines et al. | An automatic image-based system for estimating the mass of free-swimming fish | |
CA2949768C (en) | Non-invasive multimodal biometrical identification system of animals | |
CN116452967B (zh) | 基于机器视觉的鱼游动速度识别方法 | |
WO2019245722A1 (en) | Sea lice detection and classification in an aquaculture environment | |
CN102110294B (zh) | 病鱼的鱼体图像处理方法及系统 | |
JP7074185B2 (ja) | 特徴推定装置および特徴推定方法、プログラム | |
CN106097320B (zh) | 水下海参图像自动分割方法及装置 | |
CN112883915B (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
CN111666897A (zh) | 基于卷积神经网络的斑石鲷个体识别方法 | |
Lee et al. | Contour matching for fish species recognition and migration monitoring | |
CN115797844A (zh) | 一种基于神经网络的鱼体鱼病检测方法及系统 | |
CN114898405A (zh) | 基于边缘计算的便携式肉鸡异常监测系统 | |
CN116562467B (zh) | 一种海洋鱼类目标种类识别及分布预测方法及系统 | |
CN113160302A (zh) | 一种珊瑚群落分析方法及装置 | |
Yoshida et al. | Monitoring of cage-cultured sea cucumbers using an underwater time-lapse camera and deep learning-based image analysis | |
CN113179981B (zh) | 基于深度学习的公寓式螃蟹辅助养殖方法、系统和装置 | |
CN114140428A (zh) | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 | |
Petrellis | Fish morphological feature recognition based on deep learning techniques | |
Naval et al. | FishDrop: Estimation of reef fish population density and biomass using stereo cameras | |
CN114119662A (zh) | 鱼类检测视觉系统中的图像处理方法及其系统 | |
Charisis et al. | Detecting and locating mushroom clusters by a Mask R-CNN model in farm environment | |
TW202309823A (zh) | 人工智慧養殖魚群食慾判斷方法與系統 | |
Nygård et al. | Motion trajectory estimation of salmon using stereo vision | |
Lin et al. | A Real-Time Counting Method of Fish based on the Instance Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |