CN111428677B - 无人机自动监测海上网箱养殖鱼类水面环游状态的方法 - Google Patents

无人机自动监测海上网箱养殖鱼类水面环游状态的方法 Download PDF

Info

Publication number
CN111428677B
CN111428677B CN202010253746.9A CN202010253746A CN111428677B CN 111428677 B CN111428677 B CN 111428677B CN 202010253746 A CN202010253746 A CN 202010253746A CN 111428677 B CN111428677 B CN 111428677B
Authority
CN
China
Prior art keywords
net cage
water surface
image
offshore
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010253746.9A
Other languages
English (en)
Other versions
CN111428677A (zh
Inventor
孟娟
杜海
赵云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Ocean University
Original Assignee
Dalian Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Ocean University filed Critical Dalian Ocean University
Priority to CN202010253746.9A priority Critical patent/CN111428677B/zh
Publication of CN111428677A publication Critical patent/CN111428677A/zh
Application granted granted Critical
Publication of CN111428677B publication Critical patent/CN111428677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

本发明公开一种无人机自动监测海上网箱养殖鱼类水面环游状态的方法，将流体示踪测量中的PIV技术融入到鱼群运动分析中，将鱼类作为水面流动的示踪颗粒，同时在考虑无人机拍摄图像角度存在变化的基础上对所采集图像进行校正并通过不同时间、不同空间的图像帧近邻互相关联分析，获取网箱内的运动矢量场及其养殖鱼类水面环游规律程度，从而判断海上网箱养殖鱼类水面环游状态，进而确定鱼类养殖是否出现异常。本发明以视觉感知代替人工的视频分析，省时省力，大幅度地提高无人机海上养殖状态监测的效率。

Description

无人机自动监测海上网箱养殖鱼类水面环游状态的方法
技术领域
本发明属于海上网箱养殖监测领域，尤其是一种无人机自动监测海上网箱养殖鱼类水面环游状态的方法。
背景技术
目前，海上网箱养殖河鲀等鱼类较为普遍，需要在养殖过程中对养殖鱼类的水面环游状态进行监测，以便及时发现异常并进行相应的处理。现有的监测方法是由无人机根据GPS点位飞到指定目标区域并通过设置在机身上的摄像头采集多帧海上网箱养殖现场的俯视图像，之后依靠人工对无人机采集的图像（视频）分析以获得养殖鱼类水面环游状态，当养殖鱼类在水面是按规律环游时，则养殖正常，反之养殖鱼类在水面运动较为杂乱时，则养殖异常。人工分析费时费力，效率低。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种无人机自动监测海上网箱养殖鱼类水面环游状态的方法。
本发明的技术解决方案是：一种无人机自动监测海上网箱养殖鱼类水面环游状态的方法，依次按照如下步骤进行：
a. 按照设定的GPS点位路径在海上网箱养殖现场进行巡检飞行；
b. 以设置在机身上的摄像头采集多帧海上网箱养殖现场的俯视图像；
c. 将所采集的海上网箱养殖现场的俯视图像当前帧进行二值化处理；
d. 对二值图像进行反色处理后识别网箱内部区域，并将网箱内部区域作为ROI区域Img1；
e. 对网箱边框进行特征提取，确定至少４个不共线的特征点坐标；
f. 使用特征匹配法在所采集的前一帧图像中寻找与步骤e所得特征点相对应的位置，形成至少4个特征点对并计算特征点对之间的仿射变换参数，按照仿射变换参数将t时刻图像的ROI区域Img1映射到t-1时刻图像坐标平面上，得到ROI区域图像Img2；
g. 按PIV粒子图像测速算法对图像Img2和图像Img1进行互相关联匹配分析，得到ROI区域内的运动矢量场；
h. 以ROI区域内的运动矢量场每个矢量线j为中心矢量线， j=1，2，3…m，m为中心矢量线的数量，分别以每个中心矢量线位置为中心，以R为半径形成区域Wn，计算区域Wn内所有矢量线i的方向与中心矢量线方向之间的差值
Figure 100002_DEST_PATH_IMAGE001
，i=1,2,3…n，所述n为区域Wn内除中心矢量线外其他矢量线的数量，对差值/>
Figure 308817DEST_PATH_IMAGE001
取绝对值进行累加并求平均，得到该位置的差异均值/>
Figure 66557DEST_PATH_IMAGE002
，遍历所有中心矢量线计算/>
Figure 100002_DEST_PATH_IMAGE003
，得到/>，当V大于阈值T时，则海上网箱养殖鱼类水面环游状态存在异常，反之则海上网箱养殖鱼类水面环游状态正常。
本发明将流体示踪测量中的PIV（Particle Image Velocimetry）技术融入到鱼群运动分析中，将鱼类作为水面流动的示踪颗粒，同时在考虑无人机拍摄图像角度存在变化的基础上对所采集图像进行校正并通过不同时间、不同空间的图像帧近邻互相关联分析，获取网箱内的运动矢量场及其养殖鱼类水面环游规律程度，从而判断海上网箱养殖鱼类水面环游状态，进而确定鱼类养殖是否出现异常。本发明以视觉感知代替人工的视频分析，省时省力，大幅度地提高无人机海上养殖状态监测的效率。
具体实施方式
本发明的无人机自动监测海上网箱养殖鱼类水面环游状态的方法，依次按照如下步骤进行：
a. 按照预先设定的GPS点位路径在海上网箱养殖现场进行巡检飞行；
b. 以设置在机身上的摄像头采集多帧海上网箱养殖现场的俯视图像，并将图像通过无线网络传输到远程数据处理机中等待处理；
c. 采用OSTU法将所采集的海上网箱养殖现场的俯视图像当前帧进行自适应二值化处理；
d. 二值化处理后的图像中网箱边框为白色、水面为黑色，再对二值图像进行反色处理，按面积和形状特征识别网箱内部区域，并将网箱内部区域作为ROI区域Img1；
e. 对网箱边框进行特征提取，可采用Harris角点检测法获取方形养殖网箱的四个角点作为特征点，即确定至少４个不共线的特征点坐标；
f. 使用特征匹配法在所采集的前一帧图像中寻找与步骤e所得特征点相对应的位置，形成至少4个特征点对并计算特征点对之间的仿射变换参数，按照仿射变换参数将t时刻图像的ROI区域Img1映射到t-1时刻图像坐标平面上，得到ROI区域图像Img2；
g. 按PIV粒子图像测速算法对图像Img2和图像Img1进行互相关联匹配分析，得到ROI区域内的运动矢量场；
h. 以ROI区域内的运动矢量场每个矢量线j为中心矢量线，j=1，2，3…m，m为中心矢量线的数量，分别以每个中心矢量线位置为中心，以R为半径形成区域Wn，计算区域Wn内所有矢量线i的方向与中心矢量线方向之间的差值
Figure 98153DEST_PATH_IMAGE001
，i=1,2,3…n，所述n为区域Wn内除中心矢量线外其他矢量线的数量，对差值/>
Figure 803941DEST_PATH_IMAGE001
取绝对值进行累加并求平均，得到该位置的差异均值/>
Figure 201424DEST_PATH_IMAGE002
，遍历所有中心矢量线计算/>
Figure 258242DEST_PATH_IMAGE003
，得到/>
Figure 930532DEST_PATH_IMAGE004
，当V大于阈值T时，则海上网箱养殖鱼类水面环游状态存在异常，反之则海上网箱养殖鱼类水面环游状态正常。

Claims (1)

1.一种无人机自动监测海上网箱养殖鱼类水面环游状态的方法，其特征在于依次按照如下步骤进行：
a. 按照设定的GPS点位路径在海上网箱养殖现场进行巡检飞行；
b. 以设置在机身上的摄像头采集多帧海上网箱养殖现场的俯视图像；
c. 将所采集的海上网箱养殖现场的俯视图像当前帧进行二值化处理；
d. 对二值图像进行反色处理后识别网箱内部区域，并将网箱内部区域作为ROI区域Img1；
e. 对网箱边框进行特征提取，确定至少４个不共线的特征点坐标；
f. 使用特征匹配法在所采集的前一帧图像中寻找与步骤e所得特征点相对应的位置，形成至少4个特征点对并计算特征点对之间的仿射变换参数，按照仿射变换参数将t时刻图像的ROI区域Img1映射到t-1时刻图像坐标平面上，得到ROI区域图像Img2；
g. 按PIV粒子图像测速算法对图像Img2和图像Img1进行互相关联匹配分析，得到ROI区域内的运动矢量场；
h. 以ROI区域内的运动矢量场每个矢量线j为中心矢量线，j=1，2，3…m，m为中心矢量线的数量，分别以每个中心矢量线位置为中心，以R为半径形成区域Wn，计算区域Wn内所有矢量线i的方向与中心矢量线方向之间的差值
Figure DEST_PATH_IMAGE001
，i=1,2,3…n，所述n为区域Wn内除中心矢量线外其他矢量线的数量，对差值/>
Figure 779472DEST_PATH_IMAGE001
取绝对值进行累加并求平均，得到该位置的差异均值
Figure 824788DEST_PATH_IMAGE002
，遍历所有中心矢量线计算/>
Figure DEST_PATH_IMAGE003
，得到/>
Figure 610211DEST_PATH_IMAGE004
，当V大于阈值T时，则海上网箱养殖鱼类水面环游状态存在异常，反之则海上网箱养殖鱼类水面环游状态正常。
CN202010253746.9A 2020-04-02 2020-04-02 无人机自动监测海上网箱养殖鱼类水面环游状态的方法 Active CN111428677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010253746.9A CN111428677B (zh) 2020-04-02 2020-04-02 无人机自动监测海上网箱养殖鱼类水面环游状态的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010253746.9A CN111428677B (zh) 2020-04-02 2020-04-02 无人机自动监测海上网箱养殖鱼类水面环游状态的方法

Publications (2)

Publication Number Publication Date
CN111428677A CN111428677A (zh) 2020-07-17
CN111428677B true CN111428677B (zh) 2023-07-14

Family

ID=71557578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010253746.9A Active CN111428677B (zh) 2020-04-02 2020-04-02 无人机自动监测海上网箱养殖鱼类水面环游状态的方法

Country Status (1)

Country Link
CN (1) CN111428677B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456310A (zh) * 2022-07-13 2022-12-09 成都秦川物联网科技股份有限公司 一种基于物联网的智慧城市无人机数据传输方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065672A (ko) * 2012-11-20 2014-05-30 주식회사 글로비트 해상 가두리 시설 지능형 통합 관리 시스템
CN110288623A (zh) * 2019-06-18 2019-09-27 大连海洋大学 无人机海上网箱养殖巡检图像的数据压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065672A (ko) * 2012-11-20 2014-05-30 주식회사 글로비트 해상 가두리 시설 지능형 통합 관리 시스템
CN110288623A (zh) * 2019-06-18 2019-09-27 大连海洋大学 无人机海上网箱养殖巡检图像的数据压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多源特征融合的高分辨率遥感图像近海养殖区提取方法研究;程博;刘岳明;刘旭楠;王桂周;马肖肖;;遥感技术与应用(第02期);全文 *
基于视频图像的鱼类行为轨迹追踪;江丹丹;桂福坤;;浙江海洋学院学报(自然科学版)(第02期);全文 *

Also Published As

Publication number Publication date
CN111428677A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
Costa et al. Extracting fish size using dual underwater cameras
CN106778784B (zh) 基于机器视觉的猪个体识别与饮水行为分析方法
Valente et al. Detecting Rumex obtusifolius weed plants in grasslands from UAV RGB imagery using deep learning
CN107437069B (zh) 基于轮廓的猪只饮水行为识别方法
Xu et al. Recognition method for apple fruit based on SUSAN and PCNN
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN112528823B (zh) 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
CN111080696A (zh) 一种基于计算机视觉的水下海参识别及定位方法
CN105913425B (zh) 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法
Xu et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries
CN111428677B (zh) 无人机自动监测海上网箱养殖鱼类水面环游状态的方法
CN110288623A (zh) 无人机海上网箱养殖巡检图像的数据压缩方法
CN111833331A (zh) 基于人工智能及主动枪球联动的牲畜体温图像处理方法
Lüling et al. Using depth information and colour space variations for improving outdoor robustness for instance segmentation of cabbage
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
You et al. Optical flow-based branch segmentation for complex orchard environments
CN105844264A (zh) 一种基于受力的油用牡丹果实图像的识别方法
CN111985472A (zh) 基于人工智能和主动球机的食槽干草温度图像处理方法
Sravanthi et al. Efficient image-based object detection for floating weed collection with low cost unmanned floating vehicles
CN114943929A (zh) 基于图像融合技术的鱼类异常行为实时检测方法
CN111382674B (zh) 一种基于视觉显著性的攻击行为猪的识别方法
CN114677614A (zh) 基于计算机视觉的单次母猪哺乳时长计算方法
CA3194756A1 (en) Generating three-dimensional skeleton representations of aquatic animals using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant