CN113569971B - 一种基于图像识别的渔获目标分类检测方法及系统 - Google Patents

一种基于图像识别的渔获目标分类检测方法及系统 Download PDF

Info

Publication number
CN113569971B
CN113569971B CN202110881604.1A CN202110881604A CN113569971B CN 113569971 B CN113569971 B CN 113569971B CN 202110881604 A CN202110881604 A CN 202110881604A CN 113569971 B CN113569971 B CN 113569971B
Authority
CN
China
Prior art keywords
identification
fish
subsystem
fishing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110881604.1A
Other languages
English (en)
Other versions
CN113569971A (zh
Inventor
王国庆
陈辉
郑国华
邵卫华
李克祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG SOS TECHNOLOGY CO LTD
Original Assignee
ZHEJIANG SOS TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG SOS TECHNOLOGY CO LTD filed Critical ZHEJIANG SOS TECHNOLOGY CO LTD
Priority to CN202110881604.1A priority Critical patent/CN113569971B/zh
Publication of CN113569971A publication Critical patent/CN113569971A/zh
Application granted granted Critical
Publication of CN113569971B publication Critical patent/CN113569971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
    • G01D11/30—Supports specially adapted for an instrument; Supports specially adapted for a set of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于图像识别的渔获目标分类检测方法及系统，包括系统构建、系统学习、鱼类识别和系统优化四个步骤。基于图像识别的渔获目标分类检测系统，包括基于大数据的识别服务器、智能通讯网关、监控终端及通讯网络，本发明可有效利用船舶现有系统对捕鱼作业获得的鱼类等水产进行种类识别管理，识别作业效率及精度高，可有效降低捕捞作业鱼类产品统计、分拣作业的劳动强度和难度；对鱼类产品识别作业自动化、智能化程度高，有效的提高了鱼类产品识别管理作业的工作效率及精度，并有效提高鱼类等水产品识别、认证管理精度及识别信息的全面性，此外可实现对捕鱼作业活动进行精确规划管理。

Description

一种基于图像识别的渔获目标分类检测方法及系统
技术领域
本发明涉及一种基于图像识别的渔获目标分类检测方法及系统，属于安全监控及大数据处理技术领域。
背景技术
通过船舶在渔场内进行捕鱼时进行渔业生产中的重要活动，但在实际工作中发现，船舶通过渔网进行捕鱼作业时，获得鱼类产品及相关水产品中的品种多样、且各类品种产品的经济价值也各不相同，从而导致在渔业生产中，需要对捕获的鱼类及相关水产品进行精确的识别并分拣筛选归类管理，为了满足这一工作需要，虽然当前开发了大量的鱼类识别管理系统，但当前的这类设备往往结构复杂，使用及维护难度高，且往往无法直接安装到船舶上随船运行，或需要对船舶结构进行大规模调整，以满足使用的需要，因此使用的灵活性和 便捷性均相对较差；另一方面当前的鱼类识别系统在运行时，识别能力相对较差，仅能满足特定鱼类识别的需要，且识别准确性、识别精度差，同时也无法根据实际工作需要自主进行对鱼类产品进行学习积累，系统运行维护难度大且成本高；此外传统的鱼类识别系统在运行时，往往仅能对鱼类品种进行简单识别，而无法及时全面获得鱼类产品的相关数据，同时也无法对船舶捕鱼活动进行精确的规划，从而导致船舶捕鱼作业精度差，成功率较低，捕鱼产量的稳定性差，从而造成当前捕鱼作业活动工作效率低下，缺乏有效且精确的管理调度能力。
发明内容
为了解决现有技术上的不足，本发明提供一种基于图像识别的渔获目标分类检测方法及系统，有效的提高了鱼类产品识别管理作业的工作效率及精度，并有效提高鱼类等水产品识别、认证管理精度及识别信息的全面性。
一种基于图像识别的渔获目标分类检测方法，包括如下步骤：
S1，系统构建，首先在船舶上设置包括有识别服务器和至少两个检测终端的渔业识别系统，并使识别服务器安装在船舶的控制室内，并分别与船舶的驱动电路、导航系统建立数据连接，然后将若干检测终端安装在船舶渔网收网及鱼类输送设备处，并使检测终端轴线与鱼类输送设备输送方向轴线相交并呈30°—90°夹角，最后在渔业识别系统录入视觉图像识别子系统及基于神经网络的深度学习子系统；
S2，系统学习，完成S1步骤后，向识别服务器中录入渔获活动中涉及的各鱼类及相关水生动物的图片数据，然后由视觉图像识别子系统对各鱼类及相关水生生物图片数据进行识别，并为识别的各鱼类及相关水生生物定义名称及辅助信息，然后由基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对录入的各鱼类及相关水生生物图片数据与名称及辅助信息间进行深度识别学习，得到鱼类目标识别初始逻辑；
S3,鱼类识别，完成S2步骤后即可进行捕鱼作业，在捕鱼作业时首先由基于神经网络的深度学习子系统于船舶运行导航系统建立数据连接，对船舶运行轨迹、捕鱼点位置进行追踪定位，然后由检测终端对在捕鱼点收网后获得的鱼类进行视频信息采集，并将采集的视频信号输送至识别服务器中，将获得鱼类视频信息首先经过视觉图像识别子系统预制处理后，将处理后的鱼类图像信息带入到鱼类目标识别初始逻辑中进行鱼类识别，然后根据鱼类识别结果，一方面对各类完成识别的鱼类及相关水生生物识别量进行统计，另一方面对未识别的鱼类及相关水生生物标记输出，进行人工识别，并在由人工进行定义名称及辅助信息后，再由基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对人工识别的鱼类及相关水生生物图像信息学习，并通过学习结果对鱼类目标识别初始逻辑进行更新，最后将完成自动识别和人工识别的鱼类及相关水生生物类别、识别数量信息进行汇总统计，即可完成渔获目标识别作业；
S4，系统优化，完成S3步骤后，由基于神经网络的深度学习子系统将各捕鱼点位置、鱼类捕捞作业时间及捕捞获得的鱼类及相关水生生物类别、识别数量进行汇总，得到鱼类捕捞作业位置的综合渔业资源信息，并将各捕鱼点的综合渔业资源信息与船舶行驶估计路径结合，即可得到鱼类捕获作业导航图。
进一步的，所述的S1步骤中，视觉图像识别子系统包括静态图像信息处理子系统和运动目标识别逻辑子系统，其中静态图像信息处理子系统包括连通域算法、二值化算法、空间后方交会的共线运算算法及控制点平差运算算法中的任意一种；所述运动目标识别逻辑子系统包括基于保持稀疏重构的半监督字典学习及高效分类算法、基于图嵌入学习与粒子群优化的运动跟踪模型算法、基于局部时空特征的行为理解算法中的任意一种及几种共用。
进一步的，所述的视觉图像识别子系统在运行时，首先由静态图像信息处理子系统对目标图像进行二值化处理，然后进行连通域算法处理，并在目标图像上均布若干识别定位控制点；接着由空间后方交会的共线运算算法及控制点平差运算算法对图像进行识别运算，获得目标图像的轮廓结构参数及基本位移运动变化状态参数；最后通过运动目标识别逻辑子系统对目标图像运动状态进行检测识别，即可完成目标图像识别。
进一步的，所述的S2步骤辅助信息包括鱼类水产的保存方法、市场销售价、产地坐标信息、生理活动周期信息中的任意一种或几种。
进一步的，所述的S2步骤中，录入的鱼类及相关水生动物的图片数据均包括该水产生物的六面视图图片数据。
进一步的，所述的S2步骤和S3步骤中，基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对录入的各鱼类及相关水生生物图片数据与名称及辅助信息间进行深度识别学习时，首先由与视觉图像识别子系统对100%完整目标图像数据学习，并在识别完成后由基于神经网络的深度学习子系统对学习结果及过程进行统计；然后以每次减少3%—10%的比例减少目标图像数据，再由视觉图像识别子系统对局部目标图像数据学习，直至目标图像数据识别信息量无法完成目标识别作业位置，同时由基于神经网络的深度学习子系统对学习结果及过程进行统计；最后由基于神经网络的深度学习子系统对学习结果及过程进行统计对各轮图像识别作业数据进行深度运算仿真学习，得到具备对目标图像全面识别的鱼类目标识别初始逻辑。
一种基于图像识别的渔获目标分类检测系统，包括基于大数据的识别服务器、智能通讯网关、监控终端及通讯网络，基于大数据的识别服务器通过通讯网络与一个智能通讯网关建立数据连接，并通过该智能通讯网关分别与船舶通讯系统、外部无线网络系统建立数据连接；另通过通讯网络与至少一个智能通讯网关建立数据连接，并通过该智能通讯网关与各监控终端建立数据连接，监控终端至少两个，且各监控终端间相互并联，并沿船舶鱼类输送方向均布。
进一步的，所述的监控终端包括承载底座、三维转台机构、倾角传感器、角度传感器、亮度传感器、摄像机、补光灯、远红外测温装置、三轴陀螺仪及驱动电路，其中所述承载底座为横断面呈矩形的腔体结构，所述驱动电路嵌于承载底座内并分别与三维转台机构、倾角传感器、角度传感器、亮度传感器、摄像机、补光灯、远红外测温装置及三轴陀螺仪电气连接，所述摄像机和远红外测温装置分别通过三维转台机构与承载底座上端面铰接，且摄像机和远红外测温装置光轴相交并呈10°—45°夹角，且摄像机和远红外测温装置光轴另与水平面呈0°—120°夹角，所述补光灯至少两个，环绕摄像机轴线均布并与摄像机外表面通过承载架连接，且各补光灯光轴与摄像机光轴平行分布，所述倾角传感器、亮度传感器与摄像机前端面连接，并环绕摄像机轴线均布，所述三维转台机构上另设一个角度传感器， 所述三轴陀螺仪嵌于承载架内并位于摄像机、补光灯联合体的重心位置处。
本发明检测系统包括基于大数据的识别服务器、智能通讯网关、监控终端及通讯网络，基于大数据的识别服务器通过通讯网络与一个智能通讯网关建立数据连接，并通过该智能通讯网关分别与船舶通讯系统、外部无线网络系统建立数据连接；另通过通讯网络与至少一个智能通讯网关建立数据连接，并通过该智能通讯网关与各监控终端建立数据连接，监控终端至少两个，且各监控终端间相互并联，并沿船舶鱼类输送方向均布。本发明系统构成简单，可有效利用船舶现有系统现有的对捕鱼作业获得的鱼类等水产进行种类识别管理，识别作业效率及精度高，可有效降低捕捞作业鱼类产品统计、分拣作业的劳动强度和难度；对鱼类产品识别作业自动化、智能化程度高，有效的提高了鱼类产品识别管理作业的工作效率及精度，并有效提高鱼类等水产品识别、认证管理精度及识别信息的全面性，此外另可实现对捕鱼作业活动进行精确规划管理，提高捕鱼作业的工作效率和精度。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明方法流图；
图2为基于图像识别的渔获目标分类检测系统结构示意图；
图3为监控终端结构示意图。
图中各标号：1、基于大数据的识别服务器；2、智能通讯网关；3、监控终端；4、通讯网络；5、船舶通讯系统；6、外部无线网络系统；30、驱动电路；31、承载底座；32、三维转台机构；33、倾角传感器；34、角度传感器；35、亮度传感器；36、摄像机；37、补光灯；38、远红外测温装置；39、三轴陀螺仪；301、承载架。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于施工，下面结合具体实施方式，进一步阐述本发明。
如图1所述的，一种基于图像识别的渔获目标分类检测方法，包括如下步骤：
S1，系统构建，首先在船舶上设置包括有识别服务器和至少两个检测终端的渔业识别系统，并使识别服务器安装在船舶的控制室内，并分别与船舶的驱动电路、导航系统建立数据连接，然后将若干检测终端安装在船舶渔网收网及鱼类输送设备处，并使检测终端轴线与鱼类输送设备输送方向轴线相交并呈30°—90°夹角，最后在渔业识别系统录入视觉图像识别子系统及基于神经网络的深度学习子系统；
S2，系统学习，完成S1步骤后，向识别服务器中录入渔获活动中涉及的各类鱼类及相关水生动物的图片数据，然后由视觉图像识别子系统对各类鱼类及相关水生生物图片数据进行识别，并为识别的各类鱼类及相关水生生物定义名称及辅助信息，然后由基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对录入的各鱼类及相关水生生物图片数据与名称及辅助信息间进行深度识别学习，得到鱼类目标识别初始逻辑；
S3,鱼类识别，完成S2步骤后即可进行捕鱼作业，在捕鱼作业时首先由基于神经网络的深度学习子系统于船舶运行导航系统建立数据连接，对船舶运行轨迹、捕鱼点位置进行追踪定位，然后由检测终端对在捕鱼点收网后获得的鱼类进行视频信息采集，并将采集的视频信号输送至识别服务器中，将获得鱼类视频信息首先经过视觉图像识别子系统预制处理后，将处理后的鱼类图像信息带入到鱼类目标识别初始逻辑中进行鱼类识别，然后根据鱼类识别结果，一方面对各类完成识别的鱼类及相关水生生物识别量进行统计，另一方面对未识别的鱼类及相关水生生物标记输出，进行人工识别，并在由人工进行定义名称及辅助信息后，再由基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对人工识别的鱼类及相关水生生物图像信息学习，并通过学习结果对鱼类目标识别初始逻辑进行更新，最后将完成自动识别和人工识别的鱼类及相关水生生物类别、识别数量信息进行汇总统计，即可完成渔获目标识别作业；
S4，系统优化，完成S3步骤后，由基于神经网络的深度学习子系统将各捕鱼点位置、鱼类捕捞作业时间及捕捞获得的鱼类及相关水生生物类别、识别数量进行汇总，得到鱼类捕捞作业位置的综合渔业资源信息，并将各捕鱼点的综合渔业资源信息与船舶行驶估计路径结合，即可得到鱼类捕获作业导航图。
本实施例中，所述的S1步骤中，视觉图像识别子系统包括静态图像信息处理子系统和运动目标识别逻辑子系统，其中静态图像信息处理子系统包括连通域算法、二值化算法、空间后方交会的共线运算算法及控制点平差运算算法中的任意一种；所述运动目标识别逻辑子系统包括基于保持稀疏重构的半监督字典学习及高效分类算法、基于图嵌入学习与粒子群优化的运动跟踪模型算法、基于局部时空特征的行为理解算法中的任意一种及几种共用。
其中，所述的视觉图像识别子系统在运行时，首先由静态图像信息处理子系统对目标图像进行二值化处理，然后进行连通域算法处理，并在目标图像上均布若干识别定位控制点；接着由空间后方交会的共线运算算法及控制点平差运算算法对图像进行识别运算，获得目标图像的轮廓结构参数及基本位移运动变化状态参数；最后通过运动目标识别逻辑子系统对目标图像运动状态进行检测识别，即可完成目标图像识别。
进一步优化的，所述的S2步骤辅助信息包括鱼类水产的保存方法、市场销售价、产地坐标信息、生理活动周期信息中的任意一种或几种。
本实施例中，所述的S2步骤中，录入的鱼类及相关水生动物的图片数据均包括该水产生物的六面视图图片数据。
重点说明的，所述的S2步骤和S3步骤中，基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对录入的各鱼类及相关水生生物图片数据与名称及辅助信息间进行深度识别学习时，首先由与视觉图像识别子系统对100%完整目标图像数据学习，并在识别完成后由基于神经网络的深度学习子系统对学习结果及过程进行统计；然后以每次减少3%—10%的比例减少目标图像数据，再由视觉图像识别子系统对局部目标图像数据学习，直至目标图像数据识别信息量无法完成目标识别作业位置，同时由基于神经网络的深度学习子系统对学习结果及过程进行统计；最后由基于神经网络的深度学习子系统对学习结果及过程进行统计对各轮图像识别作业数据进行深度运算仿真学习，得到具备对目标图像全面识别的鱼类目标识别初始逻辑。
如图2和图3所示，一种基于图像识别的渔获目标分类检测系统，包括基于大数据的识别服务器1、智能通讯网关2、监控终端3及通讯网络4，基于大数据的识别服务器1通过通讯网络4与一个智能通讯网关2建立数据连接，并通过该智能通讯网关2分别与船舶通讯系统5、外部无线网络系统6建立数据连接；另通过通讯网络4与至少一个智能通讯网关2建立数据连接，并通过该智能通讯网关2与各监控终端3建立数据连接，监控终端3至少两个，且各监控终端3间相互并联，并沿船舶鱼类输送方向均布。
本实施例中，所述的监控终端3包括承载底座31、三维转台机构32、倾角传感器33、角度传感器34、亮度传感器35、摄像机36、补光灯37、远红外测温装置38、三轴陀螺仪39及驱动电路30，其中所述承载底座31为横断面呈矩形的腔体结构，所述驱动电路30嵌于承载底座31内并分别与三维转台机构32、倾角传感器33、角度传感器34、亮度传感器35、摄像机36、补光灯37、远红外测温装置38及三轴陀螺仪39电气连接，所述摄像机36和远红外测温装置38分别通过三维转台机构32与承载底座31上端面铰接，且摄像机36和远红外测温装置38光轴相交并呈10°—45°夹角，且摄像机36和远红外测温装置38光轴另与水平面呈0°—120°夹角，所述补光灯37至少两个，环绕摄像机36轴线均布并与摄像机36外表面通过承载架301连接，且各补光灯37光轴与摄像机36光轴平行分布，所述倾角传感器33、亮度传感器35与摄像机36前端面连接，并环绕摄像机36轴线均布，所述三维转台机构32上另设一个角度传感器34， 所述三轴陀螺仪39嵌于承载架301内并位于摄像机36、补光灯37联合体的重心位置处。
本发明检测系统包括基于大数据的识别服务器1、智能通讯网关2、监控终端3及通讯网络4，基于大数据的识别服务器1通过通讯网络4与一个智能通讯网关2建立数据连接，并通过该智能通讯网关2分别与船舶通讯系统5、外部无线网络系统6建立数据连接；另通过通讯网络4与至少一个智能通讯网关2建立数据连接，并通过该智能通讯网关2与各监控终端3建立数据连接，监控终端3至少两个，且各监控终端3间相互并联，并沿船舶鱼类输送方向均布。本发明系统构成简单，可有效利用船舶现有系统现有的对捕鱼作业获得的鱼类等水产进行种类识别管理，识别作业效率及精度高，可有效降低捕捞作业鱼类产品统计、分拣作业的劳动强度和难度；对鱼类产品识别作业自动化、智能化程度高，有效的提高了鱼类产品识别管理作业的工作效率及精度，并有效提高鱼类等水产品识别、认证管理精度及识别信息的全面性，此外另可实现对捕鱼作业活动进行精确规划管理，提高捕鱼作业的工作效率和精度。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于图像识别的渔获目标分类检测方法，其特征在于，包括如下步骤：
S1，系统构建，首先在船舶上设置包括有识别服务器和至少两个检测终端的渔业识别系统，并使识别服务器安装在船舶的控制室内，并分别与船舶的驱动电路、导航系统建立数据连接，然后将若干检测终端安装在船舶渔网收网及鱼类输送设备处，并使检测终端轴线与鱼类输送设备输送方向轴线相交并呈30°—90°夹角，最后在渔业识别系统录入视觉图像识别子系统及基于神经网络的深度学习子系统；
S2，系统学习，完成S1步骤后，向识别服务器中录入渔获活动中涉及的各鱼类及相关水生生物的图片数据，然后由视觉图像识别子系统对各鱼类及相关水生生物图片数据进行识别，并为识别的各鱼类及相关水生生物定义名称及辅助信息，然后由基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对录入的各鱼类及相关水生生物图片数据与名称及辅助信息间进行深度识别学习，得到鱼类目标识别初始逻辑；
S3,鱼类识别，完成S2步骤后即可进行捕鱼作业，在捕鱼作业时首先由基于神经网络的深度学习子系统与船舶运行导航系统建立数据连接，对船舶运行轨迹、捕鱼点位置进行追踪定位，然后由检测终端对在捕鱼点收网后获得的鱼类进行视频信息采集，并将采集的视频信息输送至识别服务器中，将获得鱼类视频信息首先经过视觉图像识别子系统预处理后，将处理后的鱼类图像信息带入到鱼类目标识别初始逻辑中进行鱼类识别，然后根据鱼类识别结果，一方面对各类完成识别的鱼类及相关水生生物识别量进行统计，另一方面对未识别的鱼类及相关水生生物标记输出，进行人工识别，并在由人工进行定义名称及辅助信息后，再由基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对人工识别的鱼类及相关水生生物图像信息学习，并通过学习结果对鱼类目标识别初始逻辑进行更新，最后将完成自动识别和人工识别的鱼类及相关水生生物类别、识别数量信息进行汇总统计，即可完成渔获目标识别作业；
S4，系统优化，完成S3步骤后，由基于神经网络的深度学习子系统将各捕鱼点位置、鱼类捕捞作业时间及捕捞获得的鱼类及相关水生生物类别、识别数量进行汇总，得到鱼类捕捞作业位置的综合渔业资源信息，并将各捕鱼点的综合渔业资源信息与船舶行驶估计路径结合，即可得到鱼类捕获作业导航图；
S1步骤中，所述的视觉图像识别子系统包括静态图像信息处理子系统和运动目标识别逻辑子系统，其中静态图像信息处理子系统包括连通域算法、二值化算法、空间后方交会的共线运算算法及控制点平差运算算法中的任意一种；所述运动目标识别逻辑子系统包括基于保持稀疏重构的半监督字典学习及高效分类算法、基于图嵌入学习与粒子群优化的运动跟踪模型算法、基于局部时空特征的行为理解算法中的任意一种及几种共用；
所述的视觉图像识别子系统在运行时，首先由静态图像信息处理子系统对目标图像进行二值化处理，然后进行连通域算法处理，并在目标图像上均布若干识别定位控制点；接着由空间后方交会的共线运算算法及控制点平差运算算法对图像进行识别运算，获得目标图像的轮廓结构参数及基本位移运动变化状态参数；最后通过运动目标识别逻辑子系统对目标图像运动状态进行检测识别，即可完成目标图像识别；
所述的S2步骤和S3步骤中，基于神经网络的深度学习子系统与视觉图像识别子系统配合同步对录入的各鱼类及相关水生生物图片数据与名称及辅助信息间进行深度识别学习时，首先由视觉图像识别子系统对100%完整目标图像数据学习，并在识别完成后由基于神经网络的深度学习子系统对学习结果及过程进行统计；然后以每次减少3%—10%的比例减少目标图像数据，再由视觉图像识别子系统对局部目标图像数据学习，直至目标图像数据识别信息量无法完成目标识别作业位置，同时由基于神经网络的深度学习子系统对学习结果及过程进行统计；最后由基于神经网络的深度学习子系统对学习结果及过程进行统计对各轮图像识别作业数据进行深度运算仿真学习，得到具备对目标图像全面识别的鱼类目标识别初始逻辑。
2.根据权利要求1所述的一种基于图像识别的渔获目标分类检测方法，其特征在于：所述的S2步骤辅助信息包括鱼类水产的保存方法、市场销售价、产地坐标信息、生理活动周期信息中的任意一种或几种。
3.根据权利要求1所述的一种基于图像识别的渔获目标分类检测方法，其特征在于：所述的S2步骤中，录入的鱼类及相关水生生物的图片数据均包括水生生物的六面视图图片数据。
4.一种基于权利要求1所述的基于图像识别的渔获目标分类检测方法的系统，其特征在于：所述系统包括基于大数据的识别服务器（1）、智能通讯网关（2）、监控终端（3）及通讯网络（4），所述基于大数据的识别服务器（1）通过通讯网络（4）与一个智能通讯网关（2）建立数据连接，并通过该智能通讯网关（2）分别与船舶通讯系统（5）、外部无线网络系统（6）建立数据连接；另通过通讯网络（4）与至少一个智能通讯网关（2）建立数据连接，并通过该智能通讯网关（2）与各监控终端（3）建立数据连接，所述监控终端（3）至少两个，且各监控终端（3）间相互并联，并沿船舶鱼类输送方向均布。
5.根据权利要求4所述的系统，其特征在于：所述的监控终端（3）包括承载底座（31）、三维转台机构（32）、倾角传感器（33）、角度传感器（34）、亮度传感器（35）、摄像机（36）、补光灯（37）、远红外测温装置（38）、三轴陀螺仪（39）及驱动电路（30），其中所述承载底座（31）为横断面呈矩形的腔体结构，所述驱动电路（30）嵌于承载底座（31）内并分别与三维转台机构（32）、倾角传感器（33）、角度传感器（34）、亮度传感器（35）、摄像机（36）、补光灯（37）、远红外测温装置（38）及三轴陀螺仪（39）电气连接，所述摄像机（36）和远红外测温装置（38）分别通过三维转台机构（32）与承载底座（31）上端面铰接，且摄像机（36）和远红外测温装置（38）光轴相交并呈10°—45°夹角，且摄像机（36）和远红外测温装置（38）光轴另与水平面呈0°—120°夹角，所述补光灯（37）至少两个，环绕摄像机（36）轴线均布并与摄像机（36）外表面通过承载架（301）连接，且各补光灯（37）光轴与摄像机（36）光轴平行分布，所述倾角传感器（33）、亮度传感器（35）与摄像机（36）前端面连接，并环绕摄像机（36）轴线均布，所述三维转台机构（32）上另设一个角度传感器（34）， 所述三轴陀螺仪（39）嵌于承载架（301）内并位于摄像机（36）、补光灯（37）联合体的重心位置处。
CN202110881604.1A 2021-08-02 2021-08-02 一种基于图像识别的渔获目标分类检测方法及系统 Active CN113569971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881604.1A CN113569971B (zh) 2021-08-02 2021-08-02 一种基于图像识别的渔获目标分类检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881604.1A CN113569971B (zh) 2021-08-02 2021-08-02 一种基于图像识别的渔获目标分类检测方法及系统

Publications (2)

Publication Number Publication Date
CN113569971A CN113569971A (zh) 2021-10-29
CN113569971B true CN113569971B (zh) 2022-03-25

Family

ID=78169976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881604.1A Active CN113569971B (zh) 2021-08-02 2021-08-02 一种基于图像识别的渔获目标分类检测方法及系统

Country Status (1)

Country Link
CN (1) CN113569971B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615422B (zh) * 2022-01-18 2023-07-11 深圳市恒天伟焱科技股份有限公司 猎物识别方法、装置、电子设备及存储介质
CN116821807B (zh) * 2023-08-30 2024-01-09 中国水产科学研究院南海水产研究所 一种基于机器视觉的渔获物识别与自动录取方法及系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107822622A (zh) * 2017-09-22 2018-03-23 成都比特律动科技有限责任公司 基于深度卷积神经网络的心电图诊断方法和系统
CN108520511A (zh) * 2018-03-19 2018-09-11 中国海洋大学 一种基于鱼探仪的水下鱼类目标探测与识别方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及系统
CN109332207A (zh) * 2018-11-16 2019-02-15 中国联合工程有限公司 一种自动化鱼类识别和分拣系统及其运行方法
CN109547466A (zh) * 2018-12-17 2019-03-29 北京车和家信息技术有限公司 基于机器学习提高风险感知能力的方法及装置、计算机设备和存储介质
CN109856138A (zh) * 2018-12-18 2019-06-07 杭州电子科技大学 基于深度学习的深海网箱鱼类健康识别系统和方法
CN109871958A (zh) * 2019-02-01 2019-06-11 东软医疗系统股份有限公司 训练模型的方法、装置及设备
CN110125025A (zh) * 2019-05-24 2019-08-16 山东考特网络科技有限公司 一种基于图像识别的鱼类自动分拣系统
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
DE102018215096A1 (de) * 2018-09-05 2020-03-05 Atlas Maridan Aps Autonomes Unterwasserfahrzeug zur Unterstützung der Fischerei
CN111067131A (zh) * 2019-12-25 2020-04-28 福建武夷烟叶有限公司 一种烟叶等级自动识别分拣方法
AU2018387736A1 (en) * 2017-12-20 2020-06-11 Intervet International B.V. Method and system for external fish parasite monitoring in aquaculture
CN111406693A (zh) * 2020-04-23 2020-07-14 上海海洋大学 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
CN111476289A (zh) * 2020-04-03 2020-07-31 江苏提米智能科技有限公司 一种基于特征库的鱼群识别方法、装置、设备及存储介质
CN111814881A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海洋鱼类图像识别方法
CN112418194A (zh) * 2021-01-22 2021-02-26 江苏云发智能科技有限公司 一种用于智慧社区的视频监控系统及其方法
CN112418087A (zh) * 2020-11-23 2021-02-26 中山大学 一种基于神经网络的水下视频鱼类识别方法
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN112906510A (zh) * 2021-02-02 2021-06-04 中国水利水电科学研究院 一种渔业资源统计方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263111B (zh) * 2020-01-17 2021-03-12 中国水产科学研究院东海水产研究所 一种基于监控视频的延绳钓捕捞信息提取系统
CN111897350A (zh) * 2020-07-28 2020-11-06 谈斯聪 一种水下机器人装置、水下调控管理最优化系统及方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107822622A (zh) * 2017-09-22 2018-03-23 成都比特律动科技有限责任公司 基于深度卷积神经网络的心电图诊断方法和系统
AU2018387736A1 (en) * 2017-12-20 2020-06-11 Intervet International B.V. Method and system for external fish parasite monitoring in aquaculture
CN108520511A (zh) * 2018-03-19 2018-09-11 中国海洋大学 一种基于鱼探仪的水下鱼类目标探测与识别方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及系统
DE102018215096A1 (de) * 2018-09-05 2020-03-05 Atlas Maridan Aps Autonomes Unterwasserfahrzeug zur Unterstützung der Fischerei
CN109332207A (zh) * 2018-11-16 2019-02-15 中国联合工程有限公司 一种自动化鱼类识别和分拣系统及其运行方法
CN109547466A (zh) * 2018-12-17 2019-03-29 北京车和家信息技术有限公司 基于机器学习提高风险感知能力的方法及装置、计算机设备和存储介质
CN109856138A (zh) * 2018-12-18 2019-06-07 杭州电子科技大学 基于深度学习的深海网箱鱼类健康识别系统和方法
CN109871958A (zh) * 2019-02-01 2019-06-11 东软医疗系统股份有限公司 训练模型的方法、装置及设备
CN110125025A (zh) * 2019-05-24 2019-08-16 山东考特网络科技有限公司 一种基于图像识别的鱼类自动分拣系统
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN111067131A (zh) * 2019-12-25 2020-04-28 福建武夷烟叶有限公司 一种烟叶等级自动识别分拣方法
CN111476289A (zh) * 2020-04-03 2020-07-31 江苏提米智能科技有限公司 一种基于特征库的鱼群识别方法、装置、设备及存储介质
CN111406693A (zh) * 2020-04-23 2020-07-14 上海海洋大学 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
CN111814881A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海洋鱼类图像识别方法
CN112418087A (zh) * 2020-11-23 2021-02-26 中山大学 一种基于神经网络的水下视频鱼类识别方法
CN112418194A (zh) * 2021-01-22 2021-02-26 江苏云发智能科技有限公司 一种用于智慧社区的视频监控系统及其方法
CN112906510A (zh) * 2021-02-02 2021-06-04 中国水利水电科学研究院 一种渔业资源统计方法及系统
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
An Image Classifier for Underwater Fish Detection using Classification Tree-Artificial Neural Network Hybrid;Vincent Jan D. Almero 等;《2020 RIVF International Conference on Computing and Communication Technologies (RIVF)》;20201231;1-6 *
Automatic Fish Classification System Using Deep Learning;Guang Chen 等;《2017 International Conference on Tools with Artificial Intelligence》;20171231;24-29 *
Multi-class fish stock statistics technology based on object classification and tracking algorithm;Tao Liu 等;《Ecological Informatics》;20210206;第63卷;1-10 *
基于深度学习的海底观测视频中鱼类的识别方法;张俊龙 等;《计算机应用》;20190210;第39卷(第2期);376-381 *
基于深度学习的鱼类识别与检测的算法研究;王文成 等;《信息技术与网络安全》;20201231;第39卷(第8期);57-61、66 *
基于迁移学习的复杂场景海洋鱼类识别方法;李均鹏 等;《计算机应用与软件》;20190930;第36卷(第9期);168-174 *

Also Published As

Publication number Publication date
CN113569971A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
Chen et al. An AIoT based smart agricultural system for pests detection
Fu et al. Kiwifruit detection in field images using Faster R-CNN with ZFNet
CN108990831B (zh) 一种牲畜健康监控方法和系统
CN113569971B (zh) 一种基于图像识别的渔获目标分类检测方法及系统
CN208188853U (zh) 一种奶牛面部识别装置
Montoya-Cavero et al. Vision systems for harvesting robots: Produce detection and localization
CN112990262B (zh) 一种草原生态数据监测与智能决策一体化解决系统
Li et al. Fast detection and location of longan fruits using UAV images
CN109543679A (zh) 一种基于深度卷积神经网络的死鱼识别方法及预警系统
CN113920474B (zh) 一种智能监管柑橘种植态势的物联网系统及方法
CN107516127A (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
CN109919930A (zh) 基于卷积神经网络yolo v3的树上果实数量的统计方法
CN114898238B (zh) 一种野生动物遥感识别方法及装置
CN111666897A (zh) 基于卷积神经网络的斑石鲷个体识别方法
CN104007733B (zh) 一种对农业集约化生产进行监控的系统及方法
CN112633064B (zh) 一种场景识别方法和电子设备
CN111797831A (zh) 基于bim和人工智能的家禽进食并行异常检测方法
CN108874910B (zh) 基于视觉的小目标识别系统
KR20230061612A (ko) 머신 러닝을 이용한 물체의 피킹 자동화 시스템 및 그 제어 방법
Zheng et al. Real-time vegetables recognition system based on deep learning network for agricultural robots
Hou et al. An Overview of the Application of Machine Vision in Recognition and Localization of Fruit and Vegetable Harvesting Robots
CN114898405A (zh) 基于边缘计算的便携式肉鸡异常监测系统
Zhang et al. Greenhouse tomato detection and pose classification algorithm based on improved YOLOv5
CN112650177A (zh) 一种虾养殖品远程在线监控管理系统及实现方法
CN109902647B (zh) 一种便携式在线鸟巢智能识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant