CN108776937B - 一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统 - Google Patents
一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统 Download PDFInfo
- Publication number
- CN108776937B CN108776937B CN201810336565.5A CN201810336565A CN108776937B CN 108776937 B CN108776937 B CN 108776937B CN 201810336565 A CN201810336565 A CN 201810336565A CN 108776937 B CN108776937 B CN 108776937B
- Authority
- CN
- China
- Prior art keywords
- ship
- image
- target area
- alarm
- monitoring server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 238000010191 image analysis Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 33
- 241000251468 Actinopterygii Species 0.000 claims description 5
- 230000001154 acute effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012850 discrimination method Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 28
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统。利用无人船技术，首先设定违法捕捞的警报规则和设定目标区域；其次，通过图像特征点提取与双目测距技术将双目云台摄像机采集的目标区域图像中的船只行为检测出来；再次，船载监控服务器根据设定的违法捕捞的警报规则和定位系统，判断采集到的图像内的船只是否违法，并且通过无线收发端向岸基监控服务器发送警报信息和违法捕捞图像。本发明利用双目测距技术、特征点提取，自动判别目标区域内是否存在违法捕捞行为，继而发出相关警报信息与目标区域图像，为执法人员、执法部门提供客观的决策依据，从而解决渔政监管困难问题。
Description
技术领域：
本发明属于海洋渔业违法捕捞监管技术领域，涉及一种基于双目云台摄像机的船只违法捕捞的行为判别方法及系统。
背景技术：
最近这几年，由于各种原因，渔业的健康发展遭到了威胁，其中不可忽视的一个原因就是违法捕捞活动日益猖獗，违法捕捞手段日益现代化。不仅造成渔业资源结构失衡，破坏了水域生态环境，挑战我国渔业资源的可持续发展，而且严重阻碍了我国生态文明建设的进程。
传统渔政执法，将执法船巡逻与群众举报相结合。这种执法方式执法成本高、效率低且无法快速掌握水域动态。随着科技的发展，一些判别违法捕捞的方法被提出，中国专利公开了一种基于多功能雷达船只违法捕捞的行为判别方法[申请号：CN201710483906.7]，该方法提出了结合雷达探测技术，通过违法捕捞判别规则实现违法船只的自动识别。再如，基于无人机航拍及图像分析识别违禁渔具的方法及系统[CN201710187862.3]，利用无人机采集图像数据，并与数据库中图像进行对比，判断采集的图像数据中是否有违禁渔具。
上述两个方案采用现有技术，大大减少了人力成本同时提高了执法效率。但是目前为止，违法捕捞的监控方法仍需要投入过高的成本，而且无法解决雷达和航拍不能近距离采集图像的问题，不能够获取水面船只的实际情况为执法人员、监管部门提供直观的判断依据。因此，针对上述问题，急需一种能够为执法人员、监管部门提供及时、有效的违法捕捞的行为判别方法及系统。
发明内容：
本发明要解决的技术问题就是针对上述现有技术的不足，利用无人船技术，提供一种基于双目云台摄像机的船只违法捕捞行为判别方法，本方案的另一个目的是提供一种基于双目云台摄像机的船只违法捕捞行为判别系统。该方法及系统，通过搭载到无人船上的该系统，结合实际执法经验，利用双目测距技术、图像特征提取，自动判别目标区域是否存在违法捕捞行为，继而发出相关警报信息与目标区域图像，为执法人员、执法部门提供客观的决策依据，从而解决渔政监管困难问题。
为解决上述技术问题，本发明采用的方案是：
设计一种基于双目云台摄像机的船只违法捕捞行为判别系统，包含双目云台摄像机、定位系统、与双目云台摄像机连接的图像分析模块，与双目云台摄像机、图像分析模块、定位系统同时连接的船载监控服务器，与船载监控服务器连接的无线收发端，与无线收发端连接的岸基监控服务器。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，双目云台摄像机、图像分析模块、定位系统、船载监控服务器和无线收发端均搭载于无人船上，岸基监控服务器在陆地上。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，双目云台摄像机采集目标区域图像，同时将云台转动角度传输进船载监控服务器，将目标区域图像通过千兆以太网口传输给图像分析模块。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，定位系统向船载监控服务器提供无人船经纬度信息、航向信息。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，图像分析模块处理分析目标区域图像并通过USB向船载监控服务器传输图像分析处理结果。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，船载监控服务器接收图像分析模块的图像分析处理结果，同时接收定位系统的经纬度信息和航向信息，依据警报规则对相应的警报信息做出判断与反应。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，无线收发端通过海事卫星将船载监控服务器的警报信息和符合警报规则的一帧图像发送给岸基监控服务器。
在上述的基于双目云台摄像机的船只违法捕捞行为判别系统中，岸基监控服务器通过海事卫星接收无线收发端的警报信息和符合警报规则的一帧图像。
设计一种应用上述系统的双目云台摄像机的船只违法捕捞行为判别方法，包含如下步骤：
步骤1：设定违法捕捞的警报规则：违法捕捞的警报规则包括三种类型，分别为禁渔警报，禁入警报，限速警报。
每种警报规则设定方法如下：
--禁渔警报：实时检测目标区域内船只的外表，通过图像特征点提取检测船只外表是否出现渔网或海洋生物的特征，如有，则判断目标区域内相应船只违法。 --禁入警报：根据双目云台摄像机云台转动角度以及其计算出的无人船与目标区域内船只的距离，结合定位系统的经纬度信息，与目标区域经纬度对比，判断出船只是否进入禁入区域，如有，则此船只违法。
--限速警报：当目标区域内船只的当前航速低于监管区域设定的最低限速值或高于最高限速值，判断为违法船只。
步骤2：设定目标区域集合A:集合A有多个目标区域，每个目标区域均为规则矩形区域，且矩形区域的长宽方向与经纬线方向一致，每个目标区域均进行步骤1中的警报规则元素的设定，目标区域集合A由目标区域和目标区域警报规则元素构成。
步骤3：判断船只是否违法：判断船只是否违法的具体方法如下：
步骤31：获取步骤2设定的目标区域集合A；
步骤32：选取搭载该系统的船只所在的目标区域A(i)，船载监控服务器通过对接收的图像分析模块的图像分析处理结果、双目云台摄像机的云台转动角和定位系统的航向、经纬度信息处理，判断目标区域内船只是否符合目标区域A(i) 设定的警报规则,如有，保存符合警报规则的一帧图像，并且触发警报。
步骤4：触发警报：船载监控服务器通过无线收发端发出警报信息和符合警报规则的一帧图像到岸基监控服务器，完成警报。之后继续执行步骤3、4。
在上述的一种基于双目云台摄像机的船只违法捕捞行为判别方法中，步骤1 中禁渔警报的具体判别方法如下：
通过双目云台摄像机采集目标区域图像，将采集到的图像传输给图像分析模块做空间域锐化处理得到图像中物体的边缘信息，之后通过局部直方图均衡方法增强图像中的物体边缘信息，提取图像中船只物体轮廓并通过曲线拟合的方式进行总体轮廓的降维处理得到增强轮廓，最后用主成分分析法提取增强轮廓的特征点并通过纹理分析判断船只外表出现渔网以及鱼类生物特征判断该船只是否符合禁渔警报规则。
在上述的一种基于双目云台摄像机的船只违法捕捞行为判别方法中，步骤1 中禁入警报的具体判别方法如下：
通过双目云台摄像机采集目标区域图像，将采集到的图像传输给图像分析模块做空间域锐化处理，之后通过增强处理，提取图像中船只物体轮廓，船载监控服务器根据图像分析模块的图像分析处理结果计算出无人船与图像中船只的距离，再结合定位系统给出的经纬度和航向信息以及双目云台摄像机的云台转动角度，将搭载该系统的无人船与图像中船只之间的距离垂直投影到经纬线的方向上，判断采集到的图像内的船只在经纬线方向上的投影的经纬度是否超出目标区域的经纬度。也即通过下两式：
X＝D1*cos(θ-α)； (1)
Y＝D1*sin(θ-α)； (2)
式中：X表示为无人船与图像中的船只之间的距离D1在经线方向的投影长度，单位为米；Y表示为无人船与图像中的船只之间的距离D1在纬线方向的投影长度，单位为米；D1为无人船与图像中的船只之间的距离，单位为米；θ为云台相对于无人船中线面方向顺时针转动的角度，单位为弧度；α为无人船中线面方向相较于经线方向的锐角，单位为弧度。
在上述的一种基于双目云台摄像机的船只违法捕捞行为判别方法中，步骤1 中限速警报的具体判别方法如下：
通过双目云台摄像机采集目标区域第一帧图像，将采集到的图像传输给图像分析模块做空间域锐化处理，之后通过增强处理，提取图像中船只物体轮廓，船载监控服务器根据图像分析模块的图像分析处理结果计算出无人船与图像中船只的距离，之后间隔一段时间t，再次通过双目云台摄像机采集目标区域第二帧图像，将采集到的图像传输给图像分析模块做空间域锐化处理，之后通过增强处理，提取图像中相同船只物体轮廓，再次计算无人船与图像中船只的距离，结合下列计算公式计算出船速：
V＝(D1 2+D2 2-2*D1*D2*cos(θ))/t； (3)
式中：V为目标船只的船速，单位为m/s；D1为第一帧图像中目标船只与无人船的距离，单位为米；D2为第二帧图像中目标船只与无人船的距离，单位为米；θ为云台相对于无人船中线面方向顺时针转动的角度，单位为弧度；t为双目云台摄像机两帧图像采集的时间间隔，单位为秒。
在上述的一种基于双目云台摄像机的船只违法捕捞行为判别方法步骤1中，限速警报时，目标区域设定的最低限速阈值取值范围为0.1～4节，最高限速阈值的取值范围为4～15节。
本发明，与雷达技术相比，具有较高的分辨率，能够获取目标区域的场景颜色，纹理等属性；并且能够通过多艘无人船对不同的目标区域进行监管，能够及时有效的判断多个目标区域中是否存在违法船只，并产生警报信息，从而降低执法成本，提高执法监管效率，打击水上违法捕捞行为。
本发明还具有硬件结构简单，自动化程度高等优点。
附图说明：
图1是本发明基于双目云台摄像机的船只违法捕捞行为判别系统的示意图；
图2是本发明基于双目云台摄像机的船只违法捕捞行为判别方法的流程图；
具体实施方式：
下面结合附图和具体较佳实施方式对本发明做进一步详细说明：
如图1所示，一种基于双目云台摄像机的船只违法捕捞行为判别方系统，包含双目云台摄像机1、定位系统3、与双目云台摄像机1连接的图像分析模块2，与双目云台摄像机1、图像分析模块2、定位系统3同时连接的船载监控服务器4，与船载监控服务器4连接的无线收发端5，与无线收发端5连接的岸基监控服务器6；双目云台摄像机1与图像分析模块2通过千兆以太网口连接，双目云台摄像机1与船载监控服务器4通过串口连接；图像分析模块2与船载监控服务器4通过USB连接；定位系统3与船载监控服务器4通过串口连接，无线收发端5与船载监控服务器4通过串口连接，无线收发端5与岸基监控服务器6通过海事卫星连接；双目云台摄像机1、图像分析模块2、定位系统3、船载监控服务器4和无线收发端5均搭载于无人船上，岸基监控服务器6在陆地上；
双目云台摄像机1采集目标区域图像，同时将双目云台摄像机1的云台转动角度通过串口传输进船载监控服务器4，将目标区域图像通过千兆以太网口传输给图像分析模块2；定位系统3向船载监控服务器4提供无人船经纬度信息、航向信息；图像分析模块2处理分析目标区域图像并通过USB向船载监控服务器4 传输图像分析处理结果；船载监控服务器4接收图像分析模块2的图像分析处理结果，同时接收定位系统3的经纬度信息和航向信息，依据警报规则对相应的警报信息做出判断与反应；无线收发端5通过海事卫星将船载监控服务器4的警报信息和符合警报规则的一帧图像发送给岸基监控服务器6；岸基监控服务器6通过海事卫星接收无线收发端5的警报信息和符合警报规则的一帧图像。
如图2所示，一种基于双目云台摄像机的船只违法捕捞行为判别方方法，使用如图1所述的基于双目云台摄像机的船只违法捕捞行为判别系统，包含如下步骤：
步骤1：设定违法捕捞的警报规则包括以下三种，分别为禁渔警告，禁入警告，限速警告。
第一种：禁渔警告
装载有本发明所提出的系统的无人船航行在目标区域时，本发明中的一种基于双目云台摄像机的船只违法捕捞行为判别系统通过控制双目云台摄像机1的转动，不间断地采集目标区域图像，将采集到的图像通过千兆以太网口传输给图像分析模块2做空间域锐化处理得到图像中物体的边缘信息，之后通过局部直方图均衡方法增强图像中的物体边缘信息，滤波后提取图像中船只物体轮廓并通过曲线拟合的方式进行总体轮廓的降维处理得到增强轮廓，最后用主成分分析法提取增强轮廓的特征点并通过纹理分析判断船只外表出现渔网以及鱼类生物特征判断该船只是否符合禁渔警报规则。如符合则判定船只为违法船只。
第二种：禁入警告
装载有本发明所提出的系统的船只航行在目标区域时，通过双目云台摄像机 1采集目标区域图像，将采集到的图像通过千兆以太网口传输给图像分析模块2 做空间域锐化处理，之后通过增强处理，提取图像中船只物体轮廓，船载监控服务器4根据图像分析模块2的图像分析处理结果计算出无人船与图像中船只的距离，再结合定位系统3给出的经纬度和航向信息以及双目云台摄像机1的云台转动角度，将搭载该系统的无人船与图像中船只之间的距离垂直投影到经纬线的方向上，判断采集到的图像内的船只在经纬线方向上的投影的经纬度是否超出目标区域的经纬度。也即通过下两式：
X＝D1*cos(θ-α)； (1)
Y＝D1*sin(θ-α)； (2)
式中：X表示为无人船与图像中的船只之间的距离D1在经线方向的投影长度，单位为米；Y表示为无人船与图像中的船只之间的距离D1在纬线方向的投影长度，单位为米；D1为无人船与图像中的船只之间的距离，单位为米；θ为云台相对于无人船中线面方向顺时针转动的角度，单位为弧度；α为无人船中线面方向相较于经线方向的锐角，单位为弧度。
第三种：限速警报
装载有本发明所提出的系统的无人船航行在目标区域时，通过双目云台摄像机1采集目标区域第一帧图像，将采集到的图像通过千兆以太网口传输给图像分析模块2做空间域锐化处理，之后通过增强处理，提取图像中船只物体轮廓，船载监控服务器4根据图像分析模块2的图像分析处理结果计算出无人船与图像中船只的距离，之后间隔一段时间t，再次通过双目云台摄像机1采集目标区域第二帧图像，将采集到的图像通过千兆以太网口传输给图像分析模块2做空间域锐化处理，之后通过增强处理，提取图像中相同船只物体轮廓，再次计算无人船与图像中船只的距离，结合下列计算公式计算出船速：
V＝(D1 2+D2 2-2*D1*D2*cos(θ))/t； (3)
式中：V为目标船只的船速，单位为m/s；D1为第一帧图像中目标船只与无人船的距离，单位为米；D2为第二帧图像中目标船只与无人船的距离，单位为米；θ为云台相对于无人船中线面方向顺时针转动的角度，单位为弧度；t为双目云台摄像机1两帧图像采集的时间间隔，单位为秒。
步骤2：设定目标区域集合A:集合A有多个目标区域，每个目标区域均为规则矩形区域，且矩形区域的长宽方向与经纬线方向一致，每个目标区域均进行步骤1中的警报规则元素的设定，目标区域集合A由目标区域和目标区域警报规则元素构成。
步骤3：判断船只是否违法：判断船只是否违法的具体方法如下：
步骤31：获取步骤2设定的目标区域集合A；
步骤32：选取搭载该系统的船只所在的目标区域A(i)，船载监控服务器4 通过对接收的图像分析模块2的图像分析处理结果、双目云台摄像机1的云台转动角θ和定位系统3的航向、经纬度信息处理，判断目标区域内船只是否符合目标区域A(i)设定的警报规则,如有，保存符合警报规则的一帧图像，并且触发警报。
步骤4：触发警报：船载监控服务器4通过无线收发端5发出警报类别信息和符合警报规则的一帧图像到岸基监控服务器6，完成警报。之后继续执行步骤 3、4。
综上所述，本发明能够及时有效的判断目标区域中是否存在违法船只，并产生警报信息，从而降低执法成本，提高执法监管效率，打击水上违法捕捞行为。以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。
Claims (2)
1.一种基于双目云台摄像机的船只违法捕捞行为判别方法，使用一种基于双目云台摄像机的船只违法捕捞行为判别系统，所述基于双目云台摄像机的船只违法捕捞行为判别系统包括：双目云台摄像机、定位系统、与双目云台摄像机连接的图像分析模块，与双目云台摄像机、图像分析模块、定位系统同时连接的船载监控服务器，与船载监控服务器连接的无线收发端，与无线收发端连接的岸基监控服务器；双目云台摄像机与图像分析模块通过千兆以太网口连接，双目云台摄像机与船载监控服务器通过串口连接；图像分析模块与船载监控服务器通过USB连接；定位系统与船载监控服务器通过串口连接；无线收发端与船载监控服务器通过串口连接，无线收发端与岸基监控服务器通过海事卫星连接；双目云台摄像机、图像分析模块、定位系统、船载监控服务器和无线收发端均搭载于无人船上，岸基监控服务器在陆地上；
双目云台摄像机采集目标区域图像，同时将双目云台摄像机的云台转动角度通过串口传输进船载监控服务器，将目标区域图像通过千兆以太网口传输给图像分析模块；定位系统向船载监控服务器提供无人船经纬度信息、航向信息；图像分析模块处理分析目标区域图像并通过USB向船载监控服务器传输图像分析处理结果；船载监控服务器接收图像分析模块的图像分析处理结果，同时接收定位系统的经纬度信息和航向信息，依据警报规则对相应的警报信息做出判断与反应；无线收发端通过海事卫星将船载监控服务器的警报信息和符合警报规则的一帧图像发送给岸基监控服务器；岸基监控服务器通过海事卫星接收无线收发端的警报信息和符合警报规则的一帧图像；
其特征在于，所述基于双目云台摄像机的船只违法捕捞行为判别方法包括以下步骤：
步骤1：设定违法捕捞的警报规则：违法捕捞的警报规则包括三种类型，分别为禁渔警报，禁入警报，限速警报；
每种警报规则设定方法如下：
步骤11禁渔警报：实时检测目标区域内船只的外表，通过提取图像特征点的方法检测船只外表是否出现渔网或海洋生物的特征，如有，则判断目标区域内相应船只违法，禁渔警报的具体判别方法如下：
通过双目云台摄像机采集目标区域图像，将采集到的图像传输到图像分析模块做空间域锐化处理得到图像中物体的边缘信息，之后通过局部直方图均衡方法增强图像中的物体边缘信息，滤波后提取图像中船只物体轮廓并通过曲线拟合的方式进行总体轮廓的降维处理得到增强轮廓，最后用主成分分析法提取增强轮廓的特征点并通过纹理分析判断船只外表是否出现渔网以及鱼类生物特征判断该船只是否符合禁渔警报规则；
步骤12禁入警报：根据双目云台摄像机云台转动角度以及其计算出的无人船与目标区域内船只的距离，结合定位系统的经纬度信息，与目标区域经纬度对比，判断出船只是否进入禁入区域，如有，则此船只违法；禁入警报的具体判别方法如下：
通过双目云台摄像机采集目标区域图像，将采集到的图像传输到图像分析模块做空间域锐化处理，之后通过增强处理，提取图像中船只物体轮廓，船载监控服务器根据图像分析模块的图像分析处理结果计算出无人船与图像中船只的距离，再结合定位系统给出的经纬度和航向信息以及双目云台摄像机的云台转动角度，将搭载该系统的无人船与图像中船只之间的距离垂直投影到经纬线的方向上，判断采集到的图像内的船只在经纬线方向上的投影的经纬度是否超出目标区域的经纬度，也即通过下两式：
X＝D1*cos(θ-α)； (1)
Y＝D1*sin(θ-α)； (2)
式中：X表示为无人船与图像中的船只之间的距离D1在经线方向的投影长度，单位为米；Y表示为无人船与图像中的船只之间的距离D1在纬线方向的投影长度，单位为米；D1为无人船与图像中的船只之间的距离，单位为米；θ为云台相对于无人船中线面方向顺时针转动的角度，单位为弧度；α为无人船中线面方向相较于经线方向的锐角，单位为弧度；
步骤13限速警报：当目标区域内船只的当前航速低于监管区域设定的最低限速值或高于最高限速值，判断为违法船只，限速警报的具体判别方法如下：
通过双目云台摄像机采集目标区域第一帧图像，将采集到的图像传输到图像分析模块做空间域锐化处理，之后通过增强处理，提取图像中船只物体轮廓，船载监控服务器根据图像分析模块的图像分析处理结果计算出无人船与图像中船只的距离，之后间隔一段时间t，再次通过双目云台摄像机采集目标区域第二帧图像，将采集到的图像传输到图像分析模块做空间域锐化处理，之后通过增强处理，提取图像中相同船只物体轮廓，再次计算无人船与图像中船只的距离，结合下列计算公式计算出船速：
V＝(D1 2+D2 2-2*D1*D2*cos(θ))/t； (3)
式中：V为目标船只的船速，单位为m/s；D1为第一帧图像中目标船只与无人船的距离，单位为米；D2为第二帧图像中目标船只与无人船的距离，单位为米；θ为云台相对于无人船中线面方向顺时针转动的角度，单位为弧度；t为双目云台摄像机两帧图像采集的时间间隔，单位为秒；
步骤2：设定目标区域集合A:集合A有多个目标区域，每个目标区域均为规则矩形区域，且矩形区域的长宽方向与经纬线方向一致，每个目标区域均进行步骤1中的警报规则元素的设定，目标区域集合A由目标区域和目标区域警报规则元素构成；
步骤3：判断船只是否违法：判断船只是否违法的具体方法如下：
步骤31：获取步骤2设定的目标区域集合A；
步骤32：选取搭载该系统的船只所在的目标区域A(i)，船载监控服务器通过对接收的图像分析模块的图像分析处理结果、双目云台摄像机的云台转动角和定位系统的航向、经纬度信息处理，判断目标区域内船只是否符合目标区域A(i)设定的警报规则,如有，保存符合警报规则的一帧图像，并且触发警报；
步骤4：触发警报：船载监控服务器通过无线收发端发出警报信息和符合警报规则的一帧图像到岸基监控服务器，完成警报，之后继续执行步骤3、4。
2.根据权利要求1所述的基于双目云台摄像机的船只违法捕捞行为判别方法，其特征在于：步骤1中，限速警报时，目标区域设定的最低限速阈值取值范围为0.1～4节，最高限速阈值的取值范围为4～15节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810336565.5A CN108776937B (zh) | 2018-04-16 | 2018-04-16 | 一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810336565.5A CN108776937B (zh) | 2018-04-16 | 2018-04-16 | 一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776937A CN108776937A (zh) | 2018-11-09 |
| CN108776937B true CN108776937B (zh) | 2022-03-01 |
Family
ID=64033717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810336565.5A Active CN108776937B (zh) | 2018-04-16 | 2018-04-16 | 一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776937B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028545A (zh) * | 2019-12-18 | 2020-04-17 | 广州大学华软软件学院 | 一种湖泊船只管理与监控系统 |
| CN111366196A (zh) * | 2020-04-15 | 2020-07-03 | 浙江同博科技发展有限公司 | 一种海洋用海区域信息化监管系统 |
| CN112542063A (zh) * | 2020-12-01 | 2021-03-23 | 慧泉智能科技（苏州）有限公司 | 一种监测古运河河道水上交通工具违规停靠的方法 |
| CN113591540B (zh) * | 2021-06-02 | 2024-01-09 | 中国水产科学研究院南海水产研究所 | 一种渔业非法捕捞监测与预警方法及系统 |
| CN113569784A (zh) * | 2021-08-04 | 2021-10-29 | 重庆电子工程职业学院 | 一种内河航运执法系统及方法 |
| CN114373165A (zh) * | 2022-03-22 | 2022-04-19 | 江西省天轴通讯有限公司 | 基于图像识别的执法分析方法、装置、存储介质及设备 |
| CN115643480A (zh) * | 2022-10-17 | 2023-01-24 | 中国人民解放军海军工程大学 | 一种高危警戒区域安防智能值守防御系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5592895A (en) * | 1992-06-16 | 1997-01-14 | Lockheed Missiles & Space Company, Inc. | Small waterplane area high speed ship |
| US6980228B1 (en) * | 2001-03-29 | 2005-12-27 | Bellsouth Intellectual Property Corporation | Monitoring buoy system |
| CN102968625A (zh) * | 2012-12-14 | 2013-03-13 | 南京思创信息技术有限公司 | 基于轨迹的船舶识别与跟踪方法 |
| CN103812942A (zh) * | 2014-02-21 | 2014-05-21 | 北京国交信通科技发展公司 | 渔政监控系统 |
| CN103971542A (zh) * | 2014-04-29 | 2014-08-06 | 中船重工（武汉）船舶与海洋工程装备设计有限公司 | 一种船舶实时监视系统 |
| CN107018361A (zh) * | 2017-03-27 | 2017-08-04 | 上海斐讯数据通信技术有限公司 | 基于无人机航拍及图像分析识别违禁渔具的方法及系统 |
| CN107330803A (zh) * | 2017-06-23 | 2017-11-07 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 一种基于多功能雷达船只违法捕捞的行为判别方法 |
| CN207039784U (zh) * | 2017-07-24 | 2018-02-23 | 华南理工大学 | 一种无人船远程视频传输系统 |
-
2018
- 2018-04-16 CN CN201810336565.5A patent/CN108776937B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5592895A (en) * | 1992-06-16 | 1997-01-14 | Lockheed Missiles & Space Company, Inc. | Small waterplane area high speed ship |
| US6980228B1 (en) * | 2001-03-29 | 2005-12-27 | Bellsouth Intellectual Property Corporation | Monitoring buoy system |
| CN102968625A (zh) * | 2012-12-14 | 2013-03-13 | 南京思创信息技术有限公司 | 基于轨迹的船舶识别与跟踪方法 |
| CN103812942A (zh) * | 2014-02-21 | 2014-05-21 | 北京国交信通科技发展公司 | 渔政监控系统 |
| CN103971542A (zh) * | 2014-04-29 | 2014-08-06 | 中船重工（武汉）船舶与海洋工程装备设计有限公司 | 一种船舶实时监视系统 |
| CN107018361A (zh) * | 2017-03-27 | 2017-08-04 | 上海斐讯数据通信技术有限公司 | 基于无人机航拍及图像分析识别违禁渔具的方法及系统 |
| CN107330803A (zh) * | 2017-06-23 | 2017-11-07 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 一种基于多功能雷达船只违法捕捞的行为判别方法 |
| CN207039784U (zh) * | 2017-07-24 | 2018-02-23 | 华南理工大学 | 一种无人船远程视频传输系统 |
Non-Patent Citations (3)
| Title |
|---|
| Fishing gear recognition from VMS data to identify illegal fishing activities in Indonesia;Marza Ihsan Marzuki 等;《OCEANS 2015 - Genova》;20150921;1-5 * |
| 基于光视觉的无人艇水面目标检测与跟踪研究;曾文静;《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》;20140415(第4期);C036-29 * |
| 基于北斗卫星的大连海域船舶监控系统的研究;孙跃锋;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20090215(第2期);C036-33 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776937A (zh) | 2018-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776937B (zh) | 一种基于双目云台摄像机的船只违法捕捞行为判别方法及系统 | |
| CN109409283B (zh) | 一种海面舰船跟踪和监控的方法、系统和存储介质 | |
| CN104217215B (zh) | 一种水面有雾图像和清晰图像的分类识别方法 | |
| CN106384344B (zh) | 一种光学遥感图像海面舰船目标检测与提取方法 | |
| CN110348304A (zh) | 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法 | |
| CN108806334A (zh) | 一种基于图像的智能船舶身份识别方法 | |
| Solberg et al. | Automatic detection of oil spills in Envisat, Radarsat and ERS SAR images | |
| CN105184816A (zh) | 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法 | |
| CN107330803B (zh) | 一种基于多功能雷达船只违法捕捞的行为判别方法 | |
| CN101694681A (zh) | 一种鸟击风险评估系统及其评估方法 | |
| CN104933680A (zh) | 一种智能的无人艇视觉系统视频快速海雾去除方法 | |
| CN111163290B (zh) | 一种夜间航行船舶检测并跟踪的方法 | |
| CN107909601A (zh) | 一种适用于航标的船舶防撞预警视频检测系统及检测方法 | |
| CN109615932B (zh) | 一种基于外接圆检测的船舶常见锚泊区边界自动提取方法 | |
| CN108229342A (zh) | 一种海面舰船目标自动检测方法 | |
| CN113591592B (zh) | 水上目标识别方法、装置、终端设备及存储介质 | |
| CN108427824A (zh) | 一种利用船位数据提取刺网网长与角度的方法 | |
| CN112418126A (zh) | 一种基于无人机的车辆违停检测方法、装置及存储介质 | |
| KR101717167B1 (ko) | 해양 프론트 기반의 해양 정보 분석 장치 및 방법 | |
| CN212674143U (zh) | 河流湖泊的水体环境识别系统 | |
| CN111383248A (zh) | 一种行人闯红灯判断方法、装置和电子设备 | |
| Solberg et al. | Algorithms for oil spill detection in Radarsat and ENVISAT SAR images | |
| Heyn et al. | A system for automated vision-based sea-ice concentration detection and floe-size distribution indication from an icebreaker | |
| CN112113541A (zh) | 河流湖泊的环境问题识别方法及系统 | |
| CN111626129A (zh) | 基于卫星ais与红外相机的舰船目标联合探测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |