CN112710798B - 一种水体蓝藻识别系统和方法 - Google Patents
一种水体蓝藻识别系统和方法 Download PDFInfo
- Publication number
- CN112710798B CN112710798B CN202011397991.3A CN202011397991A CN112710798B CN 112710798 B CN112710798 B CN 112710798B CN 202011397991 A CN202011397991 A CN 202011397991A CN 112710798 B CN112710798 B CN 112710798B
- Authority
- CN
- China
- Prior art keywords
- platform
- blue
- aerial vehicle
- unmanned aerial
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000195493 Cryptophyta Species 0.000 title claims abstract description 101
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000013439 planning Methods 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 15
- 241000192700 Cyanobacteria Species 0.000 claims description 91
- 238000009826 distribution Methods 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 22
- 238000007726 management method Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000011835 investigation Methods 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000010354 integration Effects 0.000 description 6
- 230000001932 seasonal effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 229930002875 chlorophyll Natural products 0.000 description 2
- 235000019804 chlorophyll Nutrition 0.000 description 2
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Medicinal Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Food Science & Technology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种水体蓝藻识别系统，包括感知层、平台层和展现层。感知层包括路线规划单元和无人机检测单元，路线规划单元规划路线，无人机检测单元采集视频。平台层包括AI平台，进行蓝藻事件识别，发出不同级别的报警信息，并截取发现蓝藻的图片和视频；大数据平台，接收和存储AI平台和感知层的数据，并生成可视化指标数据；工单预处理平台，用于接收AI平台发出的报警信息，并判断是否生成打捞工单。展现层包括可视化界面，可视化界面用于显示可视化指标数据；移动执法终端，接收工单预处理平台发出的打捞工单，并能查阅AI平台截取的发现蓝藻的图片和视频。实现蓝藻的快速识别和高效处理。
Description
技术领域
本发明涉及水体检测技术领域，尤其涉及一种水体蓝藻识别系统和方法。
背景技术
对湖泊、江、河的监测网对水质进行实时监测，是预防违法、违规排放污水、及时治理水污染，也是及时预警和抑制蓝藻等快速生长的水生植物的有效方式之一。各地区湖泊由于蓝藻的大量繁殖造成水质污染的事件频发，因此监测和预警蓝藻的过度繁殖具有对维护湖泊周围的生态平衡具有重大意义。水体中极易滋生蓝藻，蓝藻随波逐流，随水流和方向蔓延，蓝藻浓度高时会有难闻气味，影响市容市貌、游客体验和周边居民生活。在蓝藻频发地现场设立测试点是最原始的监测方法，但是由于是人工监测为主，往往不够及时和准确。目前还有一些地区使用无人机，在易发生蓝藻聚焦的水域，人工操作无人机巡航，人工拍照和记录蓝藻位置和分布范围，通过网格通等执法终端形成工单，次日打捞船按工单记录执行打捞动作。但整个过程人工处理环节多，人工操作无人机、拍摄蓝藻、记录数据、生成工单；处置效率低：延时过长，蓝藻滋生速度快，容易受天气影响，清理效果不佳；经验驱动：蓝藻分布、范围数据靠肉眼发现、靠经验总结、靠人工广撒网。不利于蓝藻的快速识别和高效处理。
发明内容
为克服上述缺点，本发明的目的在于提供一种水体蓝藻识别系统，实现蓝藻的快速识别和高效处理，精度高、实时性强。
为了达到以上目的，本发明采用的技术方案是：一种水体蓝藻识别系统，其特征在于：包括感知层、平台层和展现层，所述感知层和展现层均与平台层通信连接；
所述感知层包括路线规划单元，用于采集水体蓝藻的初步情况；无人机检测单元，根据所述水体蓝藻的初步情况规划路线并进行详查和实时监测，生成飞行数据并采集视频；
所述平台层包括AI平台，进行蓝藻事件识别，用于接收无人机检测单元采集的视频，计算蓝藻面积并判断蓝藻水华严重程度，发出不同级别的报警信息，并截取发现蓝藻的图片和视频；大数据平台，接收和存储AI平台和感知层的数据，并生成可视化指标数据；工单预处理平台，用于接收AI平台发出的报警信息，并判断是否生成打捞工单；
所述展现层包括可视化界面，用于显示可视化指标数据；移动执法终端，接收工单预处理平台发出的打捞工单，并能查阅AI平台截取的发现蓝藻的图片和视频。
进一步来说，所述路线规划单元包括卫星遥感数据平台和无人船设备，所述卫星遥感数据平台用于形成水体的蓝藻分布热力图，并将生成的蓝藻分布热力图输至无人机检测单元。API网关通过标准协议，和合作单位的卫星遥感数据平台对接，获取卫星在近地轨道水体上空飞过的蓝藻监测数据，可通过插值算法，形成容易被观众理解的蓝藻分布热力图，并能在可视化界面上呈现蓝藻分布的变化趋势。所述无人船设备，搭载多参数水质监测传感器和测深传感器，参照蓝藻分布热力图进行航行，用于采集蓝藻和水体的水质数据，并将采集数据传输至无人机检测单元和大数据平台。无人船设备配置后台的无人船物联感知管理系统、无人船遥控APP，安装在手机终端上的APP规划落点和遥控无人船设备的行进路线，参照蓝藻监测数据提供的蓝藻高浓度区域，在GPS模块支持下，无人船设备根据规划的航线自主巡航和避障，并采集各类蓝藻和水质数据，通过4G网络，经API网关传输到大数据平台实现数据共享和集成。
进一步来说，所述无人机检测单元包括无人机机库、无人机设备及自动巡航和机队管理系统，所述无人机机库用于自动回收、充电和放飞无人机设备；所述无人机设备上搭载高清摄像头，用于拍摄实时的蓝藻水面漂浮影像；所述自动巡航和机队管理系统与无人机机库、无人机设备通信连接，并开放API接口与平台层通信连接，向平台层上传无人机设备飞行数据链、任务和无人机机库的状态报文。
进一步来说，所述无人机检测单元与GIS平台通信连接，所述GIS平台向自动巡航和机队管理系统提供无人机设备所在投影的地理位置信息。
进一步来说，所述无人机设备与自动巡航和机队管理系统通过4G或5G网络连接。用4G网络传输，无人机设备的蓝藻自动识别→生成打捞工单的时间周期，可从原来的几个小时缩短到几分钟，如果采用5G网络传输，则可以支持4K的超高清影像传输和实时消费，AI平台识别出结果并生成打捞工单的时间可以缩短到秒级，从可视化的角度，无人机设备飞过蓝藻区域则零延迟触发蓝藻预警，具有极佳的演示性效果和用户体验。
进一步来说，所述平台层还包括视频云平台，用于接收从互联网传输过来的无人机检测单元拍摄的实时视频流并对视频流进行存储和管理，所述视频云平台还通过API接口与AI平台通信连接，所述AI平台能抓取和调阅视频云平台内的视频流。视频云平台支持H.264、H.265视频编码格式。
进一步来说，所述平台层还包括FTP服务器，所述FTP服务器用于接收并集中分层存储AI平台生成的截图和视频切片，并能供可视化界面和工单预处理平台通过HTTP协议访问。
进一步来说，所述感知层和平台层系统之间、平台层内部通过API网关通信连接，所述API网关接收AI平台的数据并将数据经过处理后发送至可视化平台、工单预处理平台和大数据平台。
进一步来说，所述AI平台将数据编排成JSON格式并使用API方式将数据通过http或https协议发送至API网关，所述API网关接收AI平台的数据后，通过消息中间件服务，将数据排成消息队列，发送至需要实时消费的可视化界面和工单预处理平台，API网关还通过ETL工具抽取数据到大数据平台，形成随时间增量存储的持久化库表，放置在大数据平台的临时库。
本发明的有益效果在于：通过融合无人设备、无人机设备和卫星遥感数据平台，实现空天地一体化的水体蓝藻识别方式，借助AI平台、大数据平台和可视化技术，实现既能及时发现和精准打捞蓝藻的工单机制，又能通过大数据平台实现季节性蓝藻分布的宏观数据分析模型，从而提升执法局工作效率，形成城市治理的创新模式。
1、全程自动化，最小化人工参与：无人机设备放飞巡航、无人机机库自动回收充电；AI平台自动计算蓝藻面积、位置和藻蛋白浓度，自动生成事件上报并进入工单预处置平台。
2、实现及时打捞，精准高效：AI平台的蓝藻事件自动识别、自动判定是否需要打捞，生成工单的周期缩短到几分钟，附近的打捞队可以立即出动。
3、大数据驱动、形成新治理模式：蓝藻分布热力指导无人机科学设定飞行路线，无人船精密测量蓝藻密度，提供参考数据给无人机载视觉算法和卫星遥感数据平台，从而形成季节性、可持续的蓝藻分布评估模型，结合天气数据，优化无人机船的出勤次数和范围，提升每次无人机飞行任务的工单转换率，实现集约化运营。
本发明还提供一种水体蓝藻识别方法，其特征在于：包括如下步骤
步骤1.无人机设备路线规划，参照卫星遥感数据平台生成的蓝藻分布热力图规划无人机设备的飞行路线；每两周参照蓝藻分布热力图规划无人机设备飞行路线，下发到自动巡航和机队管理系统，实现无人机设备每周7天例行化巡航。
步骤2.船机联动，通过无人船设备采集水体的水质，并优化无人机设备的飞行路线。无人船设备在蓝藻多发季节，每周至少执行一次水面巡航任务，采集水体的叶绿素、蓝绿藻、水温和深度等多种数据，通过4G网络经API网关的互联网安全接口实现数据共享，同时控制无人船设备航向，并修正水流、风速对无人船的影响。对无人机设备出勤任务尚未覆盖到的水域，无人船设备可采用多边形计算方法计算蓝藻打捞面积，结合监测到的蓝藻浓度计算打捞工作量，并自动触发生成无人机设备任务，由自动巡航和机队管理系统根据业务优先级进行编排后，无人机设备可迅速赶赴现场拍摄并生成打捞工单。
步骤3.无人机检测单元采集，无人机设备根据飞行路线飞行，在飞行过程中采集视频并同时将飞行数据链传输到AI平台。巡航拍摄实时的蓝藻水面漂浮影像，形成至少分辨率为1080P的视频流，视频流回传到视频云平台并持久化存储。无人机设备的飞行数据链报文，经自动巡航和机队管理系统，通过API网关的消息队列服务，向AI平台输入和视频流同步的无人机设备飞行数据，如无人机设备编码、摄像头编码、水平和垂直速度、高度、经纬度、偏航角、云台俯仰角等。
步骤4.蓝藻识别，AI平台通过其内的蓝藻识别算法计算蓝藻面积，当触发打捞阈值时，发出报警信息，并同时截取发现蓝藻的图片和视频，上传到FTP服务器进行存储。
蓝藻识别有两种方式，第一种是比对使用实时视频流数据和数据链报文，实时分析水面蓝藻的位置、面积、经纬度和蓝藻浓度。第二种是采用无人机设备返回后无人机机库上载的无损1080P录像文件，设置批处理任务实现准实时识别，后者的优点在于准确率高，缺点是有20-30分钟的延迟。
针对变化的水体蓝藻分布情况，目前采用两种蓝藻AI识别模式：
模式1：适用于无人机飞设备出后发现蓝藻、发现蓝藻逐渐明显增多，和触发打捞阈值的场景。依次在约定时间内(每个打捞工单的间隔不超过2分钟，因为无人机的航程和空中飞行时间有限，一般也就空中驻留15-20分钟以内)，输出蓝藻报警信息，按照蓝藻浓度辐射分布的规律，分别是浓度较低、面积颗粒度小、浓度变大→面积逐渐成片→浓度达到打捞标准，形成大片蓝藻聚集区。对应的打捞标志(Cleaning_or_Not)分别是发现→关注→需要，只有到达“需要”才需要形成打捞工单。首先发现、中间刷新和最终辨识的三条事件，每条事件的message_id不同，但具备相同的detection_id。
模式2：适用于无人机飞出后发现蓝藻分布和浓度比较均匀，在2分钟内未能识别蓝藻由低到高并达到打捞标志的情形，包括情形1：到达蓝藻区域，在巡航时间持续停留在蓝藻发现、或关注阈值的情形，在2分钟内从蓝藻发现过渡到关注，则出现两条message_id不同的报警，detection_id相同，如果一直停留在发现或者关注阶段，2分钟内未能过渡到关注和需要打捞的情况，则分别产生两条不同的报警，message_id和detection_id都不同；情形2：马上到达蓝藻密集区域，首次即触发打捞阈值的场景，detection_id唯一并仅有一条。
截取发现蓝藻的图片和视频为证据，AI平台将会即时生成蓝藻的分布截图以及视频上下文切片，形成人工浏览和打捞工单生成判定的关键依据，分布截图会用高亮的颜色，用闭环的曲线勾勒出蓝藻的范围和形态，上下文切片则对每秒的关键帧进行识别渲染，连续播放则形成蓝藻实时的分布范围，沿无人机设备飞行路线动态变化的效果。AI平台将自动上传识别截图和视频切片到FTP服务器上，集中存储，供展现层和工单预处理平台通过HTTP协议访问。
步骤5.数据处理，工单预处理平台和大数据平台接收步骤4中的报警信息，AI平台经API网关做格式整理和辅助信息编排，如实时位置定位获取街道、社工委的名称，以及蓝藻发生水域附近的建筑物标识，通过消息队列机制发送给工单预处理平台和大数据平台。工单预处理平台实时消费提取JSON简谱数据，依据蓝藻识别的浓度阈值、范围面积、事件等级等判定依据，自动或人工判定生成或不生成打捞工单，并将生成的打捞工单传输至移动执法终端。大数据平台将报警信息生成可视化指标数据，并传输至可视化界面显示，可视化数据包括前端报表、分析图标、仪表盘。
为满足日常运营的需要，蓝藻识别报告形成服务化机制，大数据平台自动生成PDF文件推送，移动执法终端推动预警雷达信息、蓝藻治理月度、季度统计报告给执法主管领导。
附图说明
图1为本发明实施例1的架构示意图；
图2为本发明实施例1中AI平台系统图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例1
参见附图1-2所示，本发明的一种水体蓝藻识别系统，包括感知层、平台层和展现层，感知层和展现层均与平台层通信连接。感知层包括路线规划单元和无人机检测单元，平台层包括AI平台、大数据平台和工单预处理平台。展现层包括可视化界面和移动终端。
感知层包括路线规划单元和无人机检测单元，路线规划单元用于采集水体蓝藻的初步情况。路线规划单元包括卫星遥感数据平台和无人船设备。卫星遥感数据平台用于形成水体的蓝藻分布热力图，并将生成的蓝藻分布热力图输至无人机检测单元。API网关通过标准协议，和合作单位的卫星遥感数据平台对接，获取卫星在近地轨道水体上空飞过的蓝藻监测数据，可通过插值算法，形成容易被观众理解的蓝藻分布热力图，并能传输至大数据平台，在可视化界面上呈现蓝藻分布的变化趋势。
无人船设备，搭载多参数水质监测传感器和测深传感器，参照蓝藻分布热力图进行航行，用于采集蓝藻和水体的水质数据，并将采集数据传输至无人机检测单元和大数据平台。无人船设备配置后台的无人船物联感知管理系统、无人船遥控APP，安装在手机终端上的APP规划落点和遥控无人船设备的行进路线，参照蓝藻监测数据提供的蓝藻高浓度区域，在GPS模块支持下，无人船设备根据规划的航线自主巡航和避障，并采集各类蓝藻和水质数据，通过4G网络，经API网关传输到大数据平台实现数据共享和集成。
无人机检测单元，根据水体蓝藻的初步情况规划路线并进行详查和实时监测，生成飞行数据并采集视频。无人机检测单元包括无人机机库、无人机设备及自动巡航和机队管理系统，无人机机库用于自动回收、充电和放飞无人机设备；无人机设备上搭载高清摄像头，用于拍摄实时的蓝藻水面漂浮影像。自动巡航和机队管理系统与无人机机库、无人机设备通信连接，并开放API接口与平台层通信连接，向平台层上传无人机设备飞行数据链、任务和无人机机库的状态报文，大数据平台用于接收状态报文。
无人机检测单元与GIS平台通信连接，GIS平台向自动巡航和机队管理系统提供无人机设备所在投影的地理位置信息。无人机设备与自动巡航和机队管理系统通过4G或5G网络连接。用4G网络传输，无人机设备的蓝藻自动识别→生成打捞工单的时间周期，可从原来的几个小时缩短到几分钟，如果采用5G网络传输，则可以支持4K的超高清影像传输和实时消费，AI平台识别出结果并生成打捞工单的时间可以缩短到秒级，从可视化的角度，无人机设备飞过蓝藻区域则零延迟触发蓝藻预警，具有极佳的演示性效果和用户体验。
AI平台，进行蓝藻事件识别，用于接收无人机检测单元采集的视频，计算蓝藻面积并判断蓝藻水华严重程度，发出不同级别的报警信息，并截取发现蓝藻的图片和视频。AI平台是处于感知层和打捞过程之间的中间环节。AI平台接收并分析无人机设备传回的视频流信息，结合视频时间点以及飞行数据信息，可以计算出发现蓝藻时间点的经纬度坐标，并据此计算蓝藻面积，并可判断蓝藻水华严重程度，发送不同级别的报警信息，并截取发现蓝藻的图片和短视频。通过消息队列机制发送蓝藻识别结果给综合行政执法局平台，通过服务形式，结合业务预处理过程则即时生成蓝藻打捞的打捞工单。AI平台实现算法的参数调整、阈值设置，配置算法的运行模式，以及实现事件上报的质量稽核。AI中台配置算法训练功能，训练功能可部署在云上，通过再训练提升识别准确性，可根据不同的应用场景定制化开发、训练后下发。
大数据平台，接收和存储AI平台和感知层的数据，并生成可视化指标数据。大数据平台形成临时库、归集库、中心库和专题库的分层结构，临时库用于存储实时的蓝藻数据，归集库从临时库收集蓝藻数据，中心库是数据仓库，实现蓝藻数据的同类合并、历史切片、数据翻译和融合治理，专题库是数据集市，实现和其他主题域数据的业务逻辑整合，拉成宽表，定义数据维度结构，支撑可视化界面的业务逻辑，可视化界面可为大屏或小屏。
工单预处理平台，用于接收AI平台发出的报警信息，并判断是否生成打捞工单。通过API服务的方式，对蓝藻识别事件，根据预置的事件级别，以及蓝藻发生的水域位置，可及时进行预处理，迅速生成详细打捞工单并下发给网格通等业务系统，打捞队等现场执法人员根据打捞工单信息：蓝藻发生经纬度、范围、浓度和实时地理位置，提前规划巡航路线和打捞计划。
可视化界面用于显示可视化指标数据，还能提供专题背景，将蓝藻识别放置在社会治理事件处置的故事线当中，展现蓝藻事件上报→用户关注并点击呈现→弹出事件标牌→用户浏览并关注生成工单的全流程。移动执法终端能为手机上安装的APP，接收工单预处理平台发出的打捞工单，并能查阅AI平台截取的发现蓝藻的图片和视频。
平台层还包括视频云平台，用于接收从互联网传输过来的无人机检测单元拍摄的实时视频流并对视频流进行存储和管理，视频云平台还通过API接口与AI平台通信连接，AI平台能抓取和调阅视频云平台内的视频流。视频云平台支持H.264、H.265视频编码格式。
平台层还包括FTP服务器，FTP服务器用于接收并集中分层存储AI平台生成的截图和视频切片，截图和视频切片是蓝藻事件识别的关键依据，并能供可视化界面和工单预处理平台通过HTTP协议访问。
感知层和平台层系统之间、平台层内部通过API网关通信连接，API网关接收AI平台的数据并将数据经过处理后发送至可视化平台、工单预处理平台和大数据平台。AI平台将数据编排成JSON格式并使用API方式将数据通过http或https协议发送至API网关，API网关接收AI平台的数据后，通过消息中间件服务，将数据排成消息队列，发送至需要实时消费的可视化界面和工单预处理平台，API网关还通过ETL工具抽取数据到大数据平台，形成随时间增量存储的持久化库表，放置在大数据平台的临时库。
识别系统形成例行机制和SaaS服务模式，对于蓝藻分布热力图，周期更新；无人船设备蓝藻区域浓度热力图，任务更新；无人机设备蓝藻飞行任务在可视化界面展示、日常蓝藻事件随时发布、质量稽核和工单关联服务；水体蓝藻治理月度、季度统计报告、和区域、打捞队KPI关联的深度分析报告。
通过融合无人设备、无人机设备和卫星遥感数据平台，实现空天地一体化的水体蓝藻识别方式，借助AI平台、大数据平台和可视化技术，实现既能及时发现和精准打捞蓝藻的工单机制，又能通过大数据平台实现季节性蓝藻分布的宏观数据分析模型，从而提升执法局工作效率，形成城市治理的创新模式。
1、全程自动化，最小化人工参与：无人机设备放飞巡航、无人机机库自动回收充电；AI平台自动计算蓝藻面积、位置和藻蛋白浓度，自动生成事件上报并进入工单预处置平台。
2、实现及时打捞，精准高效：AI平台的蓝藻事件自动识别、自动判定是否需要打捞，生成工单的周期缩短到几分钟，附近的打捞队可以立即出动。无人船设备精准测量水体的蓝藻浓度，可精准检测和建模藻密度，形成无人机设备视觉识别蓝藻浓度和实际藻蛋白数量(万个)/升的量化关联，同样的原理也适用于卫星遥感蓝藻热力图数据，从而促进空天地数据分析一体化，使蓝藻趋势分析、巡航飞行任务规划、路线设计、打捞作业更有针对性，节约人力和工时，提升执法局工作效能。
3、大数据驱动、形成新治理模式：蓝藻分布热力指导无人机科学设定飞行路线，无人船精密测量蓝藻密度，提供参考数据给无人机载视觉算法和卫星遥感数据平台，从而形成季节性、可持续的蓝藻分布评估模型，结合天气数据，优化无人机船的出勤次数和范围，提升每次无人机飞行任务的工单转换率，实现集约化运营。
实施例2
一种水体蓝藻识别方法，包括如下步骤
步骤1.无人机设备路线规划，参照卫星遥感数据平台生成的蓝藻分布热力图规划无人机设备的飞行路线；每两周参照蓝藻分布热力图规划无人机设备飞行路线，下发到自动巡航和机队管理系统，实现无人机设备每周7天例行化巡航。
步骤2.船机联动，通过无人船设备采集水体的水质，并优化无人机设备的飞行路线。无人船设备在蓝藻多发季节，每周至少执行一次水面巡航任务，采集水体的叶绿素、蓝绿藻、水温和深度等多种数据，通过4G网络经API网关的互联网安全接口实现数据共享，同时控制无人船设备航向，并修正水流、风速对无人船的影响。对无人机设备出勤任务尚未覆盖到的水域，无人船设备可采用多边形计算方法计算蓝藻打捞面积，结合监测到的蓝藻浓度计算打捞工作量，并自动触发生成无人机设备任务，由自动巡航和机队管理系统根据业务优先级进行编排后，无人机设备可迅速赶赴现场拍摄并生成打捞工单。
步骤3.无人机检测单元采集，无人机设备根据飞行路线飞行，在飞行过程中采集视频并同时将飞行数据链传输到AI平台。巡航拍摄实时的蓝藻水面漂浮影像，形成至少分辨率为1080P的视频流，视频流回传到视频云平台并持久化存储。无人机设备的飞行数据链报文，经自动巡航和机队管理系统，通过API网关的消息队列服务，向AI平台输入和视频流同步的无人机设备飞行数据，如无人机设备编码、摄像头编码、水平和垂直速度、高度、经纬度、偏航角、云台俯仰角等。
步骤4.蓝藻识别，AI平台通过其内的蓝藻识别算法计算蓝藻面积，当触发打捞阈值时，发出报警信息，并同时截取发现蓝藻的图片和视频，上传到FTP服务器进行存储。
蓝藻识别有两种方式，第一种是比对使用实时视频流数据和数据链报文，实时分析水面蓝藻的位置、面积、经纬度和蓝藻浓度。第二种是采用无人机设备返回后无人机机库上载的无损1080P录像文件，设置批处理任务实现准实时识别，后者的优点在于准确率高，缺点是有20-30分钟的延迟。
针对变化的水体蓝藻分布情况，目前采用两种蓝藻AI识别模式：
模式1：适用于无人机飞设备出后发现蓝藻、发现蓝藻逐渐明显增多，和触发打捞阈值的场景。依次在约定时间内(每个打捞工单的间隔不超过2分钟，因为无人机的航程和空中飞行时间有限，一般也就空中驻留15-20分钟以内)，输出蓝藻报警信息，按照蓝藻浓度辐射分布的规律，分别是浓度较低、面积颗粒度小、浓度变大→面积逐渐成片→浓度达到打捞标准，形成大片蓝藻聚集区。对应的打捞标志(Cleaning_or_Not)分别是发现→关注→需要，只有到达“需要”才需要形成打捞工单。首先发现、中间刷新和最终辨识的三条事件，每条事件的message_id不同，但具备相同的detection_id。
模式2：适用于无人机飞出后发现蓝藻分布和浓度比较均匀，在2分钟内未能识别蓝藻由低到高并达到打捞标志的情形，包括情形1：到达蓝藻区域，在巡航时间持续停留在蓝藻发现、或关注阈值的情形，在2分钟内从蓝藻发现过渡到关注，则出现两条message_id不同的报警，detection_id相同，如果一直停留在发现或者关注阶段，2分钟内未能过渡到关注和需要打捞的情况，则分别产生两条不同的报警，message_id和detection_id都不同；情形2：马上到达蓝藻密集区域，首次即触发打捞阈值的场景，detection_id唯一并仅有一条。
截取发现蓝藻的图片和视频为证据，AI平台将会即时生成蓝藻的分布截图以及视频上下文切片，形成人工浏览和打捞工单生成判定的关键依据，分布截图会用高亮的颜色，用闭环的曲线勾勒出蓝藻的范围和形态，上下文切片则对每秒的关键帧进行识别渲染，连续播放则形成蓝藻实时的分布范围，沿无人机设备飞行路线动态变化的效果。AI平台将自动上传识别截图和视频切片到FTP服务器上，集中存储，供展现层和工单预处理平台通过HTTP协议访问。
步骤5.数据处理，工单预处理平台和大数据平台接收步骤4中的报警信息，AI平台经API网关做格式整理和辅助信息编排，如实时位置定位获取街道、社工委的名称，以及蓝藻发生水域附近的建筑物标识，通过消息队列机制发送给工单预处理平台和大数据平台。工单预处理平台实时消费提取JSON简谱数据，依据蓝藻识别的浓度阈值、范围面积、事件等级等判定依据，自动或人工判定生成或不生成打捞工单，并将生成的打捞工单传输至移动执法终端。大数据平台将报警信息生成可视化指标数据，并传输至可视化界面显示，可视化数据包括前端报表、分析图标、仪表盘。
为满足日常运营的需要，蓝藻识别报告形成服务化机制，大数据平台自动生成PDF文件推送，移动执法终端推动预警雷达信息、蓝藻治理月度、季度统计报告给执法主管领导。
以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。
Claims (9)
1.一种水体蓝藻识别系统，其特征在于：包括感知层、平台层和展现层，所述感知层和展现层均与平台层通信连接；
所述感知层包括路线规划单元，用于采集水体蓝藻的初步情况；无人机检测单元，根据所述水体蓝藻的初步情况规划路线并进行详查和实时监测，生成飞行数据并采集视频；所述路线规划单元包括卫星遥感数据平台和无人船设备，所述卫星遥感数据平台用于形成水体的蓝藻分布热力图，并将生成的蓝藻分布热力图输至无人机检测单元；所述无人船设备，搭载多参数水质监测传感器和测深传感器，参照蓝藻分布热力图进行航行，用于采集蓝藻和水体的水质数据，并将采集数据传输至无人机检测单元和大数据平台；
所述平台层包括AI平台，进行蓝藻事件识别，用于接收无人机检测单元采集的视频，计算蓝藻面积并判断蓝藻水华严重程度，发出不同级别的报警信息，并截取发现蓝藻的图片和视频；大数据平台，接收和存储AI平台和感知层的数据，并生成可视化指标数据；工单预处理平台，用于接收AI平台发出的报警信息，并判断是否生成打捞工单；
所述展现层包括可视化界面，用于显示可视化指标数据；移动执法终端，接收工单预处理平台发出的打捞工单，并能查阅AI平台截取的发现蓝藻的图片和视频。
2.根据权利要求1所述的一种水体蓝藻识别系统，其特征在于：所述无人机检测单元包括无人机机库、无人机设备及自动巡航和机队管理系统，所述无人机机库用于自动回收、充电和放飞无人机设备；所述无人机设备上搭载高清摄像头，用于拍摄实时的蓝藻水面漂浮影像；所述自动巡航和机队管理系统与无人机机库、无人机设备通信连接，并开放API接口与平台层通信连接，并向平台层上传无人机设备飞行数据链、任务和无人机机库的状态报文。
3.根据权利要求2所述的一种水体蓝藻识别系统，其特征在于：所述无人机检测单元与GIS平台通信连接，所述GIS平台向自动巡航和机队管理系统提供无人机设备所在投影的地理位置信息。
4.根据权利要求2所述的一种水体蓝藻识别系统，其特征在于：所述无人机设备与自动巡航和机队管理系统通过4G或5G网络连接。
5.根据权利要求1所述的一种水体蓝藻识别系统，其特征在于：所述平台层还包括视频云平台，用于接收从互联网传输过来的无人机检测单元拍摄的实时视频流并对视频流进行存储和管理，所述视频云平台还通过API接口与AI平台通信连接，所述AI平台能抓取和调阅视频云平台内的视频流。
6.根据权利要求1所述的一种水体蓝藻识别系统，其特征在于：所述平台层还包括FTP服务器，所述FTP服务器用于接收并集中分层存储AI平台生成的截图和视频切片，并能供可视化界面和工单预处理平台通过HTTP协议访问。
7.根据权利要求1所述的一种水体蓝藻识别系统，其特征在于：所述感知层和平台层系统之间、平台层内部通过API网关通信连接，所述API网关接收AI平台的数据并将数据经过处理后发送至可视化界面、工单预处理平台和大数据平台。
8.根据权利要求7所述的一种水体蓝藻识别系统，其特征在于：所述AI平台将数据编排成JSON格式并使用API方式将数据通过http或https协议发送至API网关，所述API网关接收AI平台的数据后，通过消息中间件服务，将数据排成消息队列，发送至需要实时消费的可视化界面和工单预处理平台，API网关还通过ETL工具抽取数据到大数据平台，形成随时间增量存储的持久化库表，放置在大数据平台的临时库。
9.一种水体蓝藻识别方法，基于权利要求1所述的水体蓝藻识别系统，其特征在于：包括如下步骤
步骤1.无人机设备路线规划，参照卫星遥感数据平台生成的蓝藻分布热力图规划无人机设备的飞行路线；
步骤2.船机联动，通过无人船设备采集水体的水质，并优化无人机设备的飞行路线；
步骤3.无人机检测单元采集，无人机设备根据飞行路线飞行，在飞行过程中采集视频并同时将飞行数据链传输到AI平台；
步骤4.蓝藻识别，AI平台通过其内的蓝藻识别算法计算蓝藻面积，当触发打捞阈值时，发出报警信息，并同时截取发现蓝藻的图片和视频，上传到FTP服务器进行存储；
步骤5.数据处理，工单预处理平台和大数据平台接收步骤4中的报警信息，工单预处理平台自动或人工判定生成或不生成工单，并将生成的工单传输至移动执法终端；大数据平台将报警信息生成可视化指标数据，并传输至可视化界面显示，可视化数据包括前端报表、分析图标、仪表盘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011397991.3A CN112710798B (zh) | 2020-12-03 | 2020-12-03 | 一种水体蓝藻识别系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011397991.3A CN112710798B (zh) | 2020-12-03 | 2020-12-03 | 一种水体蓝藻识别系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112710798A CN112710798A (zh) | 2021-04-27 |
| CN112710798B true CN112710798B (zh) | 2022-11-08 |
Family
ID=75542247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011397991.3A Active CN112710798B (zh) | 2020-12-03 | 2020-12-03 | 一种水体蓝藻识别系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112710798B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537405A (zh) * | 2021-08-25 | 2021-10-22 | 太湖流域水文水资源监测中心（太湖流域水环境监测中心） | 一种采用人工智能技术的蓝藻图像分类识别工具 |
| CN114161978A (zh) * | 2021-12-31 | 2022-03-11 | 国网智慧能源交通技术创新中心(苏州)有限公司 | 充电监控系统和包含其的集装箱电动船 |
| CN114112945A (zh) * | 2021-12-31 | 2022-03-01 | 安徽大学 | 一种新型巢湖蓝藻水华监测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101863528A (zh) * | 2010-06-01 | 2010-10-20 | 无锡弘景达信息技术有限公司 | 一种蓝藻处理方法及其系统 |
| CN102221551A (zh) * | 2011-06-02 | 2011-10-19 | 中国科学院计算技术研究所 | 一种蓝藻监测装置及方法 |
| CN104197983A (zh) * | 2014-03-18 | 2014-12-10 | 王雅娜 | 水体蓝藻爆发预警的生态修复监测系统 |
| CN106875636A (zh) * | 2017-04-05 | 2017-06-20 | 南京理工大学 | 基于无人机的蓝藻监测预警方法及系统 |
| CN107340365A (zh) * | 2017-06-19 | 2017-11-10 | 中国科学院南京地理与湖泊研究所 | 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法 |
| CN107527037A (zh) * | 2017-08-31 | 2017-12-29 | 苏州市数字城市工程研究中心有限公司 | 基于无人机遥感数据的蓝藻识别与分析系统 |
| CN111302432A (zh) * | 2020-04-23 | 2020-06-19 | 南京华科皓纳电气科技有限责任公司 | 一种全自动大水域藻类污染物处理平台 |
-
2020
- 2020-12-03 CN CN202011397991.3A patent/CN112710798B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101863528A (zh) * | 2010-06-01 | 2010-10-20 | 无锡弘景达信息技术有限公司 | 一种蓝藻处理方法及其系统 |
| CN102221551A (zh) * | 2011-06-02 | 2011-10-19 | 中国科学院计算技术研究所 | 一种蓝藻监测装置及方法 |
| CN104197983A (zh) * | 2014-03-18 | 2014-12-10 | 王雅娜 | 水体蓝藻爆发预警的生态修复监测系统 |
| CN106875636A (zh) * | 2017-04-05 | 2017-06-20 | 南京理工大学 | 基于无人机的蓝藻监测预警方法及系统 |
| CN107340365A (zh) * | 2017-06-19 | 2017-11-10 | 中国科学院南京地理与湖泊研究所 | 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法 |
| CN107527037A (zh) * | 2017-08-31 | 2017-12-29 | 苏州市数字城市工程研究中心有限公司 | 基于无人机遥感数据的蓝藻识别与分析系统 |
| CN111302432A (zh) * | 2020-04-23 | 2020-06-19 | 南京华科皓纳电气科技有限责任公司 | 一种全自动大水域藻类污染物处理平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112710798A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112710798B (zh) | 一种水体蓝藻识别系统和方法 | |
| CN112422783B (zh) | 一种基于停机坪集群的无人机智能巡查系统 | |
| CN103942941B (zh) | 基于gis的移动监测融合平台 | |
| EP3705849A2 (en) | Method and apparatus for visualizing risk levels associated with aerial vehicle flights | |
| US20200286391A1 (en) | Method and apparatus for computing a three-dimensional route based on risk-related data | |
| CN115348247A (zh) | 基于天空地一体化技术的森林火灾检测预警及决策系统 | |
| CN112819340B (zh) | 一种基于多源数据的城市洪涝灾害动态评估方法 | |
| CN110188586A (zh) | 基于气象观测、道路摄像能见度识别的系统及应用方法 | |
| CN205103998U (zh) | 一种基于无人机LiDAR技术的山洪风险分析系统 | |
| KR20160072432A (ko) | 해양환경 관측자료 제공시스템 | |
| US11436777B1 (en) | Machine learning-based hazard visualization system | |
| CN113487094B (zh) | 一种海洋数据管理应用平台 | |
| CN109670673A (zh) | 露天矿生产管控系统 | |
| CN115388949A (zh) | 一种智能水库监测管理系统 | |
| JP2006158239A (ja) | 漁場予測装置並びに海況予測装置 | |
| CN112215416B (zh) | 智能规划巡检航线系统及方法 | |
| CN113192192A (zh) | 一种实景三维数字孪生航道场景构建方法 | |
| CN111047491A (zh) | 一种三维防凌炸冰指挥平台 | |
| CN118135426B (zh) | 一种基于卫星影像与sam的港口水域交通状况识别方法 | |
| CN105956045A (zh) | 一种北斗定位导航城市管网智能测绘巡检与监控平台 | |
| CN102819788B (zh) | 一种移动式输油管线的全程实景信息管理方法与系统 | |
| CN108470044A (zh) | 一种基于三维gis技术的输电线路管理系统 | |
| CN109471205A (zh) | 一种基于网格化气象数据在电网运行中的监测预警方法 | |
| Cressman | The use of new technologies in desert locust early warning | |
| Wibisono et al. | Traffic intelligent system architecture based on social media information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |