CN114926916A - 一种5g无人机动态ai巡检系统 - Google Patents
一种5g无人机动态ai巡检系统 Download PDFInfo
- Publication number
- CN114926916A CN114926916A CN202210505471.2A CN202210505471A CN114926916A CN 114926916 A CN114926916 A CN 114926916A CN 202210505471 A CN202210505471 A CN 202210505471A CN 114926916 A CN114926916 A CN 114926916A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- container
- inspection
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims description 11
- 230000018109 developmental process Effects 0.000 title claims description 11
- 238000007689 inspection Methods 0.000 claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000010959 steel Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 2
- 230000006855 networking Effects 0.000 claims description 2
- 238000011179 visual inspection Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 27
- 230000002159 abnormal effect Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种5G无人机动态AI巡检系统，其包括：无人机，无人机用于实施拍摄巡航视频；无人机控制系统，无人机控制系统控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量信息；视频接入和识别输出系统，视频接入和识别输出系统接收实时视频数据，通过AI算法实时标识分析视频中的安全问题，视频接入和识别输出系统提供应急预案功能；以及无人机监控和预警系统，无人机监控和预警系统实时显示无人机巡航的安全问题的坐标、问题图片和应急预案；无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。本发明可以有效降低人工成本，同时降低安全的风险，为自动化码头的数字化巡检提供助力。
Description
技术领域
本发明涉及无人机巡检的技术领域，尤其涉及一种5G无人机动态AI巡检系统。
背景技术
港口是位于海、江、河、湖、水库沿岸，具有水陆联运设备以及条件以供船舶安全进出和停泊的运输枢纽。港口是水陆交通的集结点和枢纽处，是工农业产品和外贸进出口物资的集散地，也是船舶停泊、装卸货物、上下旅客、补充给养的场所。
在中国，沿海港口建设重点围绕煤炭、集装箱、进口铁矿石、粮食、陆岛滚装、深水出海航道等运输系统进行，特别加强了集装箱运输系统的建设。然而，码头设备普遍大型化，登高作业存在较大的安全隐患，同时进入自动化区域内的巡检工作对生产的影响较大，也会耗费大量的人力，在这样的条件下无人机的巡检工作可以替代大量的人工投入，对于降低人工成本及人身安全防护也有积极的意义。
基于上述情况，我们设计出一种5G无人机动态AI巡检系统。
发明内容
针对现有技术存在的不足，本发明旨在提供一种5G无人机动态AI巡检系统。
本发明的上述目的是通过以下技术方案得以实现：
一种5G无人机动态AI巡检系统，包括：
无人机，所述无人机用于实施拍摄巡航视频；
无人机控制系统，所述无人机控制系统控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量等信息；
视频接入和识别输出系统，所述视频接入和识别输出系统接收实时视频数据，通过AI算法实时标识分析视频中的安全问题，所述视频接入和识别输出系统提供应急预案功能；
以及无人机监控和预警系统，所述无人机监控和预警系统实时显示无人机巡航的安全问题的坐标、问题图片和应急预案。
所述无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。
本发明进一步技术方案设置为，所述视频接入和识别输出系统主要用于播放所述无人机控制系统回传的巡航视频，通过AI或手工识别视频中的安全问题，并且自动或者手工的选择应急预案，并将识别结果及应急预案推送给所述无人机监控和预警系统进行三维全方位预警和显示。
本发明进一步技术方案设置为，所述无人机监控和预警系统同步对接所述无人机对应位置的视频和抓取图片并自动AI识别，返回和保存识别结果，识别结果为识别到疑似安全隐患或识别到严重安全隐患预警。
本发明进一步技术方案设置为，所述无人机的视觉模块包括巡检识别模块，所述巡检识别模块辅助所述无人机自动巡检，巡检内容为箱区及堆垛巡检，作业区域目标巡检，机械设备和区域位置巡检。
本发明进一步技术方案设置为，所述箱区及堆垛巡检包括：
集装箱三维检测，确定集装箱各面朝向、在二维图片中绘制集装箱三维立体坐标；
箱区巡检，通过上一步骤对箱区各集装箱进行三维定位后，可以得出集装箱各顶点坐标及集装箱边框，由此可判断集装箱堆叠、摆放位置是否正确；
箱区密度及箱信息检查，通过上一步骤可获取箱区堆叠密度。进一步地，若图片拍摄质量较高，可由此识别集装箱箱号、危标等集装箱信息；
集装箱绑扎识别，在无人机进行箱区巡检时，可识别集装箱绑扎是否完成，并根据情况发出警告。
本发明进一步技术方案设置为，所述箱区及堆垛巡检的算法为：
集装箱三维定位：通过搭建神经网路及采用霍夫变化等算法，可对集装箱进行三维定位，模型采用MobileNetV3作为卷积操作的骨架，然后使用Unet使用不同采样率对特征进行采样；输出结果进入Dual attention网络分别获取channel attention map和position attention map，将结果进行融合后与MobileNetv3的中间层输出合并，最终Upsamble到原始图片同分辨率后后输出语义分割结果，推导出集装箱箱面对应像素值；
箱区多个集装箱三维定位：通过对定位后结果各箱面顶点及边框信息进行三维建模，可得到集装箱摆放位置、角度等信息，由此判断集装箱位置是否符合规范；对于上述集装箱的三维定位，通过对图片分割结果继续进行实例分割，可得到不同集装箱三维定位结果；
集装箱信息识别：通过提取上一步骤集装箱及各个箱面分割区域，在图片清晰度足够的情况下，可识别集装箱堆叠数量，集装箱箱面危标、箱号等信息；
绑扎识别：通过对图片中主要绑扎带进行识别，描绘绑扎带轮廓，确认每个箱子是否都加固完毕，从而发出预警。
本发明进一步技术方案设置为，所述作业区域目标巡检通过无人机视觉进行作业区域目标检测，对象包括道路检测，AGV、工作人员以及其他作业区域可能存在的目标；
所述作业区域目标巡检包括：
作业区域类型分割，通过机器视觉对作业区域不同功能区进行划；
目标定位，系统可实现对AGV、内外集卡、工作人员的定位。
本发明进一步技术方案设置为，所述机械设备及区域位置巡检在无人机巡检过程中，需要人工检查包括高层建筑的外立面、钢结构、海侧的护舷、箱区轨道、导流堤及围堤的内容。
本发明进一步技术方案设置为，还包括客户端和服务器，所述客户端由浏览器承担所有显示、控制功能；所述服务器通过和数据系统对接为客户端提供数据显示支撑。
本发明进一步技术方案设置为，还包括云技术，所述云技术包括基础资源层和容器化层，所述基础资源层是由多台X86架构和拥有GPU能力的主机构建而成，做为云服务的硬件基础层，提供最基本的计算、存储、网络功能；所述容器化层是由Kubernetes作为整体解决方案，所有应用程序，算法服务将以容器化的形式对外提供服务。
综上所述，本发明包括以下有益技术效果：
本发明通过无人机的巡检工作可以替代大量的人工投入，对于降低人工成本及人身安全防护也有积极的意义；基于无人机技术和5G技术的快速发展，无人机巡检可以极大的降低自动化码头常规生产及巡检对生产过程的影响，同时降低安全的风险，为自动化码头的数字化巡检提供助力。收集无人机巡检拍摄到各业务场景的视频或图片数据，对其中可进行机器视觉识别的内容利用人工智能算法对其进行分析，针对箱区堆放、绑扎、人员安全、机械设备位置和设备状态等，结合无人机动态巡航视频，进行AI机器视觉识别，有效发现其中异常情况进行警告，及时识别潜在巡检风险，对异常情形形成专题诊断报告。
附图说明
图1为本发明的流程图；
图2为本发明的整体架构图；
图3为本发明的系统框图；
图4为本发明数字孪生的架构图
图5为本发明中集装箱三维定位的算法原理图；
图6本发明中集装箱信息识别的算法原理图。
具体实施方式
以下结合附图1-6对本发明作进一步的详细说明。
本发明公开了一种5G无人机动态AI巡检系统，包括无人机、无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统、客户端、服务器和云技术。
具体的，无人机为大疆无人机，大疆无人机控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量等信息。视频接入和识别输出系统接收实时视频数据，通过AI算法实时标识分析视频中的安全问题(同时也支持人工识别和标识安全问题)；视频接入和识别输出系统提供应急预案功能(根据设置的应急预案规则自动选择应急预案或者手工应急预案处理)。无人机监控和预警系统(数字孪生)实时显示无人机巡航的安全问题的坐标，问题图片和应急预案。
视频接入和识别输出系统主要功能是播放无人机控制系统回传的巡航视频，通过AI或手工识别视频中的安全问题，并且自动或者手工的选择应急预案。并将识别结果及应急预案推送给无人机监控和预警系统(数字孪生)进行三维全方位预警和显示。
在本发明中，无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。
其中，数字孪生界面关注业务和无人机飞行路径，可与大疆无人机实时同步，虚实结合。为无人机实时巡航界面，展现飞行状态，无人机设备状态等。
无人机控制系统面由顶部信息栏，左侧导航栏和右侧工作区域构成。右侧工作区域可全屏显示，方便用户直观的关注当前的工作区域。
视频接入和识别输出界面为巡检识别信息，预警信息等。
巡航监控界面分为实时巡航视频，实时安全预警，应急预案处理及应急预处理情况4个区域组成。
实时安全预警面板动态显示AI实时识别安全问题信息，同时可以手工点击“拍摄安全隐患”按钮抓拍当前播放视频中的画面，并标注画面中问题位置和描述安全问题。
应急预案处理面板显示默认显示待处理状态的巡航安全问题信息列表(系统无法根据预设的应急预案规则自动选择应急预案)。用户可以点击相关安全问题照片查看，并点击“处理安全问题”按钮定制应急预案。
应急预案处理情况，动态显示安全未处理，处理中和已处理的安全问题比例的饼状图。
无人机监控和预警(结合数字孪生)，增加数字孪生新预警图标，即无人机巡检预警，同步对接无人机对应位置的视频和抓取图片并自动AI识别，返回和保存识别结果。识别结果为识别到疑似安全隐患或识别到严重安全隐患预警。
此外，无人机包括具有视觉辅助的巡检识别模块，巡检识别模块通过对过往项目可行性分析，梳理出如下几个方面功能：箱区及堆垛巡检、作业区域(人员)目标巡检、机械设备和区域位置巡检。
箱区及堆垛巡检采用无人机视觉进行箱区巡检，可以包含如下几项内容：
集装箱三维检测：确定集装箱各面朝向、在二维图片中绘制集装箱三维立体坐标。
箱区巡检：通过上一步骤对箱区各集装箱进行三维定位后，可以得出集装箱各顶点坐标及集装箱边框，由此可判断集装箱堆叠、摆放位置是否正确等。
箱区密度及箱信息检查：通过上一步骤可获取箱区堆叠密度。进一步地，若图片拍摄质量较高，可由此识别集装箱箱号、危标等集装箱信息。
集装箱绑扎识别：在无人机进行箱区巡检时，可识别集装箱绑扎是否完成，并根据情况发出警告。
箱区及堆垛巡检的算法描述为：
集装箱三维定位：通过搭建神经网路及采用霍夫变化等算法，可对集装箱进行三维定位，模型采用MobileNetV3作为卷积操作的骨架，然后使用Unet使用不同采样率对特征进行采样。输出结果进入Dual attention网络分别获取channel attention map和position attention map，将结果进行融合后与MobileNetv3的中间层输出合并，最终Upsamble到原始图片同分辨率后后输出语义分割结果，推导出集装箱箱面对应像素值。
箱区多个集装箱三维定位：通过对定位后结果各箱面顶点及边框信息进行三维建模，可得到集装箱摆放位置、角度等信息，由此判断集装箱位置是否符合规范。对于上述集装箱的三维定位，通过对图片分割结果继续进行实例分割，可得到不同集装箱三维定位结果。
集装箱信息识别：通过提取上一步骤集装箱及各个箱面分割区域，在图片清晰度足够的情况下，可识别集装箱堆叠数量，集装箱箱面危标、箱号等信息。以下为识别算法简单介绍；识别算法同样采用MobileNetV3作为卷积操作提取图像特征的骨架，获取H/8个长度为512的向量，然后对这H/8个向量进行self attention操作输出同样大小(H/8,512)的向量，然后将这H/8个向量顺序输入到同一个LSTM Cell中。每一步输出即可获得一个字符预测结果。
绑扎识别：通过对图片中主要绑扎带进行识别，描绘绑扎带轮廓，确认每个箱子是否都加固完毕，从而发出预警。为实现绑扎识别的业务需求，可先提取其主要轮廓，可以采用第二种方式极坐标系来表示图片中轮廓的直线，表达式可为：
作业区域(人员)目标巡检通过无人机视觉进行作业区域目标检测，对象包括道路检测(车道、人行道等)，AGV、工作人员以及其他作业区域可能存在的目标。对此，梳理了以下几点应用场景：
作业区域(道路)类型分割；通过机器视觉对作业区域不同功能区进行划；
目标定位：系统可实现对AGV、内外集卡、工作人员的定位。以工作人员为例；通过定位到人员在图像中的坐标，以及对比上一步分割后的应用区域，判断人员所处位置是否符合安全规范的要求，进而发出预警；通过对图片中作业区域的分割以及工作人员的检测，由此判断人员所处位置是否合规。
作业区域(人员)目标巡检算法描述为：
作业区域(道路)类型分割：对于图片中作业区域像素级地分类，我们拟采用神经网络进行语义分割，通过神经网络输出与采集到的原图同分辨率的多维矩阵，在原图对应位置判断像素所处区域分类。
目标检测：对于人员、AGV等目标检测，可采用神经网络进行边框回归，可通过模型预测目标中心点坐标及宽高值确定目标在图片所处的坐标。
机械设备及区域位置(建筑)巡检在无人机巡检过程中，需要人工检查包括高层建筑的外立面、钢结构、海侧的护舷、箱区轨道、导流堤及围堤等多种类型的内容。
但目前暂无有效的深度学习算法能实现多场景、多目标的通用巡检功能。对此，第一步，我们可基于传统机器视觉算法实现在已知场景下，通过事先拍摄正常图片与巡检时拍摄的图片进行比对，发现两类图片差异较大的内容，进而提交人工判断是否异常。
第二步，在收集到足够异常类型图片后，可搭建神经网络模型学习此类异常内容。从而在未来自主发现异常情况，从而减少人工浏览正常图片的工作量。
机械设备及区域位置(建筑)巡检算法描述为：在正常图片与巡检图片比对环节，可通过去噪、滤波、图片矫正等方式先对巡检图片进行预处理，然后计算正常图片和巡检图片的特征向量并进行比对，进而获取图片中差异较大的区域。常用图片通过透视变换的矫正算法包括旋转、平移、刚体变换、仿射变换等，公式为：
在获取到足够多异常图片后，通过人工标注异常部分，然后搭建深度学习模型，通过模型学习各类异常类型。
5G无人机AI巡检系统技术总体设计采用B/S(Browser/Server)结构：客户端由浏览器(Browser)承担所有显示、控制功能；服务器通过和数据系统对接为客户端提供数据显示支撑。
无人机巡检系统客户端技术采用WebGL 2.0技术，从而支持浏览器三维渲染能力。客户端设计要求达到以下3个主要目标：
(1)显示：真实地还原新片区管控情况，并能实时显示刷新，流畅无卡顿。
(2)操作：既支持嵌入主系统界面操作显示，又支持全屏化操作显示，且操作体验良好；操作符合人性化直觉。
(3)体验：在主系统切换的过程中流畅，不会因为有大量的资源加载导致长时间卡顿。
为了达成以上几个目标，将考虑公关并实现以下的技术功能：
显示上的关键技术功能：数据缓冲，采用带时间的数据缓冲动态插值方法，对于离散的数据(尤其是位置数据)进行一段几十秒级数据缓冲，并在数据间做动态插值，从而保证所有三维物体显示动画的流畅性(例如：集卡移动)；渲染优化，对于影响渲染效率的三维物体(比如：大量动态子物体)：一方面考虑做发布前动态合并，另一方面对数据形态敏感的三维物体做基于数据的动态Mesh和材质贴图生成和动态绘制。
操作上的关键技术功能：UI系统，在WebGL中采用Web Assembly驱动UI系统，所有UI事件只在系统内部交互，而不会通过JavaScript和外部交互；输入和字体，内部UI支持中文字体、西文字体、中文输入法；UI自适应，整体Canvas和UI系统支持探测浏览器大小改变，并在UI层做到自适应；按键冲突，主要操作设计避免和浏览器快捷键冲突。
体验上的关键技术功能：缓存机制，采用浏览器缓存机制，对初次加载的资源做到本地缓存，第二次加载直接从本地加载；此外缓存机制必须支持资源的版本变更和更新。动态加载，在场景加载上做到动态加载显示，从而缩短场景加载时间。此外，考虑到系统将会长时间、大数据量的实时刷新三维场景，而浏览器对于三维显示有很多限制，因此还要综合考虑以下核心技术问题：性能指标，能够支持主流中高端显卡上流畅运行。内存限制，应用程序整体内存使用不能超过浏览器限制。资源大小，为了提升下载和加载速度，提升体验，整体资源控制大小在256MB以下，采用更平衡的资源压缩算法，同时不能因为资源节省而降低质量要求。网络连接，因浏览器限制，采用WebSocket协议和服务器通信，保证长连接和消息推送；同时考虑断线重连的设计。
无人机巡检系统服务器的角色主要是作为数据处理系统和三维WebGL客户端的中间缓冲层：提取数据转化为客户端能理解的数据格式，并推送给客户端。
因此，服务器需要能够提供以下的技术功能支撑：
(1)状态缓存：通过接收数据系统推送过来的港口整体数据，对状态进行缓存，并通过状态差进行数据更新，从而减小整体数据流量。
(2)会话实例：支持不同的客户端不同时间点连接，以增量数据的方式向客户端推送整体状态。
(3)协议转化：支持通过不同的协议(大部分是基于底层Socket的协议)向数据系统获取数据，最终以统一的WebSocket协议向客户端提供数据。
(4)事件驱动：当有优先级高的警告事件发送时，能主动向客户端推送消息。
5G无人机AI巡检私有云技术方案，包括基础资源层和容器化层。
基础资源层是由多台X86架构和拥有GPU能力的主机构建而成，做为云服务的硬件基础层，提供最基本的，计算，存储，网络等功能。
容器化层是由Kubernetes作为整体解决方案，所有应用程序，算法服务将以容器化的形式对外提供服务。
Kubernetes是一个完备的分布式系统支撑平台。Kubernetes具有完备的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力，透明的服务注册和服务发现机制、内建的智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩展能力，可扩展的资源自动调度机制，以及多粒度的资源配额管理能力。同时，Kubernetes提供了完善的管理工具，这些工具涵盖了包括开发，部署测试，运维监控在内的各个环节。因此，Kubernetes是一个一站式的完备的分布式系统开发和支撑平台。
Kubernetes特点：
(1)可移植：支持公有云，私有云，混合云，多重云(multi-cloud)。
(2)可扩展：模块化，插件化，可挂载，可组合。
(3)自动化：自动部署，自动重启，自动复制，自动伸缩/扩展。
在原生Kubernetes中标记为work node的点作为普通工作节点，满足服务发布，程序持续集成，程序持续交付，自动化测试，镜像仓库，代码仓库等容器服务。
GPU work node为需要用到智能算法的容器提供算了。Storage node数持久化提供存储支持。
GPU支持(Device Plugin)，从1.8版本开始，引入离开Device Plugin(设备插件模型)，为设备提供商提供了一种基于插件的、无需修改Kubelet核心代码的外部设备启用方式、设备提供商只需在计算节点上一DaemonSet方式动一个设备插件器供Kubelet调用，即可使用外部设备。
目前支持的设备类型包括GPU，高性能NIC卡，FPGA，InfiniBand等。本方案就是使用Device Plugin实现GPU设备的容器化使用。让需要用到GPU计算能力的应用动态的分配到想得到的资源，并且让资源使用率达到最高，成本最低。
服务层为智能识别算法API服务：
服务层以容器的形式对外提供识别算法的RESTFUL，HTTP等服务，经过一系列的测试验证，发布最终交付的软件版本。也可以为其他服务提供API接口为智能算法的衍生产品提供可视化界面或Saas服务。
Kubernetes让微服务架构变得更便捷，在其架构中可方便提供CI/CD，自动发布，自动测试服务，所以在资源消耗可接受的情况下，本架构还能为其他业务系统提供云平台支持。
算法开发层提供了定制的开发容器镜像，快速部署开发环境及需要的控件，包括项目中使用到的Tensorflow道口识别训练集程序和箱号识别训练集程序。并且支持Pytorch等更轻量级的人工智能和深度学习算法架构。并提供开发集成WEB开发界面(IDE)，例如Zeppelin。
Tensorflow TensorFlow是一个采用数据流图(data flow graphs)，用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作，线(edges)则表示在节点间相互联系的多维数据数组，即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU(或GPU)，服务器，移动设备等。
TensorFlow最初由Google大脑小组(隶属于Google机器智能研究机构)的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。
Pytorch PyTorch的前身是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。它是由Torch7团队开发，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神网络，这是很多主流深度学习框架比如Tensorflow等都不支持的。PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外，它已经被Twitter、CMU和Salesforce。
数据需求，为了更高效合理实施5G无人机AI巡检系统项目，软件供应商作为数据提供者需配合如下内容：
提供无人机GPS坐标数据；视频传输协议(RTMP,RTSP等)对本系统开放
本发明的实施原理为：
本发明通过无人机的巡检工作可以替代大量的人工投入，对于降低人工成本及人身安全防护也有积极的意义；基于无人机技术和5G技术的快速发展，无人机巡检可以极大的降低自动化码头常规生产及巡检对生产过程的影响，同时降低安全的风险，为自动化码头的数字化巡检提供助力。收集无人机巡检拍摄到各业务场景的视频或图片数据，对其中可进行机器视觉识别的内容利用人工智能算法对其进行分析，针对箱区堆放、绑扎、人员安全、机械设备位置和设备状态等，结合无人机动态巡航视频，进行AI机器视觉识别，有效发现其中异常情况进行警告，及时识别潜在巡检风险，对异常情形形成专题诊断报告。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
Claims (10)
1.一种5G无人机动态AI巡检系统，其特征在于，包括：
无人机，所述无人机用于实施拍摄巡航视频；
无人机控制系统，所述无人机控制系统控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量信息；
视频接入和识别输出系统，所述视频接入和识别输出系统接收实时视频数据，通过AI算法实时标识分析视频中的安全问题，所述视频接入和识别输出系统提供应急预案功能；
以及无人机监控和预警系统，所述无人机监控和预警系统实时显示无人机巡航的安全问题的坐标、问题图片和应急预案。
所述无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。
2.根据权利要求1所述的一种5G无人机动态AI巡检系统，其特征在于，所述视频接入和识别输出系统主要用于播放所述无人机控制系统回传的巡航视频，通过AI或手工识别视频中的安全问题，并且自动或者手工的选择应急预案，并将识别结果及应急预案推送给所述无人机监控和预警系统进行三维全方位预警和显示。
3.根据权利要求1所述的一种5G无人机动态AI巡检系统，其特征在于，所述无人机监控和预警系统同步对接所述无人机对应位置的视频和抓取图片并自动AI识别，返回和保存识别结果，识别结果为识别到疑似安全隐患或识别到严重安全隐患预警。
4.根据权利要求1所述的一种5G无人机动态AI巡检系统，其特征在于，所述无人机的视觉模块包括巡检识别模块，所述巡检识别模块辅助所述无人机自动巡检，巡检内容为箱区及堆垛巡检，作业区域目标巡检，机械设备和区域位置巡检。
5.根据权利要求4所述的一种5G无人机动态AI巡检系统，其特征在于，所述箱区及堆垛巡检包括：
集装箱三维检测，确定集装箱各面朝向、在二维图片中绘制集装箱三维立体坐标；
箱区巡检，通过上一步骤对箱区各集装箱进行三维定位后，可以得出集装箱各顶点坐标及集装箱边框，由此可判断集装箱堆叠、摆放位置是否正确；
箱区密度及箱信息检查，通过上一步骤可获取箱区堆叠密度。进一步地，若图片拍摄质量较高，可由此识别集装箱箱号、危标等集装箱信息；
集装箱绑扎识别，在无人机进行箱区巡检时，可识别集装箱绑扎是否完成，并根据情况发出警告。
6.根据权利要求5所述的一种5G无人机动态AI巡检系统，其特征在于，所述箱区及堆垛巡检的算法为：
集装箱三维定位：通过搭建神经网路及采用霍夫变化等算法，可对集装箱进行三维定位，模型采用MobileNetV3作为卷积操作的骨架，然后使用Unet使用不同采样率对特征进行采样；输出结果进入Dual attention网络分别获取channel attention map和positionattention map，将结果进行融合后与MobileNetv3的中间层输出合并，最终Upsamble到原始图片同分辨率后后输出语义分割结果，推导出集装箱箱面对应像素值；
箱区多个集装箱三维定位：通过对定位后结果各箱面顶点及边框信息进行三维建模，可得到集装箱摆放位置、角度等信息，由此判断集装箱位置是否符合规范；对于上述集装箱的三维定位，通过对图片分割结果继续进行实例分割，可得到不同集装箱三维定位结果；
集装箱信息识别：通过提取上一步骤集装箱及各个箱面分割区域，在图片清晰度足够的情况下，可识别集装箱堆叠数量，集装箱箱面危标、箱号等信息；
绑扎识别：通过对图片中主要绑扎带进行识别，描绘绑扎带轮廓，确认每个箱子是否都加固完毕，从而发出预警。
7.根据权利要求4所述的一种5G无人机动态AI巡检系统，其特征在于，所述作业区域目标巡检通过无人机视觉进行作业区域目标检测，对象包括道路检测，AGV、工作人员以及其他作业区域可能存在的目标；
所述作业区域目标巡检包括：
作业区域类型分割，通过机器视觉对作业区域不同功能区进行划；
目标定位，系统可实现对AGV、内外集卡、工作人员的定位。
8.根据权利要求4所述的一种5G无人机动态AI巡检系统，其特征在于，所述机械设备及区域位置巡检在无人机巡检过程中，需要人工检查包括高层建筑的外立面、钢结构、海侧的护舷、箱区轨道、导流堤及围堤的内容。
9.根据权利要求1所述的一种5G无人机动态AI巡检系统，其特征在于，还包括客户端和服务器，所述客户端由浏览器承担所有显示、控制功能；所述服务器通过和数据系统对接为客户端提供数据显示支撑。
10.根据权利要求1所述的一种5G无人机动态AI巡检系统，其特征在于，还包括云技术，所述云技术包括基础资源层和容器化层，所述基础资源层是由多台X86架构和拥有GPU能力的主机构建而成，做为云服务的硬件基础层，提供最基本的计算、存储、网络功能；所述容器化层是由Kubernetes作为整体解决方案，所有应用程序，算法服务将以容器化的形式对外提供服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505471.2A CN114926916A (zh) | 2022-05-10 | 2022-05-10 | 一种5g无人机动态ai巡检系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505471.2A CN114926916A (zh) | 2022-05-10 | 2022-05-10 | 一种5g无人机动态ai巡检系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114926916A true CN114926916A (zh) | 2022-08-19 |
Family
ID=82808517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210505471.2A Pending CN114926916A (zh) | 2022-05-10 | 2022-05-10 | 一种5g无人机动态ai巡检系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926916A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115588145A (zh) * | 2022-12-12 | 2023-01-10 | 深圳联和智慧科技有限公司 | 基于无人机的河道垃圾漂浮识别方法及系统 |
| CN115912183A (zh) * | 2023-03-09 | 2023-04-04 | 国网湖北省电力有限公司经济技术研究院 | 高压输电线路生态措施巡视方法、系统及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105974870A (zh) * | 2016-06-30 | 2016-09-28 | 上海海事大学 | 一种冷藏集装箱的无线远程监控系统及其方法 |
| KR20170059210A (ko) * | 2015-11-20 | 2017-05-30 | 김민용 | 무인항공기를 이용한 물건과 인력 관리시스템 |
| CN107081765A (zh) * | 2017-03-29 | 2017-08-22 | 国网上海市电力公司 | 一种变电站巡视机器人自主识别方法和一种巡视机器人 |
| WO2018000986A1 (zh) * | 2016-06-30 | 2018-01-04 | 上海海事大学 | 一种基于自组网的冷藏集装箱无线巡检系统及巡检方法 |
| CN111726576A (zh) * | 2020-05-27 | 2020-09-29 | 深圳中琛源科技股份有限公司 | 无人机巡检方法、装置、系统及存储介质 |
| CN111985466A (zh) * | 2020-08-19 | 2020-11-24 | 上海海事大学 | 一种集装箱危险品标志识别方法 |
| WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
| CN114155438A (zh) * | 2021-12-07 | 2022-03-08 | 南京飞衍智能科技有限公司 | 一种集装箱装卸安全检测方法和系统 |
-
2022
- 2022-05-10 CN CN202210505471.2A patent/CN114926916A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170059210A (ko) * | 2015-11-20 | 2017-05-30 | 김민용 | 무인항공기를 이용한 물건과 인력 관리시스템 |
| CN105974870A (zh) * | 2016-06-30 | 2016-09-28 | 上海海事大学 | 一种冷藏集装箱的无线远程监控系统及其方法 |
| WO2018000986A1 (zh) * | 2016-06-30 | 2018-01-04 | 上海海事大学 | 一种基于自组网的冷藏集装箱无线巡检系统及巡检方法 |
| CN107081765A (zh) * | 2017-03-29 | 2017-08-22 | 国网上海市电力公司 | 一种变电站巡视机器人自主识别方法和一种巡视机器人 |
| CN111726576A (zh) * | 2020-05-27 | 2020-09-29 | 深圳中琛源科技股份有限公司 | 无人机巡检方法、装置、系统及存储介质 |
| WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
| CN111985466A (zh) * | 2020-08-19 | 2020-11-24 | 上海海事大学 | 一种集装箱危险品标志识别方法 |
| CN114155438A (zh) * | 2021-12-07 | 2022-03-08 | 南京飞衍智能科技有限公司 | 一种集装箱装卸安全检测方法和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115588145A (zh) * | 2022-12-12 | 2023-01-10 | 深圳联和智慧科技有限公司 | 基于无人机的河道垃圾漂浮识别方法及系统 |
| CN115912183A (zh) * | 2023-03-09 | 2023-04-04 | 国网湖北省电力有限公司经济技术研究院 | 高压输电线路生态措施巡视方法、系统及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lehtola et al. | Digital twin of a city: Review of technology serving city needs | |
| US11869192B2 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
| CN114926916A (zh) | 一种5g无人机动态ai巡检系统 | |
| CN108801241A (zh) | 使用深度神经网络执行自主路径导航 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| CN115563680A (zh) | 数字孪生对象处理方法以及系统 | |
| CN111339893A (zh) | 基于深度学习和无人机的管道检测系统及方法 | |
| CN114764778A (zh) | 一种目标检测方法、目标检测模型训练方法及相关设备 | |
| CN111178283B (zh) | 一种基于无人机图像的既定航线地物识别与定位方法 | |
| CN112633661A (zh) | 一种基于bim的应急调度指挥方法、系统、计算机设备及可读介质 | |
| CN109359151B (zh) | 一种船体分段物流大数据可视化平台 | |
| CN103426153B (zh) | 一种无人机遥感影像快速拼接方法 | |
| CN109949197A (zh) | 一种面向海河联运的船岸一体化系统 | |
| CN113486779A (zh) | 输电线路全景智能巡检系统 | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 | |
| CN112785557A (zh) | 皮带料流检测方法及装置、皮带料流检测系统 | |
| Zhang et al. | Analysis of intelligent inspection program for UAV grid based on AI | |
| KR20230132350A (ko) | 연합 감지 모델 트레이닝, 연합 감지 방법, 장치, 설비 및 매체 | |
| CN113222499B (zh) | 一种物流全链路一体化管控数字孪生系统 | |
| CN109345450B (zh) | 一种利用地理实体要素信息的影像镶嵌方法 | |
| CN115457411B (zh) | 航油管线无人化巡视方法、装置和航油安全运维系统 | |
| Gudmundsson et al. | Porting Computer Vision Models to the Edge for Smart City Applications: Enabling Autonomous Vision-Based Power Line Inspection at the Smart Grid Edge for Unmanned Aerial Vehicles (UAVs). | |
| CN115410173B (zh) | 多模态融合的高精地图要素识别方法、装置、设备及介质 | |
| CN116775940A (zh) | 基于数字孪生的货运机场数据处理方法及相关装置 | |
| Huang et al. | A cloud-based platform for marine oil spill emergency response capability visualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |