CN115082734A - 铝电解槽火眼视频巡检系统及过热度深度学习识别方法 - Google Patents

铝电解槽火眼视频巡检系统及过热度深度学习识别方法 Download PDF

Info

Publication number
CN115082734A
CN115082734A CN202210715242.3A CN202210715242A CN115082734A CN 115082734 A CN115082734 A CN 115082734A CN 202210715242 A CN202210715242 A CN 202210715242A CN 115082734 A CN115082734 A CN 115082734A
Authority
CN
China
Prior art keywords
superheat degree
fire
fire hole
stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210715242.3A
Other languages
English (en)
Other versions
CN115082734B (zh
Inventor
谢世文
宁梓雄
谢永芳
陈晓方
殷泽阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210715242.3A priority Critical patent/CN115082734B/zh
Publication of CN115082734A publication Critical patent/CN115082734A/zh
Application granted granted Critical
Publication of CN115082734B publication Critical patent/CN115082734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Fuzzy Systems (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了铝电解槽火眼视频巡检系统及过热度深度学习识别方法，包括巡检机器人、火眼视频采集装置和过热度识别系统。巡检机器人上设有火眼视频采集摄像头，巡检机器人在铝电解槽出铝端一侧自主导航行走，通过预喷涂的二维码使机器人定位到出铝端的火眼口并进行槽号识别；将巡检机器人上的摄像头对准火眼并进行视频拍摄，拍摄完毕后机器人自主导航到下一个铝电解槽，同时过热度识别系统将视频上传至远程服务器；在服务器端搭建融合机理、数据和经验的三流异维残差网络模型进行过热度识别；本发明公开的铝电解槽火眼视频巡检系统及过热度深度学习识别方法能够代替工人完成铝电解槽过热度检测，降低人力成本，实现过热度状态识别，有助于提高铝电解工业的智能化水平。

Description

铝电解槽火眼视频巡检系统及过热度深度学习识别方法
技术领域
本发明涉及铝电解过程视频采集和处理技术领域，特别涉及铝电解槽火眼视频巡检系统及过热度深度学习识别方法。
背景技术
铝电解工业是具有战略意义的国民经济支撑性行业，铝电解过程的识别与控制技术是现代铝电解工业稳定、高效和优化运行的关键。其中，电解槽的过热度识别对铝电解过程至关重要。过热度是电解质温度和初晶温度的差值，是铝电解生产过程中的关键因素，直接影响铝电解的电流效率，对炉膛形状及稳定性、电解槽寿命等有很大的影响。由于没有有效且精确的初晶温度测量技术，目前主要通过工人对铝电解槽火眼视频进行观察以识别过热度状态，并且，严重依赖于技术人员的经验。而人工判断过热度存在诸多缺点，例如，工人经验水平有所差异，存在主观性和不一致性，容易给生产过程的操控提供错误信息；缺乏有技术的人员进入铝电解行业，人力资源短缺，过热度判别经验难以得到传承；人工判断过热度增加了工作强度，提高了生产成本等。为摆脱严重依赖经验丰富的技术人员现状，降低生产成本，提高过热度的识别精度，亟需研发铝电解槽火眼视频采集及过热度智能识别方法及装置，使用机器人代替工人完成定点定时巡航、火眼视频采集、过热度识别等工作，提高铝电解生产过程的智能化水平。
发明内容
为解决以上技术问题，本发明公开铝电解槽火眼视频巡检系统及过热度深度学习识别方法，代替工人完成定点定时巡航、火眼视频采集、过热度识别等工作，降低人力成本，提高铝电解工业的智能化水平。
本发明公开一种铝电解槽火眼过热度识别深度学习方法，包括以下步骤：
S3-1：获取火眼视频，将火眼视频分解成若干帧RGB图像；
S3-2：对获得的RGB图像进行阈值分割、去除抖动和去噪处理，得到以火眼为中心的图像；
S3-3：对以火眼为中心的图像进行随机翻转、随机颜色抖动的图像数据增强操作，得到火眼视频样本；
S3-4：采用角点法、阈值法提取火眼视频样本的手工特征，所述手工特征包括碳渣比、通道像素值；
S3-5：采用光流法提取火眼视频样本的动态特征序列，所述光流法为融合金字塔算法的LK光流法；
S3-6：构建三流异维残差网络，所述三流异维残差网络包括2D传统特征流、3D动态特征流和3D静态特征流；将颜色纹理特征，光流特征，残渣特征图依次输入2D传统特征流；将火眼视频样本进行归一化处理后输入3D静态特征流；将提取的火眼视频样本的动态特征序列输入3D动态特征流；将2D传统特征流、3D动态特征流和3D静态特征流分别输出的结果进行融合，得到火眼过热度预测值；
S3-7：将专家经验表示为IF-THEN规则，利用槽控机获取的实时数据，结合IF-THEN规则对火眼过热度预测值进行矫正，得到矫正后的预测结果；
S3-8：将矫正后的预测结果作为最终的过热度识别结果并输出。
进一步地，所述3D静态特征流与3D动态特征流均由初始卷积层、初始池化层、3D残差子网络层、平均池化层和Softmax分类层构成；3D静态特征流通过学习过热度每一帧的RGB图像的深层特征实现过热度识别，该特征流的输入为包含全局表面信息的单张视频帧3D动态特征流；3D动态特征流通过学习过热度图像帧与帧之间的运动光流信息进行过热度识别，该特征流的输入为相邻帧图像之间的光流图组成的序列。
进一步地，所述3D残差子网络层包括4个不同卷积核的3D残差块，依次为第一3D残差卷积块、第二3D残差卷积块、第三3D残差卷积块以及第四3D残差卷积块；所述4个不同卷积核的3D残差块的卷积核数量依次增加，逐步进行深度特征的提取；所述3D残差块均包含两层3D卷积层。
进一步地，所述3D动态特征流的3D残差子网络层的每一个3D残差块的计算公式为：
Figure BDA0003709220240000021
其中，
Figure BDA0003709220240000022
表示3D动态特征流中该卷积块的l+1层的输出，
Figure BDA0003709220240000023
表示3D动态特征流中该3D卷积块第l层的卷积核权重，
Figure BDA0003709220240000024
表示3D动态特征流中该3D卷积块的l层的输出，f()表示非线性方程，δ()表示激活函数方程。
所述3D静态特征流的3D残差子网络层的每一个3D残差块的计算公式为：
Figure BDA0003709220240000025
其中，
Figure BDA0003709220240000026
表示3D静态特征流中该卷积块的l+1层的输出，
Figure BDA0003709220240000027
表示3D静态特征流中该3D卷积块第l层的卷积核权重，
Figure BDA0003709220240000028
表示3D静态特征流中该3D卷积块的l层的输出，
Figure BDA0003709220240000029
表示3D动态特征流中该3D卷积块的l层的输出，⊙表示两者之间进行点积运算，f()表示非线性方程，δ()表示激活函数方程。
进一步地，所述IF-THEN规则通过以下步骤得到：
S4-1：通过专家经验选择出对槽况影响最大的影响特征，影响特征包括电解液颜色、碳渣数量、结壳速度；
S4-2：根据下列公式，通过模糊规则的模糊化、模糊推理以及解模糊化三个模块获得专家规则的推理结果；
Figure BDA00037092202400000210
式中xi is Ai(i∈1,2,3,...)表示特征xi在处于Ai状态的情况，同理xj is Bj(j∈1,2,3,...)表示特征xj处于Bj的情况。整个语句表示：在xi在处于Ai状态的情况同时xj处于Bj的情况下，过热度情况y为Uk(k∈1，2，3)的概率。其中Uk＝1，2，3分别表示过热度处于过低，正常、过高的状态。
本发明还公开一种铝电解槽火眼视频巡检系统，包括巡检机器人，所述巡检机器人上安装有火眼视频采集装置，所述巡检机器人内设置有过热度识别系统，所述过热度识别系统通讯连接有远程服务器；
所述巡检机器人包括机器人底盘、充电桩、传感器及软件系统；机器人底盘实现机器人的自主行走；充电桩实现巡检机器人的自主充电；传感器包含机器视觉系统、激光雷达和GPS，实现巡检机器人自主导航和避障；软件系统包含开源的ROS、机器视觉导航和定位系统，实现机器人的自主导航与定位、SLAM建图、规避动态与静态障碍物；
所述火眼视频采集装置为一套包含电动云台的彩色工业相机系统；
所述过热度识别系统为一套嵌入式系统或工控机平台，其采用上述铝电解槽火眼过热度识别深度学习方法；过热度识别系统与火眼视频采集装置连接，实现二维码识别、火眼视频采集，并且包含视频无线传输、历史数据查询、过热度状态识别结果显示、人机交互的功能。
进一步地，铝电解槽火眼视频巡检系统的操作方法包括以下步骤：
S1：巡检机器人从充电桩处出发，自主导航到铝电解槽出铝端一侧，在离铝电解槽1米距离的行道上行走，每个铝电解槽的火眼口正前方喷有用于定位的二维码，机器人通过二维码定位到出铝端的火眼口，同时通过扫描二维码获得二维码信息，二维码信息包括公司、工厂、电解槽系列、车间、槽号；
S2：二维码信息获取后，过热度识别系统发送指令控制电动云台使摄像头对准火眼，拍摄火眼视频5-20秒，拍摄完毕后过热度识别系统发送指令给巡检机器人，机器人自主导航到下一个铝电解槽，同时过热度识别系统二维码信息写进火眼视频文件名中，保存在本地存储空间内，保存后过热度识别系统通过WiFi将火眼视频上传远程服务器；
S3：远程服务器接收到火眼视频后，使用部署在服务器上的深度学习算法对火眼视频进行预处理、特征提取等处理并计算出过热度状态，融合实时数据和专家经验对过热度状态进行校正，最终得到过热度状态，服务器将过热度状态、电解质波动指数、电解质颜色指数和结壳速率指数返回至过热度识别系统，并在人机交互界面显示。
S4：在过热度识别系统上可以查询所拍摄的火眼视频及其过热度识别结果，可以统计某一电解槽过去一段时间内过热度状态变化曲线。
本发明有益效果为：
1、本发明提供的铝电解槽火眼视频巡检系统及过热度深度学习识别方法能够代替工人完成铝电解槽过热度检测，降低人力成本，实现过热度状态识别，有助于提高铝电解工业的智能化水平。
2、本发明构建了针对过热度识别的三流异维残差网络，充分利用视频数据的时间特征与空间特征，提高铝电解槽火眼过热度识别的准确性。
3、本发明综合了视频数据与过程数据，针对视频数据数量较大同时过程数据数量较小的特点，使得预测结果相较于单个模型有着更改好的精准度与稳定性。
附图说明
附图1为本发明实施例中铝电解槽火眼视频巡检系统及过热度深度学习识别方法示意图；
附图2为本发明实施例中过热度识别流程图；
附图3为本发明实施例中三流异维残差网络结构图与模糊推理框架图。
附图4为本发明实施例中的动态与静态残差卷积结构与注入连接细节示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步描述。需要说明的是，实施例并不对本发明要求保护的范围构成限制。
实施例1
铝电解槽火眼视频巡检系统及过热度深度学习识别方法，包括巡检机器人，巡检机器人上安装有火眼视频采集装置，巡检机器人内设置有过热度识别系统，过热度识别系统通讯连接有远程服务器。
巡检机器人为一个基于机器人操作系统(ROS)的开放式机器人平台，包括机器人底盘、充电桩、传感器及软件系统。机器人底盘含有一套运动控制系统，可以实现机器人的自主行走；充电桩实现巡检机器人的自主充电；传感器包含机器视觉系统、激光雷达和GPS，实现巡检机器人自主导航和避障；软件系统包含开源的ROS、机器视觉导航和定位系统，可以实现机器人的自主导航与定位、SLAM(simultaneous localization andmapping)建图、规避动态与静态障碍物。
火眼视频采集装置为一套包含电动云台的彩色工业相机系统，电动云台可以控制工业相机在一定范围内上下和左右运动。
过热度识别系统为一套嵌入式系统或工控机平台，与火眼视频采集装置连接，通过工业相机可实现二维码识别、火眼视频采集，并且包含视频无线传输、历史数据查询、过热度状态识别结果显示、人机交互的功能。
铝电解槽火眼视频巡检系统及过热度深度学习识别方法的操作方法包括以下步骤：
S1：巡检机器人从充电桩处出发，自主导航到铝电解槽出铝端一侧，在离铝电解槽1米距离的行道上行走，每个铝电解槽的火眼口正前方喷有用于定位的二维码，二维码含有公司、工厂、电解槽系列、车间、槽号等信息，机器人通过二维码定位到出铝端的火眼口，同时通过扫描二维码信息；
S2：二维码信息获取后，过热度识别系统发送指令控制电动云台使摄像头对准火眼，拍摄火眼视频5-20秒，拍摄完毕后过热度识别系统发送指令给巡检机器人，机器人自主导航到下一个铝电解槽，同时过热度识别系统将公司、工厂、电解槽系列、车间、槽号、时间等信写进火眼视频文件名中，保存在本地存储空间内，保存后过热度识别系统通过WiFi将火眼视频上传远程服务器；
S3：远程服务器接收到火眼视频后，使用部署在服务器上的深度学习算法对火眼视频进行预处理、特征提取等处理并计算出过热度状态，融合槽控机实时数据和专家经验对过热度状态进行校正，最终得到过热度状态，服务器将过热度状态、电解质波动指数、电解质颜色指数和结壳速率指数返回至过热度识别系统，并在人机交互界面显示。
S4：在过热度识别系统上可以查询所拍摄的火眼视频及其过热度识别结果，可以统计某一电解槽过去一段时间内过热度状态变化曲线。
如此对铝电解槽一个接一个进行火眼视频采集和过热度识别，最终完成整个车间的巡检任务。
其中，S3中所述的深度学习算法识别过热度包括以下步骤：
S21，将上传到服务器的火眼视频分解成若干帧RGB图像；
S22，获得火眼视频分解的RGB图像后，对每帧图像的红色通道部分，设定阈值大小为200进行阈值分割处理，为了更好的提取火眼图像的火眼特征，对阈值分割后的图像进行多次膨胀、腐蚀等形态学操作，直到获得较为清晰的火眼中心图像。此后，对形态学操作后的图像进行最大轮廓的绘制，从而确定火眼洞口的位置。通过最大轮廓的上下、左右四个边界的坐标最终确定火眼中心坐标。以火眼中心坐标为矩形中心，将原RGB图像裁剪成长度为64宽度为64的3通道图像。由于火眼洞口的大小保持不变，以火眼中心为图像中心，裁剪出固定大小的火眼图像就能够得到去除抖动后的火眼图像，再将多个去除抖动的图像组合在一起便得到了去除抖动后的以火眼为中心的图像集。
S23，通过S22提取以火眼为中心的图像集后，由于火眼洞口环境存在大量烟尘、噪声等问题，一些特征无法较好提取，为进一步分析火眼图像特征，需要对火眼图形进行去噪处理。去噪过程中，通过opencv生成半径大小为3的结构圆，并使用该结构圆对火眼图像进行形态学的开运算，既先对图像进行腐蚀运算，再进行膨胀运算。通过形态学的开运算，可以实现对原始图像中的较小噪声点的清除，其中，取半径较小也即具体半径大小为3个像素点的结构圆的目的是在清楚小噪声点的同时不影响电解质溶液上的碳渣分布，最后对图像进行随机翻转、随机颜色抖动进行图像数据增强，便得到经过图像去噪与增强处理后的火眼图像样本，也即颜色纹理特征；
S24，对S23中图像增强后的火眼图像样本进行灰度处理转化为灰度图像I64×64(x,y)：
I64×64(x,y)＝0.290R(x,y)+0.587G(x,y)+0.114B(x,y)
式中，64×64表示经过裁剪后的火眼图像的像素大小。(x,y)表示在图像上任意像素点的坐标，其中x＝0,1,2,…63,y＝0,1,2,…63；R(x,y),G(x,y),B(x,y)分别表示火眼图像在(x,y)像素点对应的R、G、B三个通道的通道值。
S25，对灰度图像使用基于Shi-Tomasi算法的角点检测。灰度图像I(x,y)的每个坐标点对应的变化梯度(Ix(x,y),Iy(x,y))可以表示为：
Figure BDA0003709220240000051
Figure BDA0003709220240000052
Figure BDA0003709220240000061
式中,px,py分别表示在图像中任意点p的x与y坐标。wx,wy分别表示像素点在x与y方向上的梯度窗口的大小。通过梯度矩阵G可以得到反映像素点分别在x轴与y轴方向上的变化情况的特征值λ1,λ2，又由于较小的特征值能够决定较大的不确定度，因而舍弃两者中较大的特征值。通过遍历图像中的所有像素点获得该图像的所有特征值，并组成特征集。然后，针对过热度图像中电解质与碳渣区分明显，而碳渣角点较多，分离度不一，电解过程中结壳较快等特性，按照角点阈值为0.2，最大角点数量为400，最小容忍距离设定为7个像素点的角点选取规则，进行火眼图像角点选取。在实施规则的过程中，通过对每个像素点的特征值按照从大到小规则的排序，选取出数值在角点阈值以上的角点，同时，选出的角点之间满足两角点之间的距离不小与最小容忍距离，最终选择出小于最大角点数量个数的特征角点。在此过程中，得到残渣特征。
S26，针对铝电解过程中，碳渣运动幅度较大导致追踪效果不理想的问题，本发明在提取出整个图像集的角点后，设计改进的LK光流法进行光流追踪，得到光流特征，本方法在传统LK光流法中引入从粗到细的金字塔算法。具体过程为，先通过最底层求解光流Lm，该层的计算结果将反馈到上一层Lm-1，并将通过Lm-1层计算得到的初始光流估计数值记作g。使用同样的方法不断向上一层迭代，直到到达顶层，此时，对于每一层L，满足：
Figure BDA0003709220240000062
从而可以得到迭代出来的光流估计值：
gL-1＝2(gL+dL)
从而前向-后向光流方程可以表示如下：
I(x,y,t)＝(x+Δx,y+Δy,t+Δt)
I(x,y,t+Δt)＝I(x-Δx,y-Δy,t)
使用光流法对S25步骤角点结果进行追踪，记录角点在视频帧中的坐标位置后可求出相邻帧之间的位移差，将位移差使用矢量箭头标记作为该视频帧的光流图，根据相应公式求出角点运动的幅度、频率从而得到火眼图像的动态特征。
Figure BDA0003709220240000063
Figure BDA0003709220240000064
Figure BDA0003709220240000065
Frequency＝{fr|fr＝T'(n+1)-T'(n),n＝0,1,2,…,len(T')}
式中，rt n代表在第t帧图像上第n个角点的位移向量，T'则代表角点运动方向改变的视频帧的集合。Range表示幅度，即因角点方向的改变所产生的距离。Frenquency代表频率，即角点在两次方向改变所需要的时间。
S27，构建三流异维残差网络，所述三流异维残差网络包括2D传统特征流、3D动态特征流和3D静态特征流；将S23步骤得到颜色纹理特征、以及S25步骤得到的残渣特征和S26步骤通过改进的LK光流法得到的光流特征等依次输入到构建的三流异维残差网络的2D传统特征流之中，在该网络中，首先经过一次3x3大小的卷积后，然后输入到2维残差子网络中进行传统特征的深度提取与分类预测，通过损失计算不断修改权重得到训练后的传统特征流模型，火眼图像通过该模型后得到一个大小为3x1的分类向量，在该向量中，每一行的数据大小表示输入样本隶属于该特征类别的概率值。该3x1的向量作为基于传统特征的分类向量。
S28，在将火眼图像输入双流3D残差网络中提取火眼图像的深层特征之前，需要将原始过热度图像进行对比度归一化处理，得到归一化像素值所组成的新图像：
Figure BDA0003709220240000071
Figure BDA0003709220240000072
Figure BDA0003709220240000073
Figure BDA0003709220240000074
式中，(x,y)表示图像的像素点位置，L(x,y)表示图像在(x,y)坐标下的像素强度值，μ(x,y)表示图像在(x,y)坐标下的领域内归一化结果的计算均值。σ(x,y)表示图像在(x,y)坐标下的领域内归一化结果的方差值。P、Q分别表示在(x,y)坐标需要归一化的领域的计算范围。将归一化后的图像数据按时间顺序堆叠，得到归一化后的视频序列。
S29，为充分利用视频数据的时间特征与空间特征，本发明构建了针对过热度识别的三流异维残差网络的双流3D残差卷积网络部分，该网络结构由两部分构成，分别为3D静态特征流与3D动态特征流，两个特征流有着相似的网络结构，两个网络结构都是按照相同的顺序以及连接而成，分别是：初始卷积层，初始池化层，3D残差子网络层，平均池化层，以及Softmax分类层。其中3D残差子网络层由4个结构不同的3D残差块堆叠而成。
S30，3D静态特征流的主要作用是通过学习过热度每一帧的RGB图像的深层特征实现过热度识别，该特征流的输入为包含全局表面信息的单张视频帧3D动态特征流。3D动态特征流的主要作用是通过学习过热度图像帧与帧之间的运动光流信息进行过热度识别，该特征流的输入为相邻两帧图像之间的光流图。
S31，双流3D残差卷积网络由静态特征流与动态特征流两部分组成，静态特征流部分：将经过S28步骤得到的归一化后的视频序列以单帧图片的形式输入到初始卷积层中，该卷积层采用64个7x7x7的卷积核，将每7帧图像作为一个批次，进行卷积运算，对运算结果进行批归一化处理，再通过Relu激活函数进行非线性激活。动态特征流部分：动态特征流在该层的执行过程与静态特征流的处理类似，唯一的区别在于，对动态特征流的输入为S26步骤中得到的每两帧图像之间形成的光流图。静态特征流与动态特征流两者产生的损失可以分别表示为lossstaic，lossdynamic，从而，整个网络的总损失可以表示为losssum＝lossstatic+lossdynamic
S32，将S31得到的卷积结果使用3x3x3的池化核进行最大池化计算，其目的是对每个层的特征进行降维。
S33，通过S32的计算后，结果依次输入3D残差子网络中。3D残差子网络整体结构如表1所示，该网络由4个不同卷积核的3D残差块组成，分别标识为3D残差卷积块1、3D残差卷积块2、3D残差卷积块3以及3D残差卷积块4。
表1 3D残差网络结构，⊙dynamic→static表示从动态向静态的注入连接
Figure BDA0003709220240000081
Figure BDA0003709220240000091
S34，在3D残差子网络中首先会将S33的结果输入到由2个分别采用32、32、128个卷积核，大小为1x1x1、3x3x3、1x1x1的3D卷积层组成的3D残差卷积块1中。通过3D残差卷积块1的第一层卷积计算后，为了充分利用数据间的信息，达到更好的预测效果，将卷积后动态特征图通过注入连接的形式与静态特征图进行数据交换，具体的计算形式为对两个特征图的对应点之间进行点积运算。得到新的特征图后输入3D残差卷积块1的第二层卷积中进行第二次卷积计算，最后将计算结果通过Relu激活函数进行非线性激活。使用公式可以表示为：
(i)对于3D动态特征流部分：
Figure BDA0003709220240000092
其中，
Figure BDA0003709220240000093
表示3D动态特征流中该卷积块的l+1层的输出，
Figure BDA0003709220240000094
表示3D动态特征流中该3D卷积块第l层的卷积核权重，
Figure BDA0003709220240000095
表示3D动态特征流中该3D卷积块的l层的输出，f(·)表示非线性方程，δ(·)表示激活函数方程。
(ii)对于3D静态特征流部分：
Figure BDA0003709220240000096
其中，
Figure BDA0003709220240000101
表示3D静态特征流中该卷积块的l+1层的输出，
Figure BDA0003709220240000102
表示3D静态特征流中该3D卷积块第l层的卷积核权重，
Figure BDA0003709220240000103
表示3D静态特征流中该3D卷积块的l层的输出，
Figure BDA0003709220240000104
表示3D动态特征流中该3D卷积块的l层的输出，⊙表示两者之间进行点积运算，f(·)表示非线性方程，δ(·)表示激活函数方程。
S35，通过3D残差卷积块1后的特征块将输入到3D残差卷积块2中，残差块2中的计算过程与残差块1类似，区别在于3D残差块2中所采用的2个卷积层，每个卷积层中由3个卷积核数量分别为64、64、256，卷积核大小分别为1x1x1、3x3x3、1x1x1的3D卷积构成。3D卷积块2的计算过程是将3D卷积快1中的输出作为卷积块2的输入，首先进行该卷积块的第一层卷积操作，将动态特征块部分得到的卷积结果通过S(上一步)中的注入连接的形式与静态特征块进行连接计算。得到第二次连接结果。此后，将该结果作为3D卷积块第二层卷积的输入进行在本卷积块的第二次卷积计算。最终的卷积结果通过Relu激活函数进行非线性激活，完成3D残差卷积块2的计算。
S36，同理，通过3D残差卷积块2后的特征块结果将输入到3D残差卷积块3中，在3D残差块3中的计算过程与S35的计算过程类似，区别也在于3D残差块的卷积核数量与卷积核的大小。在3D残差卷积块3中所采用的仍然为2个卷积层，每个卷积层中由3个卷积核数量分别为128、128、512，卷积核大小分别为1x1x1、3x3x3、1x1x1的3D卷积构成。同样，3D卷积块3的计算过程与S(上一步)的计算过程类似，同样是将3D卷积块2的输出作为本残差块的输入，使用上述卷积层进行本卷积块下的第一次卷积运算，然后对从动态流到静态流的数据进行注入连接，最后进行第二次卷积计算与Relu激活函数激活，得到3D卷积块3的运算结果。
S37，在3D残差子网络的最后一层，为3D残差块4，该残差块由两层卷积层组成，每层又由卷积核数量分别为256、256、1024，卷积核大小分别为1x1x1、3x3x3、1x1x1的卷积组成。通过3D残差块3的输出数据作为3D残差块4的输入，首先经过本卷积块的第一次卷积操作，在得到卷积结果后将动态流的数据进行注入连接，最后进行本卷积块的第二次卷积操作，得到最终的3D残差子网络的输出结果。
S38，得到S37的结果后，对该结果进行池化操作，池化方法选用平均池化，在池化过程中调用droupout方法，实现连接权重的调整，输出最终的特征图。
S39，通过3D静态特征流与3D动态特征流的卷积后，分别得到两个维度相同的特征图，这些特征图分别为包含静态信息与动态信息的火眼视频特征图。
S40，将S39得到的最终特征图，输入到相应模块的Softmax分类层，将最终特征图输出的特征向量连接到对应过热度状态的3个输出节点，得到一个3维向量，在该向量中的每一个维度的数据大小，表示输入样本隶属于该特征类别的概率值。此时，得到火眼视频通过3D静态特征流与3D动态特征流的两个分类向量，再与S27步骤得到的基于传统特征的分类向量按相同权重综合，即火眼视频通过3D静态特征流与3D动态特征流的两个分类向量和基于传统特征的分类向量的权重均为1/3，将综合后的分类向量中最大数值对应的过热度状态作为网络模型得到的火眼过热度预测结果。
S41，利用S28得到的带有数据按照7：3的比例随机分类，将70％的数据输入到所构建的双流3D残差网络进行预训练，得到训练后的网络初始权重。再用剩下30％的数据进行训练验证与参数微调，得到优化后的网络模型参数，最终得到训练好的网络模型。
S42，由于过热度识别预测模型特征提取不够、噪声隐形等因素，预测结果往往存在一定误差。本发明中利用实时数据，结合专家规则对S41的过热度识别模型的识别结果进行矫正。具体实施过程为，首先通过专家经验选择出对槽况影响最大的几个特征，如：电解液颜色、碳渣数量、结壳速度等，然后将这些特征通过模糊规则表示为IF-THEN规则的形式：
Figure BDA0003709220240000111
式中xi is Ai(i∈1,2,3,...)表示特征xi在处于Ai状态的情况，同理xj is Bj(j∈1,2,3,...)表示特征xj处于Bj的情况。整个语句表示：在xi在处于Ai状态的情况同时xj处于Bj的情况下，过热度情况y为Uk(k∈1，2，3)的概率。其中Uk＝1，2，3分别表示过热度处于过低，正常、过高的状态。例如，在本发明中，选取的槽况特征x1为“最近一段时间内电解槽温度与炉膛决策温度的比较”，槽况特征x2“最近两次针摆时间与炉膛决策针摆时间的比较”，将槽况特征x1与x2输入到模糊规则之中，通过模糊规则的模糊化、模糊推理以及解模糊化三个模块获得专家规则的推理结果y，其中y表示槽况的趋向情况并计算出相应的概率值。示例“最近槽温低于炉膛决策温度高值”同时“最近两次针摆时间大于炉膛决策针摆时间”则判断槽况“趋向冷并且概率为91％”，最终选取概率最高的为过程数据过热度的预测值。最后，通过专家规则判断出槽况。
火眼视频与过程数据都能够反应铝电解过程中的过热度，由于火眼视频与过程数据之间能够从不同的数据特征中反映过热度情况，两者预测模型的融合可以互相调整预测结果，使得预测结果相较于单个模型有着更改好的精准度与稳定性。针对本发明的视频数据数量较大同时过程数据数量较小的特点，本发明使用模糊推理结果作为修正值，对双流3D残差网络的预测结果进行修正。
本发明最终综合了视频数据与过程数据，基于视频数据得到了基于双流3D残差卷积网络的预测结果，过程数据进行模糊推理后对双流3D残差卷积网络的预测结果进行修正，最终得到修正后的过热度识别结果(偏低、正常、偏高)并输出。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种铝电解槽火眼过热度识别深度学习方法，其特征在于，包括以下步骤：
S3-1：获取火眼视频，将火眼视频分解成若干帧RGB图像；
S3-2：对获得的RGB图像进行阈值分割、去除抖动和去噪处理，得到以火眼为中心的图像；
S3-3：对以火眼为中心的图像进行随机翻转、随机颜色抖动的图像数据增强操作，得到火眼视频样本；
S3-4：采用角点法、阈值法提取火眼视频样本的手工特征，所述手工特征包括碳渣比、通道像素值；
S3-5：采用光流法提取火眼视频样本的动态特征序列，所述光流法为融合金字塔算法的LK光流法；
S3-6：构建三流异维残差网络，所述三流异维残差网络包括2D传统特征流、3D动态特征流和3D静态特征流；将颜色纹理特征，光流特征，残渣特征图依次输入2D传统特征流；将火眼视频样本进行归一化处理后输入3D静态特征流；将提取的火眼视频样本的动态特征序列输入3D动态特征流；将2D传统特征流、3D动态特征流和3D静态特征流分别输出的结果进行融合，得到火眼过热度预测值；
S3-7：将专家经验表示为IF-THEN规则，利用实时数据结合IF-THEN规则对火眼过热度预测值进行矫正，得到矫正后的预测结果；
S3-8：将矫正后的预测结果作为最终的过热度识别结果并输出。
2.如权利要求1所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述3D静态特征流与3D动态特征流均由初始卷积层、初始池化层、3D残差子网络层、平均池化层和Softmax分类层构成；3D静态特征流通过学习过热度每一帧的RGB图像的深层特征实现过热度识别，该特征流的输入为包含全局表面信息的单张视频帧3D动态特征流；3D动态特征流通过学习过热度图像帧与帧之间的运动光流信息进行过热度识别，该特征流的输入为相邻帧图像之间的光流图组成的序列。
3.如权利要求2所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述3D残差子网络层包括4个不同卷积核的3D残差块，依次为第一3D残差卷积块、第二3D残差卷积块、第三3D残差卷积块以及第四3D残差卷积块；所述4个不同卷积核的3D残差块的卷积核数量依次增加，逐步进行深度特征的提取；所述3D残差块均包含两层3D卷积层。
4.如权利要求3所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述3D动态特征流的3D残差子网络层的每一个3D残差块的计算公式为：
Figure FDA0003709220230000011
其中，
Figure FDA0003709220230000012
表示3D动态特征流中该卷积块的l+1层的输出，Wl dynamic表示3D动态特征流中该3D卷积块第l层的卷积核权重，
Figure FDA0003709220230000013
表示3D动态特征流中该3D卷积块的l层的输出，f()表示非线性方程，δ()表示激活函数方程。
所述3D静态特征流的3D残差子网络层的每一个3D残差块的计算公式为：
Figure FDA0003709220230000021
其中，
Figure FDA0003709220230000022
表示3D静态特征流中该卷积块的l+1层的输出，Wl static表示3D静态特征流中该3D卷积块第l层的卷积核权重，
Figure FDA0003709220230000023
表示3D静态特征流中该3D卷积块的l层的输出，
Figure FDA0003709220230000024
表示3D动态特征流中该3D卷积块的l层的输出，⊙表示两者之间进行点积运算，f()表示非线性方程，δ()表示激活函数方程。
5.如权利要求1所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述IF-THEN规则通过以下步骤得到：
S4-1：通过专家经验选择出对槽况影响最大的影响特征，影响特征包括电解液颜色、碳渣数量、结壳速度；
S4-2：根据下列公式，通过模糊规则的模糊化、模糊推理以及解模糊化三个模块获得专家规则的推理结果；
Figure FDA0003709220230000025
式中xi is Ai(i∈1,2,3,...)表示特征xi在处于Ai状态的情况，同理xj is Bj(j∈1,2,3,...)表示特征xj处于Bj的情况。整个语句表示：在xi在处于Ai状态的情况同时xj处于Bj的情况下，过热度情况y为Uk(k∈1，2，3)的概率。其中Uk＝1，2，3分别表示过热度处于过低，正常、过高的状态。
6.一种铝电解槽火眼视频巡检系统，其特征在于，包括巡检机器人，所述巡检机器人上安装有火眼视频采集装置，所述巡检机器人内设置有过热度识别系统，所述过热度识别系统通讯连接有远程服务器；
所述巡检机器人包括机器人底盘、充电桩、传感器及软件系统；机器人底盘实现机器人的自主行走；
充电桩实现巡检机器人的自主充电；传感器包含机器视觉系统、激光雷达和GPS，实现巡检机器人自主导航和避障；软件系统包含开源的ROS、机器视觉导航和定位系统，实现机器人的自主导航与定位、SLAM建图、规避动态与静态障碍物；
所述火眼视频采集装置为一套包含电动云台的彩色工业相机系统；
所述过热度识别系统采用如权利要求1-5任一所述的一种铝电解槽火眼过热度识别深度学习方法，过热度识别系统与火眼视频采集装置连接，实现二维码识别、火眼视频采集，并且包含视频无线传输、历史数据查询、过热度状态识别结果显示、人机交互的功能。
7.如权利要求6所述的铝电解槽火眼视频巡检系统，其特征在于，巡检系统操作方法包括以下步骤：
S1：巡检机器人从充电桩处出发，自主导航到铝电解槽出铝端一侧，在离铝电解槽1米距离的行道上行走，每个铝电解槽的火眼口正前方喷有用于定位的二维码，机器人通过二维码定位到出铝端的火眼口，同时通过扫描二维码获得二维码信息，二维码信息包括公司、工厂、电解槽系列、车间、槽号；
S2：二维码信息获取后，过热度识别系统发送指令控制电动云台使摄像头对准火眼，拍摄火眼视频5-20秒，拍摄完毕后过热度识别系统发送指令给巡检机器人，机器人自主导航到下一个铝电解槽，同时过热度识别系统将二维码信息写进火眼视频文件名中，保存在本地存储空间内，保存后过热度识别系统通过WiFi将火眼视频上传远程服务器；
S3：远程服务器接收到火眼视频后，使用部署在服务器上的深度学习算法对火眼视频进行预处理、特征提取等处理并计算出过热度状态，融合实时数据和专家经验对过热度状态进行校正，最终得到过热度状态，服务器将过热度状态、电解质波动指数、电解质颜色指数和结壳速率指数返回至过热度识别系统，并在人机交互界面显示；
S4：在过热度识别系统上可以查询所拍摄的火眼视频及其过热度识别结果，可以统计某一电解槽过去一段时间内过热度状态变化曲线。
CN202210715242.3A 2022-06-23 2022-06-23 铝电解槽火眼视频巡检系统及过热度深度学习识别方法 Active CN115082734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210715242.3A CN115082734B (zh) 2022-06-23 2022-06-23 铝电解槽火眼视频巡检系统及过热度深度学习识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210715242.3A CN115082734B (zh) 2022-06-23 2022-06-23 铝电解槽火眼视频巡检系统及过热度深度学习识别方法

Publications (2)

Publication Number Publication Date
CN115082734A true CN115082734A (zh) 2022-09-20
CN115082734B CN115082734B (zh) 2023-01-31

Family

ID=83254511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210715242.3A Active CN115082734B (zh) 2022-06-23 2022-06-23 铝电解槽火眼视频巡检系统及过热度深度学习识别方法

Country Status (1)

Country Link
CN (1) CN115082734B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114959797A (zh) * 2022-07-04 2022-08-30 广东技术师范大学 基于数据扩增和sskelm的铝电解槽况诊断方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204004A (zh) * 2017-04-26 2017-09-26 中南大学 一种铝电解槽火眼视频动态特征识别方法及系统
CN107248157A (zh) * 2017-06-30 2017-10-13 中南大学 一种铝电解槽自动看火的方法及其装置
CN109598283A (zh) * 2018-10-22 2019-04-09 中南大学 一种基于半监督极限学习机的铝电解过热度识别方法
CN109697433A (zh) * 2019-01-02 2019-04-30 中南大学 一种基于3d卷积神经网络的铝电解槽过热度状态识别方法及系统
WO2021248733A1 (zh) * 2020-06-12 2021-12-16 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204004A (zh) * 2017-04-26 2017-09-26 中南大学 一种铝电解槽火眼视频动态特征识别方法及系统
CN107248157A (zh) * 2017-06-30 2017-10-13 中南大学 一种铝电解槽自动看火的方法及其装置
CN109598283A (zh) * 2018-10-22 2019-04-09 中南大学 一种基于半监督极限学习机的铝电解过热度识别方法
CN109697433A (zh) * 2019-01-02 2019-04-30 中南大学 一种基于3d卷积神经网络的铝电解槽过热度状态识别方法及系统
WO2021248733A1 (zh) * 2020-06-12 2021-12-16 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOFANG CHEN等: "A feature extraction strategy of fire hole video based on VGG16 and migration learning", 《HTTPS://IEEEXPLORE.IEEE.ORG/ABSTRACT/DOCUMENT/8623274》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114959797A (zh) * 2022-07-04 2022-08-30 广东技术师范大学 基于数据扩增和sskelm的铝电解槽况诊断方法

Also Published As

Publication number Publication date
CN115082734B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN109375235B (zh) 基于深度强化神经网络的内河船舶干舷检测方法
CN110531760B (zh) 基于曲线拟合和目标点邻域规划的边界探索自主建图方法
CN103389103B (zh) 一种基于数据挖掘的地理环境特征地图构建与导航方法
Howard et al. A rule-based fuzzy traversability index for mobile robot navigation
CN106814737B (zh) 一种基于啮齿类动物模型和RTAB‑Map闭环检测算法的SLAM方法
CN113240688A (zh) 一种一体化洪涝灾害精准监测预警方法
CN109785385A (zh) 视觉目标跟踪方法及系统
CN114005021B (zh) 基于激光视觉融合的水产养殖车间无人巡检系统和方法
CN115082734B (zh) 铝电解槽火眼视频巡检系统及过热度深度学习识别方法
Yan et al. A combination of convolutional and graph neural networks for regularized road surface extraction
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN113538620A (zh) 一种面向二维栅格地图的slam建图结果评价方法
CN113593035A (zh) 一种运动控制决策生成方法、装置、电子设备及存储介质
Zhang et al. Terrain classification in field environment based on Random Forest for the mobile robot
CN114581486A (zh) 基于全卷积孪生网络多层特征的模板更新目标跟踪算法
CN112396039A (zh) 一种基于邻域关系的火星栅格地形地图生成方法
Howard et al. Enhancing fuzzy robot navigation systems by mimicking human visual perception of natural terrain traversability
CN115080903A (zh) 一种基于智能优化算法的海上多目标多模态匹配融合方法
CN115035599A (zh) 一种融合装备与行为特征的武装人员识别方法和系统
CN117237902B (zh) 基于深度学习的机器人物体识别系统
CN113721615A (zh) 一种基于机器视觉的海航路径规划方法及系统
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN117612135A (zh) 一种基于transform的点云和图像融合的行驶区域判断方法
CN115690343A (zh) 一种基于视觉跟随的机器人激光雷达扫描建图方法
CN115454096A (zh) 一种基于课程强化学习的机器人策略训练系统及训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant