CN116214524A - 用于油样回收的无人机抓载方法、装置及存储介质 - Google Patents

用于油样回收的无人机抓载方法、装置及存储介质 Download PDF

Info

Publication number
CN116214524A
CN116214524A CN202310505337.7A CN202310505337A CN116214524A CN 116214524 A CN116214524 A CN 116214524A CN 202310505337 A CN202310505337 A CN 202310505337A CN 116214524 A CN116214524 A CN 116214524A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
image data
container
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310505337.7A
Other languages
English (en)
Other versions
CN116214524B (zh
Inventor
徐蕴镠
蒋科若
姜炯挺
王凯军
肖立飞
钱凯
杨跃平
许欣
黄桢
赵鲁臻
高垚冲
何迪
邵志鹏
沈浩
徐东捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202310505337.7A priority Critical patent/CN116214524B/zh
Publication of CN116214524A publication Critical patent/CN116214524A/zh
Application granted granted Critical
Publication of CN116214524B publication Critical patent/CN116214524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于油样回收的无人机抓载方法、装置及存储介质，用于油样回收的无人机抓载方法包括：通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；图像模块处理第一图像数据，得到多个第二图像数据；多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型；根据分类结果和容器类型，处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整；控制模块控制无人机移动定位到容器的上方，对容器进行第一动作。本发明实施例使无人机抓取更加方便和安全。

Description

用于油样回收的无人机抓载方法、装置及存储介质
技术领域
本发明涉及油样回收技术领域，具体而言，涉及一种用于油样回收的无人机抓载方法、装置及存储介质。
背景技术
变压器是变电站的核心装置，起到了电压变换、电流变换、稳压等功能。变压器的绝缘油对于变压器的稳定运行起到了绝缘、冷却以及灭弧等作用。因此，变压器绝缘油对于变压器的正常安全运行起到至关重要的作用。在实际的工程中，对于变压器油样会定期进行耐压，介损，微水，色谱等油化试验，通过分析绝缘油的品质和性能来发现变压器在投运前或运行中存在的缺陷，从而进一步降低设备的故障率，保障设备运行的可靠性。
目前，变压器绝缘油在采样后的运输与回收均为人工手动操作，消耗了一定的人力及物力。由于试验品容器外壁大多存在残油，运输过程中容易打滑，甚至造成容器跌落损坏，且运输效率较低。同时由于变电站环境相对恶劣，在运输过程中人员存在一定的安全风险隐患。而目前市场上的无人机抓取装置存在以下问题：传统的抓取装载装置需要手动调整操作，使用不便。在抓取过程中，由于抓取装置姿态的不适应容易造成损伤或丢失被抓取物品。
发明内容
因此，本发明实施例提供一种用于油样回收的无人机抓载方法、装置及存储介质，使无人机抓取更加方便和安全。
为解决上述问题，本发明提供一种用于油样回收的无人机抓载方法包括：通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；通过图像模块处理第一图像数据，得到多个第二图像数据；通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型；根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整；控制模块控制无人机移动定位到容器的上方，对容器进行第一动作；其中，第一动作包括：抓取、提升、旋转和降落。
与现有技术相比，采用该技术方案所达到的技术效果：通过设置无人机上的拍摄模块对容器进行图像采集，获得容器的图像信息，便于后续对容器进行识别，同时设置图像模块来对第一图像数据进行处理，使拍摄模块拍摄得到的第一图像数据更加清楚，能使后续容器的辨别更加快捷方便，同时通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型，多视角卷积神经网络三维模型分类算法使分类更加准确，同时容错性更高，使图像分类的结果更加具有可信性，提高了后续容器辨别的准确性。还设置了根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整，使机械臂上的关节在抓取容器时开度准确符合容器的重量和尺寸，保障在抓取容器时容器不会掉落，造成安全事故，保障了容器的稳定抓取和移动，使无人机抓载更加安全和方便，同时通过控制模块控制无人机移动定位到容器的上方，对容器进行第一动作，第一动作包括：抓取、提升、旋转和降落，通过机械臂的自动控制操作，减少了人力操作，使抓取效率更高，同时也更加方便安全。
在本发明的一个实例中，通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据之前，还包括：通过拍摄模块获取多种不同容量的容器对应的多个第三图像数据；图像模块对每个第三图像数据进行投影处理，得到每个第三图像数据对应的多个第四图像数据；图像模块整合多个第三图像数据对应的多个第四图像数据为训练集。
与现有技术相比，采用该技术方案所达到的技术效果：通过设置对不同容量的容器进行拍摄，得到第三图像数据，使多种不同容量的容器的图像数据能被记录，使后续无人机抓载容器时，辨别容器的范围更大，兼容性更强，辨别更加准确，使抓取过程更加准确方便，同时设置图像模块对每个第三图像数据进行投影处理，得到每个第三图像数据对应的多个第四图像数据，并将多个第三图像数据对应的多个第四图像数据整合为训练集，通过训练集来帮助后续无人机抓载时更快更准确的辨别容器，使无人机的抓载过程更加的方便和高效。
在本发明的一个实例中，通过图像模块处理第一图像数据，得到多个第二图像数据，还包括：对多个第二图像数据进行数字预处理，得到多个第二图像数据的基于颜色空间的三维数据矩阵；对三维数据矩阵进行去中心化处理，得到去中心化三维数据矩阵，并将去中心化三维数据矩阵导入多视角卷积神经网络。
与现有技术相比，采用该技术方案所达到的技术效果：通过设置对第二图像数据进行数字预处理，得到多个第二图像数据的基于颜色空间的三维数据矩阵，将图像数据转换为三维数据矩阵，能通过三维数据矩阵更加全面和更加客观的性质，以及三维数据矩阵能更好的反应图像里的特征，同时基于颜色空间的三维数据矩阵，使能对图像数据中的颜色进行精准的识别和特征提取，方便后续对其进行识别，能使无人机更好的识别目前需要抓取容器，同时还设置了对三维数据矩阵进行去中心化处理，得到去中心化三维数据矩阵，并将去中心化三维数据矩阵导入多视角卷积神经网络，使整个数据的容错性更加，能使后续的识别过程更加准确和快速，同时通过将去中心化后的三维数据矩阵导入多视角卷积神经网络，通过多视角卷积神经网络来对其提取后续的特征，使后续对图像数据中的容器的分类更加精准，更加方便，使后续无人机的识别和抓取也更加方便快捷。
在本发明的一个实例中，通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型，还包括：将去中心化三维数据矩阵导入第一卷积神经网络，通过第一卷积神经网络进行特征提取，得到第一特征值；通过第一卷积神经网络对第一特征值进行特征融合，得到融合特征，并将融合特征导入第二卷积神经网络。
与现有技术相比，采用该技术方案所达到的技术效果：通过设置将去中心化三维数据矩阵导入第一卷积神经网络，通过第一卷积神经网络进行特征提取，使通过卷积神经网络对特征的快速精准识别和提取，使去中心化三维数据矩阵中需求的特征被快速提取，得到第一特征值，方便后续的识别操作，同时设置通过第一卷积神经网络对第一特征值进行特征融合，得到融合特征，并将融合特征导入第二卷积神经网络，使多个特征融合，能更加方便的得到整体的特征，使识别时更加的方便，也更加便于分类，使后续的辨别更加精准和方便。
在本发明的一个实例中，将融合特征导入第二卷积神经网络，还包括：通过第二卷积神经网络对融合特征进行特征提取，得到第二特征值；将第二特征值与训练集进行对照比较，确定容器的分类结果。
与现有技术相比，采用该技术方案所达到的技术效果：通过第二卷积神经网络对融合特征进行特征提取，得到第二特征值，使融合特征中的特征被精准识别和提取，并将提取后的第二特征值与训练集进行对照比较，确定容器的分类结果，使将需要抓取的容器的特征都被提取，并与训练集进行比较，使无人机辨别需要抓取的容器更加精准，更加有助于后续对机械臂的控制，使其能更加稳定和精准的抓取容器。
在本发明的一个实例中，控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整之前，建立高阶滑模观测器，还包括：建立拉格朗日功能平衡方程；通过拉格朗日功能平衡方程建立永磁同步电机具体的动态机电数学模型和选取基于等速趋近律的滑模面；基于动态机电数学模型和滑模面建立高阶滑模观测器。
与现有技术相比，采用该技术方案所达到的技术效果：通过设置拉格朗日功能平衡方程，并通过拉格朗日功能平衡方程建立永磁同步电机具体的动态机电数学模型和选取基于等速趋近律的滑模面，基于动态机电数学模型和滑模面建立高阶滑模观测器，使建立后的高阶滑模观察器更加的精准和稳定，拉格朗日功能平衡方程能更加方便的对机械臂的运动进行确定，使机械臂在运动和抓取过程中的容错性更高，同时也使机械臂能更加稳定安全的抓取容器。
在本发明的一个实例中，建立拉格朗日功能平衡方程，还包括：
Figure SMS_1
；其中，机械臂包括连杆、关节和控制器；/>
Figure SMS_6
，/>
Figure SMS_8
，
Figure SMS_3
，θ为电机侧转角, q 为连杆侧转角， />
Figure SMS_5
为电机侧转动角速度， />
Figure SMS_7
为连杆侧转动角速度， />
Figure SMS_9
为电机侧转动角加速度 , />
Figure SMS_2
为连杆侧转动角加速度，Mc(q)为机械臂惯性矩阵，/>
Figure SMS_4
为离心力和哥式力项，Gc(q)为机械臂重力矩阵，Kp为关节的弹性系数，Jm为电机转动惯量，Tm为控制器输出力矩，τ为关节传递扭矩，D1和D2分别为连杆侧外界未知干扰和齿隙非线性扰动的总和，d1为连杆侧干扰总和，d2 为电机侧干扰总和；△Mc为机械臂惯性矩阵变化量，△Cc为离心力和哥式力矩阵变化量，△Gc为机械臂重力矩阵变化量，△Jm为电机转动惯量变化量。
与现有技术相比，采用该技术方案所达到的技术效果：通过设置拉格朗日方程对机械臂的各个部分进行限定，使机械臂在运作过程中更加稳定，以及更加能保障机械臂中的关节能准确符合容器的重量和尺寸，能保障机械臂对容器进行稳定快速的抓取，使无人机抓取过程更加快速方便。
在本发明的一个实例中，基于动态机电数学模型和滑模面建立高阶滑模观测器，还包括：滑模面的高阶导数：
Figure SMS_10
，|h|≤C，0≤Km≤g≤KM；其中，
Figure SMS_11
，C，Km，KM为大于0的常数；设计对应的高阶滑模控制率：
Figure SMS_12
；其中，α，β为大于0的常数，sign（s）为s的符号函数，在满足条件/>
Figure SMS_13
下，机械臂系统状态能趋近到高阶滑动模态/>
Figure SMS_14
并沿着滑模面s使机械臂系统状态趋近到平衡点。
与现有技术相比，采用该技术方案所达到的技术效果：通过基于滑模面的高阶导数和基于高阶导数的高阶滑模控制率，来对机械臂系统进行限定，使机械臂在运行过程中更加稳定，能保障机械臂在运作抓取过程中，使容器被稳定的抓取和运转，使整个无人机的抓取过程更加安全和快捷。
本发明还提供一种用于油样回收的无人机抓载装置包括：采集模块，采集模块通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；计算模块，计算模块通过图像模块处理第一图像数据，得到多个第二图像数据；通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型；下达模块，下达模块根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整；控制模块控制无人机移动定位到容器的上方，对容器进行第一动作。
与现有技术相比，采用该技术方案所达到的技术效果：通过采集模块来对容器的图像进行采集，使容器的图像信息被记录，方便后续对容器的图像进行处理，同时还设置了计算模块对图像处理，使图像更加适合后续的特征提取，以及保障了对图像进行特征提取的快捷性和精准性，得到更加准确的分类结果，再通过下达模块对无人机进行控制，使无人机更加准确和安全的抓取容器。
本发明提供一种可读存储介质，可读存储介质上存储的计算机程序，其中，在计算机程序被处理器运行时控制存储介质所在设备执行实现如上述的用于油样回收的无人机抓载方法的步骤。
采用本发明的技术方案后，能够达到如下技术效果：
（1）通过设置无人机上的拍摄模块对容器进行图像采集，获得容器的图像信息，便于后续对容器进行识别，同时设置图像模块来对第一图像数据进行处理，使拍摄模块拍摄得到的第一图像数据更加清楚，能使后续容器的辨别更加快捷方便，同时通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型，多视角卷积神经网络三维模型分类算法使分类更加准确，同时容错性更高，使图像分类的结果更加具有可信性，提高了后续容器辨别的准确性。还设置了根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整，使机械臂上的关节在抓取容器时开度准确符合容器的重量和尺寸，保障在抓取容器时容器不会掉落，造成安全事故，保障了容器的稳定抓取和移动，使无人机抓载更加安全和方便，同时通过控制模块控制无人机移动定位到容器的上方，对容器进行第一动作，第一动作包括：抓取、提升、旋转和降落，通过机械臂的自动控制操作，减少了人力操作，使抓取效率更高，同时也更加方便安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中待要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
图1为本发明实施例一提供的一种用于油样回收的无人机抓载方法的流程图；
图2为本发明实施例一提供MVCNN的结构示意图；
图3为本发明实施例一提供的机械臂的结构示意图；
图4为本发明实施例二提供的一种用于油样回收的无人机抓载装置的结构框图；
图5为本发明实施例三为可读存储介质的结构示意图。
附图标记说明：
100为用于油样回收的无人机抓载装置；110为采集模块；120为计算模块；130为下达模块；200为可读存储介质；210为计算机可执行指令。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
【第一实施例】
参见图1-3，本发明提供一种用于油样回收的无人机抓载方法包括：
步骤S100，通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；
步骤S200，通过图像模块处理第一图像数据，得到多个第二图像数据；通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型；
步骤S300，根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整；控制模块控制无人机移动定位到容器的上方，对容器进行第一动作；其中，第一动作包括：抓取、提升、旋转和降落。
具体的，在进行无人机的容器抓取任务前，需要对现有的多种容器进行记录，举例来说，通过3D深度相机，拍摄代表不同取油量的红色容器、绿色容器、蓝色容器和黑色容器这四种容器，且这四种容器长宽高比各异。3D深度相机拍摄下这四类容器的三维图像，即第三图像数据，图像模块对这些三维图像进行处理，得到第四图像数据。
举例来说，通过处理器将三维图像投影到前后左右上下，形成6个投影二维视图，即第四图像数据，且工作人员对不同时间、天气、背景下的容器进行深度拍摄，获取用于后续分类算法分类对比用的上千张训练样本照片即训练集。
进一步的，在进行实际的取油任务时，无人机搭载3D高清深度相机即拍摄模块，对取油现场的容器进行拍摄，得到现场容器的三维图像，并对其进行6视图投影，得的6张投影二维图像，即第一图像数据，再通过内置处理器对第一图像数据进行处理，得到第二图像数据，并通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型。
举例来说，对各个视图的图像进行数字预处理，得到图像的基于 RGB 颜色空间的三维数据矩阵，同时对矩阵进行去中心化处理，去中心化图像数字矩阵进入 CNN(Convolutional Neural Network)即卷积神经网络进行特征提取，各视图的特征值进入视角池化层进行多视角图像的特征融合，继续使用另一个卷积神经网络提取特征并对照训练样本分类，输出分类的容器类别。同时根据分类结果，处理模块向控制装置下达命令，控制模块应用高阶滑模观测器（HOSMO（high order sliding mode observer））算法控制驱动机械臂关节按照预设路径和角度调整，控制系统再驱动无人机定位至需要抓取的容器上方，对被抓取物品即容器进行抓取、提升、旋转、降落。其中，处理模块可同样为处理器，控制模块可为控制装置，控制装置用于无人机飞行控制系统和机械臂控制系统，能够实现飞行路径及机械臂运动的控制。机械臂由多个可旋转、可伸缩的关节组成，能够按照预设路径和角度操作，对被抓取容器进行抓取、提升、旋转等操作。
具体的，单个 CNN 结构包含输入层、卷积层、激励层、池化层、全连接层：
1.输入层。在 CNN 的输入层中，输入基于 RGB 颜色空间的三维数据矩阵，本系统采集的投影图片像素为 4160×3120，RGB 颜色空间下的输入矩阵为 3×4160×3120。
2.卷积层。输入数据通过两个不同滤波器 w0、w1，得到卷积层输出。
3. 激励层。主要对卷积层的输出进行一个非线性映射，因为卷积层的计算还是一种线性计算。使用的激励函数一般为 ReLu 函数： f（x）=max（x，0）。
卷积层和激励层通常合并在一起称为“卷积层”。计算过程如下：
Figure SMS_15
；
上式中：
wmn:输入图像数据第 m 行第 n 列的值；
xij : 表示图像的第 i 行第 j 列元素；
wb:用表示 filter 的偏置项；
aij:输出，即表示特征图（Feature Map）的第 i 行第 j 列元素；
f:表示 Relu 激活函数。
4.池化层。当输入经过卷积层时，若感受视野比较小，可以通过池化层来对每一个feature map 进行降维操作，输出的深度还是不变的。池化层也有一个“池化视野（filter）”来对 feature map 矩阵进行扫描，对“池化视野”中的矩阵值进行计算，一般有两种计算方式：
Max pooling：取“池化视野”矩阵中的最大值。
Average pooling：取“池化视野”矩阵中的平均值。
5.全连接层。同卷积层。
6.卷积神经网络的训练：
（1）前向计算每个神经元的输出值 aj（表示网络的第 j 个神经元，以下同）；
（2）反向计算每个神经元的误差项σj，σj，在有的文献中也叫做敏感度(sensitivity)。它实际上是网络的损失函数 Ed对神经元加权输入的偏导数；
（3）计算每个神经元连接权重 wij的梯度（wij表示从神经元 i 连接到神经元 j的权重）。
最后，根据梯度下降法则更新每个权重即可。
MVCNN（Multi-view Convolutional Neural Networks）即多视角卷积神经网络则是将每个 CNN 结构的输出继续使用另一个卷积神经网络提取特征并对照训练样本分类，输出分类的容器类别。
优选的，通过设置无人机上的拍摄模块对容器进行图像采集，获得容器的图像信息，便于后续对容器进行识别，同时设置图像模块来对第一图像数据进行处理，使拍摄模块拍摄得到的第一图像数据更加清楚，能使后续容器的辨别更加快捷方便，同时通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型，多视角卷积神经网络三维模型分类算法使分类更加准确，同时容错性更高，使图像分类的结果更加具有可信性，提高了后续容器辨别的准确性。还设置了根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整，使机械臂上的关节在抓取容器时开度准确符合容器的重量和尺寸，保障在抓取容器时容器不会掉落，造成安全事故，保障了容器的稳定抓取和移动，使无人机抓载更加安全和方便，同时通过控制模块控制无人机移动定位到容器的上方，对容器进行第一动作，第一动作包括：抓取、提升、旋转和降落，通过机械臂的自动控制操作，减少了人力操作，使抓取效率更高，同时也更加方便安全。
具体的，通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据之前，还包括：通过拍摄模块获取多种不同容量的容器对应的多个第三图像数据；图像模块对每个第三图像数据进行投影处理，得到每个第三图像数据对应的多个第四图像数据；图像模块整合多个第三图像数据对应的多个第四图像数据为训练集。
优选的，通过设置对不同容量的容器进行拍摄，得到第三图像数据，使多种不同容量的容器的图像数据能被记录，使后续无人机抓载容器时，辨别容器的范围更大，兼容性更强，辨别更加准确，使抓取过程更加准确方便，同时设置图像模块对每个第三图像数据进行投影处理，得到每个第三图像数据对应的多个第四图像数据，并将多个第三图像数据对应的多个第四图像数据整合为训练集，通过训练集来帮助后续无人机抓载时更快更准确的辨别容器，使无人机的抓载过程更加的方便和高效。
具体的，通过图像模块处理第一图像数据，得到多个第二图像数据，还包括：对多个第二图像数据进行数字预处理，得到多个第二图像数据的基于颜色空间的三维数据矩阵；对三维数据矩阵进行去中心化处理，得到去中心化三维数据矩阵，并将去中心化三维数据矩阵导入多视角卷积神经网络。
优选的，通过设置对第二图像数据进行数字预处理，得到多个第二图像数据的基于颜色空间的三维数据矩阵，将图像数据转换为三维数据矩阵，能通过三维数据矩阵更加全面和更加客观的性质，以及三维数据矩阵能更好的反应图像里的特征，同时基于颜色空间的三维数据矩阵，使能对图像数据中的颜色进行精准的识别和特征提取，方便后续对其进行识别，能使无人机更好的识别目前需要抓取容器，同时还设置了对三维数据矩阵进行去中心化处理，得到去中心化三维数据矩阵，并将去中心化三维数据矩阵导入多视角卷积神经网络，使整个数据的容错性更加，能使后续的识别过程更加准确和快速，同时通过将去中心化后的三维数据矩阵导入多视角卷积神经网络，通过多视角卷积神经网络来对其提取后续的特征，使后续对图像数据中的容器的分类更加精准，更加方便，使后续无人机的识别和抓取也更加方便快捷。
具体的，通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型，还包括：将去中心化三维数据矩阵导入第一卷积神经网络，通过第一卷积神经网络进行特征提取，得到第一特征值；通过第一卷积神经网络对第一特征值进行特征融合，得到融合特征，并将融合特征导入第二卷积神经网络。
具体的，第一特征值和第二特征值以及融合特征都为从容器的投影视图中提取的特征集合。第一卷积神经网络和第二卷积神经网络为包含在多视角卷积神经网络中的，且多视角卷积神经网络可包含多个卷积神经网络。
优选的，通过设置将去中心化三维数据矩阵导入第一卷积神经网络，通过第一卷积神经网络进行特征提取，使通过卷积神经网络对特征的快速精准识别和提取，使去中心化三维数据矩阵中需求的特征被快速提取，得到第一特征值，方便后续的识别操作，同时设置通过第一卷积神经网络对第一特征值进行特征融合，得到融合特征，并将融合特征导入第二卷积神经网络，使多个特征融合，能更加方便的得到整体的特征，使识别时更加的方便，也更加便于分类，使后续的辨别更加精准和方便。
具体的，将融合特征导入第二卷积神经网络，还包括：通过第二卷积神经网络对融合特征进行特征提取，得到第二特征值；将第二特征值与训练集进行对照比较，确定容器的分类结果。
优选的，通过第二卷积神经网络对融合特征进行特征提取，得到第二特征值，使融合特征中的特征被精准识别和提取，并将提取后的第二特征值与训练集进行对照比较，确定容器的分类结果，使将需要抓取的容器的特征都被提取，并与训练集进行比较，使无人机辨别需要抓取的容器更加精准，更加有助于后续对机械臂的控制，使其能更加稳定和精准的抓取容器。
具体的，控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整之前，建立高阶滑模观测器，还包括：建立拉格朗日功能平衡方程；通过拉格朗日功能平衡方程建立永磁同步电机具体的动态机电数学模型和选取基于等速趋近律的滑模面；基于动态机电数学模型和滑模面建立高阶滑模观测器。
优选的，通过设置拉格朗日功能平衡方程，并通过拉格朗日功能平衡方程建立永磁同步电机具体的动态机电数学模型和选取基于等速趋近律的滑模面，基于动态机电数学模型和滑模面建立高阶滑模观测器，使建立后的高阶滑模观察器更加的精准和稳定，拉格朗日功能平衡方程能更加方便的对机械臂的运动进行确定，使机械臂在运动和抓取过程中的容错性更高，同时也使机械臂能更加稳定安全的抓取容器。
具体的，建立拉格朗日功能平衡方程，还包括：
Figure SMS_17
；其中，机械臂包括连杆、关节和控制器；/>
Figure SMS_21
，/>
Figure SMS_22
，
Figure SMS_18
，θ为电机侧转角, q 为连杆侧转角， />
Figure SMS_20
为电机侧转动角速度， />
Figure SMS_23
为连杆侧转动角速度， />
Figure SMS_24
为电机侧转动角加速度 , />
Figure SMS_16
为连杆侧转动角加速度，Mc(q)为机械臂惯性矩阵，/>
Figure SMS_19
为离心力和哥式力项，Gc(q)为机械臂重力矩阵，Kp为关节的弹性系数，Jm为电机转动惯量，Tm为控制器输出力矩，τ为关节传递扭矩，D1和D2分别为连杆侧外界未知干扰和齿隙非线性扰动的总和，d1为连杆侧干扰总和，d2 为电机侧干扰总和；△Mc为机械臂惯性矩阵变化量，△Cc为离心力和哥式力矩阵变化量，△Gc为机械臂重力矩阵变化量，△Jm为电机转动惯量变化量。
具体的，拉格朗日功能平衡方程用状态矢量表示为：
Figure SMS_25
。
则写成状态空间的形式为：
Figure SMS_26
。
其中，x=[x1，x2，x3，x4]；A=[0,1,0,0；0,0,a,0；0,0,0,1；0,0,0,b]；B＝[0,0,0,c ] ；
Figure SMS_27
；/>
Figure SMS_28
；/>
Figure SMS_29
；
Figure SMS_30
；/>
Figure SMS_31
；/>
Figure SMS_32
；/>
Figure SMS_33
；
x1为连杆侧转角，x2位连杆侧转动角速度，x3为连杆侧和电机侧转角误差量，x4为连杆侧和电机侧转动角速度误差量，u为控制输入Tm，φ为扰动矩阵，φ1为连杆侧转动角速度的干扰因子，φ2为连杆侧和电机侧角加速度误差量的干扰因子，Mc -1为机械臂惯性矩阵的逆，a为连杆侧转动角速度与连杆侧和电机侧转角误差量之间的变化因子，b为连杆侧和电机侧转动角速度误差量的导数与连杆侧和电机侧转角误差量之间的变化因子，c为连杆侧和电机侧角加速度误差量控制输入u的辅助控制量，Jm -1为电机转动惯量的逆，w为电机转动惯量的逆的负数。
机械臂关节驱动电机角度跟踪情况为指令调整角度 50°，电机可在 0.5s 内达到预设角度，误差小于 0.5°。
优选的，通过设置拉格朗日方程对机械臂的各个部分进行限定，使机械臂在运作过程中更加稳定，以及更加能保障机械臂中的关节能准确符合容器的重量和尺寸，能保障机械臂对容器进行稳定快速的抓取，使无人机抓取过程更加快速方便。
具体的，基于动态机电数学模型和滑模面建立高阶滑模观测器，还包括：滑模面的高阶导数：
Figure SMS_34
，|h|≤C，0≤Km≤g≤KM；其中，/>
Figure SMS_35
，C，Km，KM为大于0的常数；设计对应的高阶滑模控制率：/>
Figure SMS_36
；其中，α，β为大于0的常数，sign（s）为s的符号函数，在满足条件/>
Figure SMS_37
下，机械臂系统状态能趋近到高阶滑动模态/>
Figure SMS_38
并沿着滑模面s使机械臂系统状态趋近到平衡点。
优选的，通过基于滑模面的高阶导数和基于高阶导数的高阶滑模控制率，来对机械臂系统进行限定，使机械臂在运行过程中更加稳定，能保障机械臂在运作抓取过程中，使容器被稳定的抓取和运转，使整个无人机的抓取过程更加安全和快捷。
【第二实施例】
参见图4，本发明还提供一种用于油样回收的无人机抓载装置100包括：采集模块110，采集模块110通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；计算模块120，计算模块120通过图像模块处理第一图像数据，得到多个第二图像数据；通过多视角卷积神经网络三维模型分类算法对多个第二图像数据进行分类，得到分类结果，并根据分类结果确定容器类型；下达模块130，下达模块130根据分类结果和容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在无人机上的机械臂的关节按照预设路径和预设角度进行调整；控制模块控制无人机移动定位到容器的上方，对容器进行第一动作。
在一个具体实施例中，采集模块110、计算模块120和下达模块130，配合实现如上第一实施例的用于油样回收的无人机抓载方法，此处不再赘述。
优选的，通过采集模块110来对容器的图像进行采集，使容器的图像信息被记录，方便后续对容器的图像进行处理，同时还设置了计算模块120对图像处理，使图像更加适合后续的特征提取，以及保障了对图像进行特征提取的快捷性和精准性，得到更加准确的分类结果，再通过下达模块130对无人机进行控制，使无人机更加准确和安全的抓取容器。
【第三实施例】
参加图5，本发明提供一种可读存储介质200，可读存储介质200上存储的计算机可执行指令210，其中，在计算机可执行指令210被处理器运行时控制可读存储介质所在装置执行实现如上述的用于油样回收的无人机抓载方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的可读存储介质200包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于油样回收的无人机抓载方法，其特征在于，包括：
通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；
通过图像模块处理所述第一图像数据，得到多个第二图像数据；
通过多视角卷积神经网络三维模型分类算法对所述多个第二图像数据进行分类，得到分类结果，并根据所述分类结果确定容器类型；
根据所述分类结果和所述容器类型，通过处理模块向控制模块下达姿态调整命令；
控制模块应用高阶滑模观测器算法控制驱动搭载在所述无人机上的机械臂的关节按照预设路径和预设角度进行调整；
控制模块控制所述无人机移动定位到所述容器的上方，对所述容器进行第一动作；
其中，所述第一动作包括：抓取、提升、旋转和降落。
2.根据权利要求1所述的用于油样回收的无人机抓载方法，其特征在于，所述通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据之前，还包括：
通过拍摄模块获取多种不同容量的容器对应的多个第三图像数据；
所述图像模块对每个所述第三图像数据进行投影处理，得到每个所述第三图像数据对应的多个第四图像数据；
所述图像模块整合多个所述第三图像数据对应的多个第四图像数据为训练集。
3.根据权利要求2所述的用于油样回收的无人机抓载方法，其特征在于，所述通过图像模块处理所述第一图像数据，得到多个第二图像数据，还包括：
对所述多个第二图像数据进行数字预处理，得到所述多个第二图像数据的基于颜色空间的三维数据矩阵；
对所述三维数据矩阵进行去中心化处理，得到去中心化三维数据矩阵，并将所述去中心化三维数据矩阵导入多视角卷积神经网络。
4.根据权利要求3所述的用于油样回收的无人机抓载方法，其特征在于，所述通过多视角卷积神经网络三维模型分类算法对所述多个第二图像数据进行分类，得到分类结果，并根据所述分类结果确定容器类型，还包括：
将所述去中心化三维数据矩阵导入第一卷积神经网络，通过所述第一卷积神经网络进行特征提取，得到第一特征值；
通过所述第一卷积神经网络对所述第一特征值进行特征融合，得到融合特征，并将所述融合特征导入第二卷积神经网络。
5.根据权利要求4所述的用于油样回收的无人机抓载方法，其特征在于，所述将所述融合特征导入第二卷积神经网络，还包括：
通过所述第二卷积神经网络对所述融合特征进行特征提取，得到第二特征值；
将所述第二特征值与所述训练集进行对照比较，确定所述容器的分类结果。
6.根据权利要求1所述的用于油样回收的无人机抓载方法，其特征在于，所述控制模块应用高阶滑模观测器算法控制驱动搭载在所述无人机上的机械臂的关节按照预设路径和预设角度进行调整之前，建立所述高阶滑模观测器，还包括：
建立拉格朗日功能平衡方程；
通过所述拉格朗日功能平衡方程建立永磁同步电机具体的动态机电数学模型和选取基于等速趋近律的滑模面；
基于所述动态机电数学模型和所述滑模面建立所述高阶滑模观测器。
7.根据权利要求6所述的用于油样回收的无人机抓载方法，其特征在于，所述建立拉格朗日功能平衡方程，还包括：
Figure QLYQS_1
；
其中，所述机械臂包括连杆、关节和控制器；
Figure QLYQS_3
，/>
Figure QLYQS_5
，/>
Figure QLYQS_8
，θ为电机侧转角, q 为连杆侧转角， />
Figure QLYQS_4
为电机侧转动角速度， />
Figure QLYQS_6
为连杆侧转动角速度， />
Figure QLYQS_7
为电机侧转动角加速度, />
Figure QLYQS_9
为连杆侧转动角加速度，Mc(q)为机械臂惯性矩阵，/>
Figure QLYQS_2
为离心力和哥式力项，Gc(q)为机械臂重力矩阵，Kp 为关节的弹性系数，Jm为电机转动惯量，Tm为控制器输出力矩，τ为关节传递扭矩，D1和D2分别为连杆侧外界未知干扰和齿隙非线性扰动的总和，d1为连杆侧干扰总和，d2 为电机侧干扰总和；△Mc为机械臂惯性矩阵变化量，△Cc为离心力和哥式力矩阵变化量，△Gc为机械臂重力矩阵变化量，△Jm为电机转动惯量变化量。
8.根据权利要求7所述的用于油样回收的无人机抓载方法，其特征在于，所述基于所述动态机电数学模型和所述滑模面建立所述高阶滑模观测器，还包括：
滑模面s的高阶导数：
Figure QLYQS_10
，|h|≤C，0≤Km≤g≤KM；
其中，
Figure QLYQS_11
，C，Km，KM为大于0的常数；
设计对应的高阶滑模控制率u：
Figure QLYQS_12
；
其中，α，β为大于0的常数，sign（s）为s的符号函数，在满足条件
Figure QLYQS_13
下，机械臂系统状态能趋近到高阶滑动模态/>
Figure QLYQS_14
并沿着滑模面s使机械臂系统状态趋近到平衡点。
9.一种用于油样回收的无人机抓载装置，其特征在于，包括：
采集模块，所述采集模块通过搭载在无人机上的拍摄模块对容器进行图像采集，得到第一图像数据；
计算模块，所述计算模块通过图像模块处理所述第一图像数据，得到多个第二图像数据；通过多视角卷积神经网络三维模型分类算法对所述多个第二图像数据进行分类，得到分类结果，并根据所述分类结果确定容器类型；
下达模块，所述下达模块根据所述分类结果和所述容器类型，通过处理模块向控制模块下达姿态调整命令；控制模块应用高阶滑模观测器算法控制驱动搭载在所述无人机上的机械臂的关节按照预设路径和预设角度进行调整；控制模块控制所述无人机移动定位到所述容器的上方，对所述容器进行第一动作。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行实现如权利要求1至8中任一项所述的用于油样回收的无人机抓载方法的步骤。
CN202310505337.7A 2023-05-08 2023-05-08 用于油样回收的无人机抓载方法、装置及存储介质 Active CN116214524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310505337.7A CN116214524B (zh) 2023-05-08 2023-05-08 用于油样回收的无人机抓载方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310505337.7A CN116214524B (zh) 2023-05-08 2023-05-08 用于油样回收的无人机抓载方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116214524A true CN116214524A (zh) 2023-06-06
CN116214524B CN116214524B (zh) 2023-10-03

Family

ID=86571638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310505337.7A Active CN116214524B (zh) 2023-05-08 2023-05-08 用于油样回收的无人机抓载方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116214524B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681699A (zh) * 2023-07-31 2023-09-01 国网浙江省电力有限公司宁波供电公司 一种变电站油样智能存储方法和装置
CN117612047A (zh) * 2024-01-23 2024-02-27 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341078A (en) * 1989-09-30 1994-08-23 Fanuc Ltd. Sliding mode control method for a machine having an operating section operatively coupled to a servomotor and wherein a switching variable is determined based on a torsion amount and a torsion speed
US20170083752A1 (en) * 2015-09-18 2017-03-23 Yahoo! Inc. Face detection
CN106945043A (zh) * 2017-04-18 2017-07-14 中国科学院重庆绿色智能技术研究院 一种主从式遥操作手术机器人多臂协同控制系统
CN108181813A (zh) * 2017-12-28 2018-06-19 南京埃斯顿机器人工程有限公司 一种柔性关节机械臂的分数阶滑模控制方法
CN110076772A (zh) * 2019-04-03 2019-08-02 浙江大华技术股份有限公司 一种机械臂的抓取方法及装置
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法
CN111369617A (zh) * 2019-12-31 2020-07-03 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN113570659A (zh) * 2021-06-24 2021-10-29 影石创新科技股份有限公司 拍摄装置位姿估计方法、装置、计算机设备和存储介质
CN113681549A (zh) * 2021-08-30 2021-11-23 江苏塔帝思智能科技有限公司 一种基于三维数据分析的机器人抓取方法及系统
JP2021189917A (ja) * 2020-06-02 2021-12-13 株式会社Zmp 物体検出システム、物体検出方法及び物体検出プログラム
CN113858218A (zh) * 2021-12-06 2021-12-31 湖南工商大学 一种机械臂执行器故障诊断方法
CN114387513A (zh) * 2021-12-31 2022-04-22 北京航空航天大学杭州创新研究院 机器人抓取方法、装置、电子设备及存储介质
CN114389490A (zh) * 2021-12-10 2022-04-22 江苏大学 基于固定时间二阶滑模技术的永磁同步电机转速控制方法
CN114536334A (zh) * 2022-02-23 2022-05-27 浙江工业大学 一种柔性机械臂系统高阶滑模抗干扰控制方法
CN114898289A (zh) * 2022-05-11 2022-08-12 北京花兰德科技咨询服务有限公司 基于神经网络的园区可燃物识别方法及系统
CN115410275A (zh) * 2022-08-31 2022-11-29 陕西省君凯电子科技有限公司 基于图像识别的办公场所人员状态检测方法及其系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341078A (en) * 1989-09-30 1994-08-23 Fanuc Ltd. Sliding mode control method for a machine having an operating section operatively coupled to a servomotor and wherein a switching variable is determined based on a torsion amount and a torsion speed
US20170083752A1 (en) * 2015-09-18 2017-03-23 Yahoo! Inc. Face detection
CN106945043A (zh) * 2017-04-18 2017-07-14 中国科学院重庆绿色智能技术研究院 一种主从式遥操作手术机器人多臂协同控制系统
CN108181813A (zh) * 2017-12-28 2018-06-19 南京埃斯顿机器人工程有限公司 一种柔性关节机械臂的分数阶滑模控制方法
CN110076772A (zh) * 2019-04-03 2019-08-02 浙江大华技术股份有限公司 一种机械臂的抓取方法及装置
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN111369617A (zh) * 2019-12-31 2020-07-03 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法
JP2021189917A (ja) * 2020-06-02 2021-12-13 株式会社Zmp 物体検出システム、物体検出方法及び物体検出プログラム
CN113570659A (zh) * 2021-06-24 2021-10-29 影石创新科技股份有限公司 拍摄装置位姿估计方法、装置、计算机设备和存储介质
CN113681549A (zh) * 2021-08-30 2021-11-23 江苏塔帝思智能科技有限公司 一种基于三维数据分析的机器人抓取方法及系统
CN113858218A (zh) * 2021-12-06 2021-12-31 湖南工商大学 一种机械臂执行器故障诊断方法
CN114389490A (zh) * 2021-12-10 2022-04-22 江苏大学 基于固定时间二阶滑模技术的永磁同步电机转速控制方法
CN114387513A (zh) * 2021-12-31 2022-04-22 北京航空航天大学杭州创新研究院 机器人抓取方法、装置、电子设备及存储介质
CN114536334A (zh) * 2022-02-23 2022-05-27 浙江工业大学 一种柔性机械臂系统高阶滑模抗干扰控制方法
CN114898289A (zh) * 2022-05-11 2022-08-12 北京花兰德科技咨询服务有限公司 基于神经网络的园区可燃物识别方法及系统
CN115410275A (zh) * 2022-08-31 2022-11-29 陕西省君凯电子科技有限公司 基于图像识别的办公场所人员状态检测方法及其系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681699A (zh) * 2023-07-31 2023-09-01 国网浙江省电力有限公司宁波供电公司 一种变电站油样智能存储方法和装置
CN116681699B (zh) * 2023-07-31 2023-12-15 国网浙江省电力有限公司宁波供电公司 一种变电站油样智能存储方法和装置
CN117612047A (zh) * 2024-01-23 2024-02-27 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法
CN117612047B (zh) * 2024-01-23 2024-04-12 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法

Also Published As

Publication number Publication date
CN116214524B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN116214524B (zh) 用于油样回收的无人机抓载方法、装置及存储介质
CN108081266B (zh) 一种基于深度学习的机械臂手部抓取物体的方法
CN110238840B (zh) 一种基于视觉的机械臂自主抓取方法
CN109523552B (zh) 基于视锥点云的三维物体检测方法
CN109858437B (zh) 基于生成查询网络的行李体积自动分类方法
CN107886133A (zh) 一种基于深度学习的地下管道缺陷自动识别方法
CN105460217B (zh) 一种基于无人飞行器的续拍方法和无人飞行器
CN105511488B (zh) 一种基于无人飞行器的续拍方法和无人飞行器
CN111340754A (zh) 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
EP2629939A1 (en) Method for the filtering of target object images in a robot system
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN109159113A (zh) 一种基于视觉推理的机器人作业方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN106895824A (zh) 基于计算机视觉的无人机定位方法
CN114841923A (zh) 一种基于无人机的高精度实时裂缝检测方法
CN114812398A (zh) 一种基于无人机的高精度实时裂缝检测平台
CN110866548A (zh) 输电线路绝缘子红外智能匹配识别与测距定位方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113894058B (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
CN111815696A (zh) 基于语义实例分割的深度图优化方法、装置、设备和介质
CN114029941A (zh) 一种机器人抓取方法、装置、电子设备及计算机介质
CN110889460B (zh) 一种基于协同注意力机制的机械臂指定物体抓取方法
Wang et al. GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant