CN116587327B - 运动控制系统、带电作业机器人检测方法及相关设备 - Google Patents
运动控制系统、带电作业机器人检测方法及相关设备 Download PDFInfo
- Publication number
- CN116587327B CN116587327B CN202310740798.2A CN202310740798A CN116587327B CN 116587327 B CN116587327 B CN 116587327B CN 202310740798 A CN202310740798 A CN 202310740798A CN 116587327 B CN116587327 B CN 116587327B
- Authority
- CN
- China
- Prior art keywords
- module
- live working
- working robot
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 221
- 230000033001 locomotion Effects 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000087 stabilizing effect Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000306 component Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000008358 core component Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009123 feedback regulation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种运动控制系统、带电作业机器人检测方法及相关设备，当利用带电机器人进行引线作业时，为了更好地控制带电机器人准确地进行引线操作，本申请可以通过收集带电作业机器人的引线操作的检测数据；并利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据来了解带电作业机器人的操作情况，进一步依据分析结果，实时调整带电作业机器人的引线操作指令，以确保带电作业的机器人的引线操作的准确性和实时性。由此可见，本申请可以有效提高对带电作业的机器人控制的精准度，并且可以通过摄像头获取信息，并对所收集的信息进行分析，以便可以实时对带电作业的机器人对作业目标进行识别，方便及时调整带电作业机器人的操作。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种运动控制系统、带电作业机器人检测方法及相关设备。
背景技术
随着科学技术的发展，人工智能技术发展迅速，在实际应用过程中，人工智能机器人的应用非常广泛，在一些危险场景的应用领域，常常利用带电人工智能机器人来进行作业，以替代人工操作。
在实际应用过程中，带电作业机器人在现实生活中具有广泛的应用，能在危险情况下作业，与直接人工操作相比，有效保障了工作人员的安全。但是，带电作业机器人也由于技术的限制，存在一些不足，如控制不够精准，对作业的对象，例如，在一些带电作业场景中，引线操作等带电机器人的检测实时性和准确性不够，不利于完成引线工作，机器人在作业时需要移动，目前对机器人的运动控制精确度不足，带电作业机器人需要寻找导线，对其进行修补等操作。目前的方法对导线的检测精度和实时性不能满足实际需求。在实际应用过程中，需要提高带电作业的机器人控制的精准度。
发明内容
本申请旨在至少能解决上述的技术缺陷之一，有鉴于此，本申请提供了一种运动控制系统、带电作业机器人检测方法及相关设备，用于解决现有技术中带电作业的机器人做引线操作检测困难的技术缺陷。
一种带电作业机器人检测方法，包括：
收集带电作业机器人的引线操作的检测数据；
利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据，其中，所述预设的分析模型包括检测框调整模块、目标检测模块，转换连接模块，其中，所述检测框调整模块用于过滤负样本，所述目标检测模块用于调整检测框的位置和大小，所述转换连接模块用于将所述检测框调整模型的特征转换为用于所述目标检测模块中的预测位置、大小和目标对象类型信息；
依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令。
优选地，所述预设的分析模型的创建过程，包括：
以训练图像数据作为训练样本输入预设的分析模型，得到所述分析模型输出的所述训练图像中包含的目标对象的位置信息；
其中，所述分析模型以标注有目标对象的位置信息的训练图像数据作为训练数据，训练得到。
优选地，所述分析模型分析所述训练图像数据，输出所述训练图像中包含的目标对象的位置信息的过程，包括：
以摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练，得到第一训练图像数据；
将所述第一训练图像数据输入预设的分析模型中的目标检测模块进行训练，将所述预设的分析模型中的目标检测模块输出的第一训练图像数据标注的目标对象的位置信息作为所述预设的分析模型的输出。
一种运动控制系统，应用于前述介绍任一项所述的带电作业机器人，所述运动控制系统包括控制器、执行组件、传感器、硬件电路；
其中，
所述硬件电路包括电源模块、主控模块、通信模块、电机驱动模块、摄像模块；
所述电源模块用于为所述电机驱动模块、所述主控模块、所述摄像模块提供稳定的电能；
所述主控模块用于接收控制者发送的控制指令和所述传感器收集到的状态，以生成作用于带电作业机器人的控制命令；
所述通信模块用于传输信号；
所述电机驱动模块包括电机和驱动器，其中，所述驱动器用于接收定时器的目标信号，并根据所述目标信号控制所述电机的转向和速度；
所述摄像模块用于依据所述带电作业机器人的作业任务获取图像信息。
优选地，所述控制器为PID控制器，
则所述运动控制系统控制所述带电作业机器人移动的过程，包括：
确定所述电机的目标速度以及实测速度；
依据所述电机的目标速度以及实测速度，确定所述电机的目标速度以及所述电机的实测速度之间的速度差值；
所述控制器依据所述电机的目标速度和实测速度之间的速度差值，实时控制所述电机。
优选地，所述电源模块采用两个目标型号的蓄电池串联而成，并通过稳压芯片来根据应用场景对电源的需求来调整电源的电压。
优选地，所述电源模块包括第一子模块和第二子模块；
其中，
所述第一子模块用于为所述主控模块、电位器以及传感器提供电压；
所述第二子模块用于为所述电机、所述电机驱动器提供电压。
一种带电作业机器人检测装置，包括：
数据收集单元，用于收集带电作业机器人的引线操作的检测数据；
分析单元，用于利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据，其中，所述预设的分析模型包括检测框调整模块、目标检测模块，转换连接模块，其中，所述检测框调整模块用于过滤负样本，所述目标检测模块用于调整检测框的位置和大小，所述转换连接模块用于将所述检测框调整模型的特征转换为用于所述目标检测模块中的预测位置、大小和目标对象类型信息；
指令调整单元，用于依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令。
一种带电作业机器人检测设备，包括：一个或多个处理器，以及存储器；
所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，实现如前述介绍中任一项所述带电作业机器人检测方法的步骤。
一种可读存储介质，所述可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现如前述介绍中任一项所述带电作业机器人检测方法的步骤。
从以上介绍的技术方案可以看出，当利用带电机器人进行引线作业时，为了更好地控制带电机器人准确地进行引线操作，本申请实施例提供的方法可以通过收集带电作业机器人的引线操作的检测数据；并利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据来了解带电作业机器人的操作情况，其中，预设的分析模型可以包括检测框调整模块、目标检测模块，转换连接模块，其中，检测框调整模块可以用于过滤负样本，目标检测模块可以用于调整检测框的位置和大小，转换连接模块可以用于将检测框调整模型的特征转换为可以用于目标检测模块中的预测位置、大小和目标对象类型信息；在利用分析模型分析所收集的带电作业机器人的引线操作的检测数据之后，可以进一步依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令，以确保带电作业的机器人的引线操作的准确性和实时性。
由此可见，本申请实施例提供的方法可以有效提高对带电作业的机器人控制的精准度，并且可以通过摄像头获取信息，并对所收集的信息进行分析，以便可以实时对带电作业的机器人对作业目标进行识别，方便及时调整带电作业机器人的操作。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种可以实现控制带电作业机器人的运动控制系统的系统架构示意图；
图2为本申请实施例提供的一种电源模块的框架结构示意图；
图3为本申请实施例提供的一种稳压芯片的电路结构示意图；
图4为本申请实施例提供的一种PID控制器控制电机驱动的原理结构示意图；
图5为本申请实施例提供的一种实现带电作业机器人检测方法的流程图；
图6为本申请实施例提供的一种分析模块的网络结构示意图；
图7为本申请实施例提供的一种转换连接模块的结构示意图；
图8为本申请实施例示例的一种带电作业机器人检测装置结构示意图；
图9为本申请实施例公开的一种带电作业机器人检测设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在实际应用过程中，带电作业机器人在现实生活中具有广泛的应用。
例如，在一些危险情况下，可以利用带电机器人来进行高危作业，由于带电作业机器人可以在危险情况下作业，因此，在一些危险的领域里，带电作业机器人与直接人工操作相比，可以有效保障工作人员的安全。
但是，带电作业机器人也由于技术的限制，存在一些不足，例如，对于带电作业的机器人对一些操作控制不够精准，例如，对作业的对象，如引操作检测的实时性和准确性不够。
由此可知，在一些高危情况，带电机器人在作业时需要移动，但是目前对机器人的运动控制精度不足；例如，当带电机器人在进行引线操作时，带电作业的机器人需要寻找导线，并对导线进行修补，但是带电机器人在作业是对导线的检测精度和实时性并不能满足的实际应用需求。对于带电机器人进行引线操作的准确性和实时性还有待提高。
鉴于目前大部分的带电作业机器人检测方案难以适应复杂多变的业务需求，为此，本申请人研究了一种带电作业机器人检测方案，该带电作业机器人检测方法可以有效提高对带电作业的机器人控制的精准度，并且可以通过摄像头获取信息，并对所收集的信息进行分析，以便可以实时对带电作业的机器人对作业目标进行识别，方便及时调整带电作业机器人的操作。
本申请实施例提供的方法可以用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请实施例提供一种带电作业机器人检测方法，该方法可以应用于各种电力管理系统或者带电作业机器人管理系统中，亦可以应用在各种计算机终端或是智能终端中，其执行主体可以为计算机终端或是智能终端的处理器或服务器。
下面结合图1，介绍本申请实施例给出的可以实现控制带电作业机器人运动的一种可选系统架构，该运动控制系统可以用于控制带电机器人运动。如图1所示，该系统架构可以包括：控制器、执行组件、传感器、硬件电路；
其中，
硬件电路可以包括电源模块、主控模块、通信模块、电机驱动模块、摄像模块；
其中，摄像模块可以为摄像头。
在机器人进行作业过程中，电源模块可以用于为电机驱动模块、主控模块、摄像模块提供稳定的电能。
例如，
电源模块可以为电机驱动模块、主控模块、摄像头等提供电源。
其中，
电源模块可以采用两个目标型号的蓄电池串联而成，并通过稳压芯片来根据应用场景对电源的需求来调整电源的电压。
例如，
在实际应用过程中，电源模块主要可以为机器人提供合适的电压源。考虑到机器人不同期间所需的电压不同：
例如，
驱动器可能需要24V电压，摄像设备可能需要12V电压，驱动电流检测芯片可能需要5V电压，电位器可能需要3.3V电压。
因此，电源模块需要根据各个部件所需要电压来为各个部件提供其所需要的电源。
因此，本申请根据带电作业机器人的不同部件的需求设计了一个电源框架。
图2示例一种电源模块的框架结构示意图。
如图2所示，在实际应用过程中，可以使用12V的的铅蓄电池，两个串联可以得到24V的电压源，然后通过稳压芯片得到12V和3.3V的电源。
在实际应用过程中，为了获取电池的剩余电量，可以使用库仑计检测电池的电压。
如图2所示，可以将机器人的总电源系统设计分成两个子模块，其中，第一子模块可以为控制电力系统的电源模块，第二子模块可以为电机电力系统的电源模块。
其中，
控制电力系统主要可以为主控芯片、电位器、传感器等器件提供电压；
电机电力系统主要可以为电机、电机驱动器等提供电压。
在实际应用过程中，电机电力系统的电机和驱动器需要使用24V电压，则可直接用两个铅蓄电池串联得到。
在控制电力系统中，可以用一个铅蓄电池获取12V电压，通过LM7805稳压芯片将12V电压降为5V电压，再使用LM1117-3.3芯片将5V电压降为3.3V电压。
其中，
稳压芯片的外围电路如下图3所示。
图3示例了一种稳压芯片的电路结构示意图；
如图3所示，Vin表述输入电压，Vout表示输出电压，GND表示接地。
在实际应用过程中，机器人运动控制系统的核心部件是主控模块，因此，主控模块可以用于接收控制者发送的控制指令和传感器收集到的状态，以生成可以作用于带电作业机器人的控制命令；
通信模块可以用于传输信号。
例如，通信模块可以负责上机位和下机位之间的信号传输。
电机驱动模块可以包括电机和驱动器。
其中，
驱动器可以用于接收定时器的目标信号，并可以根据目标信号控制电机的转向和速度；
其中，
目标信号可以为PWM信号；
驱动器可以接收定时器的PWM信号，并可以定时器的PWM信号来控制电机的转向和速度，从而可以实现控制带电作业的机器人的运动轨迹。
摄像模块可以用于依据带电作业机器人的作业任务获取图像信息。
例如，
摄像模块可以为摄像设备，摄像设备主要可以用于获取图像数据，可以用于拍摄带电作业的机器人进行具体作业任务的相关图像数据。
例如，可以采用摄像头来实时拍摄带电作业的机器人进行具体作业任务的相关图像数据。
特别地，控制器可以为PID控制器，
在实际应用过程中，当带电作业的机器人移动时，可以采用PID控制器来控制带电作业机器人进行移动。
其中，
PID控制器可以根据运动控制系统的信号输入量和信号输出量之间的误差信号关系来控制带电机器人的运动。
PID控制器可以分为比例控制、积分控制、微分控制。
其中，
图4示例一种PID控制器控制电机驱动的原理结构示意图。
PID控制器是反馈调节控制器。
其中，
比例控制是指控制器的信号输出量与信号输入量的误差信号成比例关系；
积分控制是指控制器的信号输出量与信号输入量误差信号的积分成比例关系；
微分控制是指控制器的信号输出量与信号输入量误差信号的微分成比例关系。
因此，本申请实施例提供的运动控制系统控制带电作业机器人移动的过程，可以包括如下：
(1)确定电机的目标速度以及实测速度；
(2)依据电机的目标速度以及实测速度，确定电机的目标速度以及所述电机的实测速度之间的速度差值；
(3)控制器依据所述电机的目标速度和实测速度之间的速度差值，实时控制所述电机。
例如，
PID控制器可以依据电机目标速度与实测速度的差值，经过PID控制器调节，输出PWM值给驱动器，驱动器根据收到的PWM信号来控制电机的转向和速度，以此来控制带电作业的机器人的运动。
由上述介绍可知，通过本申请实施例提供的运动控制系统来控制带电作业的机器人的运动，可以有效提高带电作业机器人的运动轨迹的精度控制，同时还可以通过摄像头获取带电作业机器人作业的信息，并对所收集的信息进行分析，以便可以实时对带电作业的机器人对作业目标进行识别，方便及时调整带电作业机器人的操作。
下面结合图5，介绍本申请实施例给出的带电作业机器人检测方法的流程，如图5所示，该流程可以包括以下几个步骤：
步骤S101，收集带电作业机器人的引线操作的检测数据。
具体地，由上述介绍可知，本申请实施例提供的方法可以利用运动控制系统控制带电作业机器人的运动。
由此可知，带电作业机器人上装载了可以拍摄带电作业的机器人的实施操作数据的摄像设备。
因此，为了分析带电作业机器人的引线操作情况，可以收集带电作业机器人的引线操作的检测数据，以便可以通过分析所收集带电作业机器人的引线操作的检测数据来了解带电作业机器人的引线操作具体情况。
其中，
带电作业机器人的引线操作检测数据可以为摄像头拍摄的图像数据。
步骤S102，利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据。
具体地，由上述介绍可知，本申请实施例提供的方法可以收集带电作业机器人的引线操作的检测数据。
其中，
带电作业机器人的引线操作的检测数据可以反馈带电作业机器人进行作业时的详细情况。
通过分析所收集带电作业机器人的引线操作的检测数据来详细了解带电作业机器人的具体运行情况。
因此，在收集带电作业机器人的引线操作的检测数据之后，可以利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据。
其中，
预设的分析模型可以包括检测框调整模块、目标检测模块，转换连接模块。
其中，
由上述介绍可知，带电作业机器人的引线操作检测数据可以为摄像头拍摄的图像数据。
在实际应用过程中，摄像头拍摄的图像数据可以包括正样本数据和负样本数据。
其中，
检测框调整模块可以用于过滤负样本；
目标检测模块可以用于调整检测框的位置和大小；
转换连接模块可以用于将检测框调整模型的特征转换为用于目标检测模块中的预测位置、大小和目标对象类型信息。
其中，
分析模型的创建过程，可以包括如下：
可以以训练图像数据作为训练样本输入预设的分析模型，由此可以得到分析模型输出的所述训练图像中包含的目标对象的位置信息；
其中，所述分析模型以标注有目标对象的位置信息的训练图像数据作为训练数据，训练得到。
例如，
图6示例一种分析模块的网络结构示意图。
由图6可知，分析模型可以包括检测框调整模块(ARM)，目标检测模块(ODM)。
其中，
可以看到检测框调整模块主要是用于过滤负样本，以便可以减少分类器的搜索空间。
目标检测模块可以粗略调整检测框的位置和大小，可以得到更好的初始化回归因子。目标检测模块可以把检测框调整模块的输出作为输入，进一步提高回归的准确率和预测类别。
为了提高分析模型的准确性，本申请实施例提供的方法还可以使用一个转换连接模块(TCB)，将检测框调整模块的特征转换为刻意用于目标检测模块中的预测位置、大小和目标类别。
进一步地，还可以利用多任务损失函数模块来训练分析模型，以便可以对实现对整个分析模型的网络进行端到端的训练，以提高分析模型的准确性。
在训练分析模型过程中，分析模型的网络结构主要是基于前馈卷积网络，产生固定的检测框和表示不同物体出现概率的分数，后面连接非极大值抑制获取最终的结果。
其中，
检测框调整模块可以删除负样本，从而减少分类器的搜索空间，并且粗略调节检测框的位置和大小；
目标检测模块可以在调整好的检测框的基础上，进行目标位置和类别的回归操作。
检测框调整模块可以在基础网络的基础上，删除分类网络并加入辅助结构；
目标检测模块由转换连接模块的输出构成，后面连接预测层，以便可以产生目标的类别和形状的位置偏差。
在实际应用过程中，经过试验发现，在目标检测领域，单阶段的方法基于不同尺度不同层级的单步回归，虽然可以用于预测位置和大小，但是在某些场景下准确度不能满足实际需求，特别是小物体的检测。
因此，本申请实施例提供的方法在训练分析模型过程中，使用两步级联回归来预测目标的位置和大小，具体如下：
检测框调整模块首先调整检测框的位置和大小，这样可以为目标检测模块的回归提供更好的初始化。
在实际操作中，特征图的每个单元可以指定n个检测框。
其中，
每个检测框的初始位置是固定的，与单元的位置相关。在特征图的每个单元，我们对每个调整过的检测框预测4个偏移量，以及2个自信度分数。因此，特征图的每个单元产生n个调整过的检测框。
获取调整过的检测框后，将其输入到目标检测模块中，然后，用于进一步预测目标类别和大小。
在检测框调整模块和目标检测模块中，对应的特征图有相同的维度，对于调整过的检测框，可以计算c个类别和4个偏移，所以每个调整过的检测框产生c+4个输出。
由此可见，本申请实施例提供的分析模型使用两级策略，先用ARM产生调整过的检测框，再用目标检测模块ODM对调整过的检测框进行处理，提高准确率，特别是小物体。
在实际作业过程中，因为引线很多时候在图像上的形状并不大，因此，使用本申请实施提供的方法可以更准确的检测出引线所在的位置。
为了提前拒绝容易分类的负样本，并减小不平衡问题，本申请实施例提供的分析模型可以使用负样本检测框过滤机制(negative anchor filtering mechanism)来分析带电作业机器人的引线操作检测数据。
在训练阶段，对调整过的检测框，如果其负的自信度(negative confidence)比阈值大，可以在目标检测模块ODM训练阶段将其删除。而在目标检测模块则只通过满足要求的检测框。
由此可知，分析模型可以准确回归目标的位置和大小；并且可以在过滤负样本之前，提前删除容易分类的负样本，减小类别不平衡问题。
特别地，为了连接检测框调整模块和目标检测模块，本申请实施例提供的方法使用了转换连接模块。
图7示例一种转换连接模块的结构示意图；
如图7所示，在实际应用过程中，转换连接模块可以将检测框调整模块输出的特征转换为目标检测模块需要的特征。
在检测框调整模块里，本申请只在与特征图相关的检测框上使用转换连接模块。
转换连接模块的另外一个功能是可以将整个大尺度目标的上下文信息，通过将高层级特征增加到转换特征中，来提高检测准确率。
为了匹配其维度，本申请可以使用反卷积操作，扩大其大小，并将其逐元素求和。在求和后，连接卷积层，可以保证特征的辨别能力。
步骤S103，依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令。
具体地，由上述介绍可知，本申请实施例提供的方法可以利用分析模型来分析所收集的带电作业机器人的引线操作的检测数据。
对所收集的带电作业机器人的引线操作的检测数据的分析结果可以了解带电作业机器人的引线操作是否准确。
因此，在确定所收集的带电作业机器人的引线操作的检测数据的分析结果之后，可以依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令，以便可以根据带电作业机器人的实际引线操作来实时调整带电作业机器人的引线操作。
从上述介绍的技术方案可以看出，本申请实施例提供的方法可以有效提高对带电作业的机器人控制的精准度，并且可以通过摄像头获取信息，并对所收集的信息进行分析，以便可以实时对带电作业的机器人对作业目标进行识别，方便及时调整带电作业机器人的操作。
由上述介绍可知，本申请实施例提供的分析模型可以分析所述训练图像数据，输出所述训练图像中包含的目标对象的位置信息，接下来介绍该过程，该过程可以包括如下几个步骤：
步骤S201，以摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练，得到第一训练图像数据。
具体地，由上述介绍可知，本申请实施例提供的方法可以利用运动控制系统控制带电作业机器人的运动。
由此可知，带电作业机器人上装载了可以拍摄带电作业的机器人的实施操作数据的摄像设备。
由此可知，带电作业机器人上装载了可以拍摄带电作业的机器人的实施操作数据的摄像设备。
由于分析模型包括检测框调整模块和目标检测模块。
因此，为了更好地分析带电作业机器人的引线操作情况，可以以摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练，得到第一训练图像数据。
步骤S202，将所述第一训练图像数据输入预设的分析模型中的目标检测模块进行训练，将所述预设的分析模型中的目标检测模块输出的第一训练图像数据标注的目标对象的位置信息作为所述预设的分析模型的输出。
具体地，由上述介绍可知，分析模型除了检测框调整模块还包括目标检测模块。
进一步地，在将摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练，得到第一训练图像数据之后，可以将第一训练图像数据输入预设的分析模型中的目标检测模块进行训练，将预设的分析模型中的目标检测模块输出的第一训练图像数据标注的目标对象的位置信息作为预设的分析模型的输出。
从上述介绍的技术方案可以看出，本申请实施例提供的方法可以将摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练之后，得到目标检测模块输出的第一训练图像数据标注的目标对象的位置信息，由此可知，通过本申请实施例提供的分析模型可以分析所述训练图像数据，输出训练图像中包含的目标对象的位置信息，以便可以利用分析模型来分析带电作业机器人的引线操作的检测数据来实时调整带电作业机器人的引线操作。
下面对本申请实施例提供的带电作业机器人检测装置进行描述，下文描述的带电作业机器人检测装置与上文描述的带电作业机器人检测方法可相互对应参照。
参见图8，图8为本申请实施例公开的一种带电作业机器人检测装置结构示意图。
如图8所示，该带电作业机器人检测装置可以包括：
数据收集单元101，用于收集带电作业机器人的引线操作的检测数据；
分析单元102，用于利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据，其中，所述预设的分析模型包括检测框调整模块、目标检测模块，转换连接模块，其中，所述检测框调整模块用于过滤负样本，所述目标检测模块用于调整检测框的位置和大小，所述转换连接模块用于将所述检测框调整模型的特征转换为用于所述目标检测模块中的预测位置、大小和目标对象类型信息；
指令调整单元103，用于依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令。
从以上介绍的技术方案可以看出，当利用带电机器人进行引线作业时，为了更好地控制带电机器人准确地进行引线操作，本申请实施例提供的装置可以通过收集带电作业机器人的引线操作的检测数据；并利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据来了解带电作业机器人的操作情况，其中，预设的分析模型可以包括检测框调整模块、目标检测模块，转换连接模块，其中，检测框调整模块可以用于过滤负样本，目标检测模块可以用于调整检测框的位置和大小，转换连接模块可以用于将检测框调整模型的特征转换为可以用于目标检测模块中的预测位置、大小和目标对象类型信息；在利用分析模型分析所收集的带电作业机器人的引线操作的检测数据之后，可以进一步依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令，以确保带电作业的机器人的引线操作的准确性和实时性。
由此可见，本申请实施例提供的装置可以有效提高对带电作业的机器人控制的精准度，并且可以通过摄像头获取信息，并对所收集的信息进行分析，以便可以实时对带电作业的机器人对作业目标进行识别，方便及时调整带电作业机器人的操作。
其中，上述带电作业机器人检测装置所包含的各个单元的具体处理流程，可以参照前文带电作业机器人检测方法部分相关介绍，此处不再赘述。
本申请实施例提供的带电作业机器人检测装置可应用于带电作业机器人检测设备，如终端：手机、电脑等。可选的，图9示出了带电作业机器人检测设备的硬件结构框图，参照图9，带电作业机器人检测设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4。
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信。
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：实现前述终端带电作业机器人检测方案中的各个处理流程。
本申请实施例还提供一种可读存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：实现前述终端在带电作业机器人检测方案中的各个处理流程。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。各个实施例之间可以相互组合。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种带电作业机器人检测方法，其特征在于，包括：
收集带电作业机器人的引线操作的检测数据；
利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据，其中，所述预设的分析模型包括检测框调整模块、目标检测模块，转换连接模块，其中，所述检测框调整模块用于过滤负样本，并调整检测框的位置和大小，其中，所述检测框调整模块是在基础的网络上删除了分类网络并加入辅助结构来调整检测框的位置和大小，所述转换连接模块用于将所述检测框调整模块的特征转换为用于所述目标检测模块中的预测目标对象的位置、大小和目标对象类型的信息，其中，所述预设的分析模型通过所述检测框调整模块先对图像的检测框的位置和大小进行调整后，再将调整后的检测框输入所述目标检测模块中，以预测所述目标对象的位置和大小；所述预设的分析模型以标注有目标对象的位置信息的训练图像数据作为训练数据，训练得到，所述预设的分析模型在训练过程中，以摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练，得到第一训练图像数据后；再将所述第一训练图像数据输入预设的分析模型中的目标检测模块进行训练，最终将所述预设的分析模型中的目标检测模块输出的第一训练图像数据标注的目标对象的位置信息作为所述预设的分析模型的输出，所述目标检测模块用于调整检测框的位置和大小；
依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令。
2.一种运动控制系统，其特征在于，应用于权利要求1所述的带电作业机器人检测方法，所述运动控制系统包括控制器、执行组件、传感器、硬件电路；
其中，
所述硬件电路包括电源模块、主控模块、通信模块、电机驱动模块、摄像模块；
所述电源模块用于为所述电机驱动模块、所述主控模块、所述摄像模块提供稳定的电能；
所述主控模块用于接收控制者发送的控制指令和所述传感器收集到的状态，以生成作用于带电作业机器人的控制命令；
所述通信模块用于传输信号；
所述电机驱动模块包括电机和驱动器，其中，所述驱动器用于接收定时器的目标信号，并根据所述目标信号控制所述电机的转向和速度；
所述摄像模块用于依据所述带电作业机器人的作业任务获取图像信息。
3.根据权利要求2所述的系统，其特征在于，所述控制器为PID控制器，
则所述运动控制系统控制所述带电作业机器人移动的过程，包括：
确定所述电机的目标速度以及实测速度；
依据所述电机的目标速度以及实测速度，确定所述电机的目标速度以及所述电机的实测速度之间的速度差值；
所述控制器依据所述电机的目标速度和实测速度之间的速度差值，实时控制所述电机。
4.根据权利要求2所述的系统，其特征在于，所述电源模块采用两个目标型号的蓄电池串联而成，并通过稳压芯片来根据应用场景对电源的需求来调整电源的电压。
5.根据权利要求2所述的系统，其特征在于，所述电源模块包括第一子模块和第二子模块；
其中，
所述第一子模块用于为所述主控模块、电位器以及传感器提供电压；
所述第二子模块用于为所述电机、所述电机驱动器提供电压。
6.一种带电作业机器人检测装置，其特征在于，包括：
数据收集单元，用于收集带电作业机器人的引线操作的检测数据；
分析单元，用于利用预设的分析模型分析所收集的带电作业机器人的引线操作的检测数据，其中，所述预设的分析模型包括检测框调整模块、目标检测模块，转换连接模块，其中，所述检测框调整模块用于过滤负样本，并调整检测框的位置和大小，其中，所述检测框调整模块是在基础的网络上删除了分类网络并加入辅助结构来调整检测框的位置和大小，所述转换连接模块用于将所述检测框调整模块的特征转换为用于所述目标检测模块中的预测目标对象的位置、大小和目标对象类型的信息，其中，所述预设的分析模型通过所述检测框调整模块先对图像的检测框的位置和大小进行调整后再将调整后的检测框输入目标检测模块中，以预测目标对象的位置和大小；所述预设的分析模型以标注有目标对象的位置信息的训练图像数据作为训练数据，训练得到，其中，所述预设的分析模型在训练过程中，以摄像设备采集的训练图像数据作为训练样本输入预设的分析模型中的检测框调整模块进行训练，得到第一训练图像数据后；再将所述第一训练图像数据输入预设的分析模型中的目标检测模块进行训练，最终将所述预设的分析模型中的目标检测模块输出的第一训练图像数据标注的目标对象的位置信息作为所述预设的分析模型的输出，所述目标检测模块用于调整检测框的位置和大小；
指令调整单元，用于依据所收集的带电作业机器人的引线操作的检测数据的分析结果，实时调整带电作业机器人的引线操作指令。
7.一种带电作业机器人检测设备，其特征在于，包括：一个或多个处理器，以及存储器；
所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，实现如权利要求1所述带电作业机器人检测方法的步骤。
8.一种可读存储介质，其特征在于：所述可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现如权利要求1所述带电作业机器人检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310740798.2A CN116587327B (zh) | 2023-06-20 | 2023-06-20 | 运动控制系统、带电作业机器人检测方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310740798.2A CN116587327B (zh) | 2023-06-20 | 2023-06-20 | 运动控制系统、带电作业机器人检测方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116587327A CN116587327A (zh) | 2023-08-15 |
| CN116587327B true CN116587327B (zh) | 2024-06-18 |
Family
ID=87604565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310740798.2A Active CN116587327B (zh) | 2023-06-20 | 2023-06-20 | 运动控制系统、带电作业机器人检测方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116587327B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461145A (zh) * | 2020-03-31 | 2020-07-28 | 中国科学院计算技术研究所 | 一种基于卷积神经网络进行目标检测的方法 |
| CN114407030A (zh) * | 2021-11-12 | 2022-04-29 | 山东大学 | 一种自主导航配网带电作业机器人及其工作方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006208113A (ja) * | 2005-01-26 | 2006-08-10 | Sealive Inc | 電線識別装置 |
| EP2103046B1 (en) * | 2007-01-12 | 2012-04-25 | Telefonaktiebolaget LM Ericsson (publ) | Control frame handling by a provider backbone bridge |
| CN101925866B (zh) * | 2008-01-31 | 2016-06-01 | 费希尔-罗斯蒙特系统公司 | 具有用来补偿模型失配的调节的鲁棒的自适应模型预测控制器 |
| US9339932B2 (en) * | 2012-11-14 | 2016-05-17 | Fanuc America Corporation | Teaching point program selection method for robot simulator |
| CN108349085B (zh) * | 2015-10-30 | 2021-12-28 | 株式会社安川电机 | 机器人教学装置、计算机程序和机器人教学方法 |
| US11449061B2 (en) * | 2016-02-29 | 2022-09-20 | AI Incorporated | Obstacle recognition method for autonomous robots |
| TWI744849B (zh) * | 2019-04-15 | 2021-11-01 | 日商新川股份有限公司 | 接合裝置以及接合頭的移動量補正方法 |
| CN110210474B (zh) * | 2019-04-30 | 2021-06-01 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、设备及存储介质 |
| CN110705601A (zh) * | 2019-09-09 | 2020-01-17 | 安徽继远软件有限公司 | 基于单阶段目标检测的变电站设备渗漏油图像识别方法 |
| CN110807384A (zh) * | 2019-10-24 | 2020-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 低能见度下的小目标检测方法和系统 |
| CN111085996B (zh) * | 2019-12-12 | 2021-05-07 | 北京国电富通科技发展有限责任公司 | 带电作业机器人的控制方法、装置及系统 |
| CN111274917B (zh) * | 2020-01-17 | 2023-07-18 | 江南大学 | 一种基于深度检测的长时目标跟踪方法 |
| EP3907574A1 (de) * | 2020-05-08 | 2021-11-10 | Siemens Aktiengesellschaft | Verfahren zur generierung von einer erklärung zu einer vorgenommenen entscheidung eines fertigungssteuerungssystems |
| CN112287860B (zh) * | 2020-11-03 | 2022-01-07 | 北京京东乾石科技有限公司 | 物体识别模型的训练方法及装置、物体识别方法及系统 |
| CN112530267B (zh) * | 2020-12-17 | 2022-11-08 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
| CN112766174B (zh) * | 2021-01-21 | 2021-10-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路列车车厢组底板丢失故障检测方法 |
| US20220288783A1 (en) * | 2021-03-10 | 2022-09-15 | Nvidia Corporation | Machine learning of grasp poses in a cluttered environment |
| CN113561181B (zh) * | 2021-08-04 | 2023-01-31 | 北京京东乾石科技有限公司 | 目标检测模型的更新方法、装置及系统 |
| CN113963044B (zh) * | 2021-09-30 | 2024-04-30 | 北京工业大学 | 一种基于rgbd相机的货物箱智能装载方法及系统 |
| CN114750154A (zh) * | 2022-04-25 | 2022-07-15 | 贵州电网有限责任公司 | 一种配网带电作业机器人的动态目标识别定位与抓取方法 |
| CN116079749B (zh) * | 2023-04-10 | 2023-06-20 | 南京师范大学 | 基于聚类分离条件随机场的机器人视觉避障方法及机器人 |
-
2023
- 2023-06-20 CN CN202310740798.2A patent/CN116587327B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461145A (zh) * | 2020-03-31 | 2020-07-28 | 中国科学院计算技术研究所 | 一种基于卷积神经网络进行目标检测的方法 |
| CN114407030A (zh) * | 2021-11-12 | 2022-04-29 | 山东大学 | 一种自主导航配网带电作业机器人及其工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116587327A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423695B2 (en) | Face location tracking method, apparatus, and electronic device | |
| CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| Koch et al. | A methods-time-measurement based approach to enable action recognition for multi-variant assembly in human-robot collaboration | |
| Yusefi et al. | LSTM and filter based comparison analysis for indoor global localization in UAVs | |
| CN113505537A (zh) | 楼宇能耗检测方法、装置、计算机设备和存储介质 | |
| Chen et al. | An attention based YOLOv5 network for small traffic sign recognition | |
| EP4018399A1 (en) | Modeling human behavior in work environments using neural networks | |
| CN116587327B (zh) | 运动控制系统、带电作业机器人检测方法及相关设备 | |
| Sinha et al. | Convolutional neural network based sensors for mobile robot relocalization | |
| Xianjia et al. | Analyzing general-purpose deep-learning detection and segmentation models with images from a lidar as a camera sensor | |
| CN113681552B (zh) | 一种基于级联神经网络的机器人混杂物体五维抓取方法 | |
| CN113478485A (zh) | 机器人及其控制方法、装置、电子设备、存储介质 | |
| CN112731919B (zh) | 一种基于人群密度估计的指引机器人方法及系统 | |
| Zhang et al. | AE-FPN: adaptive enhance feature learning for detecting wire defects | |
| Tenguria et al. | Design framework for general purpose object recognition on a robotic platform | |
| Hensel et al. | Object Detection and Mapping with Unmanned Aerial Vehicles Using Convolutional Neural Networks | |
| CN114842295A (zh) | 绝缘子故障检测模型的获得方法、装置及电子设备 | |
| Hussain et al. | Mini Rover-Object Detecting Ground Vehicle (UGV) | |
| Ardiansyah et al. | Implementation of License Plate Recognition Monitoring System Using Neural Network on Solar Powered Microcontroller | |
| Sarkar et al. | Action-conditioned deep visual prediction with roam, a new indoor human motion dataset for autonomous robots | |
| CN115063627A (zh) | 一种机器人场景识别方法、装置和电子设备 | |
| Mahaadevan et al. | AViTRoN: Advanced vision track routing and navigation for autonomous charging of electric vehicles | |
| US20240096077A1 (en) | Training autoencoders for generating latent representations | |
| CN113031600B (zh) | 一种轨迹生成方法、装置、存储介质及电子设备 | |
| Efendi et al. | The Role of Recurrent Convolutional Neural Network in IoT for Building a Security Artificial Intelligence and Home Assistance System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |