CN114249244A - 一种用于自动行车闭环控制的无标靶吊具定位方法 - Google Patents

一种用于自动行车闭环控制的无标靶吊具定位方法 Download PDF

Info

Publication number
CN114249244A
CN114249244A CN202210196879.6A CN202210196879A CN114249244A CN 114249244 A CN114249244 A CN 114249244A CN 202210196879 A CN202210196879 A CN 202210196879A CN 114249244 A CN114249244 A CN 114249244A
Authority
CN
China
Prior art keywords
data
target
sequence
positioning
pulley block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210196879.6A
Other languages
English (en)
Other versions
CN114249244B (zh
Inventor
杨庆研
熊欣欣
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jushi Technology Jiangsu Co ltd
Original Assignee
Jushi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Jiangsu Co ltd filed Critical Jushi Technology Jiangsu Co ltd
Priority to CN202210196879.6A priority Critical patent/CN114249244B/zh
Publication of CN114249244A publication Critical patent/CN114249244A/zh
Application granted granted Critical
Publication of CN114249244B publication Critical patent/CN114249244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/06—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for minimising or preventing longitudinal or transverse swinging of loads
    • B66C13/063—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for minimising or preventing longitudinal or transverse swinging of loads electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/22—Control systems or devices for electric drives
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提出了一种用于自动行车闭环控制的无标靶吊具定位方法，包括如下步骤，吊具定位；位置特征的预测;将PC上生产的程序和代码转化为目标硬件平台（如arm平台）可以识别和运行的文件，并使得其在新的硬件平台上正常运行；异常处理；对行车吊具本身结构无要求，不需要进行吊具修改，即不需要设计标靶粘贴结构，并且与基于IMU的方案比，不需要进行供电和信号传输等电器系统改造，所求得的摆角，具有预测功能，可以直接服务于行车的自动控制，无需再进行其它处理。

Description

一种用于自动行车闭环控制的无标靶吊具定位方法
技术领域
本发明涉及图像检测处理技术领域，尤其涉及一种用于自动行车闭环控制的无标靶吊具定位方法。
背景技术
桥式起重机的自无化和无人化技术一直是行业发展的重点。国外的，西门子，德马格，科尼起重，国内的太原重工，河南矿山重工，卫华重工和宝钢集团等，都在进行相关技术和产品的研究。基于传统防摇算法，各公司推出了一些手动行车辅助产品。一般采用可编程控制器和变频器，根据操作指令及起重机的实时运行状况计算出能消除载荷摇摆的大小车运行速度，再通过变频器根据所要求的速度驱动大车和小车运行，从而实现消除起重机载荷摇摆现象。
依靠此类方法，但是由于技术和成本的问题，我国桥式起重机的自动化程度还是相当的低，全行业的自动化程度不到千分之一。无法实现全行业高度自动化主要的原因如下：1、绝大多数的控制系统采用开环控制，只能在无初始摆角的工况下工作，而闭环系统技术一直由外国公司掌握，企业研究成本一直居高不下。2、基于视觉的闭环防摇技术需在在吊具上安装定位标靶的应用技术，很多时候并不具备在实际工况下安装的条件。3、司机操作的时候需要预估刹车距离，一旦预估错误，就要能会造成被吊物撞到其它物体。4、需要异常情况，设备急停后，无法自动恢复作业。5、传统的防摇方法没有考虑司机在驾驶室中的作业感受，采用高频的控制方式使得司机在进行防摇的过程中，会感受到明显的不适，极难推广。
传统的摆角检测一般有三种方法：1）基于物理角度传感器、IMU（Inertialmeasurement unit）、视觉和标靶的方法进行检测。但是这三种方法，均对吊具本身都有较多的要求。其中基于视觉和标靶的方法对具吊的要求最少，也是目前采用较多的方案。但是，由于现有的视觉和标靶的方法有较大的反馈延时，因此也无法直接用于行车的自动控制。
鉴于此，实有必要提供一种新型的用于自动行车闭环控制的无标靶吊具定位方法以克服上述缺陷。
发明内容
本发明的目的是提供一种用于自动行车闭环控制的无标靶吊具定位方法，不需要进行供电和信号传输等电器系统改造，所求得的摆角，具有预测功能，可以直接服务于行车的自动控制，无需再进行其它处理。
为了实现上述目的，本发明提供一种用于自动行车闭环控制的无标靶吊具定位方法，包括如下步骤，
S1：吊具定位；
S2：位置特征的预测；
S3：将在电脑上的程序和代码转化为目标硬件平台可以识别和运行的文件，并使得其在新的硬件平台上正常运行；
S4：异常处理。
优选的，步骤S1还包括步骤S11：以吊具共有的滑轮组为特征，收集常见的吊具的真实图片数据生成训练集；
S12：通过基于卷积神经网络对训练集进行数据处理得到包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置；
S13：将连续帧的数据存成一个数据序列；按照每秒25帧的频率的速度处理数据，将上一步的数据存储到序列之中，每次的新数据会存储到序列的末尾，而将序列头的数据删除以保持序列的长度。
优选的，步骤S2还包括步骤S21：通过使用两个毫秒级计时器直接测出相机的延时大小，采用基于lstm的预测性生成lstm网络，对第一步所得到的特征图序列进行处理，或是直接对滑轮组的实际检测位置进行处理，利用lstm的循环特性，每一帧的数据通过与或门的运算后，输出一个结果和一个新输入，新输入和下一帧一起计算使得过去帧的信息能够用到当前的计算中，通过一组连续的过去帧的信息，得到一个特征图或是目标位置的预测性数据，作为实时性吊具定位数据。
与现有技术相比，有益效果在于：本发明的用于自动行车闭环控制的无标靶吊具定位方法对行车吊具本身结构无要求，不需要进行吊具修改，即不需要设计标靶粘贴结构，并且与基于IMU的方案比，不需要进行供电和信号传输等电器系统改造，所求得的摆角，具有预测功能，可以直接服务于行车的自动控制，无需再进行其它处理。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的用于自动行车闭环控制的无标靶吊具定位方法的流程图。
图2为用于自动行车闭环控制的无标靶吊具定位方法的使用示意图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
请参阅图1至图2，本发明提供一种用于自动行车闭环控制的无标靶吊具定位方法，包括如下步骤，
S1：吊具定位。
由于吊具是多样的，所处工况也是多样的，需要稳定可靠的获取取吊具的位置特征。
具体的，采用如下步骤获取吊具的位置特征，步骤S1还包括步骤S11：以吊具共有的滑轮组为特征。虽然滑轮组的大小，材质等有所不同，但是其机械形态相对固定。
收集常见的吊具的真实图片数据生成训练集。由于吊具真实图片的收集是一个持续的过程，在无有线外网的情况下，我们提供一个专用数据收集装置进行数据收集。在产品上线初期，通过持续的数据收集进行在线的训练，持续提升产品的环境适应性。
S12：通过基于卷积神经网络对训练集进行数据处理（通过卷积神经网络提取相机获取的图像的特征，得到吊具的滑轮组在图片中的像素位置和像素大小），最终得到一个包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置，作为评估特征图是否包括了足够完整信息的评价标准。
S13：将连续帧的数据存成一个数据序列；具体的，按照每秒25帧的频率的速度处理数据，将上一步的数据存储到序列之中，每次的新数据会存储到序列的末尾，而将序列头的数据删除以保持序列的长度。
S2：位置特征的预测。
由于普通的IPC网络相机存在一定的稳定延时，所获取到的特征图无法直接使用，采用如下步骤进行数据预测性修复。
硬件上：采用常见的400万相素的IPC网络相机，作为吊具的摆角检测工具。对于工作距离小于10米的工况，采用定焦相机即可。对于工作距离大于10米的工况，采用变焦相机。相机与控制器采用RJ45网口直连，采用RTMP视频通信协议，采用GPU解码得到图片。
S21：通过使用两个毫秒级计时器直接测出相机的延时大小。
需要说明的是，同一个厂家的同一个型号的相机延时相差不多，将延时转换为相机所对应的帧数，即可用如上网络得到与此相机所对就的无延时的实时性吊具定位数据。
S22：采用基于lstm的预测性生成lstm网络，对第一步所得到的特征图序列进行处理，或是直接对滑轮组的实际检测位置进行处理，利用lstm的循环特性，每一帧的数据通过与或门的运算后，输出一个结果和一个新输入，新输入和下一帧一起计算，这样可以使得过去帧的信息能够用到当前的计算中，通过一组连续的过去帧的信息，可以得到一个特征图或是目标位置的预测性数据，作为实时性吊具定位数据。
S3：将在电脑上的程序和代码转化为目标硬件平台可以识别和运行的文件，并使得其在新的硬件平台上正常运行。上述两个步骤需要基于arm处理器的计算硬件上进行相应的网络移植，不同的硬件可以根据硬件厂商提供的方法进行即可，如Nvidia硬件平台可以采用基于tensorRt的工具；华为芯片的硬件平台可以采用基于Mindspore的工具进行相关转换。
S4：异常处理。
具体的，由于因光照等原因会导致出现识别失效或者识别错误的现象，系统在接到相应的错误信息后，首先会根据其前几帧的数据通过生成的预测性数据，然后会将此预测数据放到数据采集队列中，作为采集数据进行使用，以免影响其它后续数据的预测性能。
需要说明的是，图2中箭头所指的155为所示意的方格中的数字。
有益效果在于，本发明的用于自动行车闭环控制的无标靶吊具定位方法对行车吊具本身结构无要求，不需要进行吊具修改，即不需要设计标靶粘贴结构，并且与基于IMU的方案比，不需要进行供电和信号传输等电器系统改造，所求得的摆角，具有预测功能，可以直接服务于行车的自动控制，无需再进行其它处理。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。

Claims (4)

1.一种用于自动行车闭环控制的无标靶吊具定位方法，其特征在于，包括如下步骤：
S1：吊具定位；
S2：位置特征的预测；
S3：将在电脑上的程序和代码转化为目标硬件平台可以识别和运行的文件，并使得其在新的硬件平台上正常运行；
S4：异常处理。
2.如权利要求1所述的用于自动行车闭环控制的无标靶吊具定位方法，其特征在于，步骤S1还包括步骤S11：以吊具共有的滑轮组为特征，收集常见的吊具的真实图片数据生成训练集；
S12：通过基于卷积神经网络对训练集进行数据处理得到包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置；
S13：将连续帧的数据存成一个数据序列；按照每秒25帧的频率的速度处理数据，将上一步的数据存储到序列之中，每次的新数据会存储到序列的末尾，而将序列头的数据删除以保持序列的长度。
3.如权利要求1所述的用于自动行车闭环控制的无标靶吊具定位方法，其特征在于，步骤S2还包括步骤S21：通过使用两个毫秒级计时器直接测出相机的延时大小，采用基于lstm的预测性生成lstm网络，对第一步所得到的特征图序列进行处理，或是直接对滑轮组的实际检测位置进行处理，利用lstm的循环特性，每一帧的数据通过与或门的运算后，输出一个结果和一个新输入，新输入和下一帧一起计算使得过去帧的信息能够用到当前的计算中，通过一组连续的过去帧的信息，得到一个特征图或是目标位置的预测性数据，作为实时性吊具定位数据。
4.如权利要求1所述的用于自动行车闭环控制的无标靶吊具定位方法，其特征在于，通过步骤S21中生成的预测性数据，将预测数据放到数据采集序列中作为采集数据进行使用。
CN202210196879.6A 2022-03-02 2022-03-02 一种用于自动行车闭环控制的无标靶吊具定位方法 Active CN114249244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210196879.6A CN114249244B (zh) 2022-03-02 2022-03-02 一种用于自动行车闭环控制的无标靶吊具定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210196879.6A CN114249244B (zh) 2022-03-02 2022-03-02 一种用于自动行车闭环控制的无标靶吊具定位方法

Publications (2)

Publication Number Publication Date
CN114249244A true CN114249244A (zh) 2022-03-29
CN114249244B CN114249244B (zh) 2022-07-05

Family

ID=80797309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210196879.6A Active CN114249244B (zh) 2022-03-02 2022-03-02 一种用于自动行车闭环控制的无标靶吊具定位方法

Country Status (1)

Country Link
CN (1) CN114249244B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4126508A1 (de) * 1991-08-07 1993-02-11 Mannesmann Ag Kran
CN109829443A (zh) * 2019-02-23 2019-05-31 重庆邮电大学 基于图像增强与3d卷积神经网络的视频行为识别方法
CN112015133A (zh) * 2020-08-24 2020-12-01 南京宝珵软件有限公司 一种带实时检测功能的防摇摆悬吊系统及其控制方法
CN112379605A (zh) * 2020-11-24 2021-02-19 中国人民解放军火箭军工程大学 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法
CN112967252A (zh) * 2021-03-05 2021-06-15 哈尔滨市科佳通用机电股份有限公司 一种轨道车辆机感吊架组装螺栓丢失检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4126508A1 (de) * 1991-08-07 1993-02-11 Mannesmann Ag Kran
CN109829443A (zh) * 2019-02-23 2019-05-31 重庆邮电大学 基于图像增强与3d卷积神经网络的视频行为识别方法
CN112015133A (zh) * 2020-08-24 2020-12-01 南京宝珵软件有限公司 一种带实时检测功能的防摇摆悬吊系统及其控制方法
CN112379605A (zh) * 2020-11-24 2021-02-19 中国人民解放军火箭军工程大学 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法
CN112967252A (zh) * 2021-03-05 2021-06-15 哈尔滨市科佳通用机电股份有限公司 一种轨道车辆机感吊架组装螺栓丢失检测方法

Also Published As

Publication number Publication date
CN114249244B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
KR101135274B1 (ko) 플랜트 제어 시스템 및 방법
CN102849625A (zh) 桥式起重机的吊具防摇控制方法
CN112123338A (zh) 一种支持深度学习加速的变电站智能巡检机器人系统
CN115016456A (zh) 多机器人联合巡检的调度方法和调度系统
CN114249244B (zh) 一种用于自动行车闭环控制的无标靶吊具定位方法
KR102536763B1 (ko) 인공 지능을 위한 프로그래밍가능 로직 제어기-기반 모듈식 가속 모듈
CN103873779A (zh) 一种停车场用智能相机的控制方法
CN114419154A (zh) 基于视觉与人机协同的机械臂双模式控制方法及系统
CN214751405U (zh) 多场景通用的边缘视觉运动控制系统
CN111860416B (zh) 一种无人机图像监控控制装置及其控制方法
CN111673748B (zh) 气体绝缘开关视觉检查机器人的人机交互感知系统及方法
CN112565404A (zh) 数据处理方法、边缘服务器、中心服务器和介质
CN110751055A (zh) 一种智能制造系统
CN210855014U (zh) 一种天车吊物防摇控制系统
CN113064389B (zh) 基于数字孪生的智能生产线触控系统及方法
CN112653737A (zh) 一种基于物联网的室内墙面抹灰机器人远程监控系统
CN114638972A (zh) 一种基于自动行车远控系统的视频预测方法
CN107065761A (zh) 一种扭转疲劳试验设备的驱动控制系统
CN111885359A (zh) 一种基于机器视觉的轧线智能监控系统及方法
CN111596592A (zh) 一种隧道工程设备控制的方法、系统及设备
CN114415575B (zh) 实时数据驱动的焊接车间三维虚拟监控与智能预警系统
EP3657277A1 (en) Extension device for an automation device
CN108656115A (zh) 一种关节式机器人的关节减速机的控制方法及装置
CN204715771U (zh) 一种具有多台预应力智能张拉设备的控制系统
CN113448272B (zh) 一种集群控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant