CN114314350B - 一种用于自动行车吊具摆角定位的自动标定方法 - Google Patents
一种用于自动行车吊具摆角定位的自动标定方法 Download PDFInfo
- Publication number
- CN114314350B CN114314350B CN202210196700.7A CN202210196700A CN114314350B CN 114314350 B CN114314350 B CN 114314350B CN 202210196700 A CN202210196700 A CN 202210196700A CN 114314350 B CN114314350 B CN 114314350B
- Authority
- CN
- China
- Prior art keywords
- lifting appliance
- data
- swing angle
- camera
- image frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control And Safety Of Cranes (AREA)
Abstract
本发明提出了一种用于自动行车吊具摆角定位的自动标定方法，通过相机拍摄吊具获取相机连续图像帧；通过计算图片边缘后的平均值得到图像帧的清晰度，确定相机焦距和起升高度是否正确；收集吊具的真实图片数据生成训练集，通过基于卷积神经网络对训练集进行数据处理，得到包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置；将连续图像帧的数据存成数据序列；采用基于lstm的预测性生成lstm网络对数据序列进行处理得到吊具的摆角数据；根据摆角数据计算相机位置偏差，识别出的吊具特征置信度判断，计算相机位置偏差是否有效并修正更新标定值。
Description
技术领域
本发明涉及图像检测处理技术领域，尤其涉及一种用于自动行车吊具摆角定位的自动标定方法。
背景技术
行车起重机作为大负载的通用物流设备，在绝大部分的工厂车间都会用到各类行车起重机，如矿业，钢铁行车，有色金属行车，机械加工制造业等。行车的驾驶人员需要掌握一定的技术技能，同时又需要长时间的工作在狭小的驾驶室。
基于传统防摇算法，一般采用可编程控制器和变频器，根据操作指令及起重机的实时运行状况计算出能消除载荷摇摆的大小车运行速度，再通过变频器根据所要求的速度驱动大车和小车运行，从而实现消除起重机载荷摇摆现象。
依靠此类方法，但是由于技术和成本的问题，我国桥式起重机的自动化程度还是相当的低，全行业的自动化程度不到千分之一，无法主要的原因如下：1、绝大多数的系统采用开环控制，只能工作在无初始摆角的工况，而闭环系统技术一直由外国公司掌握，企业部署成本一直居高不下。2、基于视觉的闭环防摇技术需在在吊具上安装定位标靶。很多时候，实际工况不具备安装条件。3、司机操作的时候需要预估刹车距离，一旦预估错误，就要能会造成被吊物撞到其它物器。4、需要异常情况，设备急停后，无法自动恢复作业。5、传统的防摇方法不没有考虑司机在驾驶室中的作业感受，采用高频的控制，在进行防摇的过程中，司机会产生不显的不适，极难推广。
传统的摆角检测一般有三种方法：1）基于物理角度传感器、IMU（Inertialmeasurement unit）、视觉和标靶的方法进行检测。但是这三种方法，均对吊具本身都有较多的要求，且相机的安装位置可能存移动等问题，导致系统标定参数变化，不具有相机自检和自标定功能。
鉴于此，实有必要提供一种新型的用于自动行车吊具摆角定位的自动标定方法以克服上述缺陷。
发明内容
本发明的目的是提供一种用于自动行车吊具摆角定位的自动标定方法，同时可以用于自检与标定，当自检发现问题时，正常情况下无需人工干预，无需额外的标定设备辅助；基于AI的摆角定位会有一定的数据噪声，本方法对数据噪声有较好的抑制作用，通过多个周期的采样和多规则评判，可以自测标定结果的有效性。
为了实现上述目的，本发明提供一种用于自动行车吊具摆角定位的自动标定方法，包括如下步骤：
S1：通过相机拍摄吊具获取相机连续图像帧；
S2：通过利用opencv的sobel算子计算图片边缘后的平均值得到图像帧的清晰度，确定相机焦距和起升高度是否正确；
S3： 收集吊具的真实图片数据生成训练集，通过基于卷积神经网络对训练集进行数据处理，得到包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置；将连续图像帧的数据存成数据序列；
采用基于lstm的预测性生成lstm网络对数据序列进行处理得到吊具的摆角数据；
S4：根据连续60图像帧的摆角数据计算相机位置偏差；
S5：根据连续60图像帧中识别出的吊具特征置信度判断，计算相机位置偏差是否有效，并修正更新标定值。
优选的，按照每秒25图像帧的频率的速度处理数据，将S4中的数据存储到数据序列之中，每次的新数据会存储到序列的末尾，而将序列头的数据删除以保持序列的长度。
优选的，比较多帧中吊具的摆角数据的变化，若连续60图像帧吊具的摆角变化都是稳定值，并且所识别出的吊具特征置信度大于98.5%，则判定此时吊具处于静止状态，此时吊具的摆角偏移量可直接用于标定参数校正；
若连续60图像帧中吊具的摆角数据有变化，并且所识别出的吊具特征置信度大于98.5%，则通过多帧sin拟合算法拟合出当前状态下吊具的摆角的幅值、频率、最大值、最小值以及最小二乘误差；若最小二乘平均误差小于5%，则能够将所拟合得到的摆角均值，作为摆角的偏移量，用于标定参数修正。
优选的，吊具的摆角的周期的计算公式如下；
其中，T为摆角的周期，L为绳长，g为重力加速度。
与现有技术相比，有益效果在于：本发明的用于自动行车吊具摆角定位的自动标定方法可以同时可以用于自检与标定，当自检发现问题时，正常情况下无需人工干预，无需额外的标定设备辅助；基于AI的摆角定位会有一定的数据噪声，本方法对数据噪声有较好的抑制作用，通过多个周期的采样和多规则评判，可以自测标定结果的有效性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的用于自动行车吊具摆角定位的自动标定方法的流程图。
图2为用于自动行车吊具摆角定位的自动标定方法的拟合标定参数校正的波形图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
请参阅图1至图2，本发明提供一种用于自动行车吊具摆角定位的自动标定方法，包括如下步骤：
S1：通过相机拍摄吊具获取相机连续图像帧；
S2：通过利用opencv的sobel算子计算图片边缘后的平均值得到图像帧的清晰度，自动确定相机焦距和起升高度是否正确。本过程中，只需要考虑吊具是否清晰即可，通过神经网络识别吊具在图像中的位置，进而放大此区域以获取相应的吊具ROI。
S3： 收集吊具的真实图片数据生成训练集，通过基于卷积神经网络对训练集进行数据处理（通过卷积神经网络提取相机获取的图像帧的特征，得到吊具的滑轮组在图片中的像素位置和像素大小），得到一个包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置，将连续图像帧的数据存成一个数据序列作为评估特征图是否包括了足够完整信息的评价标准。
具体的，按照每秒25图像帧的频率的速度处理数据，将上一步的数据存储到序列之中，每次的新数据会存储到序列的末尾，而将序列头的数据删除以保持序列的长度。
通过使用两个毫秒级计时器直接测出相机的延时大小进行位置特征的预测。
需要说明的是，同一个厂家的同一个型号的相机延时相差不多，将延时转换为相机所对应的帧数，即可用如上网络得到与此相机所对就的无延时的实时性吊具定位数据。
采用基于lstm的预测性生成lstm网络，对数据序列进行处理得到吊具的摆角数据；
S4：根据连续60图像帧的摆角数据计算相机位置偏差；
S5：根据连续60图像帧中识别出的吊具特征置信度判断，计算相机位置偏差是否有效，并修正更新标定值。
比较多帧中吊具的摆角数据的变化，若连续60图像帧吊具的摆角变化都是稳定值，并且所识别出的吊具特征置信度大于98.5%，则判定此时吊具处于静止状态，此时吊具的摆角偏移量可直接用于标定参数校正；
如图2所示（图2中横轴为时间，纵轴为原始数据拟合后的数据），若连续60图像帧中吊具的摆角数据有变化，并且所识别出的吊具特征置信度大于98.5%，则通过多帧sin拟合算法拟合出当前状态下吊具的摆角的幅值、频率、最大值、最小值以及最小二乘误差；若最小二乘平均误差小于5%，则能够将所拟合得到的摆角均值，作为摆角的偏移量，用于标定参数修正。
需要说明的是，若吊具特片置信度小于98.5%，则说明吊具已超出相机的拍摄视野，需人工调整相机的位置。若最小二乘平均误差较大，或是摆角频率与起升高度明显不符合，则说明吊具的钢丝绳有问题，需要人工调整吊具。
根据吊具的起升高度可以用如下公式估算吊具的摆角的周期；
其中，T为摆角的周期，L为绳长，g为重力加速度，通过以上步骤，完成标定值修正并更新标定值，即可完成相机自检和自标定功能。
有益效果在于，本发明的用于自动行车吊具摆角定位的自动标定方法可以同时可以用于自检与标定，当自检发现问题时，正常情况下无需人工干预，无需额外的标定设备辅助；基于AI的摆角定位会有一定的数据噪声，本方法对数据噪声有较好的抑制作用，通过多个周期的采样和多规则评判，可以自测标定结果的有效性。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。
Claims (2)
1.一种用于自动行车吊具摆角定位的自动标定方法，其特征在于，包括如下步骤：
S1：通过相机拍摄吊具获取相机连续图像帧；
S2：通过利用opencv的sobel算子计算图片边缘后的平均值得到图像帧的清晰度，确定相机焦距和起升高度是否正确；
S3：收集吊具的真实图片数据生成训练集，通过基于卷积神经网络对训练集进行数据处理，得到包含吊具的滑轮组特征信息的特征图，同时输出吊具的滑轮组的实际检测位置；将连续图像帧的数据存成数据序列；
采用基于lstm的预测性生成lstm网络对数据序列进行处理得到吊具的摆角数据；
S4：根据连续60图像帧的摆角数据计算相机位置偏差；
S5：根据连续60图像帧中识别出的吊具特征置信度判断，计算相机位置偏差是否有效，并修正更新标定值；
按照每秒25图像帧的频率的速度处理数据，将步骤S3中所述的数据存储到数据序列之中，每次的新数据会存储到序列的末尾，而将序列头的数据删除以保持序列的长度；
比较多帧中吊具的摆角数据的变化，若连续60图像帧吊具的摆角变化都是稳定值，并且所识别出的吊具特征置信度大于98.5%，则判定此时吊具处于静止状态，此时吊具的摆角偏移量直接用于标定参数校正；
若连续60图像帧中吊具的摆角数据有变化，并且所识别出的吊具特征置信度大于98.5%，则通过多帧sin拟合算法拟合出当前状态下吊具的摆角的幅值、频率、最大值、最小值以及最小二乘误差；若最小二乘平均误差小于5%，则能够将所拟合得到的摆角均值，作为摆角的偏移量，用于标定参数修正。
2.如权利要求1所述的用于自动行车吊具摆角定位的自动标定方法，其特征在于，吊具的摆角的周期的计算公式如下；
其中，T为摆角的周期，L为绳长，g为重力加速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210196700.7A CN114314350B (zh) | 2022-03-02 | 2022-03-02 | 一种用于自动行车吊具摆角定位的自动标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210196700.7A CN114314350B (zh) | 2022-03-02 | 2022-03-02 | 一种用于自动行车吊具摆角定位的自动标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114314350A CN114314350A (zh) | 2022-04-12 |
| CN114314350B true CN114314350B (zh) | 2022-07-08 |
Family
ID=81029819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210196700.7A Active CN114314350B (zh) | 2022-03-02 | 2022-03-02 | 一种用于自动行车吊具摆角定位的自动标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114314350B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112079252A (zh) * | 2019-06-14 | 2020-12-15 | 湖南釜晟智能科技有限责任公司 | 一种天车吊物防摇控制系统 |
| CN112340608A (zh) * | 2020-11-24 | 2021-02-09 | 中国人民解放军火箭军工程大学 | 一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统及方法 |
| CN112379605A (zh) * | 2020-11-24 | 2021-02-19 | 中国人民解放军火箭军工程大学 | 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法 |
| CN112967252A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种轨道车辆机感吊架组装螺栓丢失检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101427212A (zh) * | 2004-05-14 | 2009-05-06 | 佩斯科股份有限公司 | 用于制造集装箱装卸机的状态报告装置的方法和设备 |
-
2022
- 2022-03-02 CN CN202210196700.7A patent/CN114314350B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112079252A (zh) * | 2019-06-14 | 2020-12-15 | 湖南釜晟智能科技有限责任公司 | 一种天车吊物防摇控制系统 |
| CN112340608A (zh) * | 2020-11-24 | 2021-02-09 | 中国人民解放军火箭军工程大学 | 一种基于双目视觉的桥式起重机吊装防斜拉监测与自动对中系统及方法 |
| CN112379605A (zh) * | 2020-11-24 | 2021-02-19 | 中国人民解放军火箭军工程大学 | 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法 |
| CN112967252A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种轨道车辆机感吊架组装螺栓丢失检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114314350A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2986554C (en) | Failure diagnostic device and failure diagnostic method | |
| CN105578146B (zh) | 一种机芯防抖处理方法及装置 | |
| DE102018000445A1 (de) | Steuersystem mit Lernsteuerfunktionen und Steuerverfahren | |
| CN104751483B (zh) | 一种仓储物流机器人工作区域异常情况的监控方法 | |
| US10946523B2 (en) | Failure diagnostic device and failure diagnostic method | |
| JP2020128877A (ja) | 線状体の異常検出装置及び異常検出方法 | |
| KR20220001498A (ko) | 자동차의 환경에서 타겟 자동차의 궤적을 예측하기 위한 방법 및 시스템 | |
| CN113752086A (zh) | 一种用于数控机床刀具状态检测的方法和装置 | |
| CN116872218A (zh) | 一种半导体晶圆传送过程偏心纠正方法及纠正系统 | |
| CN114314350B (zh) | 一种用于自动行车吊具摆角定位的自动标定方法 | |
| CN111539927A (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法 | |
| US11992953B2 (en) | Abnormality determination device and abnormality determination method | |
| JP2007208513A (ja) | 画像位置ずれ検出装置および画像位置ずれ検出方法 | |
| CN113259589A (zh) | 一种基线自适应调整的双目相机智能感知方法及其装置 | |
| CN110675393A (zh) | 一种基于机器视觉的坯料规格检测方法 | |
| KR20160118665A (ko) | 서보 시스템의 자동 공진 검출 및 억제 장치 및 그 방법 | |
| CN114265361A (zh) | 一种基于视频反馈信号强化学习的自动行车防摇控制方法 | |
| CN115215221A (zh) | 塔式起重机及其控制方法、控制装置和控制器 | |
| CN114387251A (zh) | 饱满点的监测方法、存储介质、终端和拉晶设备 | |
| JP3624867B2 (ja) | 道路白線認識装置 | |
| CN108181315B (zh) | 一种基于图像处理的饼干损伤检测装置及检测方法 | |
| CN116834023B (zh) | 一种打钉机器人控制系统 | |
| CN106223620A (zh) | 一种臂架控制系统 | |
| CN114088049B (zh) | 可水平或竖直安装的智能监控终端及其安装方向确定方法 | |
| JP5123127B2 (ja) | ワークの位置を求める画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |