CN116309849A - 一种基于视觉雷达的起重机定位方法 - Google Patents

一种基于视觉雷达的起重机定位方法 Download PDF

Info

Publication number
CN116309849A
CN116309849A CN202310553475.2A CN202310553475A CN116309849A CN 116309849 A CN116309849 A CN 116309849A CN 202310553475 A CN202310553475 A CN 202310553475A CN 116309849 A CN116309849 A CN 116309849A
Authority
CN
China
Prior art keywords
image
layer
visible light
coordinates
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310553475.2A
Other languages
English (en)
Other versions
CN116309849B (zh
Inventor
郭晋飞
周宁
杨松
贾蒙
陈厚锦
吕艳雪
李芳琪
史林睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinxiang University
Original Assignee
Xinxiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinxiang University filed Critical Xinxiang University
Priority to CN202310553475.2A priority Critical patent/CN116309849B/zh
Publication of CN116309849A publication Critical patent/CN116309849A/zh
Application granted granted Critical
Publication of CN116309849B publication Critical patent/CN116309849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于可见光、红外图像数据相结合的起重机目标定位识别系统与方法，利用可见光图像特征与短时间内红外图像的变化特征联合识别视觉目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习（训练）所需的时间，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。

Description

一种基于视觉雷达的起重机定位方法
技术领域
本发明内容属于起重机自动定位领域，特别涉及利用视觉进行位置检测的领域。
背景技术
我国工业的建设经历了机械化、自动化、数字化这几个发展阶段，工厂的生产工艺和管理效率都有了突飞猛进的发展，为我国的工业事业和城市发展做出了巨大贡献。近年来，随着智慧城市、智慧工业、数字中国等项目建设的不断推进，社会发展对工厂的管理者提出了更高的要求。目前来说，整个工业总体上仍然是一个劳动密集型的传统产业，产业现代化水平不高，存在建设周期较长、资源能源消耗较高及生产效率、科技含量偏低等问题。在工业4.0的大浪潮下，如何进一步提升工业化和自动化水平，让工厂的运行更加智慧，以做到更加安全、高效、节能成为新的发展研究方向。
通过建设基于数字孪生技术的智能起重机操作教育平台，基于数字信息、自控、设备、通讯传输、AI智能分析模型完善起重机操作教研措施，从而全面提升机械设计制造及其自动化等相关专业的实验教学水平。
通过建立起重机操作虚拟化、抽象化的数字孪生模型，将现实目标物体、环境重现于虚拟环境中，需要对现实世界中的目标物体进行定位。通过视觉雷达实现快速稳定的获取空间三维数据，快速进行分析处理，比如体积计算，物料定位，物体识别等；具有通用性广、安装灵活、适应能力强的优势。处理结果可以存入数据库，生成报表以及网页端展示。以此适应数据信息采集、自动化、数字化的各类需求。
通过图像、视频等光学信号处理方法实现目标探测识别的视觉雷达技术是一种现代工业界广泛使用的技术。相比于传统雷达具有不易受干扰、识别能力强的优点。早期的视觉雷达技术通常采用图像底层特征提取、匹配的方法实现目标定位，这类方法对图像中噪声较敏感，可靠性较低，在现实应用中通常需要激光等额外辅助装置。近年来，随着计算技术的发展，基于卷积神经网络的深度学习技术被应用于视觉目标识别和定位，取得了较好的效果。该类方法模拟人类神经元细胞，建立多层次的神经网络模型，并采用多层深度卷积核将图像底层特征抽象为一个个“卷积层”，再进一步建立卷积层的映射关系，以实现图像中与目标类别有关的特征识别。该类方法对图像噪声不敏感，可靠性较高，能够识别多种类别的图像样本。然而，当前普遍在图像识别中采用的大型深度神经网络模型通常包含数百层卷积层，因此也存在模型复杂度高，学习时间较长的缺点。
发明内容
为解决上述一个或多个技术问题，现提出如下技术方案：
本发明提出一种基于可见光、红外图像数据相结合的起重机目标定位识别系统与方法，利用可见光图像特征与短时间内红外图像的变化特征联合识别视觉目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习（训练）所需的时间，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。
一种基于视觉雷达的起重机定位方法，
步骤1：预先获得工作环境的全景可见光图像；当起重机处于工作状态下，拍摄包含起重机的操作对象的可见光图像，并将之与前述工作环境的全景可见光图像相比较，定位到操作对象图像在全景图像下的相对位置后，从操作对象图像中减除全景图像中与其相对应的工作环境背景，得到参考图像；
步骤2：根据步骤1获得参考图像，记为
Figure SMS_1
，时刻/>
Figure SMS_2
采集到红外图像，记为
Figure SMS_3
，时刻/>
Figure SMS_4
采集到红外图像，记为/>
Figure SMS_5
；
步骤3：建立轻量级的神经网络模型
第一层为局部特征提取层
Figure SMS_6
上式中，
Figure SMS_7
等九个参数为线性金字塔卷积核，/>
Figure SMS_8
是卷积核的位置偏移；/>
Figure SMS_9
为截距参数，/>
Figure SMS_10
为激励函数；
第二层为红外帧差优化层，
Figure SMS_11
其中，
Figure SMS_12
为帧差优化层的卷积核参数，/>
Figure SMS_13
是卷积核的位置偏移，/>
Figure SMS_14
为截距参数；
第三层为全连接层，进一步优化第二层输出、即红外图像与可见光图像的联合特征，实现对物体定位的优化；
第三层后计算输出图像，即输出层；输出层每个元素表示操作对象位置标记。
还包括步骤4，根据操作目标在图像中的位置，确定目标与起重机之间相对位置。
获得目标设施在图像中的图像坐标，计算目标设施在现实环境中的坐标，即摄像机坐标系下坐标，从而为在虚拟环境中的对应位置建立该目标设施的模型提供依据。
计算目标设施图像坐标所对应的摄像机坐标还包括标定摄像机内部参数。
计算目标设施图像坐标所对应的摄像机坐标还包括测定现实度量单位和深度。
还包括对神经网络模型训练的过程。
训练过程是根据学习样本确定神经网络模型参数的过程。
所述神经网络模型参数包括卷积核参数、线性权重参数、截距参数。
训练过程为迭代的过程，初始将卷积核参数、权重参数置为1，截距参数置为0。
迭代过程由输出层向前依次反推计算各项参数。
本发明的发明点及技术效果：
1、本发明提出一种根据可见光图像、连续两帧红外图像获得操作对象位置标记的方法，采用可见光摄像机拍摄到操作对象图像，与预先标记的可见光工作环境图像相比较，并标记出当前可见光图像中的操作对象；利用红外摄像机拍摄到相邻帧红外图像。将可见光图像和两个相邻帧的红外图像共同作为输入进行定位判断，定位信息更佳准确。
2、建立并优化了神经网络模型（模型结构、激励函数、代价函数等），利用可见光图像特征与短时间内红外图像的变化特征联合识别操作目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习时间与定位时延，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。
附图说明
图1是本发明的主要流程图。
具体实施方式
本发明主要利用视觉方法对起重机工作环境下的操作对象（即物体）实施定位。本发明关键设备包括可见光摄像机和红外摄像机。其中，可见光摄像机拍摄可见光图像，并将拍摄到的图像与预先标记好的起重机工作环境可见光图像相比对，以区分前景（物体）和背景（厂房）。而红外摄像机拍摄红外图像。根据可见光图像中获得的物体大致位置，与相邻帧的红外图像，进一步建立模型对操作对象进行定位。
步骤1描述了一种采用可见光摄像机拍摄到操作对象图像，与预先标记的可见光工作环境图像相比较，并标记出当前可见光图像中的操作对象（物体）。
可见光摄像机拍摄到操作对象图像，与预先标记的可见光工作环境图像相比较，是指预先获得工作环境的全景可见光图像；当起重机处于工作状态下，拍摄包含起重机的操作对象的可见光图像，并将之与前述工作环境的全景可见光图像相比较，定位到操作对象图像在全景图像下的相对位置后，从操作对象图像中减除全景图像中与其相对应的工作环境背景，可近似获得操作对象的位置。
首先，采用尺度不变特征变换算子（SIFT）或其它类似算法，在全景可见光图像、操作对象可见光图像中分别提取图像特征。
其次，对两幅图像中分别提取到的图像特征进行特征匹配，获得若干图像特征点对，及每对图像特征点在两幅图像中各自的坐标。
设每对图像特征点在两幅图像中各自的齐次坐标分别用
Figure SMS_15
和/>
Figure SMS_16
表示，/>
Figure SMS_17
分别表示图像两个维度的坐标值，并假设上述图像特征点对均服从仿射变换，可得：
Figure SMS_18
其中，
Figure SMS_19
为仿射变换的6个自由参数。根据上述若干特征点对坐标，可根据最小二乘法求得仿射变换参数。根据上述仿射变换参数，可进一步求得操作对象图像在全景图像中对应的区域及位置，将二者相减后，获得的图像作为后续步骤的参考图像。
步骤2描述了一种获取可见光图像与红外图像的方法。
可见光摄像机、红外摄像机均装配于起重机的前端，连续、同步采集起重机工作环境下的图像。设可见光摄像机拍摄到可见光图像，根据步骤1计算获得参考图像
Figure SMS_20
，其非齐次图像坐标记为/>
Figure SMS_21
；红外摄像机拍摄到红外图像/>
Figure SMS_22
，其非齐次图像坐标记为/>
Figure SMS_23
分别表示图像两个维度的坐标值。
在时刻
Figure SMS_24
采集到可见光图像，根据步骤1获得参考图像，记为/>
Figure SMS_25
，时刻/>
Figure SMS_26
采集到红外图像，记为/>
Figure SMS_27
，时刻/>
Figure SMS_28
采集到红外图像，记为/>
Figure SMS_29
。
步骤3描述了一种根据可见光图像、连续两帧红外图像获得操作对象位置标记的方法。
建立实现上述目标的神经网络模型，该模型包括输入层、隐藏层和输出层三个逻辑部分。
输入层为输入图像，即步骤2所述时刻
Figure SMS_30
采集到可见光图像/>
Figure SMS_31
、时刻/>
Figure SMS_32
采集到红外图像/>
Figure SMS_33
、时刻/>
Figure SMS_34
采集到红外图像/>
Figure SMS_35
。
输出层为输出的包含操作对象位置标记的图像，为与输入图像同尺寸的单通道图像，记为
Figure SMS_36
分别表示图像两个维度的坐标值。
隐藏层根据一系列逻辑、算术运算来定义。输入层的输入数据经过隐藏层的迭代运算，最终得到输出层的输出数据。迭代运算的次数称为层数。目前业界采用的卷积神经网络通常包含数百层，层数庞大使得训练难度较大，不适宜在轻量级的边缘终端采用。
本发明提出一种轻量级的神经网络模型，利用可见光图像数据与红外图像数据，可以较好的识别物体在图像坐标系下的位置，且网络层数相对极少，因此更适合于运行在边缘计算终端上。
每一次迭代运算称为隐藏层的一层。依次叙述如下。
第一层为局部特征提取层，采用一组金字塔局部卷积层对图像的局部特征进行提取。定义如下。
Figure SMS_37
上式中，
Figure SMS_38
等九个参数为线性金字塔卷积核，/>
Figure SMS_39
是卷积核的位置偏移。其中，/>
Figure SMS_40
的尺寸为5*5，/>
Figure SMS_41
为11*11，/>
Figure SMS_42
的尺寸为23*23，形成三个尺度下的金字塔窗口。经典的卷积网络在一层内通常采用等大小、单尺度的窗口，通过设置多个步长、偏移获得较为稳定的局部特征。本发明不采用步长、偏移变化，而采用尺度变化，并通过加入红外图像数据，在一层内同样可以提取到较稳定的局部特征，从而起到降低层数、提高计算效率的作用。
上式中
Figure SMS_43
为截距参数。
上式中
Figure SMS_44
为神经网络的激励函数，使网络非线性化，从而可以拟合任意函数。激励函数/>
Figure SMS_45
定义如下。
Figure SMS_46
上式中log为自然对数函数，
Figure SMS_47
为微调参数，与经典sigmoid、ReLU等函数相比可增加模型分类的鲁棒性；/>
Figure SMS_48
借鉴Leaky ReLU函数，减少梯度消散效应，改善分类结果。
第二层为红外帧差优化层，建立红外帧差与可见光图像间的联系，以提取二者之间的相关特征。
定义如下。
Figure SMS_49
其中，
Figure SMS_50
为帧差优化层的卷积核参数，卷积窗口为23*23，/>
Figure SMS_51
是卷积核的位置偏移，/>
Figure SMS_52
为截距参数，/>
Figure SMS_53
定义同3.与经典的卷积网络不同的是，通过将红外帧差与可见光图像联合决定下一层的输出，使该层优化后的特征满足两类图像空间下的最优解，有助于实现对物体定位的优化。
第三层为全连接层，定义如下。
Figure SMS_54
式中
Figure SMS_55
表示全连接的线性权重函数，/>
Figure SMS_56
表示第二层的坐标为/>
Figure SMS_57
的元素与第三层的坐标为/>
Figure SMS_58
的元素之间的连接权重值。/>
Figure SMS_59
为截距参数，/>
Figure SMS_60
定义同3.
通过建立全连接层，进一步优化第二层输出、即红外图像与可见光图像的联合特征，实现对物体定位的优化。
第三层后计算输出图像，即输出层。输出层每个元素表示操作对象位置标记。定义如下。
Figure SMS_61
Figure SMS_62
表示全连接的线性权重函数，/>
Figure SMS_63
表示第三层的坐标为/>
Figure SMS_64
的元素与输出层的坐标为/>
Figure SMS_65
的元素之间的连接权重值。/>
Figure SMS_66
为截距参数，/>
Figure SMS_67
定义同3.
根据上述2-6定义的神经网络模型，该模型共三个隐藏层，远低于当前较流行深度卷积网络模型的层数。参照一般神经网络模型的应用方法，完成模型后，先采集学习样本对模型进行训练。
训练过程是根据学习样本确定网络模型参数的过程，即上述各式中卷积核参数、线性权重参数、截距参数等。训练过程为迭代的过程，各参数的初始值一般将卷积核参数、权重参数置为1，截距参数置为0.迭代过程采用BP算法，由输出层向前依次反推计算各项参数。反推时采用的代价函数定义如下。
Figure SMS_68
竖线是绝对值符号。上述定义的代价函数相比经典的2-范数、1-范数等代价函数能够获得更加稳定的训练结果。
训练时学习样本的准备过程如下。
输入样本为采用可见光摄像机获得的可见光图像，并根据步骤1获得对应的参考图像，以及采用红外摄像机在同一时刻及前一时刻获得的红外图像。输出样本为根据输入样本标记出操作对象所在的实际位置，每个元素如果标记为1，表示该元素是操作对象的一部分，否则标记为0.
完成学习后，采用上述模型进行操作目标定位。当模型输出元素大于阈值时，可认为输出对应元素包含操作对象。阈值
Figure SMS_69
根据经验优选为/>
Figure SMS_70
.
步骤4描述了一种根据操作目标在图像中的位置，确定目标与起重机之间相对位置的方法。
引入摄像机坐标、图像坐标与物体世界坐标三个专业名词，摄像机坐标指以摄像机成像光心为原点，成像焦距主轴为Z轴，通过光心且与焦平面平行的平面为XY平面的坐标系下的坐标；图像坐标指与焦平面重合且以像素为单位的坐标系下的坐标，物体世界坐标指真实世界中以物体中心为原点的坐标系下的坐标。根据线性摄像机模型，摄像机坐标、图像坐标与物体世界坐标之间的关系可表达如下式。
Figure SMS_71
其中，
Figure SMS_72
表示图像坐标的齐次表达形式，/>
Figure SMS_73
表示摄像机的内参数矩阵，/>
Figure SMS_74
表示摄像机坐标的齐次表达形式。/>
Figure SMS_75
是尺度因子，与实际度量单位有关。
据上式，当摄像机内部参数已知时（可通过标定获得），如果知道现实度量单位和深度，则可以根据图像坐标直接计算出图像坐标所对应的摄像机坐标。现实度量单位与深度可以通过激光测距获得，因此根据图像坐标可计算摄像机坐标。
摄像机坐标与物体世界坐标的关系如下式。
Figure SMS_76
其中，
Figure SMS_77
是物体世界坐标的齐次表达形式，/>
Figure SMS_78
为描述两坐标系关系的旋转矩阵与平移向量，其含义是任一物体世界坐标均可通过摄像机坐标的线性旋转与平移获得，即摄像机与物体的相对关系可以用旋转矩阵、平移向量定义。由于预先定义世界坐标系原点位于物体中心，因此世界坐标（非齐次表达）为/>
Figure SMS_79
。根据式8计算获得摄像机坐标即为摄像机与操作目标之间的相对位移（即/>
Figure SMS_80
）。
本发明提出一种基于视觉雷达的起重机定位系统，利用可见光图像特征与短时间内红外图像的变化特征联合识别操作目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习（训练）所需的时间，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。实验结果表明本发明方法与经典的基于卷积神经网络的方法相比，定位准确率相当，学习效率、运行效率更高。
表1
Figure SMS_81

Claims (10)

1.一种基于视觉雷达的起重机定位方法，其特征在于：
步骤1：预先获得工作环境的全景可见光图像；当起重机处于工作状态下，拍摄包含起重机的操作对象的可见光图像，并将之与前述工作环境的全景可见光图像相比较，定位到操作对象图像在全景图像下的相对位置后，从操作对象图像中减除全景图像中与其相对应的工作环境背景，得到参考图像；
步骤2：根据步骤1获得参考图像，记为
Figure QLYQS_1
，时刻/>
Figure QLYQS_2
采集到红外图像，记为/>
Figure QLYQS_3
，时刻/>
Figure QLYQS_4
采集到红外图像，记为/>
Figure QLYQS_5
；
步骤3：建立轻量级的神经网络模型
第一层为局部特征提取层
Figure QLYQS_6
，
上式中，
Figure QLYQS_7
为线性金字塔卷积核，/>
Figure QLYQS_8
是卷积核的位置偏移；/>
Figure QLYQS_9
为截距参数，/>
Figure QLYQS_10
为激励函数；
第二层为红外帧差优化层，
Figure QLYQS_11
，
其中，
Figure QLYQS_12
为帧差优化层的卷积核参数，/>
Figure QLYQS_13
是卷积核的位置偏移，/>
Figure QLYQS_14
为截距参数；
第三层为全连接层，进一步优化第二层输出、即红外图像与可见光图像的联合特征，实现对物体定位的优化；
第三层后计算输出图像，即输出层；输出层每个元素表示操作对象位置标记。
2.如权利要求1所述的方法，其特征在于：还包括步骤4，根据操作目标在图像中的位置，确定目标与起重机之间相对位置。
3.如权利要求2所述的方法，其特征在于：获得目标设施在图像中的图像坐标，计算目标设施在现实环境中的坐标，即摄像机坐标系下坐标，从而为在虚拟环境中的对应位置建立该目标设施的模型提供依据。
4.如权利要求3所述的方法，其特征在于：计算目标设施图像坐标所对应的摄像机坐标还包括标定摄像机内部参数。
5.如权利要求3所述的方法，其特征在于：计算目标设施图像坐标所对应的摄像机坐标还包括测定现实度量单位和深度。
6.如权利要求1所述的方法，其特征在于：还包括对神经网络模型训练的过程。
7.如权利要求6所述的方法，其特征在于：训练过程是根据学习样本确定神经网络模型参数的过程。
8.如权利要求7所述的方法，其特征在于：所述神经网络模型参数包括卷积核参数、线性权重参数、截距参数。
9.如权利要求8所述的方法，其特征在于：训练过程为迭代的过程，初始将卷积核参数、权重参数置为1，截距参数置为0。
10.如权利要求8所述的方法，其特征在于：迭代过程由输出层向前依次反推计算各项参数。
CN202310553475.2A 2023-05-17 2023-05-17 一种基于视觉雷达的起重机定位方法 Active CN116309849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310553475.2A CN116309849B (zh) 2023-05-17 2023-05-17 一种基于视觉雷达的起重机定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310553475.2A CN116309849B (zh) 2023-05-17 2023-05-17 一种基于视觉雷达的起重机定位方法

Publications (2)

Publication Number Publication Date
CN116309849A true CN116309849A (zh) 2023-06-23
CN116309849B CN116309849B (zh) 2023-08-25

Family

ID=86794486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310553475.2A Active CN116309849B (zh) 2023-05-17 2023-05-17 一种基于视觉雷达的起重机定位方法

Country Status (1)

Country Link
CN (1) CN116309849B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108665487A (zh) * 2017-10-17 2018-10-16 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
JP2019127372A (ja) * 2018-01-25 2019-08-01 株式会社日立プラントメカニクス クレーン作業エリア安全確認装置
CN110889873A (zh) * 2019-11-26 2020-03-17 中国科学院光电研究院 一种目标定位方法、装置、电子设备及存储介质
CN112348034A (zh) * 2020-10-21 2021-02-09 中电鸿信信息科技有限公司 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN114612852A (zh) * 2022-01-27 2022-06-10 三一汽车起重机械有限公司 一种起重机的卷扬倍率识别方法、识别系统及起重机
CN115841557A (zh) * 2023-02-23 2023-03-24 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法
CN116081470A (zh) * 2023-02-14 2023-05-09 上海应用技术大学 一种基于模型迭代补偿的起重机定位防摇控制优化方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108665487A (zh) * 2017-10-17 2018-10-16 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
JP2019127372A (ja) * 2018-01-25 2019-08-01 株式会社日立プラントメカニクス クレーン作業エリア安全確認装置
CN110889873A (zh) * 2019-11-26 2020-03-17 中国科学院光电研究院 一种目标定位方法、装置、电子设备及存储介质
CN112348034A (zh) * 2020-10-21 2021-02-09 中电鸿信信息科技有限公司 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN114612852A (zh) * 2022-01-27 2022-06-10 三一汽车起重机械有限公司 一种起重机的卷扬倍率识别方法、识别系统及起重机
CN116081470A (zh) * 2023-02-14 2023-05-09 上海应用技术大学 一种基于模型迭代补偿的起重机定位防摇控制优化方法
CN115841557A (zh) * 2023-02-23 2023-03-24 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO HE ET AL: "A Practical Visual Positioning Method for Industrial Overhead Crane Systems", 《SPRINGER INTERNATIONAL PUBLISHING AG》, pages 16 - 25 *
李一荻: "基于目标检测的工程车辆行为识别系统设计_李一荻2021年第12期", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2021, no. 12 *

Also Published As

Publication number Publication date
CN116309849B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN107133969B (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN108109162B (zh) 一种利用自适应特征融合的多尺度目标跟踪方法
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN109376591A (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
CN111062423B (zh) 基于自适应特征融合的点云图神经网络的点云分类方法
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN111145121B (zh) 一种强化多特征融合的置信项滤波器目标跟踪方法
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN112699824B (zh) 电能表仪表常数检测方法、设备及存储介质
CN102340620B (zh) 基于马氏距离的视频图像背景检测方法
CN114998566A (zh) 一种可解释的多尺度红外弱小目标检测网络设计方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN115409814A (zh) 一种基于融合图像的光伏组件热斑检测方法及系统
CN110910379B (zh) 一种残缺检测方法及装置
CN109584262A (zh) 基于遥感影像的云检测方法、装置及电子设备
CN116071424A (zh) 基于单目视觉的果实空间坐标定位方法
CN114926826A (zh) 场景文本检测系统
CN110321869A (zh) 基于多尺度融合网络的人员检测和提取方法
CN110910497A (zh) 实现增强现实地图的方法和系统
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
CN115841557B (zh) 基于数字孪生技术的智能起重机操作环境构建方法
CN116309849B (zh) 一种基于视觉雷达的起重机定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant