CN116188568A - 用于确定吊钩位置的方法、装置、存储介质及处理器 - Google Patents

用于确定吊钩位置的方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN116188568A
CN116188568A CN202211573951.9A CN202211573951A CN116188568A CN 116188568 A CN116188568 A CN 116188568A CN 202211573951 A CN202211573951 A CN 202211573951A CN 116188568 A CN116188568 A CN 116188568A
Authority
CN
China
Prior art keywords
image
gray
region
interest
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211573951.9A
Other languages
English (en)
Inventor
许培培
刘延斌
范卿
尹莉
于晓颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Heavy Industry Science and Technology Co Ltd
Original Assignee
Zoomlion Heavy Industry Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Heavy Industry Science and Technology Co Ltd filed Critical Zoomlion Heavy Industry Science and Technology Co Ltd
Priority to CN202211573951.9A priority Critical patent/CN116188568A/zh
Publication of CN116188568A publication Critical patent/CN116188568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种用于确定吊钩位置的方法、装置、存储介质及处理器。方法包括：获取实时的初始图像；将初始图像输入至预先训练的神经网络，以通过预先训练的神经网络输出第一感兴趣区域，其中，预先训练的神经网络用于对初始图像进行特征提取，得到多个不同尺度的特征图，对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域；在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域；在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置。采用上述技术方案能够更加精准地确定吊钩的位置，提高了设备的智能化水平，降低了操作风险，减少了人力成本。

Description

用于确定吊钩位置的方法、装置、存储介质及处理器
技术领域
本申请涉及计算机技术领域，具体涉及一种用于确定吊钩位置的方法、装置、存储介质及处理器。
背景技术
随着模块化建设和智能技术的发展，用户对起重机产品的智能化、自动化吊装作业的需求逐步升级，尤其在危险吊装场景或重复吊装需求的自动吊装作业更为注重起重机产品的精准吊装。因此，为提升起重机的产品智能化、作业安全性以及产品关键性能，必须要实现吊装的精准定位。
例如，在履带式起重机自动吊装过程中，获取吊钩的空间位置是实现吊装精准定位关键部分。传统吊钩空间位置计算是通过标定卷扬绳来获取吊钩的空间位置，该方法存在明显的个体差异性，即不同的起重机需要重新标定，且当起重机在大挠度的时候，误差会急剧增加，适应性非常有限。
发明内容
本申请实施例的目的是提供一种用于确定吊钩位置的方法、装置、存储介质及处理器。
为了实现上述目的，本申请第一方面提供一种用于确定吊钩位置的方法，包括：
获取实时的初始图像；
将初始图像输入至预先训练的神经网络，以通过预先训练的神经网络输出第一感兴趣区域，其中，预先训练的神经网络用于对初始图像进行特征提取，得到多个不同尺度的特征图，对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域；
扩大第一感兴趣区域，以得到第二感兴趣区域；
在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域；
在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置。
在本申请实施例中，在得到第二感兴趣区域之后，方法还包括：对第二感兴趣区域进行灰度处理，得到灰度图像；对灰度图像进行梯度增强处理，得到梯度增强图像；对梯度增强图像进行二值化处理，得到二值化图像；基于二值化图像，确定第二感兴趣区域中是否包括卷扬绳特征。
在本申请实施例中，对第二感兴趣区域进行灰度处理，得到灰度图像之后，方法还包括：遍历灰度图像，以得到灰度图像的灰度直方图，灰度直方图包括每个像素灰度点的像素数量；按照灰度值从小到大的顺序，对各个像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于N时，将对应的像素灰度点的灰度值确定为第一阈值；按照灰度值从大到小的顺序，对各个像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于M时，将对应的像素灰度点的灰度值确定为第二阈值；其中，第一阈值与第二阈值用于对灰度图像进行梯度增强处理，和/或，用于对梯度增强图像进行二值化处理。
在本申请实施例中，灰度图像进行梯度增强处理，得到梯度增强图像，包括：按如下公式对灰度图像进行梯度增强处理，得到梯度增强图像：
Figure BDA0003989185170000021
其中，vin是灰度图像中任一像素的灰度值，vout是该像素经梯度增强处理后的灰度值，a是预设系数，r1、r2、r3是凹凸性系数，且r1>r2>r3，t1是第一阈值，t2是第二阈值。
在本申请实施例中，对梯度增强图像进行二值化处理，得到二值化图像，包括：将第一阈值与第二阈值的均值确定为二值化阈值；根据二值化阈值对梯度增强图像进行二值化处理，得到二值化图像。
在本申请实施例中，N是根据灰度图像中包含的像素总数量和第一预设比例值确定的，M是根据像素总数量和第二预设比例值确定的，第一预设比例值和第二预设比例值是根据第一感兴趣区域的扩大倍数确定的。
在本申请实施例中，基于二值化图像，确定第二感兴趣区域中是否包括卷扬绳特征，包括：将二值化图像中与第一感兴趣区域对应的图像区域的灰度值调整至最大值，以得到空白背景图像；检测空白背景图像中的直线；以与第一感兴趣区域对应的图像区域的中心点为圆形，分别采用第一预设半径和第二预设半径，在空白背景图像中生成第一弧线和第二弧线；在第一弧线与直线的交点数量与第二弧线与直线的交点数量相同的情况下，确定第二感兴趣区域中包括卷扬绳特征。
在本申请实施例中，在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置，包括：在存在多个目标区域的情况下，确定每个目标区域的中心点与初始图像的中心点之间的距离，目标区域为包括卷扬绳特征的第二感兴趣区域；根据对应最小距离的目标区域确定吊钩的位置。
在本申请实施例中，方法还包括神经网络的训练步骤，训练步骤包括：获取吊钩的样本图像；将样本图像输入至神经网络，以通过神经网络输出样本图像中包括有吊钩的预测区域，其中，神经网络用于对样本图像进行特征提取，得到多个不同尺度的样本特征图，对多个不同尺度的样本特征图进行融合以提取吊钩的样本定位特征，以及根据样本定位特征确定出样本图像中吊钩所在的预测区域；通过SIou损失函数确定预测区域与样本图像对应的目标标记区域之间的损失值；在损失值达到预设阈值的情况下，得到训练完成的神经网络。
本申请第二方面提供一种处理器，被配置成执行上述的用于确定吊钩位置的方法。
本申请第三方面提供一种起重机，包括：
吊钩；
吊臂，吊臂上安装有图像采集设备，用于在吊装过程中，实时采集吊钩的初始图像；以及
上述处理器。
本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的用于确定吊钩位置的方法。
通过上述技术方案，获取实时的初始图像；以通过预先训练的神经网络输出第一感兴趣区域，其中，预先训练的神经网络用于对初始图像进行特征提取，得到多个不同尺度的特征图，对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域；在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域；在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置。采用上述技术方案能够更加精准地确定吊钩的位置，提高了设备的智能化水平，降低了操作风险，减少了人力成本。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的用于确定吊钩位置的方法的一种流程示意图；
图2示意性示出了根据本申请实施例的用于确定吊钩位置的方法的另一种流程示意图；
图3示意性示出了根据本申请实施例的起重机的结构框图；
图4示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示意性示出了根据本申请实施例的用于确定吊钩位置的方法的一种流程示意图。如图1所示，在本申请一实施例中，提供了一种用于确定吊钩位置的方法，包括以下步骤：
步骤101，获取实时的初始图像。
步骤102，将初始图像输入至预先训练的神经网络，以通过预先训练的神经网络输出第一感兴趣区域，其中，预先训练的神经网络用于对初始图像进行特征提取，得到多个不同尺度的特征图，对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域。
步骤103，在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域。
步骤104，在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置。
吊钩是起重机械中最常见的一种吊具，常借助与滑轮组等部件悬挂在起升机构的钢丝绳上。神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法模型。处理器可以获取实时的初始图像，并将初始图像输入至预先训练的神经网络，预先训练的神经网络可以对输入的初始图像进行处理，以输出第一感兴趣区域。其中，预先训练的神经网络可以对输入的初始图像进行特征提取，以得到多个不同尺度的特征图，可以对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域。其中，特征提取是指提取图像中属于特征性的信息的方法及过程。定位特征是指能够确定吊钩可能在初始图像的所处区域的特征。处理器可以在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域。也就是说，通过预先训练的神经网络可以得到初始图像中的第一感兴趣区域。处理器可以在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域。在第二感兴趣区域包括卷扬绳特征的情况下，处理器可以根据第二感兴趣区域确定吊钩的位置。
例如，处理器可以获取实时的初始图像A。将初始图像A输入至预先训练的神经网络，以通过预先训练的神经网络对初始图像A进行特征提取，得到多个不同尺度的特征图。假设得到A1、A2、A3、A4这四个不同尺度的特征图。再对A1、A2、A3、A4这四个不同尺度的特征图进行融合以提取吊钩的定位特征。并根据定位特征在初始图像A中确定第一感兴趣区域。处理器在初始图像A中扩大第一感兴趣区域，以得到第二感兴趣区域。在第二感兴趣区域包括卷扬绳特征的情况下，可以根据第二感兴趣区域确定吊钩位置。
在一个实施例中，在得到第二感兴趣区域之后，处理器可以对第二感兴趣区域进行灰度处理，得到灰度图像；对灰度图像进行梯度增强处理，得到梯度增强图像；对梯度增强图像进行二值化处理，得到二值化图像；基于二值化图像，确定第二感兴趣区域中是否包括卷扬绳特征。其中，灰度处理是指将彩色图像转化为灰度图像的过程。具体地，在得到第二感兴趣区域之后，可以将第二感兴趣区域从初始图像中抠出，得到对应的候选图像，再对候选图像进行灰度处理，以得到灰度图像。梯度增强处理是指对图像进行加工使得加工后的图像比原始图像更适合于特点的应用。二值化处理是指将图像上的像素点的灰度值设置为0或者255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
例如，处理器在得到第二感兴趣区域之后，将第二感兴趣区域从初始图像A中抠出，得到候选图像a1。对候选图像a1进行灰度处理，以得到灰度图像a2。再对灰度图像a2进行梯度增强处理，得到梯度增强图像a3。然后对梯度增强图像a3进行二值化处理，得到二值化图像a4。基于二值化图像a5，确定第二感兴趣区域中是否包括卷扬绳特征。
在一个实施例中，对第二感兴趣区域进行灰度处理，得到灰度图像之后，处理器还可以遍历灰度图像，以得到灰度图像的灰度直方图，灰度直方图包括每个像素灰度点的像素数量；按照灰度值从小到大的顺序，对各个像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于N时，将对应的像素灰度点的灰度值确定为第一阈值；按照灰度值从大到小的顺序，对各个像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于M时，将对应的像素灰度点的灰度值确定为第二阈值；其中，第一阈值与第二阈值用于对灰度图像进行梯度增强处理，和/或，用于对梯度增强图像进行二值化处理。其中，灰度直方图是关于灰度级分布的函数，是对图像中灰度级分布的统计。灰度直方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的频率；能够表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。
例如，对第二感兴趣区域进行灰度处理，得到灰度图像a1之后。处理器还可以遍历灰度图像a1，得到灰度图像a1的灰度直方图，灰度直方图中像素灰度点t1、t2、t3、t4、t5的像素数量分别为2、7、9、25、29。像素灰度点t1、t2、t3、t4、t5的灰度值分别为15、17、54、64、77。按照灰度值从小到大的顺序，即按照t1、t2、t3、t4、t5的顺序，对像素灰度点t1、t2、t3、t4、t5对应的像素数量进行累加。假设累加到像素灰度点t3时，像素数量首次大于或者等于N，即将像素灰度点t3对应的灰度值54确定为第一阈值。按照灰度值从大到小的顺序，即t5、t4、t3、t2、t1的顺序，对像素灰度点t5、t4、t3、t2、t1对应的像素数量进行累加。假设累加到像素灰度点t4时，像素数量首次大于或者等于M，即将像素灰度点t4的灰度值64确定为第二阈值。其中，第一阈值54和第二阈值64用于对灰度图像a1进行梯度增强处理，和/或，用于对梯度增强图像进行二值化处理。
在一个实施例中，N是根据灰度图像中包含的像素总数量和第一预设比例值确定的，M是根据像素总数量和第二预设比例值确定的，第一预设比例值和第二预设比例值是根据第一感兴趣区域的扩大倍数确定的。假设第一感兴趣区域的扩大倍数为7倍，则第一预设比例值可以为1/8，第二预设比例值为6/8，剩下的1/8可以为灰度过渡区域。灰度直方图中像素灰度点t1、t2、t3、t4、t5的像素数量分别为2、7、9、25、29。灰度直方图中包含的像素总数量为72。即N可以是像素总数量72和第一预设比例值1/8的乘积9；M可以是像素总数72和第二预设比例值6/8的乘积54。像素灰度点t1、t2、t3、t4、t5的灰度值分别为15、17、54、64、77。按照灰度值从小到大的顺序，即按照t1、t2、t3、t4、t5的顺序，对像素灰度点t1、t2、t3、t4、t5对应的像素数量进行累加。在累加完t2的像素数量后，累加的像素数量为9，等于N的取值9。将t2的灰度值17确定为第一阈值。按照灰度值从大到小的顺序，即t5、t4、t3、t2、t1的顺序，对像素灰度点t5、t4、t3、t2、t1对应的像素数量进行累加。在累加完t4的像素数量后，累加的像素数量为54，等于M的取值54.将t4的灰度值64确定为第二阈值。
在一个实施例中，对灰度图像进行梯度增强处理，得到梯度增强图像，包括：按如下公式对灰度图像进行梯度增强处理，得到梯度增强图像：
Figure BDA0003989185170000091
其中，vin是灰度图像中任一像素的灰度值，vout是该像素经梯度增强处理后的灰度值，a是预设系数，r1、r2、r3是凹凸性系数，且r1>r2>r3，t1是第一阈值，t2是第二阈值。
在一个实施例中，处理器可以将第一阈值与第二阈值的均值确定为二值化阈值；根据二值化阈值对梯度增强图像进行二值化处理，得到二值化图像。例如，第一阈值为17，第二阈值为54。处理器可以将第一阈值17和第二阈值54的均值35.5确定为二值化阈值。根据二值化阈值35.5对梯度增强图像进行二值化处理，得到二值化图像。
在一个实施例中，处理器可以将二值化图像中与第一感兴趣区域对应的图像区域的灰度值调整至最大值，以得到空白背景图像；检测空白背景图像中的直线；以与第一感兴趣区域对应的图像区域的中心点为圆形，分别采用第一预设半径和第二预设半径，在空白背景图像中生成第一弧线和第二弧线；在第一弧线与直线的交点数量与第二弧线与直线的交点数量相同的情况下，确定第二感兴趣区域中包括卷扬绳特征。其中，可以采用模板覆盖法将二值化图像中与与第一感兴趣区域对应的图像区域进行覆盖，以得到空白背景图像。
例如，处理器可以二值化图像中与第一感兴趣区域对应的图像区域的灰度值调整至最大值，以得到空白背景图像。检测空白背景图像中的直线。以与第一感兴趣区域对应的图像区域的中心点为圆形，以第一感兴趣区域的边长h的1.5倍作为第一预设半径，即1.5h。在空白背景图像中以1.5h生成第一弧线。将第一感兴趣区域的边长h的2.5倍作为第二预设边界，即2.5h。在空白背景图像中以2.5h生成第二弧线。第一弧线与直线的交点数量和第二弧线与直线的交点数量相同的情况下，可以确定第二感兴趣区域中包括卷扬绳特征。
在一个实施例中，在存在多个目标区域的情况下，处理器可以确定每个目标区域的中心点与初始图像的中心点之间的距离，目标区域为包括卷扬绳特征的第二感兴趣区域；根据对应最小距离的目标区域确定吊钩的位置。其中，每个目标区域的中心点与初始图像的中心点之间的距离可以是欧氏距离，欧氏距离是指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。
例如，在目标区域的数量为2个的情况下，处理器分别计算一号目标区域的中心点与初始图像的中心点之间的欧氏距离x1和二号目标区域的中心点与初始图像的中心点之间的欧氏距离x2。在x1>x2的情况下，根据x2对应的二号目标区域确定吊钩的位置；在x2>x1的情况下，根据x1对应的一号目标区域确定吊钩的位置；在x2＝x1的情况下，可以根据x1对应的一号目标区域和x2对应的二号目标区域中的任意一个区域确定吊钩的位置。
在一个实施例中，处理器可以对神经网络进行训练，具体训练步骤为：获取吊钩的样本图像；将样本图像输入至神经网络，以通过神经网络输出样本图像中包括有吊钩的预测区域，其中，神经网络用于对样本图像进行特征提取，得到多个不同尺度的样本特征图，对多个不同尺度的样本特征图进行融合以提取吊钩的样本定位特征，以及根据样本定位特征确定出样本图像中吊钩所在的预测区域；通过SIou损失函数确定预测区域与样本图像对应的目标标记区域之间的损失值；在损失值达到预设阈值的情况下，得到训练完成的神经网络。其中，SIou函数可以提高在检测初始图像中方向匹配的准确度，提高确定吊钩位置的精准度。
例如，SIou函数主要包含四个代价函数，分别为Angle loss(角度损失)、Distanceloss(距离损失)、Shape loss(形状损失)以及IOU loss(重叠损失)。神经网络可以是卷积神经网络，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。由输入层、隐含层以及输出层构成。卷积神经网络具有表征学习能力，能够按照其阶层结构对输入信息进行平移不变分类。卷积神经网络的检测锚框尺寸可以采用ISODATA动态聚类算法不断迭代目标函数，并根据目标函数的最优值确定的。处理器可以采用ISODATA动态聚类算法不断迭代目标函数，并获取目标函数的最优值，进而确定出卷积神经网络的检测锚框尺寸。根据检测锚框的尺寸可以确定卷积神经网络针对样本图像进行特征提取，得到多个不同尺度的样本特征图。假设得到4个不同尺度的样本特征图，这4个样本特征图的尺度的可以分别为64*64、32*32、16*16、8*8。对4个不同尺寸的样本特征图进行融合以提取吊钩的样本定位特征，以及根据样本定位特征确定出样本图像中吊钩所在的预测区域。通过SIou损失函数确定预测区域与样本图像对应的目标标记区域之间的损失值。在损失值达到预设阈值的情况下，确定得到训练完成的神经网络。
图2示意性示出了根据本申请实施例的用于确定吊钩位置的方法的另一种流程示意图。如图2所示，起重机的吊臂的顶端上安装有相机。在吊装过程中，获取相机的离地高度，根据高度随动控制相机的焦段，可以确保起重机即使在进行大高度作业的情况下，相机也能够获取实时的初始图像。加载获取到的初始图像，并对初始图像进行预处理，以将初始图像的大小处理为512*512。调用离线训练获得吊钩的检测模型(即神经网络)的，以对512*512的初始图像进行处理，以得到候选吊钩区域(即第一感兴趣区域)。采用坐标反预处理操作，以得到候选吊钩区域的原始图像坐标。其中，坐标反预处理操作包括采用SIOU LOSS函数作为损失函数来提高初始图像检测中检测方向匹配的准确度，采用ISODATA动态聚类算法不断迭代目标函数，并根据目标函数的最优值确定检测模型的检测锚框尺寸。根据锚框尺寸确定出候选吊钩区域图像的尺度。对候选吊钩区域图像进行扩大，并对扩大后的候选吊钩区域图像(即第二感兴趣区域)进行灰度处理，得到灰度图像。采用阶梯图像增强算法对放大后的候选吊钩区域图像进行处理，以提高吊钩区域与背景区域的对比度。按如下公式对灰度图像进行梯度增强处理，得到梯度增强图像：
Figure BDA0003989185170000121
其中，vin是灰度图像中任一像素的灰度值，vout是该像素经梯度增强处理后的灰度值，a是预设系数，r1、r2、r3是凹凸性系数，且r1>r2>r3，t1是第一阈值，t2是第二阈值。
遍历灰度图像，以得到灰度图像的灰度直方图，灰度直方图包括每个像素灰度点的的像素数量。统计各个像素灰度点的的像素数量，可以根据像素数数量确定对应的像素灰度点，根据对应像素灰度点对应的灰度值可以确定二值化阈值。对候选初始图像进行扩大，扩大的倍数为6倍。按照各个像素的灰度值从小到大的顺序，对各个像素灰度点对应的像素数量进行累加，当确定到的像素灰度点的像素数量为所有像素总量的1/7时，确定当前像素对应的灰度值为灰度阈值t1(即第一阈值)。按照灰度值从大到小的顺序，对各个像素灰度点对应的像素数量进行累加，当确定到的像素灰度点的像素数量为所有像素总量的5/7时，确定当前像素对应的灰度值为灰度阈值t2(即第二阈值)。将灰度阈值t1和灰度阈值t2的均值确定为二值化阈值。按照二值化阈值对梯度增强图像进行二值化处理，得到ROI区域的二值化图像。
采用递进式圆弧相交法判断处理后的ROI区域(即第二感兴趣区域)是否包括卷扬绳。首先，将放大后的候选吊钩区域的原检测区域(即初始图像)灰度值设置为零，以确定处理后的ROI区域中包含的直线。然后以处理后的ROI区域中的原检测区域的外接正方形中心点为圆心，分别采用原检测区域外接正方形边长的1.5倍作为第一半径(即第一预设半径)画第一圆弧(即第一弧线)和2.5倍作为第二半径(即第二预设半径)画第二圆弧(即第二弧线)。在第一圆弧与第一半径的交点数量与第二圆弧与第二半径的交点数量相同的情况下，确定处理后的ROI区域包含有卷扬绳，将处理后的ROI区域确定为吊钩区域。
在包含卷扬绳的ROI区域有多个的情况下，确定每个ROI区域的中心点与吊钩区域图像的中心点的欧氏距离。将欧氏距离最小的ROI区域确定为最终的吊钩区域。根据最终的吊钩区域确定吊钩的位置。
通过上述技术方案，获取实时的初始图像；以通过预先训练的神经网络输出第一感兴趣区域，其中，预先训练的神经网络用于对初始图像进行特征提取，得到多个不同尺度的特征图，对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域；在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域；在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置。采用上述技术方案能够更加精准地确定吊钩的位置，提高了设备的智能化水平，降低了操作风险，减少了人力成本。
图1、2为一个实施例中用于确定吊钩位置的方法的流程示意图。应该理解的是，虽然图1、2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种起重机300，包括：
吊钩301；
吊臂302，吊臂302上安装有图像采集设备，用于在吊装过程中，实时采集吊钩301的初始图像；以及
处理器303。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述用于确定吊钩位置的方法。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述用于确定吊钩位置的方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储初始图像和区域图像数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于确定吊钩位置的方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取实时的初始图像；将初始图像输入至预先训练的神经网络，以通过预先训练的神经网络输出第一感兴趣区域，其中，预先训练的神经网络用于对初始图像进行特征提取，得到多个不同尺度的特征图，对多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据定位特征在初始图像中确定第一感兴趣区域；在初始图像中扩大第一感兴趣区域，以得到第二感兴趣区域；在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置。
在一个实施例中，在得到第二感兴趣区域之后，方法还包括：对第二感兴趣区域进行灰度处理，得到灰度图像；对灰度图像进行梯度增强处理，得到梯度增强图像；对梯度增强图像进行二值化处理，得到二值化图像；基于二值化图像，确定第二感兴趣区域中是否包括卷扬绳特征。
在一个实施例中，对第二感兴趣区域进行灰度处理，得到灰度图像之后，方法还包括：遍历灰度图像，以得到灰度图像的灰度直方图，灰度直方图包括每个像素灰度点的像素数量；按照灰度值从小到大的顺序，对各个像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于N时，将对应的像素灰度点的灰度值确定为第一阈值；按照灰度值从大到小的顺序，对各个像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于M时，将对应的像素灰度点的灰度值确定为第二阈值；其中，第一阈值与第二阈值用于对灰度图像进行梯度增强处理，和/或，用于对梯度增强图像进行二值化处理。
在一个实施例中，对灰度图像进行梯度增强处理，得到梯度增强图像，包括：按如下公式对灰度图像进行梯度增强处理，得到梯度增强图像：
Figure BDA0003989185170000161
其中，vin是灰度图像中任一像素的灰度值，vout是该像素经梯度增强处理后的灰度值，a是预设系数，r1、r2、r3是凹凸性系数，且r1>r2>r3，t1是第一阈值，t2是第二阈值。
在一个实施例中，对梯度增强图像进行二值化处理，得到二值化图像，包括：将第一阈值与第二阈值的均值确定为二值化阈值；根据二值化阈值对梯度增强图像进行二值化处理，得到二值化图像。
在一个实施例中，N是根据灰度图像中包含的像素总数量和第一预设比例值确定的，M是根据像素总数量和第二预设比例值确定的，第一预设比例值和第二预设比例值是根据第一感兴趣区域的扩大倍数确定的。
在一个实施例中，基于二值化图像，确定第二感兴趣区域中是否包括卷扬绳特征，包括：将二值化图像中与第一感兴趣区域对应的图像区域的灰度值调整至最大值，以得到空白背景图像；检测空白背景图像中的直线；以与第一感兴趣区域对应的图像区域的中心点为圆形，分别采用第一预设半径和第二预设半径，在空白背景图像中生成第一弧线和第二弧线；在第一弧线与直线的交点数量与第二弧线与直线的交点数量相同的情况下，确定第二感兴趣区域中包括卷扬绳特征。
在一个实施例中，在第二感兴趣区域包括卷扬绳特征的情况下，根据第二感兴趣区域确定吊钩位置，包括：在存在多个目标区域的情况下，确定每个目标区域的中心点与初始图像的中心点之间的距离，目标区域为包括卷扬绳特征的第二感兴趣区域；根据对应最小距离的目标区域确定吊钩的位置。
在一个实施例中，方法还包括神经网络的训练步骤，训练步骤包括：获取吊钩的样本图像；将样本图像输入至神经网络，以通过神经网络输出样本图像中包括有吊钩的预测区域，其中，神经网络用于对样本图像进行特征提取，得到多个不同尺度的样本特征图，对多个不同尺度的样本特征图进行融合以提取吊钩的样本定位特征，以及根据样本定位特征确定出初始图像中吊钩所在的预测区域；通过SIou损失函数确定预测区域与样本图像对应的目标标记区域之间的损失值；在损失值达到预设阈值的情况下，得到训练完成的神经网络。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下用于确定吊钩位置的方法步骤的程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种用于确定吊钩位置的方法，其特征在于，所述方法包括：
获取实时的初始图像；
将所述初始图像输入至预先训练的神经网络，以通过所述预先训练的神经网络输出第一感兴趣区域，其中，所述预先训练的神经网络用于对所述初始图像进行特征提取，得到多个不同尺度的特征图，对所述多个不同尺度的特征图进行融合以提取吊钩的定位特征，以及根据所述定位特征在所述初始图像中确定第一感兴趣区域；
在所述初始图像中扩大所述第一感兴趣区域，以得到第二感兴趣区域；
在所述第二感兴趣区域包括卷扬绳特征的情况下，根据所述第二感兴趣区域确定吊钩位置。
2.根据权利要求1所述的用于确定吊钩位置的方法，其特征在于，在得到第二感兴趣区域之后，所述方法还包括：
对所述第二感兴趣区域进行灰度处理，得到灰度图像；
对所述灰度图像进行梯度增强处理，得到梯度增强图像；
对所述梯度增强图像进行二值化处理，得到二值化图像；
基于所述二值化图像，确定所述第二感兴趣区域中是否包括卷扬绳特征。
3.根据权利要求2所述的用于确定吊钩位置的方法，其特征在于，所述对所述第二感兴趣区域进行灰度处理，得到灰度图像之后，所述方法还包括：
遍历所述灰度图像，以得到所述灰度图像的灰度直方图，所述灰度直方图包括每个像素灰度点的像素数量；
按照灰度值从小到大的顺序，对各个所述像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于N时，将对应的像素灰度点的灰度值确定为第一阈值；
按照灰度值从大到小的顺序，对各个所述像素灰度点对应的像素数量进行累加，在累加的像素数量首次大于或等于M时，将对应的像素灰度点的灰度值确定为第二阈值；
其中，所述第一阈值与所述第二阈值用于对所述灰度图像进行梯度增强处理，和/或，用于对所述梯度增强图像进行二值化处理。
4.根据权利要求3所述的用于确定吊钩位置的方法，其特征在于，所述对所述灰度图像进行梯度增强处理，得到梯度增强图像，包括：
按如下公式对所述灰度图像进行梯度增强处理，得到梯度增强图像：
Figure FDA0003989185160000021
其中，vin是灰度图像中任一像素的灰度值，vout是该像素经梯度增强处理后的灰度值，a是预设系数，r1、r2、r3是凹凸性系数，且r1>r2>r3，t1是第一阈值，t2是第二阈值。
5.根据权利要求3所述的用于确定吊钩位置的方法，其特征在于，所述对所述梯度增强图像进行二值化处理，得到二值化图像，包括：
将所述第一阈值与所述第二阈值的均值确定为二值化阈值；
根据所述二值化阈值对所述梯度增强图像进行二值化处理，得到二值化图像。
6.根据权利要求3所述的用于确定吊钩位置的方法，其特征在于，N是根据所述灰度图像中包含的像素总数量和第一预设比例值确定的，M是根据所述像素总数量和第二预设比例值确定的，所述第一预设比例值和所述第二预设比例值是根据所述第一感兴趣区域的扩大倍数确定的。
7.根据权利要求2所述的用于确定吊钩位置的方法，其特征在于，所述基于所述二值化图像，确定所述第二感兴趣区域中是否包括卷扬绳特征，包括：
将所述二值化图像中与所述第一感兴趣区域对应的图像区域的灰度值调整至最大值，以得到空白背景图像；
检测所述空白背景图像中的直线；
以与所述第一感兴趣区域对应的图像区域的中心点为圆形，分别采用第一预设半径和第二预设半径，在所述空白背景图像中生成第一弧线和第二弧线；
在所述第一弧线与所述直线的交点数量与所述第二弧线与所述直线的交点数量相同的情况下，确定所述第二感兴趣区域中包括卷扬绳特征。
8.根据权利要求2所述的用于确定吊钩位置的方法，其特征在于，在所述第二感兴趣区域包括卷扬绳特征的情况下，根据所述第二感兴趣区域确定吊钩位置，包括：
在存在多个目标区域的情况下，确定每个目标区域的中心点与所述初始图像的中心点之间的距离，所述目标区域为包括卷扬绳特征的第二感兴趣区域；
根据对应最小距离的目标区域确定所述吊钩的位置。
9.根据权利要求1至8中任意一项所述的用于确定吊钩位置的方法，其特征在于，所述方法还包括神经网络的训练步骤，所述训练步骤包括：
获取吊钩的样本图像；
将所述样本图像输入至神经网络，以通过所述神经网络输出所述样本图像中包括有吊钩的预测区域，其中，所述神经网络用于对所述样本图像进行特征提取，得到多个不同尺度的样本特征图，对所述多个不同尺度的样本特征图进行融合以提取吊钩的样本定位特征，以及根据所述样本定位特征确定出所述样本图像中吊钩所在的预测区域；
通过SIou损失函数确定所述预测区域与所述样本图像对应的目标标记区域之间的损失值；
在所述损失值达到预设阈值的情况下，得到训练完成的神经网络。
10.一种处理器，其特征在于，被配置成执行根据权利要求1至9中任意一项所述的用于确定吊钩位置的方法。
11.一种起重机，其特征在于，包括：
吊钩；
吊臂，所述吊臂上安装有图像采集设备，用于在吊装过程中，实时采集所述吊钩的初始图像；以及
根据权利要求10所述的处理器。
12.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至9中任一项所述的用于确定吊钩位置的方法。
CN202211573951.9A 2022-12-08 2022-12-08 用于确定吊钩位置的方法、装置、存储介质及处理器 Pending CN116188568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211573951.9A CN116188568A (zh) 2022-12-08 2022-12-08 用于确定吊钩位置的方法、装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211573951.9A CN116188568A (zh) 2022-12-08 2022-12-08 用于确定吊钩位置的方法、装置、存储介质及处理器

Publications (1)

Publication Number Publication Date
CN116188568A true CN116188568A (zh) 2023-05-30

Family

ID=86431606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211573951.9A Pending CN116188568A (zh) 2022-12-08 2022-12-08 用于确定吊钩位置的方法、装置、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN116188568A (zh)

Similar Documents

Publication Publication Date Title
US9742992B2 (en) Non-uniform curve sampling method for object tracking
CN112651274B (zh) 路上障碍物检测装置、路上障碍物检测方法及记录介质
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN112561890A (zh) 图像清晰度的计算方法、装置和计算机设备
CN111523429A (zh) 基于深度学习的堆钢识别方法
US11538238B2 (en) Method and system for performing image classification for object recognition
CN111915628A (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN113435452A (zh) 一种基于改进ctpn算法的电气设备铭牌文本检测方法
CN115533902A (zh) 一种基于视觉引导的拆垛方法、装置、电子设备及系统
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN109741306B (zh) 应用于危险化学品库房堆垛的图像处理方法
CN117474918B (zh) 异常检测方法和装置、电子设备以及存储介质
JP2010271792A (ja) 画像処理装置及び画像処理方法
CN116188568A (zh) 用于确定吊钩位置的方法、装置、存储介质及处理器
CN111047614A (zh) 一种基于特征提取的复杂场景图像的目标角点提取方法
CN115984211A (zh) 视觉定位方法、机器人及存储介质
JPH04275685A (ja) 画像領域識別処理方法
CN112419337A (zh) 针对复杂背景下的机器人抓取位置的检测方法
CN111950475A (zh) 一种基于yoloV3的calhe直方图增强型目标识别算法
CN115146686B (zh) 一种确定目标对象安装位置的方法、装置、设备及介质
US20230128352A1 (en) Method and system for performing image classification for object recognition
CN115115636B (zh) 一种无人抓料机智能控制系统及控制方法
CN116645661B (zh) 一种防重码检测方法及系统
CN109636773B (zh) 一种基于梯度相关的圆形目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination