CN113763369A - 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置 - Google Patents

基于图像特征分析的塔吊夹具物料匹配性识别方法和装置 Download PDF

Info

Publication number
CN113763369A
CN113763369A CN202111070876.XA CN202111070876A CN113763369A CN 113763369 A CN113763369 A CN 113763369A CN 202111070876 A CN202111070876 A CN 202111070876A CN 113763369 A CN113763369 A CN 113763369A
Authority
CN
China
Prior art keywords
clamp
type
image
matching
tower crane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111070876.XA
Other languages
English (en)
Other versions
CN113763369B (zh
Inventor
陈德木
蒋云
陆建江
陈曦
赵晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Original Assignee
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dajie Intelligent Transmission Technology Co Ltd filed Critical Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority to CN202111070876.XA priority Critical patent/CN113763369B/zh
Publication of CN113763369A publication Critical patent/CN113763369A/zh
Application granted granted Critical
Publication of CN113763369B publication Critical patent/CN113763369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于图像特征分析的塔吊夹具物料匹配性识别方法和装置。该方法包括：分别以待使用塔吊夹具、待吊装物料为中心建立空间坐标系，采集夹具、待吊装物料的图像；分别提取待使用塔吊夹具、待吊装物料的图像的特征，输入分类神经网络，获得待使用塔吊夹具、待吊装物料的类型；当物料的重量小于夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含夹具的类型和物料的类型组成的匹配对，如果存在匹配对则确认夹具和物料匹配，如果不存在则确认夹具和物料不匹配。本申请利用能够实时的采集夹具和物料的图像，并通过神经网络智能分类得到夹具的承重上限和估计物料重量，进而智能的判断待使用塔吊夹具是否可以用于待吊装物料的吊装任务。

Description

基于图像特征分析的塔吊夹具物料匹配性识别方法和装置
技术领域
本申请涉及智能塔吊技术领域，尤其涉及一种基于图像特征分析的塔吊夹具物料匹配性识别方法和装置。
背景技术
目前的塔吊，基本都是人员在塔吊上的中控室进行操控，或者通过操作人员在远程进行实时智能操控。塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。
目前塔吊任务中，物料需要放在夹具上固定，然后塔吊上的挂钩挂取夹具然后进行吊装，然而目前吊装任务在吊装某种物料时，通常只能由人工现场根据经验判断使用哪一种夹具来固定物料，这种经验判断往往不准确，严重的情况下如果物料重量超出夹具承重上限，会导致严重的事故。
发明内容
有鉴于此，本申请的目的在于提出一种基于图像特征分析的塔吊夹具物料匹配性识别方法和装置，本申请利用能够基于图像特征分析，智能的识别塔吊夹具物料是否匹配性，实现了智能塔吊的夹具准确调度控制。
基于上述目的，本申请提出了一种基于图像特征分析的塔吊夹具物料匹配性识别方法，包括：
以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
优选地，所述以塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像，包括：
以塔吊夹具的质心为原点建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上距离所述夹具的质心相同距离处各设置一个摄像头；
三个摄像头分别朝向所述夹具拍摄所述夹具的图像，得到所述夹具三个方位的图像信息。
优选地，所述以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像，包括：
以待吊装物料的质心为原点建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上距离所述待吊装物料的质心相同距离处各设置一个摄像头；
三个摄像头分别朝向所述待吊装物料拍摄所述待吊装物料的图像，得到所述待吊装物料三个方位的图像信息。
优选地，所述提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息，包括：
将大批量已知夹具的外观形状、制作材料、尺寸、承重上限信息导入到卷积神经网络，得到各个夹具的类型；将已知夹具的外观形状、制作材料、尺寸、承重上限信息和夹具的类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
提取所述夹具的图像的特征，得到所述夹具的外观形状、制作材料、尺寸；
将待分类夹具的外观形状、制作材料、尺寸输入训练好的AKC模型中，得到该待分类夹具的承重上限。
优选地，所述提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量，包括：
将大批量已知物料的外观形状、材料、尺寸、重量信息导入到卷积神经网络，得到各个物料的类型；将已知物料的外观形状、制作材料、尺寸、重量信息和物料的类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
提取所述物料的图像的特征，得到所述物料的外观形状、材料、尺寸；
将待分类物料的外观形状、材料、尺寸输入训练好的AKC模型中，得到该待分类物料的重量。
优选地，所述当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配，包括：
比较所述物料的重量和所述夹具的承重上限的大小关系，得到所述物料的重量小于所述夹具的承重上限；
在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，其中所述预设的夹具物料匹配库包括多个从已完成的大批量吊装任务中提取的夹具的类型和物料的类型组成的匹配对；
如果所述匹配库中存在所述待使用塔吊夹具的类型和待吊装物料的类型组成的匹配对，则确认所述待使用塔吊夹具和待吊装物料匹配，如果不存在则确认所述待使用塔吊夹具和待吊装物料不匹配。
优选地，当所述物料的重量大于所述夹具的承重上限时，更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对；或者，
如果确认所述夹具和物料不匹配，则更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对。
基于上述目的，本申请还提出了一种基于图像特征分析的塔吊夹具物料匹配性识别装置，包括：
夹具图像采集模块，用于以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
物料图像采集模块，用于以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
夹具类型获取模块，用于提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
物料类型获取模块，用于提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
夹具物料匹配判断模块，用于当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
总的来说，本申请的优势及给用户带来的体验在于：
本申请利用能够实时的采集夹具和物料的图像，并通过神经网络智能分类得到夹具的承重上限和估计物料重量，进而智能的判断待使用塔吊夹具是否可以用于待吊装物料的吊装任务。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出本申请的装置架构原理示意图。
图2示出根据本申请实施例的基于图像特征分析的塔吊夹具物料匹配性识别方法的流程图。
图3示出根据本申请实施例的基于图像特征分析的塔吊夹具物料匹配性识别装置的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本申请的装置架构原理示意图。本申请的实施例中，设备包括塔吊(未图示)、夹具、物料、六个摄像头、终端设备(未图示)。
本发明实施例中，分别以待使用塔吊夹具、待吊装物料为中心建立空间坐标系，采集夹具、待吊装物料的图像；将夹具和物料的图像通过有线或无线的方式均发送给终端设备，终端设备分别提取待使用塔吊夹具、待吊装物料的图像的特征，输入分类神经网络，获得待使用塔吊夹具、待吊装物料的类型；当物料的重量小于夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含夹具的类型和物料的类型组成的匹配对，如果存在匹配对则确认夹具和物料匹配，如果不存在则确认夹具和物料不匹配。
本发明实施例中，终端设备可以采用具有通信能力的服务器，也可为智能手机、智能手表等具有计算能力和收发信号能力的终端设备。
本申请利用能够实时的采集夹具和物料的图像，并通过神经网络智能分类得到夹具的承重上限和估计物料重量，进而智能的判断待使用塔吊夹具是否可以用于待吊装物料的吊装任务。
图2示出根据本申请实施例的基于图像特征分析的塔吊夹具物料匹配性识别方法的流程图。如图2所示，该基于图像特征分析的塔吊夹具物料匹配性识别方法包括：
步骤101：以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像。
本实施例中，具体的，步骤101包括：
以塔吊夹具的质心为原点建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上距离所述夹具的质心相同距离处各设置一个摄像头；
三个摄像头分别朝向所述夹具拍摄所述夹具的图像，得到所述夹具三个方位的图像信息。
塔吊的夹具在视觉、外观上具有明显的差异，因此通过图像可以准确的分辨当前待使用塔吊夹具的类型。而为了准确分辨夹具的类型，仅根据一个角度的图像可能是不够的，一般来说，夹具具有一定的对称性，所以根据这些特性，本申请创造性的提出从六面体视角出发，从六面体相邻的三个面视角分别拍摄夹具的图像，即可准确反映夹具的各个细节特征。
步骤102：以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像。
在本实施例中，以待吊装物料的质心为原点建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上距离所述待吊装物料的质心相同距离处各设置一个摄像头；
三个摄像头分别朝向所述待吊装物料拍摄所述待吊装物料的图像，得到所述待吊装物料三个方位的图像信息。
待吊装物料在视觉、外观上具有明显的差异，因此通过图像可以准确的分辨当前待使用待吊装物料的类型。而为了准确分辨待吊装物料的类型，仅根据一个角度的图像可能是不够的，一般来说，待吊装物料具有一定的对称性，所以根据这些特性，本申请创造性的提出从六面体视角出发，从六面体相邻的三个面视角分别拍摄待吊装物料的图像，即可准确反映待吊装物料的各个细节特征。
步骤103：提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息。
在本实施例中，例如，将大批量已知夹具的外观形状、制作材料、尺寸、承重上限信息导入到卷积神经网络，得到各个夹具的类型；将已知夹具的外观形状、制作材料、尺寸、承重上限信息和夹具的类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
提取所述夹具的图像的特征，得到所述夹具的外观形状、制作材料、尺寸；
将待分类夹具的外观形状、制作材料、尺寸输入训练好的AKC模型中，得到该待分类夹具的承重上限。
举例来说，一种塔吊大型条石用夹具，可以包括一钢梁，钢梁上端设有一与塔吊吊钩相连接的调孔，钢梁低端两侧对称设置两个连接件，两个连接件分别连接一用于夹持大型条石的钳状结构。钳状结构由中间通过转轴固定的两个圆钢组成。钳状结构在夹持大型条石两端为夹持部，两个夹持部在与大型条石接触的位置分别设置有橡胶垫。连接件可以为钢筋链。
举例来说，本发明可以通过图像分析、图像识别计算夹具关键点之间的坐标、角度得到夹具部件的尺寸、角度和位置关系，可以得到夹具的外观形状、尺寸。而根据夹具的颜色和亮度可以判断其制作材料是哪种金属或者合金等。通过跟现有各种塔吊夹具的相应数据进行比对，将匹配度超过设定阈值的夹具作为分辨得到的夹具类型。
进一步的，通过夹具的外观、尺寸、制作材料，输入大数据训练过的神经网络，就可以判断其能够承重的上限。例如图像分析后得到夹具为上面描述的钢制的塔吊大型条石用夹具，通过神经网络的分析可以得到其可以吊起10吨的混凝土预制板。
步骤104：提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量。
在本实施例中，例如，将大批量已知物料的外观形状、材料、尺寸、重量信息导入到卷积神经网络，得到各个物料的类型；将已知物料的外观形状、制作材料、尺寸、重量信息和物料的类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
提取所述物料的图像的特征，得到所述物料的外观形状、材料、尺寸；
将待分类物料的外观形状、材料、尺寸输入训练好的AKC模型中，得到该待分类物料的重量。
举例来说，物料的外观可能为圆柱形、球形、立方体型、三角锥型等形状。
举例来说，本发明可以通过图像分析、图像识别计算物料关键点之间的坐标、角度得到物料的尺寸、角度和位置关系，可以得到物料的外观形状、尺寸。而根据物料的颜色和亮度可以判断其材料是钢材、混凝土、木料等。通过跟现有各种物料的相应数据进行比对，将匹配度超过设定阈值的物料作为分辨得到的物料类型。
进一步的，通过物料的外观、尺寸、材料，输入大数据训练过的神经网络，就可以估计计算其重量。例如图像分析后得到物料为混凝土预制板，通过神经网络的分析计算可以得到重量约为9吨。
步骤105：当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
在本实施例中，例如，比较所述物料的重量和所述夹具的承重上限的大小关系，得到所述物料的重量小于所述夹具的承重上限。例如，经过上面的分析，经过图像分析，得到待吊装的混凝土预制板为9吨，小于分析得到的钢制的塔吊大型条石用夹具的承重上限10吨。那么我们就可以初步判断可以使用这种夹具来吊装这种物料。
进一步的，在本实施例中，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，其中所述预设的夹具物料匹配库包括多个从已完成的大批量吊装任务中提取的夹具的类型和物料的类型组成的匹配对；
如果所述匹配库中存在所述待使用塔吊夹具的类型和待吊装物料的类型组成的匹配对，则确认所述待使用塔吊夹具和待吊装物料匹配，如果不存在则确认所述待使用塔吊夹具和待吊装物料不匹配。
例如，实际夹具的使用中，其往往对应一种或几种有限的物料，比如吊装钢材、混凝土预制板的夹具A，虽然其承重上限超过了球形木材B的重量，但是由于其夹持部的形状为钩状，从力学上来说是不能够用来吊装球形木材B的。因此，在已完成的大批量吊装任务中是不可能存在匹配对A－B的，这是在重量因素之外，由夹具和物料本身的物理特性进一步决定的。这时，仍然判定夹具和物料不匹配，不能执行吊装任务。由此，自动智能识别了夹具和物料的匹配性。
进一步的，在本实施例中，当所述物料的重量大于所述夹具的承重上限时，更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对；或者，
如果确认所述夹具和物料不匹配，则更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对。
例如，如果在步骤S104中分析得到的混凝土预制板重量为11吨，则超出了夹具能够承受的上限10吨，此时如果强行使用该夹具吊装该物料，会导致夹具变形，严重的甚至会导致物料在吊装中坠落，导致严重的设备损坏或人员伤亡。因此，终端设备可以及时的发出预警提示信息，提示控制人员人为更换夹具，也可以根据内置判断逻辑，从承重上限超过11吨的夹具库中自动选择一种可用夹具来作为待使用夹具重复上述的判断过程，直至选出一种能够吊装该混凝土预制板的夹具来使用。
本申请利用能够实时的采集夹具和物料的图像，并通过神经网络智能分类得到夹具的承重上限和估计物料重量，进而智能的判断待使用塔吊夹具是否可以用于待吊装物料的吊装任务。
申请实施例提供了一种基于图像特征分析的塔吊夹具物料匹配性识别装置，该装置用于执行上述实施例所述的基于图像特征分析的塔吊夹具物料匹配性识别方法，如图3所示，该装置包括：
夹具图像采集模块501，用于以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
物料图像采集模块502，用于以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
夹具类型获取模块503，用于提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
物料类型获取模块504，用于提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
夹具物料匹配判断模块505，用于当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
本申请的上述实施例提供的基于图像特征分析的塔吊夹具物料匹配性识别装置与本申请实施例提供的基于图像特征分析的塔吊夹具物料匹配性识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于图像特征分析的塔吊夹具物料匹配性识别方法对应的电子设备，以执行上基于图像特征分析的塔吊夹具物料匹配性识别方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于图像特征分析的塔吊夹具物料匹配性识别方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于图像特征分析的塔吊夹具物料匹配性识别方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于图像特征分析的塔吊夹具物料匹配性识别方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于图像特征分析的塔吊夹具物料匹配性识别方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于图像特征分析的塔吊夹具物料匹配性识别方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于图像特征分析的塔吊夹具物料匹配性识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于图像特征分析的塔吊夹具物料匹配性识别方法，其特征在于，包括：
以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
2.根据权利要求1所述的方法，其特征在于，
所述以塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像，包括：
以塔吊夹具的质心为原点建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上距离所述夹具的质心相同距离处各设置一个摄像头；
三个摄像头分别朝向所述夹具拍摄所述夹具的图像，得到所述夹具三个方位的图像信息。
3.根据权利要求2所述的方法，其特征在于，
所述以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像，包括：
以待吊装物料的质心为原点建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上距离所述待吊装物料的质心相同距离处各设置一个摄像头；
三个摄像头分别朝向所述待吊装物料拍摄所述待吊装物料的图像，得到所述待吊装物料三个方位的图像信息。
4.根据权利要求3所述的方法，其特征在于，
所述提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息，包括：
将大批量已知夹具的外观形状、制作材料、尺寸、承重上限信息导入到卷积神经网络，得到各个夹具的类型；将已知夹具的外观形状、制作材料、尺寸、承重上限信息和夹具的类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
提取所述夹具的图像的特征，得到所述夹具的外观形状、制作材料、尺寸；
将待分类夹具的外观形状、制作材料、尺寸输入训练好的AKC模型中，得到该待分类夹具的承重上限。
5.根据权利要求4所述的方法，其特征在于，
所述提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量，包括：
将大批量已知物料的外观形状、材料、尺寸、重量信息导入到卷积神经网络，得到各个物料的类型；将已知物料的外观形状、制作材料、尺寸、重量信息和物料的类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
提取所述物料的图像的特征，得到所述物料的外观形状、材料、尺寸；
将待分类物料的外观形状、材料、尺寸输入训练好的AKC模型中，得到该待分类物料的重量。
6.如权利要求5所述的方法，其特征在于，
所述当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配，包括：
比较所述物料的重量和所述夹具的承重上限的大小关系，得到所述物料的重量小于所述夹具的承重上限；
在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，其中所述预设的夹具物料匹配库包括多个从已完成的大批量吊装任务中提取的夹具的类型和物料的类型组成的匹配对；
如果所述匹配库中存在所述待使用塔吊夹具的类型和待吊装物料的类型组成的匹配对，则确认所述待使用塔吊夹具和待吊装物料匹配，如果不存在则确认所述待使用塔吊夹具和待吊装物料不匹配。
7.根据权利要求6所述的方法，其特征在于，进一步包括：
当所述物料的重量大于所述夹具的承重上限时，更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对；或者，
如果确认所述夹具和物料不匹配，则更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对。
8.一种基于图像特征分析的塔吊夹具物料匹配性识别装置，其特征在于，包括：
夹具图像采集模块，用于以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
物料图像采集模块，用于以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
夹具类型获取模块，用于提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
物料类型获取模块，用于提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
夹具物料匹配判断模块，用于当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1－7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1－7中任一项所述的方法。
CN202111070876.XA 2021-09-13 2021-09-13 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置 Active CN113763369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111070876.XA CN113763369B (zh) 2021-09-13 2021-09-13 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111070876.XA CN113763369B (zh) 2021-09-13 2021-09-13 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置

Publications (2)

Publication Number Publication Date
CN113763369A true CN113763369A (zh) 2021-12-07
CN113763369B CN113763369B (zh) 2023-06-02

Family

ID=78795299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111070876.XA Active CN113763369B (zh) 2021-09-13 2021-09-13 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置

Country Status (1)

Country Link
CN (1) CN113763369B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115947237A (zh) * 2023-03-08 2023-04-11 杭州未名信科科技有限公司 一种吊具控制系统和方法
CN117299596A (zh) * 2023-08-14 2023-12-29 江苏秦郡机械科技有限公司 一种自动检测的物料筛选系统及其筛选方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011131972A (ja) * 2009-12-22 2011-07-07 Nihon Kensetsu Kogyo Co Ltd 油圧ジャッキ用治具
CN102530514A (zh) * 2010-12-31 2012-07-04 Abb研究有限公司 用于支持对目标对象进行操纵的设备和方法
CN205740023U (zh) * 2016-05-12 2016-11-30 江苏龙净科杰催化剂再生有限公司 一种便携式吊具
WO2019151876A1 (en) * 2018-02-02 2019-08-08 Digital Logistics As Cargo detection and tracking
US20200391981A1 (en) * 2019-06-11 2020-12-17 Siemens Aktiengesellschaft Loading of a load with a crane system
CN112613508A (zh) * 2020-12-24 2021-04-06 深圳市杉川机器人有限公司 一种物体识别方法、装置及设备
CN113059584A (zh) * 2020-12-17 2021-07-02 北京航天智造科技发展有限公司 基于视觉识别及抓取的组合手爪机构

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011131972A (ja) * 2009-12-22 2011-07-07 Nihon Kensetsu Kogyo Co Ltd 油圧ジャッキ用治具
CN102530514A (zh) * 2010-12-31 2012-07-04 Abb研究有限公司 用于支持对目标对象进行操纵的设备和方法
CN205740023U (zh) * 2016-05-12 2016-11-30 江苏龙净科杰催化剂再生有限公司 一种便携式吊具
WO2019151876A1 (en) * 2018-02-02 2019-08-08 Digital Logistics As Cargo detection and tracking
US20200391981A1 (en) * 2019-06-11 2020-12-17 Siemens Aktiengesellschaft Loading of a load with a crane system
CN113059584A (zh) * 2020-12-17 2021-07-02 北京航天智造科技发展有限公司 基于视觉识别及抓取的组合手爪机构
CN112613508A (zh) * 2020-12-24 2021-04-06 深圳市杉川机器人有限公司 一种物体识别方法、装置及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115947237A (zh) * 2023-03-08 2023-04-11 杭州未名信科科技有限公司 一种吊具控制系统和方法
CN117299596A (zh) * 2023-08-14 2023-12-29 江苏秦郡机械科技有限公司 一种自动检测的物料筛选系统及其筛选方法
CN117299596B (zh) * 2023-08-14 2024-05-24 江苏秦郡机械科技有限公司 一种自动检测的物料筛选系统及其筛选方法

Also Published As

Publication number Publication date
CN113763369B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN113763369B (zh) 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN111844019B (zh) 一种机器抓取位置确定方法、设备、电子设备和存储介质
CN113901600B (zh) 智能塔吊起升负载平衡性的自动监测控制方法和系统
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN113911916B (zh) 用于智能塔吊的吊钩物料结合定位控制方法和系统
WO2021248270A1 (zh) 一种异源图像配准方法及系统
CN110222629A (zh) 一种钢铁场景下的包号识别方法以及包号识别系统
CN113379712B (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN112249898B (zh) 钢筋骨架构件的吊装姿态调整方法、装置及电子设备
CN113911922B (zh) 智能塔吊回转全过程状况监测传感方法和系统
WO2022117118A1 (zh) 基于机器视觉的低倍酸蚀缺陷自动识别与评级的方法及系统
CN113255626B (zh) 一种基于扫描图像分析的智能塔吊结构状态检测方法和装置
CN111008561A (zh) 一种牲畜的数量确定方法、终端及计算机存储介质
CN111985338A (zh) 一种绑扎点识别方法、装置、终端和介质
CN112036336B (zh) 一种基于ai智能图像分析的工程监测方法及系统
CN109579934A (zh) 水浸多重监测方法及系统
CN109496326A (zh) 一种图像处理方法、设备及系统
CN112991327A (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
CN114604764B (zh) 用于智能塔吊吊钩的松开自动检测控制方法及其装置
CN116727691A (zh) 基于数字化管理的金属3d打印方法及系统
CN114913246B (zh) 相机标定方法、装置、电子设备及存储介质
CN115682970A (zh) 一种基于双目视觉的钢筋间距的测量方法和系统
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备
CN112053339B (zh) 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant