CN113160220A - 一种基于深度学习的检测门把手归位和弯曲的方法 - Google Patents

一种基于深度学习的检测门把手归位和弯曲的方法 Download PDF

Info

Publication number
CN113160220A
CN113160220A CN202110522549.7A CN202110522549A CN113160220A CN 113160220 A CN113160220 A CN 113160220A CN 202110522549 A CN202110522549 A CN 202110522549A CN 113160220 A CN113160220 A CN 113160220A
Authority
CN
China
Prior art keywords
door handle
doorknob
homing
mask
bending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110522549.7A
Other languages
English (en)
Inventor
赵准登
彭智浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202110522549.7A priority Critical patent/CN113160220A/zh
Publication of CN113160220A publication Critical patent/CN113160220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及到图像处理技术领域，具体公开了一种基于深度学习的检测门把手归位和弯曲的方法。步骤1：基于目标检测模型和语义分割模型，获取门把手掩膜；步骤2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；步骤3.设定角度阈值θ_Thresh和高宽比阈值Ratio，分别判断门把手归位及发生变形弯曲情况。本发明将深度学习应用到门把手检测中，能够高效的判断门把手归位和弯曲的状况。此外，本发明结合检测后分割，能准确分割出门把手区域的mask，通过mask从而对门把手的状态进行准确判断。

Description

一种基于深度学习的检测门把手归位和弯曲的方法
技术领域
本发明涉及图像识别技术领域，特别涉及一种基于深度学习的检测门把手归位和弯曲的方法。
背景技术
随着世界贸易的快速发展，港口已成为这条贸易的关键节点，而集装箱作为载体发挥至关重要的作用，门把手作为集装箱最为关键的保护因素具有防盗保护货物的功能，在物流运输中起到重要的作用，到目前判断门把手是否归位或者是否弯曲是通过人工目测来判断，但人工成本太高，并且人工判断不准确。因此有必要对门把手归位和弯曲的检测提出一种新的方法。
发明内容
本发明的目的在于提供一种基于深度学习的检测门把手归位和弯曲的方法，用以解决现有技术中通过人工目测来判断，人工成本太高且判断不准确等缺陷。
一种基于深度学习的检测门把手归位和弯曲的方法，包括以下步骤：
1.基于目标检测模型和语义分割模型，获取门把手掩膜；
2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；
3.设定角度阈值θ_Thresh，获取门把手正常位置的最小外接矩形宽与x轴正方向的夹角θ_Origin，并设定高宽比阈值Ratio，分别判断门把手归位及发生变形弯曲情况：当|θ-θ_Origin|>θ_Thresh，说明门把手未归位，反之则已归位；当w/h<Ratio则说明门把手发生变形弯曲，反之则没有。
进一步地，本发明所述检测门把手归位和弯曲的方法中：所述目标检测模型构建方法为：采集标准门图像，标注门把手区域及轮廓，然后基于图像和门把手区域标签并训练门把手目标检测模型。
进一步地，本发明所述检测门把手归位和弯曲的方法中：所语义分割模型构建方法为：采集标准门图像，标注门把手区域及轮廓，裁剪并生成门把手轮廓的标注，然后对裁剪图像和对应的标签训练门把手语义分割模型。
进一步地，本发明所述检测门把手归位和弯曲的方法中：所述步骤1中获取门把手掩膜的过程为：对裁剪图像进行语义分割，分割出门把手区域的0-1二值掩膜，对掩膜进行连通域分析，实例化出每个门把手区域。
相对于现有技术，本发明的有益效果为：
1.本发明将深度学习应用到门把手检测中，能够高效的判断门把手的归位和弯曲状况。
2.本发明将通过先检测后分割，克服了仅单一的目标检测或者语义分割造成检测结果或者分割结果不够准确、不能够直接通过检测结果判断门把手一些具体特性等缺陷，从而能准确分割出门把手区域的mask，通过mask从而对门把手的状态进行准确判断。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明基于深度学习的检测门把手归位和弯曲的方法流程图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
本发明提出的一种基于深度学习的检测门把手归位和弯曲的方法，包括以下步骤：
1.基于目标检测模型和语义分割模型，获取门把手掩膜；
2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；
3.设定角度阈值θ_Thresh和高宽比阈值Ratio，分别判断门把手归位及发生变形弯曲情况：当|θ|>θ_Thresh，说明门把手未归位，反之则已归位；当w/h<Ratio则说明门把手发生变形弯曲，反之则没有。
在本发明中，检测门把手归位和弯曲的方法中：目标检测模型构建方法为：采集标准门图像，标注门把手区域及轮廓，然后基于图像和门把手区域标签并训练门把手目标检测模型。
在本发明中，检测门把手归位和弯曲的方法中，语义分割模型构建方法为：采集标准门图像，标注门把手区域及轮廓，裁剪并生成门把手轮廓的标注，然后对裁剪图像和对应的标签训练门把手语义分割模型。
在本发明中，检测集装箱门把手归位和弯曲的方法中：获取门把手掩膜的过程为：对裁剪图像进行语义分割，分割出门把手区域的0-1二值掩膜，对掩膜进行连通域分析，实例化出每个门把手区域。
在本发明中，角度阈值θ_Thresh和高宽比阈值Ratio根据具体的情况可以选择设定值，以满足门把手归位和弯曲识别度的需要。
以下以集装箱门把手为例，阐述一种基于深度学习的检测门把手归位和弯曲的方法，具体如下：
1.从现场采集1000张集装箱箱面图像，，并用lableImg标注门把手区域，用labelme标注门把手轮廓，随机600张作为训练集，200张作为测试集，200张作为训练集。
2.用yolov5s目标检测模型训练门把手区域检测，其中训练周期设置为300，并采用coco数据集上的预训练模型。
3.裁剪门把手区域图像，并生成门把手轮廓的标签，用unet语义分割模型训练门把手分割模型。
4.通过吊具绳长信号取现场摄像头的视频帧输入检测模型，取置信度大于0.6的检测框得到门把手区域，再把门把手区域图像输入语义分割模型中，取阈值大于0.5的像素点得到门把手的mask。
5.通过门把手的mask进行连通域分析实例化每个门把手，得到其最小外接矩形的两个边长a，b，令矩形的宽w＝max(a,b)，矩形的长h＝min(a,b)，并且取矩形的宽与x轴正向的夹角θ。
6.取Ratio＝5，当w/h>Ratio时，说明门把手未弯曲，反之则说明门把手弯曲。
7.取θ_Thresh＝10°，同时获取门把手正常位置的最小外接矩形宽与x轴正方向的夹角θ_Origin，当|θ-θ_Origin|<θ_Thresh时，说明门把手已归位，反之说明门把手未归位。
目前通过上述方法判断门把手是否正常比直接通过yolov5s检测门把手是否弯曲或变形的准确率有很大的提升。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (4)

1.一种基于深度学习的检测门把手归位和弯曲的方法，包括以下步骤：
步骤1.基于目标检测模型和语义分割模型，获取门把手掩膜；
步骤2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；
步骤3.设定角度阈值θ_Thresh，获取门把手正常位置的最小外接矩形宽与x轴正方向的夹角θ_Origin，并设定高宽比阈值Ratio，分别判断门把手归位及发生变形弯曲情况：当|θ-θ_Origin|>θ_Thresh，说明门把手未归位，反之则已归位；当w/h<Ratio则说明门把手发生变形弯曲，反之则没有。
2.根据权利要求1所述的检测门把手归位和弯曲的方法，其特征在于，所述目标检测模型构建方法为：采集标准门图像，标注门把手区域及轮廓，然后基于图像和门把手区域标签并训练门把手目标检测模型。
3.根据权利要求1所述的检测门把手归位和弯曲的方法，其特征在于，所语义分割模型构建方法为：采集标准门图像，标注门把手区域及轮廓，裁剪并生成门把手轮廓的标注，然后对裁剪图像和对应的标签训练门把手语义分割模型。
4.根据权利要求1所述的检测门把手归位和弯曲的方法，其特征在于，所述步骤1中获取门把手掩膜的过程为：对裁剪图像进行语义分割，分割出门把手区域的0-1二值掩膜，对掩膜进行连通域分析，实例化出每个门把手区域。
CN202110522549.7A 2021-05-13 2021-05-13 一种基于深度学习的检测门把手归位和弯曲的方法 Pending CN113160220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110522549.7A CN113160220A (zh) 2021-05-13 2021-05-13 一种基于深度学习的检测门把手归位和弯曲的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110522549.7A CN113160220A (zh) 2021-05-13 2021-05-13 一种基于深度学习的检测门把手归位和弯曲的方法

Publications (1)

Publication Number Publication Date
CN113160220A true CN113160220A (zh) 2021-07-23

Family

ID=76874860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522549.7A Pending CN113160220A (zh) 2021-05-13 2021-05-13 一种基于深度学习的检测门把手归位和弯曲的方法

Country Status (1)

Country Link
CN (1) CN113160220A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407777A (zh) * 2022-08-31 2022-11-29 深圳银星智能集团股份有限公司 分区优化方法及清洁机器人
CN115482534A (zh) * 2022-09-29 2022-12-16 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407777A (zh) * 2022-08-31 2022-11-29 深圳银星智能集团股份有限公司 分区优化方法及清洁机器人
CN115482534A (zh) * 2022-09-29 2022-12-16 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统
CN115482534B (zh) * 2022-09-29 2023-06-02 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统

Similar Documents

Publication Publication Date Title
CN108090423B (zh) 一种基于热力图和关键点回归的深度车牌检测方法
CN108596221B (zh) 标尺读数的图像识别方法及设备
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
CN113160220A (zh) 一种基于深度学习的检测门把手归位和弯曲的方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
CN113192037A (zh) 一种皮带机监测方法、系统、介质及电子终端
CN112067618A (zh) 一种基于图形化的产品质量缺陷采集分析系统
CN112597926A (zh) 基于fod影像对飞机目标的识别方法、设备、存储介质
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN116524205A (zh) 一种污水曝气自动检测识别方法
CN112198170B (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN116508057A (zh) 图像识别方法、装置和计算机可读存储介质
CN109389616A (zh) 一种蚕茧图像背景分割方法
CN115619799B (zh) 一种基于迁移学习的晶粒图像分割方法及系统
CN110322508A (zh) 一种基于计算机视觉的辅助定位方法
CN112329770B (zh) 一种仪表刻度识别方法及装置
CN116310294A (zh) 一种地铁列车螺栓松动检测方法及装置
CN115760898A (zh) 一种混合高斯域下道路抛洒物的世界坐标定位方法
CN113313016B (zh) 摄像头脏污识别方法、电子设备及车辆
CN115049641A (zh) 一种用于机械零件异常检测的电数据处理方法及系统
CN115457563A (zh) 一种零漏检兼低误识的船体水尺读取方法
CN115311625A (zh) 一种判断目标是否接触输电线路的监控方法
CN111046878B (zh) 一种数据处理方法、装置及计算机存储介质和计算机
CN112149579A (zh) 一种基于改进yolo_v3的鸟巢隐患检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination