CN110415221A - 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法 - Google Patents

一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法 Download PDF

Info

Publication number
CN110415221A
CN110415221A CN201910629691.4A CN201910629691A CN110415221A CN 110415221 A CN110415221 A CN 110415221A CN 201910629691 A CN201910629691 A CN 201910629691A CN 110415221 A CN110415221 A CN 110415221A
Authority
CN
China
Prior art keywords
matching
feature
subgraph
characteristic point
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910629691.4A
Other languages
English (en)
Other versions
CN110415221B (zh
Inventor
郭璠
张泳祥
唐宇翀
朱湘源
朱洪
唐琎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910629691.4A priority Critical patent/CN110415221B/zh
Publication of CN110415221A publication Critical patent/CN110415221A/zh
Application granted granted Critical
Publication of CN110415221B publication Critical patent/CN110415221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法,该方法包含以下步骤:步骤A:选取尚未开始起吊的图像作为基准图像,选取实时视频帧作为对比图像,并且对选取出的两幅图像进行网格划分;步骤B:对两幅图像上相应位置的子图进行特征点提取和特征点匹配,获得匹配特征点对;步骤C:以每组子图上匹配特征点对在y方向上的位置偏移量中值和该中值对应的特征点对数量作为该组子图的特征;步骤D:按列组合两幅图像各组子图的特征,建立数学模型进行集卡车防吊起的自动检测。本发明能实现集卡车防吊起的自动检测,准确性高。

Description

一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
技术领域
本发明属于图像信息处理领域,具体涉及一种基于图像特征点匹配的集卡车防吊起自动检测方法。
背景技术
随着经济全球化的脚步不断加快,世界各国的集装箱吞吐量保持逐年增张。如今集装箱码头及堆场一般采用集装箱龙门式起重机(简称龙门吊)进行集装箱的装卸作业。在龙门吊对集装箱卡车(简称为集卡车)进行卸车作业之前,需要事先将集卡车上的锁销解锁。若锁销未能全部解锁,那么在集装箱吊被起的过程中集卡车会被一并吊起,导致集卡车倾覆车辆损坏,严重时甚至会危及集卡车司机的生命安全。由于作业环境复杂,龙门吊司机视野范围有限,导致龙门吊司机作业时无法及时地看到集卡车的锁销是否全部解锁;再加上龙门吊司机连续在单一枯燥的环境中作业容易疲劳,造成集装箱装卸作业过程中事故频发。因此,设计出可靠的集卡车防吊起自动检测系统非常重要。
现有的集卡车防吊起检测方法有基于人工监控、激光测距、光电开关和基于图像处理的车轮检测等方法。
1)基于人工监控的集卡车防吊起系统:该方法利用集装箱卸车作业过程中的视频实时监控,需要人工通过监视画面不断的观察集装箱和集卡车是否完全分离(载于港口科技动态,2004年,第2卷)。这种方法需要人工持续作业,人工持续作业容易疲劳,容易导致装卸作业事故发生。
2)基于激光测距的集卡车防吊起系统:该方法利用激光扫描测距仪对集卡车和集装箱之间的间隙进行扫描,检测在一定时间内集卡车和集装箱是否分离。基于上述原理,陈金波等人发明一种用于轨道吊机的集装箱卡车防误吊起系统及方法(专利公开号为CN104386582A),在激光测距的基础上通过几何约束原则找出集装箱和集卡车的相对位置,从而判断集装箱起吊过程中集卡车是否被吊起。该方法能适应不同集卡车高度的变化,具有全天候自动检测功能,并且便于安装和实施,但是由于硬件的损耗过快,该方法成本过高且需要频繁地进行维护。
3)基于光电开关的集卡车防吊起系统:该方法利用安装在龙门吊边柱上的传感器检测是否有障碍物存在,判断集卡车是否被吊起。在集装箱被吊起的过程中,若传感器检测不到障碍物则继续正常作业;反之,则说明集卡车被吊起。这类方法的典型代表是盐田国际集装箱码头有限公司提出的龙门起重机的防拖架吊起保护系统(载于起重运输机械,2005年,第1卷)和上海盛东国际集装箱码头有限公司提出的集装箱轮胎防误吊集卡测控装置(载于港口科技动态,2005年,第9卷)。这类方法无法自适应集卡车高度的变化,实际使用时需要调整传感器高度。
4)基于车轮检测的集卡车防吊起系统:袁露露根据车轮形状特征提出两种有效弧段的筛选策略,排出无效的边缘信息,得到最终的车轮弧段特征,然后使用最小二乘法进行车轮检测,根据检测到的车轮位置判断集卡车是否被吊起(华中科技大学,2017年硕士论文)。该方法计算复杂依赖于车轮的定位,不同视频帧之间的车轮定位偏差会导致判断不准确。
在此背景下,设计一种能够实现自动检测,且运行成本低、易维护、鲁棒性强,准确性高的集卡车防吊起检测方法尤为重要。
发明内容
本发明所要解决的技术问题是,针对现有技术的不足,提供一种基于图像特征点匹配的集卡车防吊起自动检测方法,能实现集卡车防吊起的自动检测,准确性高。
本发明所采用的技术方案如下:
一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法,包括训练阶段和检测阶段;
所述训练阶段包括以下步骤:
步骤A1:选取集装箱尚未开始起吊时的集卡车图像作为基准图像样本,选取多张对比图像样本,选取的对比图像样本包括两类,一类是集装箱起吊过程中集卡车未被吊起的图像,另一类是集装箱起吊过程中集卡车被吊起的图像;
步骤A2:每次选取基准图像样本和一幅对比图像样本,对它们进行特征点提取和特征点匹配,得到它们的匹配特征点对;重复上述操作,得到基准图像样本和所有对比图像样本的匹配特征点对;
步骤A3:以基准图像样本和对比图像样本的匹配特征点对间的位置偏移量数据为输入,对比图像样本的分类数据为输出,建立并训练集卡车防吊起自动检测模型;
所述检测阶段包括以下步骤:
步骤B1:对于待检测的集卡车,对其进行视频采集,选取集装箱尚未开始起吊时的图像作为基准图像,选取实时采集的图像帧作为对比图像;
步骤B2:对选取的基准图像和对比图像进行特征点提取和特征点匹配,得到它们的匹配特征点对;
步骤B3:匹配特征点对间的位置偏移量数据输入训练好的集卡车防吊起自动检测模型,以判断该集卡车在集装箱起吊过程中是否被吊起。
进一步地,所述步骤A2和步骤B2中,对两幅图像进行特征点提取和特征点匹配,得到它们的匹配特征点对的方法为:
对两幅图像分别进行N×M的网格划分,分别得到NM个子图;
将两幅图像上相同位置的子图作为一组;对每组子图,分别进行特征点提取和特征点匹配,得到各组子图间的匹配特征点对。
该集卡车防吊起自动检测算法是基于特征点匹配的方法,若直接进行整幅图像的特征点匹配,存在特征点分布不均匀的问题,无法进行状态判断。因此本发明将要进行匹配的两幅图像根据其尺寸进行N×M的网格划分,得到NM个子图,然后在各个子图中进行特征点匹配。这相当于强制性地实现了在图像的不同区域进行特征点匹配,使得我们可以得到图像上各个区域中匹配的特征点对,为之后检测集卡车的状态提供依据。
进一步地,对每一组子图,进行特征点提取和特征点匹配,得到其匹配特征点对的方法为:
1)使用ORB算法进行特征点提取;
ORB(Oriented Fast and Rotated BRIEF)算法是一种基于图像信息的快速特征点检测和描述算法,具有很好的旋转不变性。ORB算法包括oFAST算法和rBRIEF算法,oFAST算法用于检测特征点,rBRIEF算法用于计算特征点的描述子。
2)在获得两幅图像的ORB特征点之后,需要对得到的特征点进行匹配。本发明使用由粗到精的匹配方法,即先使用BF(Brute Force)算法进行特征点的粗略匹配,然后使用GMS(Grid-based Motion Statistics)算法消除BF算法的匹配结果存在的错误匹配特征点对,得到高质量的匹配特征点对。
进一步地,为了得到两幅图像上各子子图中高质量的ORB特征点,并且兼顾算法的实时性,从高到低地调整oFAST算法中的角点检测阈值,并且设置oFAST算法中角点个数上限nt。调整角点检测阈值具体实现方法是:首先根据经验设置一个oFAST算法中的角点检测阈值区间(Tl,Th],在此阈值区间内由高到低进行采样得到当前角点响应阈值Tc,获得在当前角点响应阈值Tc下,各子图图像中的ORB特征点。
对每一组子图,采用ORB算法进行特征点提取,BF算法和GMS算法进行特征点匹配,得到其匹配特征点对的方法具体为:
1)设置角点检测阈值区间(Tl,Th]和角点个数上限nt
2)初始化当前角点检测阈值Tc=Th
3)采用oFAST算法分别两幅子图进行特征点检测,得到两幅子图中的特征点,并采用rBRIEF算法计算各特征点的描述子;
4)基于各特征点的描述子,先采用BF算法对两幅子图上的特征点进行粗略匹配,然后使用GMS算法消除BF算法匹配结果中的错误匹配特征点对,得到最终的匹配特征点对,匹配特征点对数量记为M'n
5)判断M'n是否大于或等于设定阈值M′th,若是,则认为在当前角点检测阈值Tc下已经获得了足够多的匹配特征点对,停止该组子图的特征点匹配;否则,先判断当前角点检测阈值Tc是否小于或等于Tl,若是,则认为此时得到的角点的可信度已经较低,则停止对角点响应阈值Tc采样,停止该组子图的特征点匹配,否则降低当前角点检测阈值Tc,令Tc=α·Tc,其中α为采样系数,并返回步骤3)重新进行上述步骤,直到停止该组子图的特征点匹配。
进一步地,所述步骤A3和步骤B3中,对于两幅图像上每组子图,分别计算其各个匹配特征点对间的位置偏移量,以位置偏移量的中值和该中值所对应的匹配特征点对数量作为该组子图的特征;以两幅图像上各组子图的特征作为集卡车防吊起自动检测模型的输入。
进一步地,所述匹配特征点对间的位置偏移量取它们在y方向上的位置偏移量。
进一步地,对于每一组子图,若通过步骤A2/步骤B2得到其最终的匹配特征点对数量M'n大于或等于设定阈值M′th,则选取出匹配程度最高的M′th个匹配特征点对作为候选特征点对Spoints;否则,保留其所有最终的匹配特征点对作为候选特征点对Spoints
所述步骤A3/步骤B3中,对于每一组子图,计算Spoints中每个匹配特征点对在y方向上的位置偏移量(单位为像素点数),并且统计各位置偏移量对应的特征点对数量;为了避免该组子图中存在区域性的密集特征匹配点对影响结果,如静止的背景图像被密集匹配,因此选择该组子图中匹配特征点对在y方向上的位置偏移量的中值Fy,和该中值对应的匹配特征点对数量(即在y方向上的位置偏移量等于该中值的匹配特征点对的个数)Fn,作为该组子图的特征,用(Fy,Fn)来表示;本发明对两幅图像进行了N×M的网格划分,因此共得到NM组特征,记为其中i={1,2,…,MN}为子图编号,子图按其在原图中的位置从左至右、从上至下编号;
进一步地,所述步骤A3/步骤B3中,把NM组特征按照其对应的子图所在的列划分为M组(将属于同一列子图的特征划分为一组),一组特征组合为一个检测对象,检测对象的特征即为其中i={1,2,…,M}代表检测对象对应的子图列号;
为剔除异常检测对象,设置特征点对数量的判断阈值时说明该检测对象的某个子图的特征点对较少,不足以支撑判断模型的结果,剔除该检测对象。
在训练过程中,人工对每个检测对象样本进行打标签,若其对应集卡车未被吊起的正常情况,则其标签为0,若其对应集卡车被吊起的异常情况,则其标签为1,得到样本集;
由于该集卡车状态只有未被吊起的正常情况和被吊起的异常情况,共两种状态。因此在得到训练数据之后,使用逻辑回归(Logistic Regression)模型构建集卡车防吊起自动检测模型;逻辑回归模型的函数式如下:
其中,Hθ(x)表示模型输出的检测对象标签为1的概率,θ01,...,θ2N+1为模型需要求解的参数,x=(x1,x2,...,x2N)为检测对象的特征;
使用交叉熵作为损失函数,并使用梯度下降法进行求解;损失函数如下式:
其中,K表示检测对象样本总数量,xk表示第k个检测对象样本的特征,yk表示第k个检测对象样本的真实标签。
经过训练,使逻辑回归模型收敛,即模型可以较好地拟合训练集之后,即可使用模型进行分类。
设置判定阈值pt,对模型的输出结果进行分类;当模型的输出Hθ(x)<pt时,输出为0,即集卡车状态为正常,集卡车未被吊起;当模型的输出Hθ(x)≥pt时,输出为1,即集卡车状态异常,集卡车被吊起,即模型的分类规则如下:
由于把图像划分为N×M的网格,并按子图(网格)所在的列组合特征,因此一幅对比图像可以得到M个检测对象,设剔除异常检测对象后,还剩下M′个检测对象;将M′个检测对象的特征分别输入训练好的逻辑回归模型,输出相应的Hθ(x)值;按照上述分类规则,可以得到M′个分类结果reslut1,reslut2,…,reslutM,融合这M′个分类结果,确定最终的分类;在融合M′个分类结果时,设定当M′个分类结果都为0时,判断当前集卡车状态正常,否则判断当前集卡车状态异常。
有益效果
本发明公开了一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法,使用图像处理技术中的特征匹配方法实现集卡车防吊起的自动检测,解决了已有集卡车防吊起检测需要人工持续作业的问题、受硬件条件限制和特征区域定位精度较低的问题,实现了集装箱和集卡车分离的自动化检测。本发明运行速度快,鲁棒性好,而且不需要人工干预,可以24小时运行,具有很强的通用性。根据基准图像和对比图像进行网格划分,得到多个子图,强制性地在不同子图匹配特征点,提取各组子图上的匹配特征点对在y方向上的位置偏移量的中值和该中值对应的特征点对数量,建立并训练数学模型,进而进行集卡车防吊起的自动检测,降低成本低,准确性高,提高了运输效率,该方法可以广泛应用于各种环境下的集卡车防吊起检测。
附图说明
图1为本发明实施例中检测方法原理图;
图2为本发明实施例中检测方法的流程图;
图3为本发明实施例中对每幅对比图像进行特征提取的流程图;
图4为本发明实施例中使用的逻辑回归sigmoid函数图像,为图(a);sigmoid函数一阶导数函数图像,为如图(b);
图5为本发明实施例中基准图像和对比图像的某个网格子图进行特征点匹配的示意图;
图6为实施例1白天环境下集装箱装卸作业时检测图像划分3×3网格之后特征点匹配的结果,其中图(a)为基准图像,图(b)为对比图像;
图7为实施例2雨天环境下集装箱装卸作业时检测图像划分3×3网格之后特征点匹配的结果,其中图(a)为基准图像,图(b)为对比图像;
图8为实施例3夜晚环境下集装箱装卸作业时检测图像划分3×3网格之后特征点匹配的结果,其中图(a)为基准图像,图(b)为对比图像;
具体实施方式
下面结合附图说明对本发明做进一步说明:
实施例1:
本实施例是针对白天环境下集装箱装卸作业时的检测图像,整体实施流程如图2所示,其集卡车防吊起自动检测按如下步骤进行:
步骤A:选取尚未开始起吊的图像作为基准图像,选取实时视频帧作为对比图像,并且将选取出的两幅图像划分成3×3的网格;
首先在收到龙门吊的“开始起吊”信号之后,立刻对实时视频流进行采样,由于起吊过程的延时性,此时采集到的图像为尚未起吊的图像,即可把当前图像作为基准图像。
接着将基准图像和对比图像划分成3×3的9个子图,在划分时,首先进行均匀划分,若均匀划分所得的子图顶点坐标不在原始图像上像素点的顶点位置,则进行取整操作,将子图顶点移动至与其最近的像素点顶点位置,最终将原始图像划分成9个子图。强制性地实现在图像的不同区域进行特征点匹配,以得到图像各个区域中像素点的移动值,为之后检测集卡车的状态提供依据。
步骤B:由步骤A分别对两幅图像进行3×3网格划分,按照相应位置的子图进行特征点提取和特征点匹配。
分别对两幅图像的不同子图进行特征点检测和描述,得到ORB特征点,其中oFAST算法的角点检测阈值范围Th=9,Tl=2。初始的当前角点检测阈值Tc=Th,设置oFAST算法中角点个数上限nt为2000个,以控制角点的质量和数量。得到ORB特征点后使用BF匹配算法进行粗略地特征点匹配,之后使用GMS算法消除匹配错误的特征点对,得到高质量的匹配特征点。
进行完上述的特征点匹配步骤之后,检测当前子图匹配得到的特征点对数目是否大于等于M′th,本实施例中设置M′th=100。若匹配特征点对的数目足够100,则结束当前网格的特征点检测,保留距离匹配最近的前100个点对;否则设置Tc=α·Tc,本实施例中设置α=0.9,再次进行上述的特征点检测和特征点匹配,直到Tc≤Tl或匹配特征点对的数目足够100。匹配示意结果如图3所示。
步骤C:由步骤B获得两幅图像对应子图的匹配特征点对,计算各个对应子图的匹配特征点对在y方向上位置偏移量的中值和位置偏移量的中值所对应的特征点对数量作为特征
在获得各子子图的匹配特征点对之后,提取匹配特征点对在y方向上位置偏移量的中值Fy和在y方向上位置偏移量等于该中值Fy的特征点对的数量Fn,每幅图像被划分为3×3的网格,因此可以得到9组
步骤D:按列组合由步骤C获得的两幅图像各个对应子图的特征,测试建立的数学模型,进行集卡车防吊起的检测;
由步骤C得到当前两幅图像的9组然后按照子图所在的列,进一步将这9组划分为三组,一组特征组合即为一个检测对象,即每个检测对象样本为其中i={1,2,3}。
为剔除异常检测对象,设置特征点对数量的判断阈值时说明该检测对象的某个子图的特征点对较少,不足以支撑判断模型的结果,剔除该检测对象;
在训练过程中,人工对每个检测对象样本进行打标签,若其对应集卡车未被吊起的正常情况,则其标签为0,若其对应集卡车被吊起的异常情况,则其标签为1,得到样本集;
剔除异常样本后,使用逻辑回归(Logistic Regression)模型构建集卡车防吊起自动检测模型;逻辑回归模型的函数式如下:
其中,Hθ(x)表示模型输出的检测对象标签为1的概率,θ01,...,θ2N+1为模型需要求解的参数,x=(x1,x2,...,x2N)为检测对象的特征;
使用交叉熵作为损失函数,并使用梯度下降法进行求解;损失函数如下式:
其中,K表示检测对象样本总数量,xk表示第k个检测对象样本的特征,yk表示第k个检测对象样本的真实标签。
经过训练,使逻辑回归模型收敛,即模型可以较好地拟合训练集之后,即可使用模型进行判断。
选取实时视频帧作为对比图像,采用上述方案获得其对应的检测对象,并使用训练好的模型进行判断。设置判定阈值pt=0.7,得到实例1中对比图像的三列判断结果分别为{0,1,1},即实例1中集卡车的状态为被吊起,为异常状态。
基于对由于集卡车防吊起自动检测系统要求很高的实时性,本发明使用基于图像处理的特征点匹配的方法,所以在所述步骤B1中,使用尚未开始起吊的图像作为基准图像,之后每隔10帧对实时视频流进行一次采样,获得要进行对比的对比图像。
实施例2:
该实例对雨天环境下集装箱装卸作业的图像进行检测,图7(a)为基准图像,图7(b)为对比图像(大小为600×800)。
按照实施例1中同样的检测方法,可以得到实施例2中对比图像的三列判断结果分别为{0,0,0},即实例2中集卡车的状态为未被吊起,为正常状态。
实施例3:
该实例对夜晚环境下集装箱装卸作业的图像进行检测,图8(a)为基准图像,图8(b)为对比图像(大小为600×800)。
按照实施例1中同样的检测方法,可以得到实例3中对比图像的三列判断结果分别为{0,0,0},即实例3中集卡车的状态为未被吊起,为正常状态。
需要说明的是,以上公开的仅为本发明的具体实例,根据本发明提供的思想,本领域的技术人员能思及的变化,都应落入本发明的保护范围内。

Claims (9)

1.一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,包括训练阶段和检测阶段;
所述训练阶段包括以下步骤:
步骤A1:选取集装箱尚未开始起吊时的集装箱卡车图像作为基准图像样本;选取多张对比图像样本,选取的对比图像样本包括两类,一类是集装箱起吊过程中集装箱卡车未被吊起的图像,另一类是集装箱起吊过程中集装箱卡车被吊起的图像;
步骤A2:每次选取基准图像样本和一幅对比图像样本,对它们进行特征点提取和特征点匹配,得到它们的匹配特征点对;重复上述操作,得到基准图像样本和每一幅对比图像样本的匹配特征点对;
步骤A3:以基准图像样本和对比图像样本的匹配特征点对间的位置偏移量数据为输入,对比图像样本的分类数据为输出,建立并训练集装箱卡车防吊起自动检测模型;
所述检测阶段包括以下步骤:
步骤B1:对于待检测的集装箱卡车,对其进行视频采集,选取其集装箱尚未开始起吊时的图像作为基准图像,选取实时采集的图像帧作为对比图像;
步骤B2:对选取的基准图像和对比图像进行特征点提取和特征点匹配,得到它们的匹配特征点对;
步骤B3:将步骤B2得到的匹配特征点对间的位置偏移量数据输入训练好的集装箱卡车防吊起自动检测模型,以判断该集装箱卡车在集装箱起吊过程中是否被吊起。
2.根据权利要求1所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,所述步骤A2和步骤B2中,对两幅图像进行特征点提取和特征点匹配,得到它们的匹配特征点对的方法为:
对两幅图像分别进行N×M的网格划分,分别得到NM个子图;
将两幅图像上相同位置的子图作为一组;对每一组子图,分别进行特征点提取和特征点匹配,得到各组子图间的匹配特征点对。
3.根据权利要求2所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,对每一组子图,进行特征点提取和特征点匹配,得到其匹配特征点对的方法为:
1)使用ORB算法分别对两幅图像进行特征点提取,获得两幅图像上的特征点;
2)先使用BF算法对两幅图像上的特征点进行粗略匹配,然后使用GMS算法消除BF算法匹配结果中存在的错误匹配特征点对,得到最终的匹配特征点对。
4.根据权利要求3所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,对每一组子图,进行特征点提取和特征点匹配,得到其匹配特征点对的方法为具体为:
1)设置角点检测阈值区间(Tl,Th]和角点个数上限nt
2)初始化当前角点检测阈值Tc=Th
3)采用oFAST算法分别两幅子图进行特征点检测,得到两幅子图中的特征点,并采用rBRIEF算法计算各特征点的描述子;
4)基于各特征点的描述子,先采用BF算法对两幅子图上的特征点进行粗略匹配,然后使用GMS算法消除BF算法匹配结果中的错误匹配特征点对,得到最终的匹配特征点对,匹配特征点对数量记为M'n
5)判断M'n是否大于或等于设定阈值M'th,若是,则停止该组子图的特征点匹配;否则,先判断当前角点检测阈值Tc是否小于或等于Tl,若是,则停止该组子图的特征点匹配,否则降低当前角点检测阈值Tc,令Tc=α·Tc,其中α为采样系数,并返回步骤3)重新进行上述步骤,直到停止该组子图的特征点匹配。
5.根据权利要求4所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,所述步骤A3和步骤B3中,对于两幅图像上每组子图,分别计算其各个匹配特征点对间的位置偏移量,以位置偏移量的中值和该中值所对应的匹配特征点对数量作为该组子图的特征;以两幅图像上各组子图的特征作为集装箱卡车防吊起自动检测模型的输入。
6.根据权利要求5所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,所述匹配特征点对间的位置偏移量取它们在y方向上的位置偏移量。
7.根据权利要求5所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,对于每一组子图,若通过步骤A2/步骤B2得到其最终的匹配特征点对数量M'n大于或等于设定阈值M'th,则选取出匹配程度最高的M'th个匹配特征点对作为候选特征点对Spoints;否则,保留其所有最终的匹配特征点对作为候选特征点对Spoints
所述步骤A3/步骤B3中,对于每一组子图,计算Spoints中每个匹配特征点对在y方向上的位置偏移量,并且统计各位置偏移量对应的特征点对数量;选择该组子图中匹配特征点对在y方向上的位置偏移量的中值Fy,和该中值对应的匹配特征点对数量Fn,作为该组子图的特征,用(Fy,Fn)来表示;由NM组子图,得到NM组特征,记为其中i={1,2,…,MN}为子图编号,子图按其在原图中的位置从左至右、从上至下编号。
8.根据权利要求7所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,所述步骤A3/步骤B3中,把NM组特征按照其对应的子图所在的列划分为M组,一组特征组合为一个检测对象,检测对象的特征即为其中i=1,2,…,M代表检测对象对应的子图列号;
为剔除异常检测对象,设置特征点对数量的判断阈值若某一检测对象中的特征点对数量i∈{1,2,…,NM},则剔除该检测对象;
在训练过程中,人工对保留下来的每个检测对象样本进行打标签,若其对应集装箱卡车未被吊起的正常情况,则其标签为0,若其对应集装箱卡车被吊起的异常情况,则其标签为1,得到样本集;
基于样本集,使用逻辑回归模型构建集装箱卡车防吊起自动检测模型;逻辑回归模型的函数式如下:
其中,Hθ(x)表示模型输出的检测对象标签为1的概率,θ01,...,θ2N+1为模型需要求解的参数,x=(x1,x2,...,x2N)为检测对象的特征;
使用交叉熵作为损失函数,并使用梯度下降法进行求解模型参数;损失函数如下式:
其中,K表示检测对象样本总数量,xk表示第k个检测对象样本的特征,yk表示第k个检测对象样本的真实标签。
9.根据权利要求8所述基于图像特征点匹配的集装箱卡车防吊起自动检测方法,其特征在于,对当前对比图像,首先确定其对应的的M个检测对象,设剔除异常检测对象后,还剩下M′个检测对象,将这M′个检测对象的特征分别输入训练好的集装箱卡车防吊起自动检测模型,输出M′个相应的Hθ(x)值;
对于每个Hθ(x)值,分别按以下分类规则进行分类:
其中,pt为判定阈值,分类结果result=0,表示集装箱卡车未被吊起,分类结果result=1,表示集装箱卡车被吊起;
由此得到M′个分类结果;若M′个分类结果都为0,则判断当前集装箱卡车未被吊起,否则判断当前集装箱卡车被吊起。
CN201910629691.4A 2019-07-12 2019-07-12 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法 Active CN110415221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910629691.4A CN110415221B (zh) 2019-07-12 2019-07-12 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910629691.4A CN110415221B (zh) 2019-07-12 2019-07-12 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法

Publications (2)

Publication Number Publication Date
CN110415221A true CN110415221A (zh) 2019-11-05
CN110415221B CN110415221B (zh) 2022-02-08

Family

ID=68361293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910629691.4A Active CN110415221B (zh) 2019-07-12 2019-07-12 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法

Country Status (1)

Country Link
CN (1) CN110415221B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144489A (zh) * 2019-12-25 2020-05-12 视辰信息科技(上海)有限公司 匹配对滤除方法、装置、电子设备与存储介质
CN112733694A (zh) * 2021-01-04 2021-04-30 中南大学 一种基于orb特征的轨道铺设滚筒的识别方法与系统
CN114363585A (zh) * 2022-03-21 2022-04-15 南通阳鸿石化储运有限公司 基于网格化管控的智能视频安全监控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180056A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 视频中片段的匹配方法和装置
CN107200274A (zh) * 2017-04-26 2017-09-26 江苏大学 一种基于机器视觉的防集装箱卡车被吊起方法
WO2017206182A1 (en) * 2016-06-03 2017-12-07 Schlumberger Technology Corporation Detecting events in well reports
US9892133B1 (en) * 2015-02-13 2018-02-13 Amazon Technologies, Inc. Verifying item attributes using artificial intelligence
US20180314906A1 (en) * 2017-04-27 2018-11-01 Washington University Systems and methods for detecting landmark pairs in images
CN109325510A (zh) * 2018-07-27 2019-02-12 华南理工大学 一种基于网格统计的图像特征点匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892133B1 (en) * 2015-02-13 2018-02-13 Amazon Technologies, Inc. Verifying item attributes using artificial intelligence
CN107180056A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 视频中片段的匹配方法和装置
WO2017206182A1 (en) * 2016-06-03 2017-12-07 Schlumberger Technology Corporation Detecting events in well reports
CN107200274A (zh) * 2017-04-26 2017-09-26 江苏大学 一种基于机器视觉的防集装箱卡车被吊起方法
US20180314906A1 (en) * 2017-04-27 2018-11-01 Washington University Systems and methods for detecting landmark pairs in images
CN109325510A (zh) * 2018-07-27 2019-02-12 华南理工大学 一种基于网格统计的图像特征点匹配方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TODOR STOYANOV: "No More Heavy Lifting: Robotic Solutions to the Container Unloading Problem", 《IEEE ROBOTICS & AUTOMATION MAGAZINE》 *
踏雪无痕JS: "机器学习 逻辑回归模型(logistic regression)", 《URL:HTTPS://BLOG.CSDN.NET/U013708703/ARTICLE/DETAILS/81082037》 *
郭璠 等: "基于多光源模型的夜晚雾天图像去雾算法", 《电子学报》 *
黄伟 等: "基于机器视觉的港口集装箱卡车防吊方法研究", 《软件导刊》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144489A (zh) * 2019-12-25 2020-05-12 视辰信息科技(上海)有限公司 匹配对滤除方法、装置、电子设备与存储介质
CN111144489B (zh) * 2019-12-25 2021-01-19 视辰信息科技(上海)有限公司 匹配对滤除方法、装置、电子设备与存储介质
CN112733694A (zh) * 2021-01-04 2021-04-30 中南大学 一种基于orb特征的轨道铺设滚筒的识别方法与系统
CN114363585A (zh) * 2022-03-21 2022-04-15 南通阳鸿石化储运有限公司 基于网格化管控的智能视频安全监控方法及系统

Also Published As

Publication number Publication date
CN110415221B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110415221A (zh) 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN101799434B (zh) 一种印刷图像缺陷检测方法
CN102305798B (zh) 基于机器视觉的玻璃缺陷的检测与分类方法
CN105893940B (zh) 基于边缘检测的集装箱起吊防撞定准系统的实现方法
CN104573659B (zh) 一种基于svm的驾驶员接打电话监控方法
CN108109137A (zh) 车辆部件的机器视觉检测系统及方法
EP1808018B1 (en) Image sensor annotation method and apparatus
CN108364291A (zh) 基于计算机视觉技术的原坯布快速检测方法
CN109754368A (zh) 一种桥梁质量检测中的裂缝拼接方法
CN103984961A (zh) 一种用于检测车底异物的图像检测方法
CN104809732A (zh) 一种基于图像比对的电力设备外观异常检测方法
CN111310645A (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
CN105225523B (zh) 一种车位状态检测方法及装置
CN109035195A (zh) 一种织物疵点检测方法
CN107679471A (zh) 基于视频监控平台的室内人员空岗检测方法
CN109335964B (zh) 一种集装箱旋锁检测系统及检测方法
CN106339677B (zh) 一种基于视频的铁路货车洒落物自动检测方法
CN103196789A (zh) 柴油车尾气烟度检测方法
CN111591715A (zh) 一种皮带纵向撕裂检测方法及装置
CN112001299B (zh) 一种隧道车指器和照明灯故障识别方法
CN109886931A (zh) 基于bp神经网络的轮速传感器齿圈表面缺陷检测方法
CN115082850A (zh) 基于计算机视觉的模板支架安全风险识别方法
CN110097538A (zh) 一种织机在线验布装置及疵点识别方法
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant