CN111401172B - 一种基于视频的港口吊装料包自动计数方法 - Google Patents

一种基于视频的港口吊装料包自动计数方法 Download PDF

Info

Publication number
CN111401172B
CN111401172B CN202010153127.2A CN202010153127A CN111401172B CN 111401172 B CN111401172 B CN 111401172B CN 202010153127 A CN202010153127 A CN 202010153127A CN 111401172 B CN111401172 B CN 111401172B
Authority
CN
China
Prior art keywords
packet
region
image
material packet
counting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010153127.2A
Other languages
English (en)
Other versions
CN111401172A (zh
Inventor
王新年
李源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202010153127.2A priority Critical patent/CN111401172B/zh
Publication of CN111401172A publication Critical patent/CN111401172A/zh
Application granted granted Critical
Publication of CN111401172B publication Critical patent/CN111401172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于视频的港口吊装料包自动计数方法，包括：训练得到料包模板，统计颜色特征；计数开启状态判定；检测与校正吊架区域；吊装料包排数判别；料包检测；建立料包跟踪模型，利用建立的料包跟踪模型对料包进行跟踪和预测；对料包跟踪模型得到的跟踪和预测结果进行置信度分析，获得料包计数结果。本发明的技术方案缓解了目前统计料包吊装过程中对人力需求过高的问题。本发明可以对吊装的起始，结束和空吊状态进行判定，并且准确的对料包吊装数量计数。

Description

一种基于视频的港口吊装料包自动计数方法
技术领域
本发明涉及吊装料包视频监控技术领域，具体而言，尤其涉及一种基于视频的港口吊装料包自动计数方法。
背景技术
近年来，货运港口吊装起重机使用率一直很高。港口吊装料包都是通过人工计数的传统模式，不仅耗费人工计数和记录，同时还不能对掉包的情况给与及时的警告。现场的情况复杂视野不够宽阔，若出现视觉死角就不能及时观测吊装运载情况。部分港口为吊装司机安装了摄像头，以此更好的观察吊装情况。但是这种措施并不能改善传统人工计数模式的弊端。吊装料包视频监控自动技术，可以从算法层面通过视频监控实现对吊装料包个数的实时计数，实时记录和掉包状态的实时警告。从而克服上述人工计数的传统模式的弊端。现有的塔机吊装视频监控系统中并没有特别针对料包计数进行的检测。现有的塔机吊装视频目标跟踪如下的方法：
以吊钩上的标志物为跟踪目标图像，通过实时检测目标物面积及质心变化实现自动变倍与跟踪，目标特征匹配以及目标搜索定位；针对塔机运行中晃动的情况，采用了颜色直方图和形状特征相结合，对现有的基于目标颜色直方图分布的均值平移跟踪算法进行了改进，实现了塔式起重机环境下的目标跟踪。
目前已有的方法存在以下缺陷：
(1)提取的特征是通用的，对于港口上摆放大量的同类货物的情况无法区分准确区分前背景。
(2)已有方法使用了迭代的方法，算法运行效率较差。
(3)已有方法无法实现货物料包计数或者掉包判断等更为复杂的操作。
发明内容
根据上述提出的技术问题，而提供一种基于视频的港口吊装料包自动计数方法。本发明可以对吊装的起始，结束和空吊状态进行判定，并且准确的对料包吊装数量计数。解决传统的人力计算吊装料包数量的问题，实现远程调度现场吊装。
本发明采用的技术手段如下：
一种基于视频的港口吊装料包自动计数方法，包括：
S1、训练得到料包模板，统计颜色特征；
S2、计数开启状态判定，判断读入的单帧图像是否处于符合开启计数的状态；
S3、检测与校正吊架区域，将读入的图像进行颜色特征提取，取得感兴趣区域，并旋转校正；
S4、吊装料包排数判别，计算料包和感兴趣区域的短轴长度比，并以此判定吊装起的料包排数；
S5、料包检测，对感兴趣区域进行模板匹配操作，并对产生的响应图进行筛选处理，获取检测结果；
S6、建立料包跟踪模型，利用建立的料包跟踪模型对料包进行跟踪和预测；
S7、对上述料包跟踪模型得到的跟踪和预测结果进行置信度分析；
S8、对上述置信度分析结果进行阈值筛选从而得到料包计数结果。
进一步地，所述步骤S1具体为：
S11、采用人工标记或自动标记方法离线在料包视频中选择多个料包区域作为料包形态样本，记为si,i＝1,…ns，ns表示样本个数；
S12、根据选择的料包形态样本，训练的到料包模板，记为T；所述训练的方式有如下四种：
T＝sq q∈[1,ns]
T＝sq
其中，g表示中心点为1，尺寸与样本尺寸一致的二维高斯函数，表示相关运算，h为图像中被料包形态样本sk覆盖的子图；
S13、根据料包形态样本，统计出其颜色分布范围。
进一步地，所述步骤S2具体为：
S21、对图像的灰度图二值化，对二值图做垂直投影得到其垂直投影向量；
S22、将垂直投影向量的每个点的数值和阈值VP做比较，若大于阈值VP则认为该点处于背景复杂区域，反之则处于非背景复杂区域；
S23、根据步骤S22中的比较结果，判断当前帧图像横轴方向中间区域是否处于干背景复杂区域，若不处于背景复杂区域，则开启计数状态，否则为关闭计数状态。
进一步地，所述步骤S3具体为：
S31、进行颜色空间转换，将RGB图像空间转换到HSV空间中；
S32、在HSV空间中，根据训练的料包形态颜色分布获取指定图像颜色特征的区域，并将其转换为二值图，对得到的二值图进行迭代膨胀操作；
S33、对膨胀操作后的二值图提取轮廓特征，得到吊架感兴趣区域；
S34、拟合出吊架长轴的斜率k，对斜率k进行限幅度操作，当斜率k的绝对值大于100时，令|k|＝100，根据k对原RGB图像旋转至长轴平行于图像坐标的纵轴方向，并裁剪图像只保留吊架感兴趣区域部分，得到感兴趣区域图像IROI。
进一步地，所述步骤S4具体为：
S41、对感兴趣区域图像IROI的灰度图做二值化处理，得到料包的范围，以该范围计算感兴趣区域内吊装起的全部料包的整体宽度，记为LP；
S42、计算感兴趣区域IROI的宽度，记为LR；
S43、计算整体宽度LP与感兴趣区域IROI的宽度LR之比r，即r＝Lp/LR，若r＞η，则认为该吊装料包为三排，若r＜η，则认为该吊装料包为两排，其中，η表示排数判定阈值。
进一步地，所述步骤S5具体为：
S51、对感兴趣区域图像作归一化互相关系数操作，并进行阈值处理，使得小于阈值的响应值等于零，获得其响应图并对响应图进行局部非极大值抑制从而检测料包个数；
S52、对响应图做响应值的降序排列；
S53、选取响应值最高的一点作为目标点A，计算以目标点A为中心，与模板同大小的方形区域和以排名相对该点靠后一名的点B为中心，与模板同大小的方形区域的交并比IoUA,B；
S54、对上述步骤中得到的交并比IoUA,B做阈值处理，如果IoUA,B＞IoUT，删除点B，其中，IoUT为阈值，更新响应值的降序排列；
S55、依照更新后的响应值降序排列，选择下一个目标点，重复步骤S52-S54，直到整个排列中没有任意两个点之间的交并比IoUA,B大于IoUT。
进一步地，所述步骤S6具体为：
S61、对料包坐标量化编号：
取检测料包在感兴趣区域图像IROI中的坐标(x,y)
S611、当步骤S4中吊装料包的判定结果为两排时，对料包的坐标做量化编号处理，料包的列编号C的计算公式为：
其中，WR为感兴趣区域的宽度，WT为模板宽度；求解料包的行编号，得到最终的编号S＝C_N；
S612、当步骤S4中吊装料包的判定结果为三排时，对料包的坐标做量化编号处理，料包的列编号C的计算公式为：
其中，WR为感兴趣区域的宽度，WT为模板宽度；求解料包的行编号，得到最终的编号S＝C_N；
S62、料包跟踪与预测：
S621、以编号S向料包跟踪模型结构填空，统计编号为S的料包出现帧数iS；
S622、遍历当前帧检测结果得出的料包编号和料包跟踪模型中先前帧已有料包的编号，比对寻找出先前帧出现但当前帧未出现的编号S，通过料包跟踪模型预测出该编号的料包在感兴趣区域图像IROI中的图像坐标，并对其连续未出现帧数fS作出统计。
进一步地，所述步骤S7具体为：
S71、对料包跟踪模型得到的跟踪和预测结果进行置信度分析，其计算公式为：
其中，α为加权系数，iS为检测到编号为S的料包的帧数，RS为当前帧通过步骤S5检测得到的编号为S的料包当前帧响应值，F为判断是否掉包的边界阈值，当连续未出现帧数增长至fS＝F时，判定编号为S的料包掉包；xS表示编号为S的料包当前帧检测到的横坐标，β为加权因子，/>dS表示编号为S的料包在当前帧坐标和上一帧坐标的欧几里得距离。
进一步地，所述步骤S8具体为：
S81、对PS做筛选，统计PS＞PT的料包个数，从而获得料包计数结果；其中，PT为筛选阈值。
现有技术相比，本发明具有以下优点：
本发明提供的基于视频的港口吊装料包自动计数方法，在算法层面上对吊机的吊装过程进行实时性的监控。可以对吊装的起始，结束和空吊状态进行判定，并且准确的对料包吊装数量计数。解决传统的人力计算吊装料包数量的问题，实现远程调度现场吊装。
基于上述理由本发明可在吊装料包视频监控等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明料包跟踪模型工作流程图。
图3为本发明实施例提供的双、三排料包跟踪模型编号及位置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种基于视频的港口吊装料包自动计数方法，包括：
S1、训练得到料包模板，统计颜色特征；
进一步的，作为本发明优选的实施方式，所述步骤S1具体为：
S11、采用人工标记或自动标记方法离线在料包视频中选择多个料包区域作为料包形态样本，记为si,i＝1,,ns，ns表示样本个数；选择的料包区域的表观形态要尽可能覆盖料包可能出现的形态；
S12、根据选择的料包形态样本，训练的到料包模板，记为T；所述训练的方式有如下四种：
T＝sq q∈[1,ns]
T＝sq
其中，g表示中心点为1，尺寸与样本尺寸一致的二维高斯函数，表示相关运算，h为图像中被料包形态样本sk覆盖的子图；在实施中，本例优选了第二种料包模板训练方式；
S13、根据料包形态样本，统计出其颜色分布范围。
S2、计数开启状态判定，判断读入的单帧图像是否处于符合开启计数的状态；
进一步的，作为本发明优选的实施方式，所述步骤S2具体为：
S21、对图像的灰度图二值化，对二值图做垂直投影得到其垂直投影向量；
S22、将垂直投影向量的每个点的数值和阈值VP做比较，若大于阈值VP则认为该点处于背景复杂区域，反之则处于非背景复杂区域；本实施例中，VP＝80。
S23、根据步骤S22中的比较结果，判断当前帧图像横轴方向中间区域是否处于干背景复杂区域，若不处于背景复杂区域，则开启计数状态，否则为关闭计数状态。
S3、检测与校正吊架区域，将读入的图像进行颜色特征提取，取得感兴趣区域，并旋转校正；
进一步的，作为本发明优选的实施方式，所述步骤S3具体为：
S31、进行颜色空间转换，将RGB图像空间转换到HSV空间中；
S32、在HSV空间中，根据训练的料包形态颜色分布获取指定图像颜色特征的区域，并将其转换为二值图，对得到的二值图进行迭代膨胀操作；本实施例中，迭代次数为7。
S33、对膨胀操作后的二值图提取轮廓特征，得到吊架感兴趣区域；
S34、拟合出吊架长轴的斜率k，对斜率k进行限幅度操作，当斜率k的绝对值大于100时，令|k|＝100，根据k对原RGB图像旋转至长轴平行于图像坐标的纵轴方向，并裁剪图像只保留吊架感兴趣区域部分，得到感兴趣区域图像IROI。
S4、吊装料包排数判别，计算料包和感兴趣区域的短轴长度比，并以此判定吊装起的料包排数；
进一步的，作为本发明优选的实施方式，所述步骤S4具体为：
S41、对感兴趣区域图像IROI的灰度图做二值化处理，得到料包的范围，以该范围计算感兴趣区域内吊装起的全部料包的整体宽度，记为LP；
S42、计算感兴趣区域IROI的宽度，记为LR；
S43、计算整体宽度LP与感兴趣区域IROI的宽度LR之比r，即r＝Lp/LR，若r＞η，则认为该吊装料包为三排，若r＜η，则认为该吊装料包为两排，其中，η表示排数判定阈值，本实施例中，η＝0.89。
S5、料包检测，对感兴趣区域进行模板匹配操作，并对产生的响应图进行筛选处理，获取检测结果；
进一步的，作为本发明优选的实施方式，所述步骤S5具体为：
S51、对感兴趣区域图像作归一化互相关系数操作，并进行阈值处理，使得小于阈值的响应值等于零，获得其响应图并对响应图进行局部非极大值抑制从而检测料包个数；
S52、对响应图做响应值的降序排列；
S53、选取响应值最高的一点作为目标点A，计算以目标点A为中心，与模板同大小的方形区域和以排名相对该点靠后一名的点B为中心，与模板同大小的方形区域的交并比IoUA,B；
S54、对上述步骤中得到的交并比IoUA,B做阈值处理，如果IoUA,B＞IoUT，删除点B，其中，IoUT为阈值，且在实施中IoUT＝0.13。更新响应值的降序排列；
S55、依照更新后的响应值降序排列，选择下一个目标点，重复步骤S52-S53，直到整个排列中没有任意两个点之间的交并比IoUA,B大于IoUT。
S6、建立料包跟踪模型，利用建立的料包跟踪模型对料包进行跟踪和预测；
进一步的，作为本发明优选的实施方式，如图2所示，所述步骤S6具体为：
S61、对料包坐标量化编号：
取检测料包在感兴趣区域图像IROI中的坐标(x,y)
S611、当步骤S4中吊装料包的判定结果为两排时，对料包的坐标做量化编号处理，料包的列编号C的计算公式为：
其中，WR为感兴趣区域的宽度，WT为模板宽度；求解料包的行编号，得到最终的编号S＝C_N；
S612、当步骤S4中吊装料包的判定结果为三排时，对料包的坐标做量化编号处理，料包的列编号C的计算公式为：
其中，WR为感兴趣区域的宽度，WT为模板宽度；求解料包的行编号，得到最终的编号S＝C_N；
S62、料包跟踪与预测：
S621、以编号S向如图3所示的料包跟踪模型结构填空，统计编号为S的料包出现帧数iS；
S622、遍历当前帧检测结果得出的料包编号和料包跟踪模型中先前帧已有料包的编号，比对寻找出先前帧出现但当前帧未出现的编号S，通过料包跟踪模型预测出该编号的料包在感兴趣区域图像IROI中的图像坐标，并对其连续未出现帧数fS作出统计。
S7、对上述料包跟踪模型得到的跟踪和预测结果进行置信度分析。
进一步的，作为本发明优选的实施方式，所述步骤S7具体为：
S71、对料包跟踪模型得到的跟踪和预测结果进行置信度分析，其计算公式为：
其中，α为加权系数，本实施例中，α＝0.7，iS为检测到编号为S的料包的帧数，RS为当前帧通过步骤S5检测得到的编号为S的料包当前帧响应值，F为判断是否掉包的边界阈值，当连续未出现帧数增长至fS＝F时，判定编号为S的料包掉包；xS表示编号为S的料包当前帧检测到的横坐标，β为加权因子，本实施例中，在步骤S4的判定结果为两排时，β＝1，在步骤S4的判定结果为三排时，β＝1.5，/>dS表示编号为S的料包在当前帧坐标和上一帧坐标的欧几里得距离；
S8、对上述置信度分析结果进行阈值筛选从而得到料包计数结果。
S81、对PS做筛选，统计PS＞PT的料包个数，从而获得料包计数结果；其中，PT为筛选阈值。本实施例中，PT＝0.65。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (9)

1.一种基于视频的港口吊装料包自动计数方法，其特征在于，包括：
S1、训练得到料包模板，统计颜色特征；
S2、计数开启状态判定，判断读入的单帧图像是否处于符合开启计数的状态；
S3、检测与校正吊架区域，将读入的图像进行颜色特征提取，取得感兴趣区域，并旋转校正；
S4、吊装料包排数判别，计算料包和感兴趣区域的短轴长度比，并以此判定吊装起的料包排数；
S5、料包检测，对感兴趣区域进行模板匹配操作，并对产生的响应图进行筛选处理，获取检测结果；
S6、建立料包跟踪模型，利用建立的料包跟踪模型对料包进行跟踪和预测；
S7、对上述料包跟踪模型得到的跟踪和预测结果进行置信度分析；
S8、对上述置信度分析结果进行阈值筛选从而得到料包计数结果。
2.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S1具体为：
S11、采用人工标记或自动标记方法离线在料包视频中选择多个料包区域作为料包形态样本，记为si,i＝1,…,ns，ns表示样本个数；
S12、根据选择的料包形态样本，训练得到料包模板，记为T；所述训练的方式有如下四种：
T＝sq q∈[1,ns]
其中，g表示中心点为1，尺寸与样本尺寸一致的二维高斯函数，⊙表示相关运算，h为图像中被料包形态样本sk覆盖的子图；
S13、根据料包形态样本，统计出其颜色分布范围。
3.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S2具体为：
S21、对图像的灰度图二值化，对二值图做垂直投影得到其垂直投影向量；
S22、将垂直投影向量的每个点的数值和阈值VP做比较，若大于阈值VP则认为该点处于背景复杂区域，反之则处于非背景复杂区域；
S23、根据步骤S22中的比较结果，判断当前帧图像横轴方向中间区域是否处于背景复杂区域，若不处于背景复杂区域，则开启计数状态，否则为关闭计数状态。
4.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S3具体为：
S31、进行颜色空间转换，将RGB图像空间转换到HSV空间中；
S32、在HSV空间中，根据训练的料包形态颜色分布获取指定图像颜色特征的区域，并将其转换为二值图，对得到的二值图进行迭代膨胀操作；
S33、对膨胀操作后的二值图提取轮廓特征，得到吊架感兴趣区域；
S34、拟合出吊架长轴的斜率k，对斜率k进行限幅度操作，当斜率k的绝对值大于100时，令|k|＝100，根据k对原RGB图像旋转至长轴平行于图像坐标的纵轴方向，并裁剪图像只保留吊架感兴趣区域部分，得到感兴趣区域图像IROI。
5.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S4具体为：
S41、对感兴趣区域图像IROI的灰度图做二值化处理，得到料包的范围，以该范围计算感兴趣区域内吊装起的全部料包的整体宽度，记为LP；
S42、计算感兴趣区域IROI的宽度，记为LR；
S43、计算整体宽度LP与感兴趣区域IROI的宽度LR之比r，即r＝Lp/LR，若r＞η，则认为该吊装料包为三排，若r＜η，则认为该吊装料包为两排，其中，η表示排数判定阈值。
6.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S5具体为：
S51、对感兴趣区域图像作归一化互相关系数操作，并进行阈值处理，使得小于阈值的响应值等于零，获得其响应图并对响应图进行局部非极大值抑制从而检测料包个数；
S52、对响应图做响应值的降序排列；
S53、选取响应值最高的一点作为目标点A，计算以目标点A为中心，与模板同大小的方形区域和以排名相对该点靠后一名的点B为中心，与模板同大小的方形区域的交并比IoUA,B；
S54、对上述步骤中得到的交并比IoUA,B做阈值处理，如果IoUA,B＞IoUT，删除点B，其中，IoUT为阈值，更新响应值的降序排列；
S55、依照更新后的响应值降序排列，选择下一个目标点，重复步骤S52-S54，直到整个排列中没有任意两个点之间的交并比IoUA,B大于IoUT。
7.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S6具体为：
S61、对料包坐标量化编号：
取检测料包在感兴趣区域图像IROI中的坐标(x,y)
S611、当步骤S4中吊装料包的判定结果为两排时，对料包的坐标做量化编号处理，料包的列编号C的计算公式为：
其中，WR为感兴趣区域的宽度，WT为模板宽度；求解料包的行编号，得到最终的编号S＝C_N；
S612、当步骤S4中吊装料包的判定结果为三排时，对料包的坐标做量化编号处理，料包的列编号C的计算公式为：
其中，WR为感兴趣区域的宽度，WT为模板宽度；求解料包的行编号，得到最终的编号S＝C_N；
S62、料包跟踪与预测：
S621、以编号S向料包跟踪模型填空，统计编号为S的料包出现帧数iS；
S622、遍历当前帧检测结果得出的料包编号和料包跟踪模型中先前帧已有料包的编号，比对寻找出先前帧出现但当前帧未出现的编号S，通过料包跟踪模型预测出该编号的料包在感兴趣区域图像IROI中的图像坐标，并对其连续未出现帧数fS作出统计。
8.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S7具体为：
S71、对料包跟踪模型得到的跟踪和预测结果进行置信度分析，其计算公式为：
其中，α为加权系数，iS为检测到编号为S的料包的帧数，RS为当前帧通过步骤S5检测得到的编号为S的料包当前帧响应值，F为判断是否掉包的边界阈值，当连续未出现帧数增长至fS＝F时，判定编号为S的料包掉包；xS表示编号为S的料包当前帧检测到的横坐标，β为加权因子，WT为模板宽度，/>dS表示编号为S的料包在当前帧坐标和上一帧坐标的欧几里得距离。
9.根据权利要求1所述的基于视频的港口吊装料包自动计数方法，其特征在于，所述步骤S8具体为：
S81、对PS做筛选，统计PS＞PT的料包个数，从而获得料包计数结果；其中，PT为筛选阈值。
CN202010153127.2A 2020-03-06 2020-03-06 一种基于视频的港口吊装料包自动计数方法 Active CN111401172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010153127.2A CN111401172B (zh) 2020-03-06 2020-03-06 一种基于视频的港口吊装料包自动计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153127.2A CN111401172B (zh) 2020-03-06 2020-03-06 一种基于视频的港口吊装料包自动计数方法

Publications (2)

Publication Number Publication Date
CN111401172A CN111401172A (zh) 2020-07-10
CN111401172B true CN111401172B (zh) 2023-10-27

Family

ID=71428570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153127.2A Active CN111401172B (zh) 2020-03-06 2020-03-06 一种基于视频的港口吊装料包自动计数方法

Country Status (1)

Country Link
CN (1) CN111401172B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785639A (zh) * 2021-01-06 2021-05-11 鞍钢矿业爆破有限公司 一种基于视频分析的袋装物料出入库计量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
CN101188743A (zh) * 2007-09-17 2008-05-28 深圳先进技术研究院 一种基于视频的智能数人系统及其处理方法
CN106599885A (zh) * 2016-08-30 2017-04-26 中海网络科技股份有限公司 一种集装箱Bay位监测系统及方法
WO2018109044A1 (fr) * 2016-12-15 2018-06-21 Suez Eau France Dispositif de détection d'un objet d'intérêt et procédé mettant en œuvre ce dispositif
CN109242884A (zh) * 2018-08-14 2019-01-18 西安电子科技大学 基于JCFNet网络的遥感视频目标跟踪方法
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
CN101188743A (zh) * 2007-09-17 2008-05-28 深圳先进技术研究院 一种基于视频的智能数人系统及其处理方法
CN106599885A (zh) * 2016-08-30 2017-04-26 中海网络科技股份有限公司 一种集装箱Bay位监测系统及方法
WO2018109044A1 (fr) * 2016-12-15 2018-06-21 Suez Eau France Dispositif de détection d'un objet d'intérêt et procédé mettant en œuvre ce dispositif
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109242884A (zh) * 2018-08-14 2019-01-18 西安电子科技大学 基于JCFNet网络的遥感视频目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于声图像序列的快速目标跟踪算法;田晓东;周德超;刘忠;;计算机仿真(第07期);全文 *
港口装卸设备远程监控系统;王秋;;中国港湾建设(第05期);全文 *
运动目标检测与跟踪的DSP实现;陈延利;施永豪;;计算机技术与发展(第08期);全文 *

Also Published As

Publication number Publication date
CN111401172A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN107145905B (zh) 电梯紧固螺帽松动的图像识别检测方法
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
CN106910186B (zh) 一种基于cnn深度学习的桥梁裂缝检测定位方法
WO2022099598A1 (zh) 一种基于图像像素相对统计特征的视频动态目标检测的方法
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN107085714B (zh) 一种基于视频的森林火灾检测方法
CN106446894B (zh) 一种基于轮廓识别球型目标物位置的方法
CN104636706B (zh) 一种基于梯度方向一致性复杂背景条码图像自动分割方法
CN110766726B (zh) 复杂背景下的大钟料罐容器移动目标视觉定位与动态跟踪方法
JP2018522572A (ja) プレート培地上にストリークされた試料からの自動化された微生物コロニーカウントのための方法及びシステム
CN102196182A (zh) 逆光检测设备及逆光检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN104198497B (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN107844683A (zh) 一种数字pcr液滴浓度的计算方法
CN112069985B (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN109472261A (zh) 一种基于计算机视觉的粮仓储粮数量变化自动监测方法
CN110567969B (zh) 用于织物缺陷检测的图像识别方法及其系统
CN102346854A (zh) 前景物体检测方法和设备
CN108052886A (zh) 一种小麦条锈病菌夏孢子自动统计计数方法
CN111291684A (zh) 一种自然场景下的船牌检测方法
CN111401172B (zh) 一种基于视频的港口吊装料包自动计数方法
CN112215865A (zh) 一种荧光显微图像下的微液滴自动检测方法
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant