CN111487432A - 一种皮带测速方法、系统、设备及计算机存储介质 - Google Patents
一种皮带测速方法、系统、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111487432A CN111487432A CN202010255754.7A CN202010255754A CN111487432A CN 111487432 A CN111487432 A CN 111487432A CN 202010255754 A CN202010255754 A CN 202010255754A CN 111487432 A CN111487432 A CN 111487432A
- Authority
- CN
- China
- Prior art keywords
- target material
- distance
- pixel distance
- actual
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 239000013077 target material Substances 0.000 claims abstract description 105
- 239000000463 material Substances 0.000 claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 239000003245 coal Substances 0.000 description 46
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 239000004484 Briquette Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100327917 Caenorhabditis elegans chup-1 gene Proteins 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种皮带测速方法、系统、设备及计算机存储介质，其中所述方法包括：获取皮带运输机运输的物料的影像文件；进一步，使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；进一步，确定目标物料移动的像素距离和移动时间；进一步，根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离；进一步，根据所述目标物料在移动时间内移动的实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。从而可以简便而准确的获得皮带的传送速度。
Description
技术领域
本发明涉及运输技术领域，具体涉及一种皮带测速方法、系统、设备及计算机存储介质及系统。
背景技术
皮带运输机被广泛地应用于工业生产环境中，其高效便捷的运输能力使之成为一种重要的运输工具，可用于工件运输、煤炭运输等。于是，对于皮带运输机的运行状态进行监测显得尤为重要，其中一个关键的功能就是对皮带运输机的速度进行监测，这对于保障安全生产和资源优化配置有着重要的作用。
目前针对皮带运输机的测速领域，主要是通过一些硬件的方法来实现的，例如使用一些传感器等来对其速度进行监测。此外，也有一些研究人员通过一些图像处理的算法，如光流法等，来对皮带运输机的速度进行估测。这些方法可以在一定程度上满足生产需求，但也都存在一定的不足，如传感器等方法不易于维护，且容易损坏，一些传统的图像处理的算法在一些复杂的生产环境中可能会存在测量误差较大的情况。
发明内容
为此，本发明提供一种皮带测速方法、系统、设备及计算机存储介质，结合近年来人工智能技术的发展，提出了一种基于实例分割和射影几何的算法来对皮带的速度进行测量，准确率较传统算法有一定的提升，且易于维护。可以简便而准确的测量皮带的速度。
为了实现上述目的，本发明提供如下技术方案：
根据本发明实施例的第一方面，提供了一种皮带测速方法，所述方法包括：
获取皮带运输机运输的物料的影像文件；
使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；
确定目标物料移动的像素距离和移动时间；
根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离；
根据所述移动时间和实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。
进一步，所述使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料，具体包括：
将所述影像文件中的两帧图像输入所述实例分割模型，分别得到所述两帧图像中各个物料的位置坐标和类别；
根据所述两帧图像中各个物料的位置坐标和类别确定所述两帧图像中的相同物料，作为目标物料。
进一步，所述确定目标物料移动的像素距离的具体过程包括：
基于实例分割算法确定所述目标物料移动的像素距离，或者
基于视频实例分割算法确定所述目标物料移动的像素距离，或者
将所述目标物料移动的像素距离的平均值或中位数确定为所述目标物料移动的像素距离。
进一步，所述确定目标物料移动的移动时间的具体过程包括：
根据所述两帧图像的帧数计算所述目标物料移动的移动时间。
进一步，所述根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离，具体包括：
确定所述皮带运输机运输的物料的影像文件中位置相对不变的两个参照物之间的对比像素距离和对应的对比实际距离，计算所述对比像素距离与所述对比实际距离的比例，以计算所述目标物料在移动时间内的像素距离所对应的实际距离；或者
获取所述皮带运输机运输的物料的影像文件中的参照物之间的实际距离，按照如下公式计算所述目标物料在两帧图像中的像素距离所对应的实际距离：
其中，t1和t2为所述两帧图像的帧数，t2＞t1，a1和a2分别为所述目标物料在t1帧图像和t2帧图像中的位置，a1a2为位置a1和a2之间的像素距离，A1A2为像素距离a1a2所对应的实际距离，p1和p2分别为所述两个参照物的位置，位置p1和p2的连线与皮带运动方向平行，p1p2为所述两个参照物之间的实际距离，v1为位置p1和p2的连线与位置a1和a2的连线的交点的位置，vt为位置p1和a1的连线与经过位置v1的灭线L的交点的位置，ax为位置a1和a2的连线与位置p2和vt的连线的交点的位置，a1ax为位置a1和ax之间的像素距离，v1ax为位置v1和ax之间的像素距离，v1a1为位置v1和a1之间的像素距离。
根据本发明实施例的第二方面，提供了一种皮带测速系统，所述系统包括：
影像文件模块，用于获取皮带运输机运输的物料的影像文件；
实例分割模块，用于使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；
预计算模块，用于确定目标物料移动的像素距离和移动时间；
距离计算模块，用于计算所述目标物料在移动时间内移动的实际距离；
速度计算模块，用于根据所述目标物料在移动时间内移动的实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。
进一步，所述实例分割模块具体用于：
将所述影像文件中的两帧图像输入所述实例分割模型，分别得到所述两帧图像中各个物料的位置坐标和类别；
根据所述两帧图像中各个物料的位置坐标和类别确定所述两帧图像中的相同物料，作为目标物料。
进一步，所述距离计算模块具体用于：
确定所述皮带运输机运输的物料的影像文件中位置相对不变的两个参照物之间的对比像素距离和对应的对比实际距离，计算所述对比像素距离与所述对比实际距离的比例，以计算所述目标物料在移动时间内的像素距离所对应的实际距离；或者
获取所述皮带运输机运输的物料的影像文件中的参照物之间的实际距离，按照如下公式计算所述目标物料在两帧图像中的像素距离所对应的实际距离：
其中，t1和t2为所述两帧图像的帧数，t2＞t1，a1和a2分别为所述目标物料在t1帧图像和t2帧图像中的位置，a1a2为位置a1和a2之间的像素距离，A1A2为像素距离a1a2所对应的实际距离，p1和p2分别为所述两个参照物的位置，位置p1和p2的连线与皮带运动方向平行，p1p2为所述两个参照物之间的实际距离，v1为位置p1和p2的连线与位置a1和a2的连线的交点的位置，vt为位置p1和a1的连线与经过位置v1的灭线L的交点的位置，ax为位置a1和a2的连线与位置p2和vt的连线的交点的位置，a1ax为位置a1和ax之间的像素距离，v1ax为位置v1和ax之间的像素距离，v1a1为位置v1和a1之间的像素距离。
根据本发明实施例的第三方面，提供了一种皮带测速设备，所述设备包括：数据采集装置、处理器和存储器；
所述数据采集装置包括：用于采集皮带运输机运输的物料的影像文件；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于执行一个或多个程序指令，用以执行如第一方面所述的方法。
根据本发明实施例的第四方面，提供了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面所述的方法。
综上所述，本发明提供了一种皮带测速方法、系统、设备及计算机存储介质，通过获取皮带运输机运输的物料的影像文件；进一步使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；进一步，确定目标物料移动的像素距离和移动时间；根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离；根据所述移动时间和实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。从而可以通过对相关影像文件的分析计算，简便而准确的获得皮带的传送速度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例提供的一种皮带测速方法流程示意图；
图2为本发明实施例提供的一种确定目标物料移动的实际距离的原理示意图；
图3为本发明实施例提供的另一种确定目标物料移动的实际距离的原理示意图；
图4为本发明实施例提供的一种皮带测速系统框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的一种皮带测速方法流程图，所述方法包括如下步骤：
步骤101：获取皮带运输机运输的物料的影像文件。
可选地，在该实施例中，步骤101中所述影像文件包括但不限于视频和/或图片。获取皮带运输机运输的物料的影像文件的方式可以是通过实时监控获取，也可以通过对已有影像文件进行获取，本实施例对此不作具体限定。
步骤102：使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料。
可选地，在该实施例中，步骤102具体包括：将所述影像文件中的两帧图像输入所述实例分割模型，分别得到所述两帧图像中各个物料的位置坐标和类别；根据所述两帧图像中各个物料的位置坐标和类别确定所述两帧图像中的相同物料，作为目标物料。
步骤103：确定目标物料移动的像素距离和移动时间。
可选地，在该实施例中，步骤103中确定目标物料移动的移动时间的具体过程可以是根据所述两帧图像的帧数计算所述目标物料移动的移动时间。
可选地，在该实施例中，步骤103中确定目标物料移动的像素距离的具体过程可以包括：基于实例分割算法确定所述目标物料移动的像素距离，或者基于视频实例分割算法确定所述目标物料移动的像素距离，或者将所述目标物料移动的像素距离的平均值或中位数确定为所述目标物料移动的像素距离。
下面对本发明实施例中涉及的实例分割模型的相关技术进行进一步地详细说明。
在计算机视觉技术中，有三个重要的研究方向，即图像分类、目标检测、图像分割。图像分类是将图像进行类别划分，目标检测是需要将图像中的物体进行分类和定位，图像分割则是进行像素级别的划分，将图像中的每一个像素划分为物体1、物体2，或者背景，涉及图像中物体的分类与定位，图像分割又可细分为两个研究方向，即语义分割和实例分割，语义分割是将图像中不同的物体及其所处的像素区域划分出来，如杯子、勺子等，而实例分割则是在语义分割的基础上对同类物体进行细分，如杯子1、杯子2、勺子1、勺子2等。
本发明实施例将实例分割技术应用于皮带上大煤块的分割，需要将图像中的煤块划分为煤块1、煤块2等，此外，需要对分割得到的煤块1、煤块2等进行跟踪，以记录这些煤块移动的像素距离。除了使用经典的一些实例分割算法之外，也可以使用视频实例分割的算法，如Mask Track R-CNN等，这种视频实例分割算法即在实例分割的基础之上增加了跟踪的功能。
在另一种可能的实施方式中，将第t1帧的图像中分割得到的物体与第t2帧分割得到的物体进行比较，找出两张图像中相同的物体，然后分别计算这些物体在t1到t2帧这段时间内移动的像素距离，然后将这些距离数据的平均值或者中位数作为皮带在t1帧到t2帧移动的距离。
通过实例分割算法来对皮带运输机上的目标物料进行分割，定位一些关键的目标，通过在一定的时间内对这些目标物料进行持续跟踪，记录下这些目标物料移动的像素距离及移动的时间，可计算出目标在单位时间内移动的像素距离，然后通过图像几何的算法，将其映射到实际的三维空间中，即可得到目标移动的实际速度，用目标移动的速度来间接指代皮带的运行速度。
在一种可能的实施方式中，所述实例分割算法包括但不限于Mask R-CNN、YOLACT、Center Mask中的一种或多种。实例分割是机器自动从图像中用目标检测方法确定出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记。语义分割会将整体的所有像素预测为不同类别。
在一种可能的实施方式中，所述实例分割模型基于如下步骤进行训练：构建训练数据集，所述训练数据集包括训练图片和标签数据，所述标签数据是使用标注工具对所述训练图片进行标注得到，所述标签数据包括训练对象的位置坐标和类别；根据所述训练数据集对所述实例分割模型进行训练，以得到实例分割模型的权重文件。
在对该场景中应用的实例分割模型进行训练的第一步是构建训练数据集，使用摄像头记录下皮带运输煤炭的视频，将其转化为图片，进一步使用一些标注工具(如Label Me等)对图片进行标注。实例分割需要对其中的大煤块进行像素级别的标注，以获得每一个大煤块的位置坐标及类别。在标注完成之后，可以将这个图片及其对应的标签数据输入实例分割模型进行训练，在训练完成之后，可得到该实例分割模型的权重文件，使用该权重文件就可以应用于实际的生产场景中。
以煤炭运输为例，首先分割到一些特殊的煤块，比如一些形状比较大的煤块，然后对这些煤块进行跟踪，在一种可能的实施方式中，将第t1帧的图像中分割得到的物体与第t2帧分割得到的煤块进行比较，找出两张图像中相同的煤块，然后分别计算这些煤块在t1到t2帧这段时间内移动的像素距离，然后将这些距离数据的平均值或者中位数作为皮带在t1帧到t2帧移动的距离。
例如，在t1帧分割得到了m个大煤块，进一步需要对m个煤块进行跟踪记录，在t2帧时，模型得到了n个大煤块，从这m和n个大煤块中挑选出相同的煤块，相同煤块的数量记作k。进一步需要对这k个煤块，统计其从t1帧到t2帧移动的像素距离，根据实例分割模型得到的输出，可以计算出这k个煤块移动的像素距离，将其记作s1,s2,s3,…,sk。同时，这段煤块移动的时间为两帧图像的帧数之差与帧率之比，即(t2-t1)/25秒。这里帧率采用的是中国的电视播放的帧率，即每秒25帧，这个帧率属于PAL制式，在亚洲和欧洲电视台较为常用，而美国加拿大一般都是NTSC制式每秒29.97帧。在中国一般的动画制作以及广告制作都是用PAL制式的25帧每秒。因此，这段煤块移动的时间的计算公式可以根据具体应用环境进行变更。进一步，可以根据其像素距离，得到其移动的真实距离。
在另一种可能的实施方式中，观察每一个特殊的煤块在一定的时间内的移动距离(这里的距离为像素距离)，然后记录下每个煤块对应的移动时间，在得到皮带在一段时间内移动的像素距离之后，在后续的步骤103中需要将皮带移动的像素距离映射到现实的三维空间中，得到皮带在现实空间中移动的真实距离。在后续的步骤104中，通过距离与时间的比值可求得每一个特殊煤块的速度。然后将所关注的几个特殊煤块的速度进行平均之后，即可指代这段时间内皮带的运行速度。
步骤104：根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离。
可选地，在该实施例中，在步骤104中根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离，包括但不限于以下两种方式：
方式一：确定所述皮带运输机运输的物料的影像文件中位置相对不变的两个参照物之间的对比像素距离和对应的对比实际距离，计算所述对比像素距离与所述对比实际距离的比例，以计算所述目标物料在移动时间内的像素距离所对应的实际距离。
方式二：取所述皮带运输机运输的物料的影像文件中的参照物之间的实际距离，按照如下公式(1)计算所述目标物料在两帧图像中的像素距离所对应的实际距离：
其中，t1和t2为所述两帧图像的帧数，t2＞t1，a1和a2分别为所述目标物料在t1帧图像和t2帧图像中的位置，a1a2为位置a1和a2之间的像素距离，A1A2为像素距离a1a2所对应的实际距离，p1和p2分别为所述两个参照物的位置，位置p1和p2的连线与皮带运动方向平行，p1p2为所述两个参照物之间的实际距离，v1为位置p1和p2的连线与位置a1和a2的连线的交点的位置，vt为位置p1和a1的连线与经过位置v1的灭线L的交点的位置，ax为位置a1和a2的连线与位置p2和vt的连线的交点的位置，a1ax为位置a1和ax之间的像素距离，v1ax为位置v1和ax之间的像素距离，v1a1为位置v1和a1之间的像素距离。
目前的智能测距方法有雷达测距、超声波测距、激光测距、摄像机测距等，前三种测量方法成本较高，在摄像机测距方法中涉及双目测距与单目测距等方法，本发明实施例对单目测距的方法进行示例性说明。
针对上述映射方式中的方式一，根据一张图像来得到图像中的物体移动的距离，首先有两个假定，一是所考察的物体在图像上处于同一水平面，摄像机的拍摄角度呈90度的“俯视”状态；二是需要知道图像中的一个参照物的实际长度。所述皮带运输机运输的物料的影像文件中位置相对不变的目标对比物可以确定为相邻托辊，如图2所示，两个相邻托辊的像素距离为L0，这个距离L0对应的实际的托辊距离L′0为已知量，皮带上的三个煤块表示实例分割算法所检测到的三个大煤块，S1，S2，S3分别表示这三个煤块从t1帧到t2帧这段时间内移动的像素距离。由此得到一个像素距离与实际距离的比例，即像素距离/实际距离＝L0/L′0。于是关注的三个煤块移动的实际距离则为其对应的像素距离除以L0/L′0，就可以得到对应的实际距离。
除了以上的简单的测距方法，还可以使用一种基于摄像几何的测距算法，这种测距算法只需要一个假定，即需要知道图像中的一个参照物的实际长度。这种测距算法中一个重要的理论基础即是交比不变性，交比不变性是指一条直线在经过图像几何变换之后保持该直线上对应的点列交比不变，为了更好的说明，将皮带的实际场景图像抽象为图3所示。
图3为基于射影几何的单目测距算法示意图，p1p2表示已知的托辊距离，a1为煤块在t1帧时所处的位置，a2为煤块在t2帧时所处的位置，p1p2与a1a2在三维场景中平行。现连接p1a1，与灭线L交于灭点vt，连接vt与p2，交a1a2于ax，那么a2ax的长度与p1p2的长度相等。此时可将这样的一个二维问题转化为在a1a2直线上的一维问题，根据交比不变性即可求解，具体交比计算公式可以如下公式(2)所示：
其中，A1、A2、Ax、V1表示其在三维空间中对应的真实坐标，因为V1在无穷远处，于是该式变为公式(1)。其中p1p2表示托辊在三维空间中对应的真实距离，由此即可得出煤块移动的真实距离A1A2。
在方式二中，目标对比物可以选择为皮带运输机上的相邻托辊，进一步使用基于射影几何的单目测距算法来得到煤块移动的真实距离。首先提前测量皮带运输机上的相邻托辊之间的真实距离，进一步计算其在图像中的像素距离，进一步通过交比不变计算公式，得到这k个煤块在t1帧到t2帧范围内移动的真实距离S1,S2,S3,…,Sk。通过计算得到的真实距离可得到这k个煤块的移动速度。
除了以上两种通过参照物来计算移动距离的方法，还有一些其他的基于视觉来进行测距的算法，在这里不做详细表述。此外，由于摄像机所拍摄的图像与理想的射影模型之间是有误差存在的，一般将这种误差称为图像畸变，所以有时为了更加的精确，会进行一定的畸变调整，在这里也不过多表述。
步骤105：根据所述目标物料在移动时间内移动的实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。
可选地，在该实施例中，在步骤105中，为了减小计算误差，将多个目标物料的实际速度的平均值或中位值作为皮带的运行速度。具体说明如下：
通过上述步骤的分析来得到k个大煤块的速度，然后用大煤块的速度来衡量皮带的运行速度。这里大煤块的速度为其对应的实际距离S1,S2,S3,…,Sk与运行时间(t2-t1)/25的比值，由此可得到k个煤块的速度V1,V2,V3,…,Vk。由于每个煤块的速度测量都可能存在一定的误差，于是，通过对这个k个煤块速度取平均值或者取中位值，将其作为皮带速度的衡量。
综上所述，通过使用实例分割算法和射影几何的方法得到了t1帧到t2帧这段时间内皮带的运行速度，通过对皮带速度的衡量，可以更好的指导实际生产，同时对皮带的运行状态的把控提供重要的参考指标。
综上所述，本发明实施例提供了一种皮带测速方法，通过获取皮带运输机运输的物料的影像文件；进一步使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；进一步，确定目标物料移动的像素距离和移动时间；根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离；根据所述移动时间和实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。从而可以通过对相关影像文件的分析计算，简便而准确的获得皮带的传送速度。
基于相同的技术构思，与以上方法实施例对应地，图4为本发明实施例提供的一种皮带测速系统的结构框图。如图4所示，所述系统包括：
影像文件模块401，用于获取皮带运输机运输的物料的影像文件。
实例分割模块402，用于使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料。
预计算模块403，用于确定目标物料移动的像素距离和移动时间。
距离计算模块404，用于计算所述目标物料在移动时间内移动的实际距离。
速度计算模块405，用于根据所述目标物料在移动时间内移动的实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。
在一种可能的实施方式中，所述影像文件包括视频和/或图片；所述实例分割模块402具体用于：将所述影像文件中的两帧图像输入所述实例分割模型，分别得到所述两帧图像中各个物料的位置坐标和类别；根据所述两帧图像中各个物料的位置坐标和类别确定所述两帧图像中的相同物料，作为目标物料。
在一种可能的实施方式中，所述距离计算模块404具体用于：确定所述皮带运输机运输的物料的影像文件中位置相对不变的两个参照物之间的对比像素距离和对应的对比实际距离，计算所述对比像素距离与所述对比实际距离的比例，以计算所述目标物料在移动时间内的像素距离所对应的实际距离；或者
获取所述皮带运输机运输的物料的影像文件中的参照物之间的实际距离，按照公式(1)计算所述目标物料在两帧图像中的像素距离所对应的实际距离。
基于相同的技术构思，与以上方法实施例对应地，本发明实施例还提供了一种皮带测速设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置包括：用于采集皮带运输机运输的物料的影像文件；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行与以上方法实施例中的方法。
基于相同的技术构思，与以上方法实施例对应地，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行与以上方法实施例中的方法。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种皮带测速方法，其特征在于，所述方法包括：
获取皮带运输机运输的物料的影像文件；
使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；
确定目标物料移动的像素距离和移动时间；
根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离；
根据所述移动时间和实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。
2.如权利要求1所述的方法，其特征在于，所述使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料，具体包括：
将所述影像文件中的两帧图像输入所述实例分割模型，分别得到所述两帧图像中各个物料的位置坐标和类别；
根据所述两帧图像中各个物料的位置坐标和类别确定所述两帧图像中的相同物料，作为目标物料。
3.如权利要求2所述的方法，其特征在于，所述确定目标物料移动的像素距离的具体过程包括：
基于实例分割算法确定所述目标物料移动的像素距离，或者
基于视频实例分割算法确定所述目标物料移动的像素距离，或者
将所述目标物料移动的像素距离的平均值或中位数确定为所述目标物料移动的像素距离。
4.如权利要求2所述的方法，其特征在于，确定目标物料移动的移动时间的具体过程包括：
根据所述两帧图像的帧数计算所述目标物料移动的移动时间。
5.如权利要求1至4任一项所述的方法，其特征在于，所述根据所述像素距离计算所述目标物料在所述移动时间内移动的实际距离，具体包括：
确定所述皮带运输机运输的物料的影像文件中位置相对不变的两个参照物之间的对比像素距离和对应的对比实际距离，计算所述对比像素距离与所述对比实际距离的比例，以计算所述目标物料在移动时间内的像素距离所对应的实际距离；或者
获取所述皮带运输机运输的物料的影像文件中的参照物之间的实际距离，按照如下公式计算所述目标物料在两帧图像中的像素距离所对应的实际距离：
其中，t1和t2为所述两帧图像的帧数，t2＞t1，a1和a2分别为所述目标物料在t1帧图像和t2帧图像中的位置，a1a2为位置a1和a2之间的像素距离，A1A2为像素距离a1a2所对应的实际距离，p1和p2分别为所述两个参照物的位置，位置p1和p2的连线与皮带运动方向平行，p1p2为所述两个参照物之间的实际距离，v1为位置p1和p2的连线与位置a1和a2的连线的交点的位置，vt为位置p1和a1的连线与经过位置v1的灭线L的交点的位置，ax为位置a1和a2的连线与位置p2和vt的连线的交点的位置，a1ax为位置a1和ax之间的像素距离，v1ax为位置v1和ax之间的像素距离，v1a1为位置v1和a1之间的像素距离。
6.一种皮带测速系统，其特征在于，所述系统包括：
影像文件模块，用于获取皮带运输机运输的物料的影像文件；
实例分割模块，用于使用实例分割模型对所述影像文件中的物料进行分类和定位，确定目标物料；
预计算模块，用于确定目标物料移动的像素距离和移动时间；
距离计算模块，用于计算所述目标物料在移动时间内移动的实际距离；
速度计算模块，用于根据所述目标物料在移动时间内移动的实际距离计算所述目标物料移动的实际速度，将所述目标物料移动的实际速度确定为皮带的运行速度。
7.如权利要求6所述的系统，其特征在于，所述实例分割模块具体用于：
将所述影像文件中的两帧图像输入所述实例分割模型，分别得到所述两帧图像中各个物料的位置坐标和类别；
根据所述两帧图像中各个物料的位置坐标和类别确定所述两帧图像中的相同物料，作为目标物料。
8.如权利要求6或7所述的系统，其特征在于，所述距离计算模块具体用于：
确定所述皮带运输机运输的物料的影像文件中位置相对不变的两个参照物之间的对比像素距离和对应的对比实际距离，计算所述对比像素距离与所述对比实际距离的比例，以计算所述目标物料在移动时间内的像素距离所对应的实际距离；或者
获取所述皮带运输机运输的物料的影像文件中的参照物之间的实际距离，按照如下公式计算所述目标物料在两帧图像中的像素距离所对应的实际距离：
其中，t1和t2为所述两帧图像的帧数，t2＞t1，a1和a2分别为所述目标物料在t1帧图像和t2帧图像中的位置，a1a2为位置a1和a2之间的像素距离，A1A2为像素距离a1a2所对应的实际距离，p1和p2分别为所述两个参照物的位置，位置p1和p2的连线与皮带运动方向平行，p1p2为所述两个参照物之间的实际距离，v1为位置p1和p2的连线与位置a1和a2的连线的交点的位置，vt为位置p1和a1的连线与经过位置v1的灭线L的交点的位置，ax为位置a1和a2的连线与位置p2和vt的连线的交点的位置，a1ax为位置a1和ax之间的像素距离，v1ax为位置v1和ax之间的像素距离，v1a1为位置v1和a1之间的像素距离。
9.一种皮带测速设备，其特征在于，所述设备包括：数据采集装置、处理器和存储器；
所述数据采集装置包括：用于采集皮带运输机运输的物料的影像文件；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255754.7A CN111487432B (zh) | 2020-04-02 | 2020-04-02 | 一种皮带测速方法、系统、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255754.7A CN111487432B (zh) | 2020-04-02 | 2020-04-02 | 一种皮带测速方法、系统、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111487432A true CN111487432A (zh) | 2020-08-04 |
| CN111487432B CN111487432B (zh) | 2021-06-18 |
Family
ID=71794598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010255754.7A Active CN111487432B (zh) | 2020-04-02 | 2020-04-02 | 一种皮带测速方法、系统、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111487432B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114323638A (zh) * | 2022-01-05 | 2022-04-12 | 山东工大中能科技有限公司 | 基于计算机视觉的输送带打滑检测方法、系统及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101180652A (zh) * | 2005-04-11 | 2008-05-14 | 爱肯公司 | 用于捕捉和分析运动物体的热成像图像的方法和装置 |
| CN101872423A (zh) * | 2010-05-27 | 2010-10-27 | 天津大学 | 一种生产线上运动目标追踪方法 |
| CN102079166A (zh) * | 2009-10-30 | 2011-06-01 | 佳能株式会社 | 移动检测装置和记录装置 |
| CN105225248A (zh) * | 2014-06-27 | 2016-01-06 | 株式会社理光 | 识别物体的运动方向的方法和设备 |
| EP3040726A1 (en) * | 2014-12-29 | 2016-07-06 | General Electric Company | Method and system to determine vehicle speed |
| CN105976396A (zh) * | 2016-04-27 | 2016-09-28 | 梧州市自动化技术研究开发院 | 用于视频图像识别在传送带上运动物体的方法 |
| CN110519566A (zh) * | 2019-08-28 | 2019-11-29 | 山东科技大学 | 一种基于视频处理的皮带运动状态监测方法 |
| US20200011892A1 (en) * | 2014-04-10 | 2020-01-09 | SZ DJI Technology Co., Ltd. | Method and device for measuring flight parameters of an unmanned aerial vehicle |
-
2020
- 2020-04-02 CN CN202010255754.7A patent/CN111487432B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101180652A (zh) * | 2005-04-11 | 2008-05-14 | 爱肯公司 | 用于捕捉和分析运动物体的热成像图像的方法和装置 |
| CN102079166A (zh) * | 2009-10-30 | 2011-06-01 | 佳能株式会社 | 移动检测装置和记录装置 |
| CN101872423A (zh) * | 2010-05-27 | 2010-10-27 | 天津大学 | 一种生产线上运动目标追踪方法 |
| US20200011892A1 (en) * | 2014-04-10 | 2020-01-09 | SZ DJI Technology Co., Ltd. | Method and device for measuring flight parameters of an unmanned aerial vehicle |
| CN105225248A (zh) * | 2014-06-27 | 2016-01-06 | 株式会社理光 | 识别物体的运动方向的方法和设备 |
| EP3040726A1 (en) * | 2014-12-29 | 2016-07-06 | General Electric Company | Method and system to determine vehicle speed |
| CN105976396A (zh) * | 2016-04-27 | 2016-09-28 | 梧州市自动化技术研究开发院 | 用于视频图像识别在传送带上运动物体的方法 |
| CN110519566A (zh) * | 2019-08-28 | 2019-11-29 | 山东科技大学 | 一种基于视频处理的皮带运动状态监测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114323638A (zh) * | 2022-01-05 | 2022-04-12 | 山东工大中能科技有限公司 | 基于计算机视觉的输送带打滑检测方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111487432B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340797B (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| US10628648B2 (en) | Systems and methods for tracking optical codes | |
| Li et al. | An end-to-end defect detection method for mobile phone light guide plate via multitask learning | |
| CN109559330A (zh) | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 | |
| Memarzadeh et al. | Real-time and automated recognition and 2D tracking of construction workers and equipment from site video streams | |
| CN111798487A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN109727275A (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| US11699240B2 (en) | Target tracking method and apparatus, and storage medium | |
| Chen et al. | A deep region-based pyramid neural network for automatic detection and multi-classification of various surface defects of aluminum alloys | |
| CN111487432B (zh) | 一种皮带测速方法、系统、设备及计算机存储介质 | |
| Li et al. | Hybrid camera pose estimation with online partitioning for slam | |
| Tang et al. | Cascaded foreign object detection in manufacturing processes using convolutional neural networks and synthetic data generation methodology | |
| Yin et al. | Overview of robotic grasp detection from 2D to 3D | |
| CN111814739A (zh) | 快递包裹体积的检测方法、装置、设备及存储介质 | |
| Wang et al. | Preliminary research on vehicle speed detection using traffic cameras | |
| Santos et al. | A real-time low-cost marker-based multiple camera tracking solution for virtual reality applications | |
| Kocur et al. | Traffic camera calibration via vehicle vanishing point detection | |
| Xin et al. | Continuous event-line constraint for closed-form velocity initialization | |
| Revaud et al. | Robust automatic monocular vehicle speed estimation for traffic surveillance | |
| TWI732374B (zh) | 物件辨識方法及裝置 | |
| Zhang et al. | Reidentification-based automated matching for 3D localization of workers in construction sites | |
| Micheal et al. | Automatic object tracking in optimized UAV video | |
| Zhong et al. | IDFusion: Globally consistent dense 3D reconstruction from RGB-D and inertial measurements | |
| Zou et al. | A light-weight object detection method based on knowledge distillation and model pruning for seam tracking system | |
| Li et al. | Featureless motion vector-based simultaneous localization, planar surface extraction, and moving obstacle tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |