CN112934758A - 基于图像识别的煤炭分拣拨手控制方法 - Google Patents

Abstract

本发明提供的一种基于图像识别的煤炭分拣拨手控制方法，包括：基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；对检测边界框进行过滤处理并输出合法边界框；对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨，通过上述方法，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间的位置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。

Description

基于图像识别的煤炭分拣拨手控制方法

技术领域

本发明涉及一种控制方法，尤其涉及一种基于图像识别的煤炭分拣拨手控 制方法。

背景技术

在煤炭开采中，煤炭被开采后需要对煤块进行分拣，这是由于在煤炭中混 油石块、煤矸石等，现有技术中，煤炭分拣采用人工分拣的方式，这种方式存 在效率低，而且浪费人力，因此，人们逐渐提出了基于图像的分拣方式，即将 煤炭通过传输带进行传输，然后获取传输带上的煤块图像信息，然后根据图像 信息控制相对应的拨手将煤炭分拣出来或者将煤炭中的石块、煤矸石等分拣出 来，但是，现有的拨手控制中，往往不能准确将煤块进行分拣，从而造成分拣 出来的煤块仍然混有大量的石块或者煤矸石等杂质，不利于后续煤炭的利用。

因此，为了解决上述技术问题，继续提出一种新的技术手段。

发明内容

有鉴于此，本发明的目的是提供一种基于图像识别的煤炭分拣拨手控制方 法，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间的位 置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。

本发明提供的一种基于图像识别的煤炭分拣拨手控制方法，包括：

基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；

对检测边界框进行过滤处理并输出合法边界框；

对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨 手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨。

进一步，对检测边界框进行过滤处理包括：

计算所有检测边界框中任一检测边界框与其他边界框的IoU值，并判断IoU 值是否大于设定IoU阈值，如是，则舍弃当前边界框，如否，则进入下一步；

判断当前检测边界框内的对象类别是否为煤，如是，则进入下一步；

判断当前检测边界框的形心位置是否在检测边界框所在图像的注意力区域 内，如是，则进入下一步；

判断当前检测边界框的尺寸是否在设定阈值范围内，如是，则进入下一步；

判断当前检测边界框与周围非煤检测边界框的位置是否合法，如是则当前 检测边界框保存为合法边界框。

进一步，判断当前检测边界框与周围非煤检测边界框的位置是否合法包括：

建立坐标系，并以煤流方向为纵轴，以垂直于煤流方向的水平方向为横轴；

判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区 域，如是，判断当前检测边界框的在纵轴方向的尺寸是否小于设定阈值且非煤 检测边界框的在纵轴方向的尺寸大于设定阈值，如是，则当前检测边界框与非 煤检测边界框的位置不合法；

判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区 域，如否，则计算位置评估值R和评估值S，如果R＜S，则当前检测边界框和 非煤检测边界框的位置不合法，其中：位置评估值R为当前检测边界框与非煤 检测边界框在纵轴方向的垂直距离，S＝(H1-H2)/2；H1为当前检测边界框在纵 轴方向的宽度，H2为拨手在纵轴方向上的宽度。

进一步，检测边界框过滤处理之前还包括去重处理：将当前帧图像与前一 帧图像进行对比，剔除重复图像。

进一步，将当前帧图像与前一帧图像进行对比并剔除重复图像包括：

将当前帧图像和前一帧图像的注意力区域进行尺寸缩减处理，得到两帧尺 寸相同的图像；

将两帧尺寸相同的图像进行灰度处理，然后进行离散余弦变换得到两个DCT矩阵；

在分别在两个DCT矩阵中的左上角截取K*K的区域，形成两个K*K的两个 子矩阵；

将每个子矩阵中的每个元素与设定阈值进行比较得到两个哈希列表矩阵， 具体包括：如果某个元素大于设定值，则将该元素所处位置置为1，如果该元 素小于设定值，则置为0；

分别计算两个哈希列表矩阵的汉明距离，将两个汉明距离作差运算，如果 两个哈希列表矩阵的韩明距离之间的差值小于设定阈值，则判断当前帧图像和 前一帧图像重复，剔除当前帧图像。

进一步，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手 包括：

将合法边界框的形心位置按照以煤流方向为纵轴的坐标系中的纵轴坐标值 大小进行排序；

确定合法边界框的形心与拨手形心之间的距离；

将当前帧图像中形心位置坐标值最小的合法边界框分配到形心距离最近的 拨手，以此类推，直至将所有合法边界框分配完成；

如果当前被分配的拨手已经被分配，则将当前合法边界框分配到形心距离 次最近的拨手，以此类推。

进一步，如果相邻两个合法边界框在纵坐标方向上之间的间距大于m，则 将相邻两个边界框所对应的煤块分配到同一拨手，其中，m＝v×s，其中，v为 煤流行进速度，s为拨手连续两次拨动煤块的时间间隔；

如果相邻两个合法边界框的形心之间的距离小于拨手宽度的一半，则将该 两个合法边界框所对应的煤块分配至同一拨手。

本发明的有益效果：通过本发明，能够对传输带上的煤炭进行准确识别， 并且根据煤炭与非煤杂质之间的位置关系准确分配到相应的拨手，能够有效提 高煤块的分拣效率以及准确性。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的流程图。

图2为本发明中注意力区域示意图。

图3为煤块检测边界框和非煤检测边界框位置关系示意图。

图4为另一种煤块检测边界框和非煤检测边界框位置关系示意图。

图5为本发明中拨手分配示意图。

图6为本发明检测边界框进行过滤处理流程图。

图7为本发明剔除重复图像流程图。

具体实施方式

以下结合说明书附图对本发明做出进一步详细说明：

本发明提供的一种基于图像识别的煤炭分拣拨手控制方法，包括：

基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；

对检测边界框进行过滤处理并输出合法边界框；

对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨 手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨，通过上 述方法，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间 的位置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。

其中，通过设置在传输带正上方的工业相机实时捕获传输带上的煤流图像 信息；上述中的检测边界框为能够覆盖煤块或者非煤杂质块的最小矩形框，如 图2所示。

本实施例中，对检测边界框进行过滤处理包括：

计算所有检测边界框中任一检测边界框与其他边界框的IoU值，并判断IoU 值是否大于设定IoU阈值，如是，则舍弃当前边界框，如否，则进入下一步；

判断当前检测边界框内的对象类别是否为煤，在实际中，煤流中包含有煤 块和非煤块，非煤块包括石块、煤矸石等，因此，需要从图像中识别出煤块， 其中，通过现有的图像处理方法识别出煤块，如是，则进入下一步；

判断当前检测边界框的形心位置是否在检测边界框所在图像的注意力区域 内，如图2所示，注意力区域(英文简称为ROI)为一帧图形中所关注的区域， 图2中实线矩形框表示1帧图像，两条虚线区域极为注意力区域；如是，则进 入下一步；

判断当前检测边界框的尺寸是否在设定阈值范围内，如是，则进入下一步；

判断当前检测边界框与周围非煤检测边界框的位置是否合法，如是则当前 检测边界框保存为合法边界框，通过上述的方法，能够准确识别出煤块以及拨 手能够分拨出来的煤块。

本实施例中，判断当前检测边界框与周围非煤检测边界框的位置是否合法 包括：

建立坐标系，并以煤流方向为纵轴，以垂直于煤流方向的水平方向为横轴， 煤流方向为传输带的行进方向，而水平方向则为传输带上表面垂直于行进方向；

判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区 域，如是，判断当前检测边界框的在纵轴方向的尺寸是否小于设定阈值且非煤 检测边界框的在纵轴方向的尺寸大于设定阈值，如是，则当前检测边界框与非 煤检测边界框的位置不合法；如果煤块的尺寸大于设定值或者非煤的小于设定 值，那么仍然被认定为合法，从而避免煤炭的浪费，虽然此时会将该非煤块与 煤块一起分拣出去，那么该非煤块留到下一步筛选工序中；

判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区 域，如否，则计算位置评估值R和评估值S，如果R＜S，则当前检测边界框和 非煤检测边界框的位置不合法，其中：位置评估值R为当前检测边界框与非煤 检测边界框在纵轴方向的垂直距离，S＝(H1-H2)/2；H1为当前检测边界框在纵 轴方向的宽度，H2为拨手在纵轴方向上的宽度，如图3和图4所示，由于边界 框为一个矩形结构，那么在判断过程中只需标记出边界框的任意两个相对的定 点在横轴方向延伸后，进行叠加区域的判断，如图3和图4所示：图3中阴影 部分即为叠加区域，通过上述方法，能够准确对当前检测边界框与周围非煤检 测边界框的位置是否合法进行判断，为最终合法边界框的确定提供保障。

本实施例中，检测边界框过滤处理之前还包括去重处理：将当前帧图像与 前一帧图像进行对比，剔除重复图像。

将当前帧图像与前一帧图像进行对比并剔除重复图像包括：

将当前帧图像和前一帧图像的注意力区域进行尺寸缩减处理，比如将注意 力区域尺寸缩减为n×n的图像，具体的n值根据实际进行设定，得到两帧尺寸 相同的图像；

将两帧尺寸相同的图像进行灰度处理，然后进行离散余弦变换得到两个 DCT矩阵；

在分别在两个DCT矩阵中的左上角截取K*K的区域，形成两个K*K的两个 子矩阵；

将每个子矩阵中的每个元素与设定阈值进行比较得到两个哈希列表矩阵， 具体包括：如果某个元素大于设定值，则将该元素所处位置置为1，如果该元 素小于设定值，则置为0；

分别计算两个哈希列表矩阵的汉明距离，将两个汉明距离作差运算，如果 两个哈希列表矩阵的韩明距离之间的差值小于设定阈值，则判断当前帧图像和 前一帧图像重复，剔除当前帧图像，在实际中往往会出现两帧图像相近似的状 态，在这种状态下分配拨手时容易造成重复，从而导致分拨效率降低，通过上 述方法，能够准确剔除冗余，提高效率。

本实施例中，根据合法边界框的形心位置与拨手的位置关系分配相对应的 拨手包括：

将合法边界框的形心位置按照以煤流方向为纵轴的坐标系中的纵轴坐标值 大小进行排序；

确定合法边界框的形心与拨手形心之间的距离；

将当前帧图像中形心位置坐标值最小的合法边界框分配到形心距离最近的 拨手，以此类推，直至将所有合法边界框分配完成；

如果当前被分配的拨手已经被分配，则将当前合法边界框分配到形心距离 次最近的拨手，以此类推。

如果相邻两个合法边界框在纵坐标方向上之间的间距大于m，则将相邻两 个边界框所对应的煤块分配到同一拨手，其中，m＝v×s，其中，v为煤流行进 速度，s为拨手连续两次拨动煤块的时间间隔；

如果相邻两个合法边界框的形心之间的距离小于拨手宽度的一半，则将该 两个合法边界框所对应的煤块分配至同一拨手。

拨手往往设置为两列，分别向左和向右分拨煤块。如图5所示：拨手一般 分为2列，以左侧煤流为例，传输带为从下到上运动，从上到下的方向上，那 么经过计算，左侧最上面的煤块的形心到1号拨手的距离最近，那么将该煤块 分配至1号拨手，而对于第2个煤块，经过计算，其形心到1号拨手的距离最 近，那么将该煤块分配至3号拨手，因为第2个煤块与3号拨手的形心距离最 近，如果第1煤块和第2煤块边界框之间的距离h大于m，那么，此时将第1 煤块和第2煤块均分配至1号拨手；另一种情况是：如果第1煤块和第2煤块 的边界框的形心距离小于拨手宽度的一半，那么也将第1和第2煤块分配至同 一拨手，即1号拨手，其它煤块均按照上述的方式进行拨手分配，当然，右侧 的煤块分配也按照上述原理进行分配。

上述各图示中，虚线矩形框表示边界框。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管 参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解， 可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的 宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于图像识别的煤炭分拣拨手控制方法，其特征在于：包括：

基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；

对检测边界框进行过滤处理并输出合法边界框；

对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨。

2.根据权利要求1所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：对检测边界框进行过滤处理包括：

计算所有检测边界框中任一检测边界框与其他边界框的IoU值，并判断IoU值是否大于设定IoU阈值，如是，则舍弃当前边界框，如否，则进入下一步；

判断当前检测边界框内的对象类别是否为煤，如是，则进入下一步；

判断当前检测边界框的形心位置是否在检测边界框所在图像的注意力区域内，如是，则进入下一步；

判断当前检测边界框的尺寸是否在设定阈值范围内，如是，则进入下一步；

判断当前检测边界框与周围非煤检测边界框的位置是否合法，如是则当前检测边界框保存为合法边界框。

3.根据权利要求2所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：判断当前检测边界框与周围非煤检测边界框的位置是否合法包括：

建立坐标系，并以煤流方向为纵轴，以垂直于煤流方向的水平方向为横轴；

判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区域，如是，判断当前检测边界框的在纵轴方向的尺寸是否小于设定阈值且非煤检测边界框的在纵轴方向的尺寸大于设定阈值，如是，则当前检测边界框与非煤检测边界框的位置不合法；

判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区域，如否，则计算位置评估值R和评估值S，如果R＜S，则当前检测边界框和非煤检测边界框的位置不合法，其中：位置评估值R为当前检测边界框与非煤检测边界框在纵轴方向的垂直距离，S＝(H1-H2)/2；H1为当前检测边界框在纵轴方向的宽度，H2为拨手在纵轴方向上的宽度。

4.根据权利要求2所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：检测边界框过滤处理之前还包括去重处理：将当前帧图像与前一帧图像进行对比，剔除重复图像。

5.根据权利要求4所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：将当前帧图像与前一帧图像进行对比并剔除重复图像包括：

将当前帧图像和前一帧图像的注意力区域进行尺寸缩减处理，得到两帧尺寸相同的图像；

将两帧尺寸相同的图像进行灰度处理，然后进行离散余弦变换得到两个DCT矩阵；

在分别在两个DCT矩阵中的左上角截取K*K的区域，形成两个K*K的两个子矩阵；

将每个子矩阵中的每个元素与设定阈值进行比较得到两个哈希列表矩阵，具体包括：如果某个元素大于设定值，则将该元素所处位置置为1，如果该元素小于设定值，则置为0；

分别计算两个哈希列表矩阵的汉明距离，将两个汉明距离作差运算，如果两个哈希列表矩阵的韩明距离之间的差值小于设定阈值，则判断当前帧图像和前一帧图像重复，剔除当前帧图像。

6.根据权利要求1所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手包括：

将合法边界框的形心位置按照以煤流方向为纵轴的坐标系中的纵轴坐标值大小进行排序；

确定合法边界框的形心与拨手形心之间的距离；

将当前帧图像中形心位置坐标值最小的合法边界框分配到形心距离最近的拨手，以此类推，直至将所有合法边界框分配完成；

如果当前被分配的拨手已经被分配，则将当前合法边界框分配到形心距离次最近的拨手，以此类推。

7.根据权利要求6所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：如果相邻两个合法边界框在纵坐标方向上之间的间距大于m，则将相邻两个边界框所对应的煤块分配到同一拨手，其中，m＝v×s，其中，v为煤流行进速度，s为拨手连续两次拨动煤块的时间间隔；

如果相邻两个合法边界框的形心之间的距离小于拨手宽度的一半，则将该两个合法边界框所对应的煤块分配至同一拨手。

Images