CN112258398B - 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法 - Google Patents

基于tof与双目图像融合的输送带纵向撕裂检测装置与方法 Download PDF

Info

Publication number
CN112258398B
CN112258398B CN202010937384.5A CN202010937384A CN112258398B CN 112258398 B CN112258398 B CN 112258398B CN 202010937384 A CN202010937384 A CN 202010937384A CN 112258398 B CN112258398 B CN 112258398B
Authority
CN
China
Prior art keywords
image
tof
binocular
light intensity
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010937384.5A
Other languages
English (en)
Other versions
CN112258398A (zh
Inventor
乔铁柱
汪心悦
张海涛
杨毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202010937384.5A priority Critical patent/CN112258398B/zh
Publication of CN112258398A publication Critical patent/CN112258398A/zh
Application granted granted Critical
Publication of CN112258398B publication Critical patent/CN112258398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及无损检测技术领域，尤其涉及一种基于TOF与双目图像融合的输送带纵向撕裂检测装置及方法。本装置设置在输送带上下皮带之间，包括中央处理单元、数据存储模块、图像处理模块、图像采集模块；电源模块与中央处理单元相连，图像处理模块与图像采集模块相连，中央处理单元分别与数据存储模块、图像处理模块相连；本方法将图像采集模块采集到的图像传递给图像处理模块，然后将处理后的数据传递给中央处理单元；中央处理单元将TOF视差图与双目视差图融合后计算出深度图并根据深度图分析判断输送带是否发生纵向撕裂；本发明能更有效地检测输送带发生纵向撕裂。

Description

基于TOF与双目图像融合的输送带纵向撕裂检测装置与方法
技术领域
本发明涉及无损检测技术领域，尤其涉及一种基于TOF与双目图像融合的输送带纵向撕裂检测装置及方法。
背景技术
在煤矿采集过程中，输送带作为煤矿运输的重要工具，很容易因为发生纵向撕裂而造成损坏，而这种损坏很可能导致一整条输送带都损坏，影响范围大、时间长，需要相当长的时间恢复，进而导致停产、人员伤亡和巨大的经济损失。因此，输送带的纵向撕裂检测问题十分重要。
随着智能矿山计划的推进，输送带纵向撕裂智能检测技术发展迅速。目前，有很多基于机器视觉的输送带纵向撕裂检测方法，但是会受到地下环境能见度低以及输送带弱纹理和重复纹理区域多的影响导致检测结果准确率不够高。
发明内容
本发明克服了现有技术的不足，提出一种基于TOF与双目图像融合的输送带纵向撕裂检测装置与方法。解决井下特殊环境中对输送带撕裂检测精度不高的问题。
为了达到上述目的，本发明是通过如下技术方案实现的。
基于TOF与双目图像融合的输送带纵向撕裂检测装置，包括中央处理单元、数据存储模块、图像处理模块、图像采集模块、通讯接口、电源模块；所述电源模块通过通讯接口与外接电源模块相连接；中央处理单元与电源模块相连接；所述图像采集模块用于采集输送带运行时的TOF深度图像、TOF光强图像和双目图像；所述图像处理模块与图像采集模块相连，用于对采集到的TOF深度图像和TOF光强图像进行预处理，对采集到的双目图像进行预处理、立体校正、立体匹配，得到双目视差图像；所述中央处理单元分别与数据存储模块、图像处理模块相连，用于对处理后的TOF深度图像与双目视差图像进行融合并分析判断输送带是否发生纵向撕裂，将分析结果通过所述通讯接口实时传送到矿井安全预警平台，并将分析结果储存到所述数据存储模块中；图像采集模块包括TOF深度相机、左CCD相机和右CCD相机，其中TOF深度相机位于左CCD相机和右CCD相机中间。
进一步的，还包括壳体，所述中央处理单元、数据存储模块、图像处理模块、图像采集模块、通讯接口和电源模块设置在壳体内，所述壳体设置有固定支架。
更进一步，所述壳体由镍鉻合金和紫铜网加工而成。
进一步的，所述壳体在靠近图像采集模块处设置有图像采集窗口。
基于TOF与双目图像融合的输送带纵向撕裂检测装置的检测方法，包括以下步骤：
S1：将图像采集模块对正输送带，以采集输送带运行时的双目图像、TOF深度图像和TOF强度图像；
S2：设定图像采集时间间隔，图像采集模块按照预设的采集时间点采集输送带运输时的双目图像、TOF深度图像和TOF强度图像，并传递给图像处理模块（4）进行处理；
S3：对双目图像进行去噪和边缘检测，得到边缘区域的信息；
S4：对TOF深度图像预处理并求出TOF视差图；
S5：对双目图像进行预处理、立体校正和立体匹配得到双目视差图；
S6：将TOF视差图与双目视差图传递至中央处理单元进行融合，由融合后的视差图计算出深度图Dth；
S7：根据深度图Dth判断输送带是否发生纵向撕裂。
其中，优选的S3所述对双目图像进行去噪和边缘检测，得到边缘区域的信息，包括：对双目相机的左CCD相机进行彩色图像转换成灰度图像，然后利用灰度边缘检测算法Canny算子来获取图像边缘。
优选的：S4所述对TOF深度图像预处理并求出TOF视差图，包括：
S41：将TOF深度图与TOF光强图进行双线性插值，使分辨率与双目图像一致，然后进行快速中值滤波去噪的预处理；
S42：由TOF深度图计算出相对于左CCD相机视角的TOF视差图。
优选的，S5所述对双目图像进行预处理、立体校正和立体匹配得到双目视差图，包括：
S51：将双目图像进行彩色图转灰度图以及去噪的预处理；
S52：将预处理后的双目图像进行立体校正，利用极线约束将某一点从二维搜索降低到一维搜索，有效地降低立体匹配的计算量；
S53：将立体矫正后的图像进一步使用局部立体匹配，通过匹配代价聚合，将每个像素点的匹配代价求出之后，采用WTA算法，设置视差搜索范围，比较不同视差下像素点的匹配代价，取其中最小者所对应的视差为最终的视差值从而计算出双目视差图像。
优选的，S6所述将TOF视差图与双目视差图传递至中央处理单元（3）进行融合，由融合后的视差图计算出深度图Dth，包括：
S61：双目视差图Db在TOF光强图的光强值预定范围外的区域，置信度融合系数设为wb=1；在左CCD相机图像边缘区域且TOF光强图的光强值预定范围内的区域，置信度融合系数设为wb=0.9；在非边缘区域且TOF光强图的光强值预定范围内的区域，设置双目视差图可信度函数CB；
S62：TOF视差图Dt在TOF光强图的光强值预定范围外的置信度设为wt=0；在左CCD相机图像边缘区域且TOF光强图的光强值预定范围内的区域置信度设为wt=0.1；在非边缘区域且TOF光强图的光强值预定范围内的区域，设置TOF视差图可信度函数CT；
S63：将双目视差图可信度函数CB与TOF视差图可信度函数CT归一化并相融合;
S64：得到融合后的视差图
Figure 281994DEST_PATH_IMAGE001
，根据三角测量原理计算出深度图Dth。
优选的，S7所述根据深度图Dth判断输送带是否发生纵向撕裂，包括：
S71，将深度图Dth选出感兴趣区域将输送外的背景去除，并在感兴趣区域内找出深度值大于预定值的区域；
S72，根据深度值大于预定值的区域的长度和面积来判断输送带是否发生纵向撕裂，若该区域长度大于L或面积大于S，则判断输送带有纵向撕裂。
本发明相对于现有技术所产生的有益效果为。
1、本发明采用基于TOF与双目图像融合的检测方法，将TOF深度与双目图像融合，通过两种技术的融合，能够获取质量较好的深度图，更好地弥补了单一传感器的缺陷，能更有效地检测输送带发生纵向撕裂。
2、本发明先使用双目左相机图像进行边缘检测，再以光强和边缘为条件将TOF视差图与双目视差图按照置信度相融合，与其他TOF与双目图像融合检测方法相比，加强了对边缘的检测精度，更有效的判断与测量输送带的纵向撕裂。
3、本发明可以实现二十四小时实时监测，有效减少人工成本提高检测的有效性和可靠性。
4、本发明可以作为单机使用，也可以通过通讯接口连接环网进行远程数据传输，在集控室、调度中心等再现纵向撕裂检测过程中的实时视频图像，以进行进一步操作。
附图说明
图1为本发明实施例提出的一种基于TOF与双目图像融合的输送带纵向撕裂检测装置结构示意图；
图2为本发明实施例所述检测装置的安装示意图；
图3为本发明实施例提出的一种基于TOF与双目图像融合的输送带纵向撕裂检测方法的流程图；
图中：1-固定底座、2-数据存储模块、3-中央处理单元、4-图像处理模块、5-电源模块、6-壳体、8-通讯接口、9-左CCD相机、10-TOF深度相机、11-右CCD相机、12-图像采集窗口、13-上输送带、14-检测装置、15-连接支架、16-输送带大架、17-下输送带。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案，但保护范围不被此限制。
如图1所示，为本发明实施例提供的一种基于TOF与双目图像融合的输送带纵向撕裂检测装置的结构示意图；包括壳体6，壳体6内固定设有中央处理单元3、数据存储模块2、图像处理模块4、图像采集模块、通讯接口8、电源模块5；壳体6上设有固定支架1，固定支架1用于支撑金属的外壳6；图像采集模块包括TOF深度相机10、左CCD相机9和右CCD相机11，其中TOF深度相机10位于左CCD相机9和右CCD相机11中间。
电源模块5通过通讯接口8连接到外接电源模块，电源模块5与中央处理单元3相连进行供电；图像采集模块用于采集输送带运行时的TOF深度图像、TOF光强图像和双目图像；图像处理模块4与图像采集模块相连，用于对采集到的TOF深度图像和TOF光强图像进行预处理，对采集到的双目图像进行预处理、立体校正、立体匹配，得到双目视差图像；中央处理单元3分别与数据存储模块2、图像处理模块4相连，用于对处理后的TOF深度图像与双目视差图像进行融合并分析判断输送带是否发生纵向撕裂，将分析结果通过通讯接口8实时传送到矿井安全预警平台，并将分析结果储存到数据存储模块2中。其中，壳体6为具有防电磁干扰性能的镍鉻合金和紫铜网加工而成。壳体6在靠近图像采集模块的位置设有图像采集窗口12。
本发明实施例提供了一种基于TOF与双目图像融合的输送带纵向撕裂检测方法，基于上述一种基于TOF与双目图像融合的输送带纵向撕裂检测装置完成，该检测装置14的安装位置如图2所示，将检测装置安装到上输送带13正上方，通过连接支架15固定在胶带大架16上，采集上输送带13上表面图像信息，并做好防尘防水处理。如图3所示，检测方法主要包括以下步骤：
S1：该装置通过可调支架连接固定支架1固定在输送带大架16上，将图像采集窗口12对正输送带，以采集输送带运行时的双目图像、TOF深度图像和TOF强度图像；
S2：设定图像采集时间间隔，图像采集模块按照预设的采集时间点采集输送带运输时的双目图像、TOF深度图像和TOF强度图像，并传递给图像处理模块4进行处理；
S3：对双目相机的左CCD相机9图像进行去噪和边缘检测，得到边缘区域的信息；
S4：对TOF深度图像预处理并求出TOF视差图；
S5：对双目图像进行预处理、立体校正和立体匹配得到双目视差图；
S6：将TOF视差图与双目视差图传递至中央处理单元进行融合，由融合后的视差图计算出深度图Dth；
S7：根据深度图Dth判断输送带是否发生纵向撕裂。
其中，S3所述对双目相机的左CCD相机9图像进行去噪和边缘检测，得到边缘区域的信息，包括：
对双目相机的左相机进行彩色图像转换成灰度图像， 然后利用灰度边缘检测算法Canny算子来获取图像边缘。
S4所述对TOF深度图像预处理并求出TOF视差图，包括：
S41：将TOF深度图与TOF光强图进行双线性插值，使分辨率与双目图像一致，然后进行快速中值滤波去噪的预处理；
S42：由TOF深度图计算出相对于左CCD相机9视角的TOF视差图。
S5所述对双目图像进行预处理、立体校正和立体匹配得到双目视差图，包括：
S51：将双目图像进行彩色图转灰度图以及去噪的预处理；
S52：将预处理后的双目图像进行立体校正，利用极线约束将某一点从二维搜索降低到一维搜索，有效地降低立体匹配的计算量；
S53：将立体矫正后的图像进一步使用局部立体匹配，通过匹配代价聚合，将每个像素点的匹配代价求出之后，采用WTA(Winner-take．all)算法，设置一定的视差搜索范围，比较不同视差下像素点的匹配代价，取其中最小者所对应的视差为最终的视差值从而计算出双目视差图像。
S6所述将TOF视差图与双目视差图传递至中央处理单元进行融合，由融合后的视差图计算出深度图Dth，包括：
S61：双目视差图Db在TOF光强图的光强值预定范围外的区域，置信度融合系数设为wb=1；在左相机图像边缘区域且TOF光强图的光强值预定范围内的区域，置信度融合系数设为wb=0.9；在非边缘区域且TOF光强图的光强值预定范围内的区域，设置双目视差图可信度函数
Figure 621971DEST_PATH_IMAGE002
，其中
Figure 57500DEST_PATH_IMAGE003
是双目最小匹配代价函数，
Figure 219754DEST_PATH_IMAGE004
是双目次小匹配代价函数；
S62：TOF视差图Dt在TOF光强图的光强值预定范围外的置信度设为wt=0；在双目左CCD相机9图像边缘区域且TOF光强图的光强值预定范围内的区域置信度设为wt=0.1；在非边缘区域且TOF光强图的光强值预定范围内的区域设置TOF视差图可信度函数
Figure 955497DEST_PATH_IMAGE005
，其中A(p)是TOF光强图的标准差；
S63：将双目视差图可信度函数CB与TOF视差图可信度函数CT归一化
Figure 935217DEST_PATH_IMAGE006
，并相融合
Figure 874354DEST_PATH_IMAGE007
；
S64：得到融合后的视差图由公式
Figure 994626DEST_PATH_IMAGE008
得到，根据三角测量原理计算出深度图Dth。
S7所述根据深度图Dth判断输送带是否发生纵向撕裂，包括：
S71，将深度图Dth选出感兴趣区域将输送外的背景去除，并在感兴趣区域内找出深度值大于预定值的区域；
S72，根据深度值大于预定值的区域的长度和面积来判断输送带是否发生纵向撕裂，若该区域长度大于L或面积大于S，则判断输送带有纵向撕裂。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (7)

1.基于TOF与双目图像融合的输送带纵向撕裂检测装置，其特征在于，包括设置在壳体（6）内的中央处理单元（3）、数据存储模块（2）、图像处理模块（4）、图像采集模块、通讯接口（8）和电源模块（5）；所述电源模块（5）通过通讯接口（8）与外接电源模块相连接；中央处理单元（3）与电源模块（5）相连接；所述图像采集模块用于采集输送带运行时的TOF深度图像、TOF光强图像和双目图像；所述图像处理模块（4）与图像采集模块相连，用于对双目相机的左CCD相机（9）进行彩色图像转换成灰度图像，然后利用灰度边缘检测算法Canny算子来获取图像边缘；以及对采集到的TOF深度图像和TOF光强图像进行预处理：包括将TOF深度图与TOF光强图进行双线性插值，使分辨率与双目图像一致，然后进行快速中值滤波去噪的预处理；由TOF深度图计算出相对于左CCD相机（9）视角的TOF视差图；
对采集到的双目图像进行预处理、立体校正和立体匹配，得到双目视差图像；所述中央处理单元（3）分别与数据存储模块（2）和图像处理模块（4）相连，用于对处理后的TOF深度图像与双目视差图像进行融合并分析判断输送带是否发生纵向撕裂，将分析结果通过所述通讯接口（8）实时传送到矿井安全预警平台，并将分析结果储存到所述数据存储模块（2）中；图像采集模块包括TOF深度相机（10）、左CCD相机（9）和右CCD相机（11），其中TOF深度相机（10）位于左CCD相机（9）和右CCD相机（11）中间；
所述的融合的方法是：1）双目视差图Db在TOF光强图的光强值预定范围外的区域，置信度融合系数设为wb=1；在左相机图像边缘区域且TOF光强图的光强值预定范围内的区域，置信度融合系数设为wb=0.9；在非边缘区域且TOF光强图的光强值预定范围内的区域，设置双目视差图可信度函数
Figure DEST_PATH_IMAGE001
，其中
Figure DEST_PATH_IMAGE002
是双目最小匹配代价函数，
Figure DEST_PATH_IMAGE003
是双目次小匹配代价函数；
2）TOF视差图Dt在TOF光强图的光强值预定范围外的置信度设为wt=0；在双目左CCD相机（9）图像边缘区域且TOF光强图的光强值预定范围内的区域置信度设为wt=0.1；在非边缘区域且TOF光强图的光强值预定范围内的区域设置TOF视差图可信度函数
Figure DEST_PATH_IMAGE004
，其中A(p)是TOF光强图的标准差；
3）将双目视差图可信度函数CB与TOF视差图可信度函数CT归一化
Figure DEST_PATH_IMAGE005
，并相融合
Figure DEST_PATH_IMAGE006
；
4）得到融合后的视差图由公式
Figure DEST_PATH_IMAGE007
得到，根据三角测量原理计算出深度图Dth。
2.根据权利要求1所述的基于TOF与双目图像融合的输送带纵向撕裂检测装置，其特征在于，所述壳体（6）设置有固定支架（1）。
3.根据权利要求2所述的基于TOF与双目图像融合的输送带纵向撕裂检测装置，其特征在于：所述壳体（6）由镍铬合金和紫铜网加工而成。
4.根据权利要求2所述的基于TOF与双目图像融合的输送带纵向撕裂检测装置，其特征在于：所述壳体（6）在靠近图像采集模块处设置有图像采集窗口（12）。
5.利用如权利要求1-4任意一项所述的基于TOF与双目图像融合的输送带纵向撕裂检测装置的检测方法，其特征在于，包括以下步骤：
S1：将图像采集模块对正输送带，以采集输送带运行时的双目图像、TOF深度图像和TOF强度图像；
S2：设定图像采集时间间隔，图像采集模块按照预设的采集时间点采集输送带运输时的双目图像、TOF深度图像和TOF强度图像，并传递给图像处理模块（4）进行处理；所述图像处理模块（4）用于对双目相机的左CCD相机（9）进行彩色图像转换成灰度图像，然后利用灰度边缘检测算法Canny算子来获取图像边缘； S3：对双目图像进行去噪和边缘检测，得到边缘区域的信息；
S4：对TOF深度图像预处理并求出TOF视差图：包括将TOF深度图与TOF光强图进行双线性插值，使分辨率与双目图像一致，然后进行快速中值滤波去噪的预处理；由TOF深度图计算出相对于左CCD相机（9）视角的TOF视差图；
S5：对双目图像进行预处理、立体校正和立体匹配得到双目视差图；
S6：将TOF视差图与双目视差图传递至中央处理单元（3）进行融合，由融合后的视差图计算出深度图Dth；
S61：双目视差图Db在TOF光强图的光强值预定范围外的区域，置信度融合系数设为wb=1；在左相机图像边缘区域且TOF光强图的光强值预定范围内的区域，置信度融合系数设为wb=0.9；在非边缘区域且TOF光强图的光强值预定范围内的区域，设置双目视差图可信度函数
Figure 600765DEST_PATH_IMAGE001
，其中
Figure 845802DEST_PATH_IMAGE002
是双目最小匹配代价函数，
Figure 953435DEST_PATH_IMAGE003
是双目次小匹配代价函数；
S62：TOF视差图Dt在TOF光强图的光强值预定范围外的置信度设为wt=0；在双目左CCD相机9图像边缘区域且TOF光强图的光强值预定范围内的区域置信度设为wt=0.1；在非边缘区域且TOF光强图的光强值预定范围内的区域设置TOF视差图可信度函数
Figure 178005DEST_PATH_IMAGE004
，其中A(p)是TOF光强图的标准差；
S63：将双目视差图可信度函数CB与TOF视差图可信度函数CT归一化
Figure 320274DEST_PATH_IMAGE005
，并相融合
Figure 470632DEST_PATH_IMAGE006
；
S64：得到融合后的视差图由公式
Figure 65562DEST_PATH_IMAGE007
得到，根据三角测量原理计算出深度图Dth；
S7：根据深度图Dth判断输送带是否发生纵向撕裂。
6.根据权利要求5所述的检测方法，其特征在于：S5所述对双目图像进行预处理、立体校正和立体匹配得到双目视差图，包括：
S51：将双目图像进行彩色图转灰度图以及去噪的预处理；
S52：将预处理后的双目图像进行立体校正，利用极线约束将某一点从二维搜索降低到一维搜索，有效地降低立体匹配的计算量；
S53：将立体矫正后的图像进一步使用局部立体匹配，通过匹配代价聚合，将每个像素点的匹配代价求出之后，采用WTA算法，设置视差搜索范围，比较不同视差下像素点的匹配代价，取其中最小者所对应的视差为最终的视差值从而计算出双目视差图像。
7.根据权利要求5所述的检测方法，其特征在于：S7所述根据深度图Dth判断输送带是否发生纵向撕裂，包括：
S71，将深度图Dth选出感兴趣区域将输送外的背景去除，并在感兴趣区域内找出深度值大于预定值的区域；
S72，根据深度值大于预定值的区域的长度和面积来判断输送带是否发生纵向撕裂，若该区域长度大于L或面积大于S，则判断输送带有纵向撕裂。
CN202010937384.5A 2020-09-08 2020-09-08 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法 Active CN112258398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010937384.5A CN112258398B (zh) 2020-09-08 2020-09-08 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010937384.5A CN112258398B (zh) 2020-09-08 2020-09-08 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法

Publications (2)

Publication Number Publication Date
CN112258398A CN112258398A (zh) 2021-01-22
CN112258398B true CN112258398B (zh) 2022-05-17

Family

ID=74233062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010937384.5A Active CN112258398B (zh) 2020-09-08 2020-09-08 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法

Country Status (1)

Country Link
CN (1) CN112258398B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658089B (zh) * 2021-09-09 2024-08-23 南开大学 一种基于深度相机的双数据流融合物体识别方法
CN117088071B (zh) * 2023-10-19 2024-01-23 山西戴德测控技术股份有限公司 一种传送带损伤位置定位系统、服务器及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957023A (zh) * 2016-04-19 2016-09-21 南京工程学院 一种基于色度空间变换的激光线条纹图像增强和去噪方法
CN109353777A (zh) * 2018-08-15 2019-02-19 太原理工大学 基于双视觉图像特征融合的输送带纵向撕裂检测装置
CN110276265A (zh) * 2019-05-27 2019-09-24 魏运 基于智能三维立体监控设备的行人监测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957023A (zh) * 2016-04-19 2016-09-21 南京工程学院 一种基于色度空间变换的激光线条纹图像增强和去噪方法
CN109353777A (zh) * 2018-08-15 2019-02-19 太原理工大学 基于双视觉图像特征融合的输送带纵向撕裂检测装置
CN110276265A (zh) * 2019-05-27 2019-09-24 魏运 基于智能三维立体监控设备的行人监测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A method for determining longitudinal tear of conveyor belt based on feature fusion*;Fei ZENG 等;《2019 6th International Conference on Information Science and Control Engineering (ICISCE)》;20200604;第65-69页 *
Integrative binocular vision detection method based on infrared and visible light fusion for conveyor belts longitudinal tear;Tiezhu Qiao等;《Measurement》;20170629;第110卷;第192-201页 *
Longitudinal tear early-warning method for conveyor belt based on infrared vision;Yi Yang等;《Measurement》;20190619;第147卷;第1-7页 *
基于数字图像处理的皮带纵向撕裂视觉识别;祁隽燕等;《煤炭技术》;20061110;第25卷(第11期);第15-17页 *

Also Published As

Publication number Publication date
CN112258398A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN109632033B (zh) 一种体积测量的设备与方法
CN110850723B (zh) 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN112258398B (zh) 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法
CN109974582B (zh) 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN105346706A (zh) 飞行装置、飞行控制系统及方法
CN109752392B (zh) 一种pcb板缺陷类型检测系统和方法
CN106969706A (zh) 基于双目立体视觉的工件检测与三维测量系统及检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN106679567A (zh) 基于双目立体视觉的接触网及支柱几何参数检测测量系统
CN111266315A (zh) 基于视觉分析的矿石物料在线分拣系统及其方法
CN104808210B (zh) 一种声纳和双目视觉成像系统的融合成像装置及方法
CN113306991A (zh) 基于立体视觉的煤炭运输机监测管理系统
CN107578397A (zh) 一种新型非接触式接触线磨损检测方法
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN103913149A (zh) 一种基于stm32单片机的双目测距系统及其测距方法
CN115661453A (zh) 一种基于下视角相机的塔吊吊物检测分割方法及系统
CN108180871A (zh) 一种定量评价复合绝缘子表面粉化粗糙度的方法
CN110487417A (zh) 一种发电机励磁碳刷安全检测方法及预警系统
CN118053020A (zh) 一种结合可见光与热成像技术的托辊旋转框目标检测方法
CN113569943A (zh) 一种基于深度神经网络的渣片大块预警方法、系统及装置
JP2009052907A (ja) 異物検出システム
CN112508995A (zh) 一种基于tof相机的煤流量实时动态计量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant