CN111814711A - 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 - Google Patents

一种应用于矿井机器视觉的图像特征快速匹配方法及系统 Download PDF

Info

Publication number
CN111814711A
CN111814711A CN202010681652.1A CN202010681652A CN111814711A CN 111814711 A CN111814711 A CN 111814711A CN 202010681652 A CN202010681652 A CN 202010681652A CN 111814711 A CN111814711 A CN 111814711A
Authority
CN
China
Prior art keywords
image
feature point
analyzed
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010681652.1A
Other languages
English (en)
Other versions
CN111814711B (zh
Inventor
程德强
王雨晨
李海翔
寇旗旗
陈亮亮
赵凯
高蕊
付新竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202010681652.1A priority Critical patent/CN111814711B/zh
Publication of CN111814711A publication Critical patent/CN111814711A/zh
Priority to US17/228,979 priority patent/US11688057B2/en
Application granted granted Critical
Publication of CN111814711B publication Critical patent/CN111814711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种应用于矿井机器视觉的图像特征快速匹配方法及系统，属于矿井安全技术领域，解决了现有技术对矿井异常情况检测效率低、实时性差且准确率低的问题。该方法包括对待分析图像进行去噪处理；并进行超像素分割，获得多个图像块；计算每一图像块的信息熵，获得信息熵大于第一预设阈值的图像块；利用SURF算法提取图像块的特征点，从而获取待分析图像的特征点集；采用Harr小波法对特征点集中的特征点进行描述，获得待分析图像的特征点描述符集；基于待分析图像的特征点描述符集将待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常。该方法能够快速准确的检测矿井是佛发生异常，有利于对矿井异常技术处理。

Description

一种应用于矿井机器视觉的图像特征快速匹配方法及系统
技术领域
本发明涉及矿井安全技术领域，尤其涉及一种应用于矿井机器视觉的图像特征快速匹配方法及方法。
背景技术
近年来随着科技的飞速发展和煤炭工业体系的完善，煤炭开采逐步向安全、高效、自动化的方向发展，我国煤矿的主要形式是井下矿，我国煤炭产业的矿井下煤炭运输趋向于高速化、皮带化。皮带运输机已成为各个煤矿运煤的主要工具。煤炭运输过程中，可能发生大煤块堆煤，锚杆插入并撕裂皮带等异常情况，对设备造成损伤，为井下安全埋下隐患。在运煤皮带机上方安装摄像头，通过摄像机捕捉的视频画面，利用视频处理的方法对每一帧画面进行分析，通过对皮带煤流量估算控制皮带转速，并智能检测落煤口可能出现的大煤(石)块，堆煤，锚杆等异常情况。
煤矿井下视频图像在特殊的工矿环境下，采集到的图像照度低、变化大，背景噪声大且噪声分布不均匀，煤矿井下全天候人工照明环境以及粉尘和潮湿等因素影响使得图像采集质量较差，都极大地影响了现场情景的呈现质量和远程主动预警联动效果，限制了矿井视频高质量采集和有效的防止异常情况的发生，传统的煤矿视频监控系统只能对监控场景进行记录，这样就需要工作人员认真、连续的观察，不仅对其注意力要求高度集中，且在异常情况如堆煤等发生时不能快速的对事故进行处理。对于大煤(石)块以及锚杆检测和识别中，大煤(石)块以及锚杆和煤的颜色呈现灰色，再加上沾染煤灰的可能性很大，在低照度下和煤的颜色非常接近。这种特殊性给人工快速分辨带来很大困难，也使得目前的方法在井下异常情况检测的应用中受到限制。
现有技术至少存在以下缺陷，一是人工通过矿井监控系统对矿井异常进行监测，虽然也能对大煤(石)块，堆煤，锚杆等异常情况进行检测，但是井下照明设备不同于自然光，光照分布不均匀，物体轮廓仅隐约可见，人工无法彻底分辨清楚，因此效率低且准确率低；二是井下工作环境的限制下，运大煤(石)块以及锚杆在低照度下和煤的颜色非常接近，人工需要仔细观察并通过一段反应时间才能判定，实时性差，不利于及时发现矿井异常并进行处理。
发明内容
鉴于上述的分析，本发明旨在提供一种应用于矿井机器视觉的图像特征快速匹配方法及方法，用以解决现有人工监测方法效率低、实时性差且准确率低的问题。
一方面，本发明提供了一种应用于矿井机器视觉的图像特征快速匹配方法，包括：
采用CBDNet网络对待分析图像进行去噪处理；所述待分析图像为截取的矿井视频帧图像；
对去噪获得的所述待分析图像进行超像素分割，获得多个图像块；
计算每一所述图像块的信息熵，获得信息熵大于第一预设阈值的图像块；
利用SURF算法提取信息熵大于第一预设阈值的所述图像块的特征点，从而获取所述待分析图像的特征点集；
采用Harr小波法对所述特征点集中的每一特征点进行描述，获得所述待分析图像的特征点描述符集；
基于所述待分析图像的特征点描述符集将所述待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常；所述目标图像为包含矿井异常信息的图像。
进一步的，通过下述方式计算每一所述图像块的信息熵：
计算所述图像块内所有像素点处于灰度强度等级i的概率：
Figure BDA0002586070600000031
其中，i表示像素点的灰度强度等级，i∈[1,L]，L表示灰度强度等级数量，hi表示素数图像块内处于灰度强度等级i的像素点的数量；
计算获得每一所述图像块的信息熵：
Figure BDA0002586070600000032
进一步的，根据每一所述图像块的灰度直方图获得每一所述图像块内处于灰度强度等级i的像素点的数量。
进一步的，提取所述图像块的特征点，包括：
将所述图像块依次经过多个尺寸不同的滤波器处理获得离散空间内图像尺寸大小一致、尺度不同的多个图像层及每一图像层内图像每一像素点的滤波响应值；
按尺度大小将多个所述图像层平均分为多组图像堆，其中，第一组图像堆内第一图像层至最后一组图像堆内最后一图像层内的图像尺度依次增大，且相邻两组图像堆内含有相同尺度图像的图像层；
去除每一图像层内滤波响应值小于第二预设阈值的像素点获得初步特征点集；
以任一初步特征点为待操作特征点，自适应选取对应的抑制半径，在所述待操作点所在的图像层内及与其相邻的图像层内做非极大值抑制，去除滤波响应值小于待操作特征点滤波响应值的像素点，并遍历每一初步特征点，获得所述图像块的特征点。
进一步的，用于获得第o组图像堆内第l图像层的图像的滤波器尺寸为：
L＝3×[2o+1×(l+1)+1]，
其中，o＝1、2、3....m，l＝1、2、3....t，
获得的第o组图像堆内第l图像层的图像尺度为：
Figure BDA0002586070600000041
其中，L0为获得第1组图像堆内第一图像层图像的滤波器尺寸，S0为第1组图像堆内第一图像层图像的尺度。
进一步的，在对特征点进行描述之前还包括：
利用泰勒级数插值法获得所述待分析图像特征点集中每一特征点坐标的偏移量；
利用所述坐标偏移量对离散空间内的对应特征点坐标进行校正，获得连续空间内所述待分析图像所有特征点的坐标，基于所述坐标确定对应特征点的位置。
进一步的，采用Harr小波法对所述特征点集中的每一特征点进行描述，获得所述待分析图像的特征点描述符集，包括：
获取所述特征点集中每一特征点的主方向；
以任一所述特征点为中心，构建预设边长的矩形邻域，并将所述特征点的主方向作为所述矩形邻域的主方向，并将所述矩形邻域划分为多个预设大小的子区域；
计算每一所述子区域内每一像素点的水平Haar小波响应和垂直Haar小波响应并分别进行求和获得所述子区域内水平Haar小波响应之和∑dx及垂直Haar小波响应之和∑dy，以及所述子区域内水平Haar小波响应绝对值之和∑|dx|与垂直Haar小波响应绝对值之和∑|dy|，所述子区域的描述符为Vj＝[∑dx,∑dy,∑|dx|,∑|dy|]，从而获得所述特征点的描述符V＝[V1,V2,V3...Vs]，j∈[1,S]，S为所述矩形区域内所述子区域的数量；
遍历每一所述特征点获得每一所述特征点的描述符。
进一步的，通过下述方式获取所述特征点集中每一特征点的主方向：
以所述特征点集中任一特征点为中心构建预设半径大小的圆邻域，根据所述任一特征点的位置坐标确定所述圆邻域内所包括的像素点；
计算获取圆邻域内每一像素点的水平Haar小波响应和垂直Haar小波响应，并根据所述像素点与所述特征点的距离为所述像素点的水平Haar小波响应和垂直Haar小波响应赋予高斯权重系数；
统计以所述特征点为中心的60°的扇形区域内的所有其他特征点赋予高斯权重系数后的水平Haar小波响应和垂直Haar小波响应总和获得对应的方向向量；
以预设角度单位旋转所述60°的扇形区域，遍历所述特征点的圆邻域获得对应的方向向量，将所有所述方向向量进行比较，以最长的方向向量对应的方向作为所述特征点的主方向；
遍历每一所述特征点，获得所有特征点的主方向。
进一步的，基于所述待分析图像的特征点描述符集将所述待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常，包括：
基于所述待分析图像的特征点集中任一特征点的描述符获取所述任一特征点与所述目标图像特征点集中每一特征点间的欧式距离，确定最邻近特征点及次邻近特征点与所述待分析图像的特征点集中所述任一特征点的欧式距离；
若最近邻特征点与次邻近特征点对应的欧式距离的比值小于预设值，则判定所述待分析图像中的所述任一特征点与所述目标图像的最邻近特征点相匹配，为特征点对；
遍历所述待分析图像特征点集中的所有特征点进行匹配；
若所述待分析图像特征点集中的特征点与所述目标图像特征点集中的特征点匹配率达到第三预设阈值，则判定矿井发生异常。
另一方面，本发明提供了一种应用于矿井机器视觉的图像特征快速匹配系统，包括：
去噪模块，采用CBDNet网络对待分析图像进行去噪处理；所述待分析图像为截取的矿井视频帧图像；
图像分割模块，用于对去噪获得的所述待分析图像进行超像素分割，获得多个图像块；
图像块筛选模块，用于计算每一所述图像块的信息熵，获得信息熵大于第一预设阈值的图像块；
特征点集获取模块，用于利用SURF算法提取信息熵大于第一预设阈值的所述图像块的特征点，从而获取所述待分析图像的特征点集；
特征点描述模块，用于采用Harr小波法对所述特征点集中的每一特征点进行描述，获得所述待分析图像的特征点描述符集；
判定模块，基于所述待分析图像的特征点描述符集将所述待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常；所述目标图像为包含矿井异常信息的图像。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明提出的应用于矿井机器视觉的图像特征快速匹配方法及系统通过将矿井监控视频中的每一帧图像与包含矿井异常情况的图像进行匹配，以实现自动判定矿井是否发生异常，规避了人工判断效率低、实时性差及准确率低的问题，一定程度上节约了人力成本；
2、本发明通过对视频帧图像进行超像素分割和信息熵计算获得图像块，并基于图像块判定矿井是否发生异常，通过超像素分割可以提高矿井下物体轮廓的清晰度及物体颜色信息的感知度，提高了识别矿井异常的准确率，规避了井下环境光照分布不均匀、物体轮廓难分辨，及矿井粉尘和低照度使物体颜色和周围环境颜色相接近而导致人工难以对矿井异常情况进行判断的缺陷；并且本发明基于视频帧图像的部分图像块进行判断，避免了基于整幅视频帧图像的所有像素点进行计算，这大大减少了计算量，提高了识别矿井异常的效率和实时性，有利于及时对矿井异常进行处理。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例应用于矿井机器视觉的图像特征快速匹配方法的流程图；
图2为本发明实施例应用于矿井机器视觉的图像特征快速匹配系统的示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
方法实施例
本发明的一个具体实施例，公开了一种应用于矿井机器视觉的图像特征快速匹配方法。如图1所示，该方法包括：
步骤1、采用CBDNet网络对待分析图像进行去噪处理。待分析图像为截取的矿井视频帧图像。
步骤2、对去噪获得的待分析图像进行超像素分割，获得多个图像块。
步骤3、计算每一图像块的信息熵，获得信息熵大于第一预设阈值的图像块。
步骤4、利用SURF算法提取信息熵大于第一预设阈值的图像块的特征点，从而获取待分析图像的特征点集。
步骤5、采用Harr小波法对特征点集中的每一特征点进行描述，获得待分析图像的特征点描述符集。
步骤6、基于待分析图像的特征点描述符集将待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常。目标图像为包含矿井异常信息的图像。示例性的，目标图像可以是煤炭传送带上落有大石块的图像。
具体的，步骤1中，采用CBDNet网络对待分析图像进行去噪处理，包括：
步骤1.1、利用CBDNet网络中的噪声估计子网络将待分析图像转换为估计的噪声水平图。
步骤1.2、将待分析图像及转换获得的估计噪声水平图输入CBDNet网络中的非盲去噪网络中，进行去噪，获得去噪后的待分析图像。
优选的，步骤2中，对去噪获得的待分析图像进行超像素分割，获得多个图像块，包括：
步骤2.1、初始化种子点(聚类中心)：按照设定的超像素个数，在待分析图像内均匀的分配种子点。待分析图像的像素点个数为N，示例性的，将待分析图像分割为K个相同尺寸的超像素，则每个超像素的大小为N/K，且相邻种子点的距离可以近似为
Figure BDA0002586070600000091
步骤2.2、在种子点的n*n邻域内重新选择种子点，示例性的，n＝3。具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方，以避免种子点落在梯度较大的待分析图像轮廓边界上，以免影响后续聚类效果。
步骤2.3、在每个种子点的2S*2S的邻域内为每个像素点分配类标签(即属于哪个聚类中心)。具体如下：
在该种子点2S*2S的邻域内搜索像素点，并基于五维空间内像素点坐标(lj,aj,bj,xj,yj)及种子点位置处的像素点坐标(li,ai,bi,xi,yi)通过下述公式计算每一像素点与该种子点的距离度量：
Figure BDA0002586070600000092
Figure BDA0002586070600000101
Figure BDA0002586070600000102
Figure BDA0002586070600000103
其中，D'表示距离度量，(l,a,b)表示像素点的颜色矢量值，(x,y)表示像素点的坐标位置，dc代表颜色距离，ds代表空间距离，Ns是类内最大空间距离，定义为
Figure BDA0002586070600000104
Nc为最大的颜色距离，通常选取一个固定常数m，m的取值范围为[1,40]，优选的，m取10。
考虑到每个像素点会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取距离最小值对应的种子点作为该像素点的聚类中心。
步骤2.4、重复步骤2.1至2.3进行迭代，直至每个像素点的聚类中心不再发生变化。优选的，迭代次数设置为10次，即可达到较好的聚类效果。
步骤2.5、以每一聚类中心为中心以2S*2S为范围，将待分析图像划分为多个图像块。
优选的，步骤3中，通过下述方式计算每一图像块的信息熵。
步骤3.1、根据每一图像块的灰度直方图获得每一图像块内处于灰度强度等级i的像素点的数量hi。
步骤3.2、计算每一图像块内所有像素点处于灰度强度等级i的概率：
Figure BDA0002586070600000105
其中，i表示像素点的灰度强度等级，i∈[1,L]，L表示灰度强度等级数量，hi表示素数图像块内处于灰度强度等级i的像素点的数量。
步骤3.3、计算获得每一所述图像块的信息熵：
Figure BDA0002586070600000111
具体的，获得所有图像块的信息熵之后，根据第一预设阈值滤除部分图像块。
优选的，步骤4中，通过下述方式提取每一图像块的特征点，包括：
步骤4.1、将图像块依次经过多个尺寸不同的滤波器处理获得离散空间内图像尺寸大小一致、尺度不同的多个图像层及每一图像层内图像每一像素点的滤波响应值。
将图像块依次经过多个尺寸不同的滤波器处理获得离散空间内图像尺寸大小一致、尺度不同的多个图像层及每一图像层内图像每一像素点的滤波响应值。
具体的，尺度为s的图像块中任一像素点(x,y)处的Hessian矩阵H(x,y,s)定义为：
Figure BDA0002586070600000112
其中，(x,y)为像素点的位置坐标，Dxx(x,y,s)是高斯二阶微分
Figure BDA0002586070600000113
在像素点(x,y)处与图像的卷积，Dxy(x,y,s)是
Figure BDA0002586070600000114
在像素点(x,y)处与图像的卷积，Dyy(x,y,s)是
Figure BDA0002586070600000115
在像素点(x,y)处与图像的卷积。
其中，
Figure BDA0002586070600000116
滤波器改变图像尺度的原理与上述高斯微分函数是一样的，不改变图像的尺寸大小，将滤波器模板与图像进行卷积操作，通过改变滤波器模板的尺寸大小，构建多幅尺度逐渐增加的尺寸大小完全一致的图像层。
每一图像层的图像内每一像素点的滤波响应值为：
det(Happrox)＝Dxx(x,y,s)Dyy(x,y,s)-(0.9Dxy(x,y,s))2，
其中，det(Happrox)表示像素点的滤波响应值，s为图像尺度，Dxx(x,y,s)为x方向上滤波器模板在(x,y,s)处的滤波响应值，Dyy(x,y,s)为y方向上模板在(x,y,s)处的滤波响应值，Dxy(x,y,s)为在xy方向上滤波器模板在(x,y,s)处的滤波响应值。
步骤4.2、按尺度大小将多个图像层平均分为多组图像堆，其中，第一组图像堆内第一图像层至最后一组图像堆内最后一图像层内的图像尺度依次增大，且相邻两组图像堆内含有相同尺度图像的图像层。在相邻两组图像堆内设置相同尺度图像的图像层，可以保证得到的图像堆包含所有尺度的图像，同时在大尺度图像内采用隔点采样的方法可以降低计算量。
用于获得第o组图像堆内第l图像层的图像的滤波器尺寸为：
L＝3×[2o+1×(l+1)+1]，
其中，o＝1、2、3....m，l＝1、2、3....t，
获得的第o组图像堆内第l图像层的图像尺度为：
Figure BDA0002586070600000121
其中，L0为获得第1组图像堆内第一图像层图像的滤波器尺寸，S0为第1组图像堆内第一图像层图像的尺度。
示例性的，获得第1组图像堆内第一图像层图像的滤波器是尺寸为9×9、尺度为1.2的滤波器模板，以此作为基准滤波器。
步骤4.3、去除每一图像层内滤波响应值小于第二预设阈值的像素点获得初步特征点集。具体的，可以根据经验设置第二预设阈值，优选的，第二预设阈值的数量级为3。
步骤4.4、为了保证图像块的尺度不变性，以任一初步特征点为待操作特征点，自适应选取对应的抑制半径，在待操作点所在的图像层内及与其相邻的图像层内做非极大值抑制，去除滤波响应值小于待操作特征点滤波响应值的像素点，获得对应的特征点，并遍历每一初步特征点，获得图像块的特征点。
具体的，自适应选取的抑制半径r的公式如下：
ri＝min||Xi-Xj||，
s.t.det(Happrox(Xi))≤0.9det(Happrox(Xj))，
其中，Xi为待操作特征点的位置向量(xi,yi,si)，Xj为待操作特征点所在图像层内的其他特征点的位置向量(xj,yj,sj)，det(Happrox(X))为特征点的滤波响应值。
以任一特征点为待操作特征点，确定其所在图像层内滤波响应值大于该待操作特征点滤波响应值的0.9倍的特征点，并计算其与该待操作特征点间的欧式距离，并将最小的欧式距离作为该待操作特征点的抑制半径。
自适应非极大值抑制在图像堆组内进行，每组的第一层和最后一层仅有一个相邻层，因此这两层不进行非极大值抑制。通过自适应非极大值抑制，能够在特征点数量多的图像区域内抑制掉较多的特征点，在特征点稀疏的图像区域内抑制掉较少的数量，使得特征点分布均匀。同时，也降低了后续特征点匹配的计算量。
遍历每一图像块获得待分析图像的特征点集。
优选的，在对特征点进行描述之前还包括：
利用泰勒级数插值法获得图像块特征点集中每一特征点坐标的偏移量。
利用坐标偏移量对离散空间内的对应特征点坐标进行校正，获得连续空间内图像块内所有特征点的坐标，基于坐标确定对应特征点的位置。
设B(X)为特征点X＝(x,y,s)响应值，泰勒级数展开为：
Figure BDA0002586070600000141
对应的偏移量为：
Figure BDA0002586070600000142
则通过泰勒级数差值拟合出的特征点的新坐标
Figure BDA0002586070600000143
为
Figure BDA0002586070600000144
优选的，步骤5中，采用Harr小波法对特征点集中的每一特征点进行描述，获得待分析图像的特征点描述符集，包括：
步骤5.1、获取特征点集中每一特征点的主方向。具体包括：
步骤5.1.1、以特征点集中任一特征点为中心构建预设半径大小的圆邻域，根据任一特征点的位置坐标确定圆邻域内所包括的像素点。优选的，预设半径大小为6s，s表示该特征点所属的图像块的尺度。
步骤5.1.2、计算获取圆邻域内每一像素点的水平Haar小波响应和垂直Haar小波响应，并根据所述像素点与所述特征点的距离为所述像素点的水平Haar小波响应和垂直Haar小波响应赋予高斯权重系数。高斯权重系数与小波响应值成正比。
步骤5.1.3、统计以该特征点为中心的60°的扇形区域内的所有其他特征点赋予高斯权重系数后的水平Haar小波响应和垂直Haar小波响应总和获得对应的方向向量。
步骤5.1.4、以预设角度单位旋转所述60°的扇形区域，遍历该特征点的圆邻域获得对应的方向向量，将所有所述方向向量进行比较，以最长的方向向量对应的方向作为所述特征点的主方向。优选的，预设角度单位为5°
步骤5.1.5、遍历每一特征点，获得所有特征点的主方向。
步骤5.2、以任一特征点为中心，构建预设边长为20s的矩形邻域，并将该特征点的主方向作为该矩形邻域的主方向，并将该矩形邻域划分为16个预设大小为5s*5s的子区域。
步骤5.3、计算每一子区域内每一像素点的水平Haar小波响应和垂直Haar小波响应并分别进行求和获得该子区域内水平Haar小波响应之和∑dx及垂直Haar小波响应之和∑dy，以及该子区域内水平Haar小波响应绝对值之和∑|dx|与垂直Haar小波响应绝对值之和∑|dy|，该子区域的描述符为Vj＝[∑dx,∑dy,∑|dx|,∑|dy|]，从而获得该特征点的描述符V＝[V1,V2,V3...V16]，j∈[1,16]
步骤5.4、遍历每一特征点获得每一特征点的描述符。
优选的，步骤6中，基于待分析图像的特征点描述符集将待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常，包括：
基于待分析图像的特征点集中任一特征点的描述符获取任一特征点与目标图像特征点集中每一特征点间的欧式距离，确定最邻近特征点及次邻近特征点与待分析图像的特征点集中任一特征点的欧式距离。特征点的描述符即该特征点的特征向量。
Figure BDA0002586070600000151
其中，V为待分析图像中任一特征点对应的特征向量，V1'为目标图像中与待分析图像中任一特征点最邻近的特征点的特征向量，V2'为目标图像中与待分析图像中任一特征点次邻近的特征点的特征向量，NNDR为最近邻特征点与次邻近特征点对应的欧式距离的比值。
若最近邻特征点与次邻近特征点对应的欧式距离的比值小于预设值，则判定待分析图像中的任一特征点与目标图像的最邻近特征点相匹配，为特征点对，优选的，预设值为0.8。
遍历待分析图像特征点集中的所有特征点进行匹配。
若待分析图像特征点集中的特征点与目标图像特征点集中的特征点匹配率达到第三预设阈值，则判定矿井发生异常。示例性的，第三预设阈值为90％。
具体的，目标图像中的特征点及特征点描述符也是通过与上述相同方法获得的。
系统实施例
本发明的另一个实施例，公开了一种应用于矿井机器视觉的图像特征快速匹配系统。如图2所示，该系统包括：
去噪模块，采用CBDNet网络对待分析图像进行去噪处理。待分析图像为截取的矿井视频帧图像。
图像分割模块，用于对去噪获得的待分析图像进行超像素分割，获得多个图像块。
图像块筛选模块，用于计算每一图像块的信息熵，获得信息熵大于第一预设阈值的图像块。
特征点集获取模块，用于利用SURF算法提取信息熵大于第一预设阈值的图像块的特征点，从而获取待分析图像的特征点集。
特征点描述模块，用于采用Harr小波法对特征点集中的每一特征点进行描述，获得待分析图像的特征点描述符集。
判定模块，基于待分析图像的特征点描述符集将待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常。目标图像为包含矿井异常信息的图像。
与现有技术相比，本发明提出的应用于矿井机器视觉的图像特征快速匹配方法及系统，首先，通过将矿井监控视频中的每一帧图像与包含矿井异常情况的图像进行匹配，以实现自动判定矿井是否发生异常，规避了人工判断效率低、实时性差及准确率低的问题，一定程度上节约了人力成本；其次，本发明通过对视频帧图像进行超像素分割和信息熵计算获得图像块，并基于图像块判定矿井是否发生异常，通过超像素分割可以提高矿井下物体轮廓的清晰度及物体颜色信息的感知度，提高了识别矿井异常的准确率，规避了井下环境光照分布不均匀、物体轮廓难分辨，及矿井粉尘和低照度使物体颜色和周围环境颜色相接近而导致人工难以对矿井异常情况进行判断的缺陷；并且本发明基于视频帧图像的部分图像块进行判断，避免了基于整幅视频帧图像的所有像素点进行计算，这大大减少了计算量，提高了识别矿井异常的效率和实时性，有利于及时对矿井异常进行处理。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种应用于矿井机器视觉的图像特征快速匹配方法，其特征在于，包括：
采用CBDNet网络对待分析图像进行去噪处理；所述待分析图像为截取的矿井视频帧图像；
对去噪获得的所述待分析图像进行超像素分割，获得多个图像块；
计算每一所述图像块的信息熵，获得信息熵大于第一预设阈值的图像块；
利用SURF算法提取信息熵大于第一预设阈值的所述图像块的特征点，从而获取所述待分析图像的特征点集；
采用Harr小波法对所述特征点集中的每一特征点进行描述，获得所述待分析图像的特征点描述符集；
基于所述待分析图像的特征点描述符集将所述待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常；所述目标图像为包含矿井异常信息的图像。
2.根据权利要求1所述的图像特征快速匹配方法，其特征在于，通过下述方式计算每一所述图像块的信息熵：
计算所述图像块内所有像素点处于灰度强度等级i的概率：
Figure FDA0002586070590000011
其中，i表示像素点的灰度强度等级，i∈[1,L]，L表示灰度强度等级数量，hi表示素数图像块内处于灰度强度等级i的像素点的数量；
计算获得每一所述图像块的信息熵：
Figure FDA0002586070590000012
3.根据权利要求1所述的图像特征快速匹配方法，其特征在于，根据每一所述图像块的灰度直方图获得每一所述图像块内处于灰度强度等级i的像素点的数量。
4.根据权利要求2所述的图像特征快速匹配方法，其特征在于，提取所述图像块的特征点，包括：
将所述图像块依次经过多个尺寸不同的滤波器处理获得离散空间内图像尺寸大小一致、尺度不同的多个图像层及每一图像层内图像每一像素点的滤波响应值；
按尺度大小将多个所述图像层平均分为多组图像堆，其中，第一组图像堆内第一图像层至最后一组图像堆内最后一图像层内的图像尺度依次增大，且相邻两组图像堆内含有相同尺度图像的图像层；
去除每一图像层内滤波响应值小于第二预设阈值的像素点获得初步特征点集；
以任一初步特征点为待操作特征点，自适应选取对应的抑制半径，在所述待操作点所在的图像层内及与其相邻的图像层内做非极大值抑制，去除滤波响应值小于待操作特征点滤波响应值的像素点，并遍历每一初步特征点，获得所述图像块的特征点。
5.根据权利要求4所述的图像特征快速匹配方法，其特征在于，用于获得第o组图像堆内第l图像层的图像的滤波器尺寸为：
L＝3×[2o+1×(l+1)+1]，
其中，o＝1、2、3....m，l＝1、2、3....t，
获得的第o组图像堆内第l图像层的图像尺度为：
Figure FDA0002586070590000021
其中，L0为获得第1组图像堆内第一图像层图像的滤波器尺寸，S0为第1组图像堆内第一图像层图像的尺度。
6.根据权利要求4所述的图像特征快速匹配方法，其特征在于，在对特征点进行描述之前还包括：
利用泰勒级数插值法获得所述待分析图像特征点集中每一特征点坐标的偏移量；
利用所述坐标偏移量对离散空间内的对应特征点坐标进行校正，获得连续空间内所述待分析图像所有特征点的坐标，基于所述坐标确定对应特征点的位置。
7.根据权利要求6所述的图像特征快速匹配方法，其特征在于，采用Harr小波法对所述特征点集中的每一特征点进行描述，获得所述待分析图像的特征点描述符集，包括：
获取所述特征点集中每一特征点的主方向；
以任一所述特征点为中心，构建预设边长的矩形邻域，并将所述特征点的主方向作为所述矩形邻域的主方向，并将所述矩形邻域划分为多个预设大小的子区域；
计算每一所述子区域内每一像素点的水平Haar小波响应和垂直Haar小波响应并分别进行求和获得所述子区域内水平Haar小波响应之和∑dx及垂直Haar小波响应之和∑dy，以及所述子区域内水平Haar小波响应绝对值之和∑|dx|与垂直Haar小波响应绝对值之和∑|dy|，所述子区域的描述符为Vj＝[∑dx,∑dy,∑|dx|,∑|dy]，从而获得所述特征点的描述符V＝[V1,V2,V3...Vs]，j∈[1,S]，S为所述矩形区域内所述子区域的数量；
遍历每一所述特征点获得每一所述特征点的描述符。
8.根据权利要求7所述的图像特征快速匹配方法，其特征在于，通过下述方式获取所述特征点集中每一特征点的主方向：
以所述特征点集中任一特征点为中心构建预设半径大小的圆邻域，根据所述任一特征点的位置坐标确定所述圆邻域内所包括的像素点；
计算获取圆邻域内每一像素点的水平Haar小波响应和垂直Haar小波响应，并根据所述像素点与所述特征点的距离为所述像素点的水平Haar小波响应和垂直Haar小波响应赋予高斯权重系数；
统计以所述特征点为中心的60°的扇形区域内的所有其他特征点赋予高斯权重系数后的水平Haar小波响应和垂直Haar小波响应总和获得对应的方向向量；
以预设角度单位旋转所述60°的扇形区域，遍历所述特征点的圆邻域获得对应的方向向量，将所有所述方向向量进行比较，以最长的方向向量对应的方向作为所述特征点的主方向；
遍历每一所述特征点，获得所有特征点的主方向。
9.根据权利要求7所述的图像特征快速匹配方法，其特征在于，基于所述待分析图像的特征点描述符集将所述待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常，包括：
基于所述待分析图像的特征点集中任一特征点的描述符获取所述任一特征点与所述目标图像特征点集中每一特征点间的欧式距离，确定最邻近特征点及次邻近特征点与所述待分析图像的特征点集中所述任一特征点的欧式距离；
若最近邻特征点与次邻近特征点对应的欧式距离的比值小于预设值，则判定所述待分析图像中的所述任一特征点与所述目标图像的最邻近特征点相匹配，为特征点对；
遍历所述待分析图像特征点集中的所有特征点进行匹配；
若所述待分析图像特征点集中的特征点与所述目标图像特征点集中的特征点匹配率达到第三预设阈值，则判定矿井发生异常。
10.一种应用于矿井机器视觉的图像特征快速匹配系统，其特征在于，包括：
去噪模块，采用CBDNet网络对待分析图像进行去噪处理；所述待分析图像为截取的矿井视频帧图像；
图像分割模块，用于对去噪获得的所述待分析图像进行超像素分割，获得多个图像块；
图像块筛选模块，用于计算每一所述图像块的信息熵，获得信息熵大于第一预设阈值的图像块；
特征点集获取模块，用于利用SURF算法提取信息熵大于第一预设阈值的所述图像块的特征点，从而获取所述待分析图像的特征点集；
特征点描述模块，用于采用Harr小波法对所述特征点集中的每一特征点进行描述，获得所述待分析图像的特征点描述符集；
判定模块，基于所述待分析图像的特征点描述符集将所述待分析图像特征点集中的特征点与目标图像的特征点进行匹配，以确认矿井是否发生异常；所述目标图像为包含矿井异常信息的图像。
CN202010681652.1A 2020-07-15 2020-07-15 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 Active CN111814711B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010681652.1A CN111814711B (zh) 2020-07-15 2020-07-15 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
US17/228,979 US11688057B2 (en) 2020-07-15 2021-04-13 Method and system for quickly matching image features applied to mine machine vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010681652.1A CN111814711B (zh) 2020-07-15 2020-07-15 一种应用于矿井机器视觉的图像特征快速匹配方法及系统

Publications (2)

Publication Number Publication Date
CN111814711A true CN111814711A (zh) 2020-10-23
CN111814711B CN111814711B (zh) 2023-08-08

Family

ID=72865142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010681652.1A Active CN111814711B (zh) 2020-07-15 2020-07-15 一种应用于矿井机器视觉的图像特征快速匹配方法及系统

Country Status (2)

Country Link
US (1) US11688057B2 (zh)
CN (1) CN111814711B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287951A (zh) * 2020-12-08 2021-01-29 萱闱(北京)生物科技有限公司 基于图像分析的数据输出方法、装置、介质和计算设备
CN113239944A (zh) * 2021-06-08 2021-08-10 矿冶科技集团有限公司 一种图像特征提取方法、装置、电子设备及介质
CN113237818A (zh) * 2021-05-28 2021-08-10 上海睿钰生物科技有限公司 一种细胞分析方法和系统
CN113391596A (zh) * 2021-06-11 2021-09-14 赤峰山金红岭有色矿业有限责任公司 皮带矿粉泄露检测方法、系统、终端及存储介质
CN113947752A (zh) * 2021-10-14 2022-01-18 安徽理工大学 一种用于矿井全景的识别方法以及识别系统
CN115114476A (zh) * 2022-07-26 2022-09-27 汶上义桥煤矿有限责任公司 基于图像处理的洗煤传输设备监控视频存储方法
CN115272353A (zh) * 2022-10-07 2022-11-01 山东盛世恒机械制造有限公司 适用于裂纹检测的图像处理方法
CN115994870A (zh) * 2023-02-23 2023-04-21 苏州梅曼智能科技有限公司 一种用于增强去噪的图像处理方法
CN116596921A (zh) * 2023-07-14 2023-08-15 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种焚烧炉渣分选方法及系统
CN116612138A (zh) * 2023-07-14 2023-08-18 威海职业学院(威海市技术学院) 基于图像处理的电气设备在线监测方法
CN117196446A (zh) * 2023-11-06 2023-12-08 北京中海通科技有限公司 一种基于大数据的产品风险实时监测平台

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494985B (zh) * 2022-04-18 2022-07-19 山东西曼克技术有限公司 基于图像处理的物流转运机器人工作异常检测方法及系统
CN114926671A (zh) * 2022-06-16 2022-08-19 福州大学 基于模板匹配的nled/qled/oled像素缺陷定位方法及系统
CN115391472B (zh) * 2022-08-15 2023-05-05 中国安全生产科学研究院 一种非煤矿山尾矿库的生产运行管理系统
CN116095914B (zh) * 2023-04-10 2023-08-25 同方德诚(山东)科技股份公司 一种基于大数据的智慧建筑照明调节方法及系统
CN117455802B (zh) * 2023-12-25 2024-04-05 榆林金马巴巴网络科技有限公司 一种本安型矿灯采集图像降噪增强方法
CN117876379A (zh) * 2024-03-13 2024-04-12 山东鑫国矿业技术开发有限公司 基于图像特征的锚杆缺陷智能化检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006027802A1 (en) * 2004-09-07 2006-03-16 Petromodel Ehf Apparatus and method for analysis of size, form and angularity and for compositional analysis of mineral and rock particles
CN105491349A (zh) * 2015-12-31 2016-04-13 天津市三特电子有限公司 皮带群组异常状态自动巡视检测系统及其检测方法
JP2016081472A (ja) * 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN106951889A (zh) * 2017-05-23 2017-07-14 煤炭科学技术研究院有限公司 井下高危区域动目标监测和管理系统
CN107506795A (zh) * 2017-08-23 2017-12-22 国家计算机网络与信息安全管理中心 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法
CN107945111A (zh) * 2017-11-17 2018-04-20 中国矿业大学 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法
CN108038451A (zh) * 2017-12-15 2018-05-15 浪潮金融信息技术有限公司 异常行为检测方法及装置
CN109191589A (zh) * 2018-09-12 2019-01-11 黎建军 一种基于surf算子的闭环检测优化方法
CN110658528A (zh) * 2019-10-12 2020-01-07 山东科技大学 基于激光雷达的综采工作面成套设备偏移监测方法
CN111080541A (zh) * 2019-12-06 2020-04-28 广东启迪图卫科技股份有限公司 基于比特分层和注意力融合机制的彩色图像去噪方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112004000879T5 (de) * 2003-05-28 2006-04-13 Bm Alliance Coal Operations Pty Ltd. Verfahren und Vorrichtung zur Bestimmung eines Teilchenparameters und der Prozessorleistung in einem Kohle- und Mineral-Verarbeitungssystem
EP2394137A4 (en) * 2008-02-05 2014-12-03 Quebec Centre Rech Ind METHOD AND APPARATUS FOR MEASURING GRANULAR SIZE DISTRIBUTION
WO2017109543A1 (en) * 2015-12-22 2017-06-29 Arcelormittal Method and system for determining the mass of feedstock on a conveyor
EP3465180A4 (en) * 2016-05-30 2020-03-04 Southern Innovation International Pty Ltd MATERIAL CHARACTERIZATION SYSTEM AND METHOD
US10898928B2 (en) * 2018-03-27 2021-01-26 Huron Valley Steel Corporation Vision and analog sensing scrap sorting system and method
CA3142724C (en) * 2019-06-05 2024-04-23 X Development Llc Determining ore characteristics

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006027802A1 (en) * 2004-09-07 2006-03-16 Petromodel Ehf Apparatus and method for analysis of size, form and angularity and for compositional analysis of mineral and rock particles
JP2016081472A (ja) * 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105491349A (zh) * 2015-12-31 2016-04-13 天津市三特电子有限公司 皮带群组异常状态自动巡视检测系统及其检测方法
CN106951889A (zh) * 2017-05-23 2017-07-14 煤炭科学技术研究院有限公司 井下高危区域动目标监测和管理系统
CN107506795A (zh) * 2017-08-23 2017-12-22 国家计算机网络与信息安全管理中心 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法
CN107945111A (zh) * 2017-11-17 2018-04-20 中国矿业大学 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法
CN108038451A (zh) * 2017-12-15 2018-05-15 浪潮金融信息技术有限公司 异常行为检测方法及装置
CN109191589A (zh) * 2018-09-12 2019-01-11 黎建军 一种基于surf算子的闭环检测优化方法
CN110658528A (zh) * 2019-10-12 2020-01-07 山东科技大学 基于激光雷达的综采工作面成套设备偏移监测方法
CN111080541A (zh) * 2019-12-06 2020-04-28 广东启迪图卫科技股份有限公司 基于比特分层和注意力融合机制的彩色图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵禹霏: "基于图像分割和SURF特征点的图像配准研究", 《中国优秀硕士学位论文全文数据库》, no. 06, pages 138 - 456 *
顾靓雨: "复杂环境中运动目标检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库》, no. 02, pages 138 - 4001 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287951B (zh) * 2020-12-08 2021-04-06 萱闱(北京)生物科技有限公司 基于图像分析的数据输出方法、装置、介质和计算设备
CN112287951A (zh) * 2020-12-08 2021-01-29 萱闱(北京)生物科技有限公司 基于图像分析的数据输出方法、装置、介质和计算设备
CN113237818A (zh) * 2021-05-28 2021-08-10 上海睿钰生物科技有限公司 一种细胞分析方法和系统
CN113239944B (zh) * 2021-06-08 2023-07-14 矿冶科技集团有限公司 一种图像特征提取方法、装置、电子设备及介质
CN113239944A (zh) * 2021-06-08 2021-08-10 矿冶科技集团有限公司 一种图像特征提取方法、装置、电子设备及介质
CN113391596A (zh) * 2021-06-11 2021-09-14 赤峰山金红岭有色矿业有限责任公司 皮带矿粉泄露检测方法、系统、终端及存储介质
CN113947752A (zh) * 2021-10-14 2022-01-18 安徽理工大学 一种用于矿井全景的识别方法以及识别系统
CN115114476A (zh) * 2022-07-26 2022-09-27 汶上义桥煤矿有限责任公司 基于图像处理的洗煤传输设备监控视频存储方法
CN115272353A (zh) * 2022-10-07 2022-11-01 山东盛世恒机械制造有限公司 适用于裂纹检测的图像处理方法
CN115994870A (zh) * 2023-02-23 2023-04-21 苏州梅曼智能科技有限公司 一种用于增强去噪的图像处理方法
CN115994870B (zh) * 2023-02-23 2023-12-19 苏州梅曼智能科技有限公司 一种用于增强去噪的图像处理方法
CN116596921A (zh) * 2023-07-14 2023-08-15 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种焚烧炉渣分选方法及系统
CN116612138A (zh) * 2023-07-14 2023-08-18 威海职业学院(威海市技术学院) 基于图像处理的电气设备在线监测方法
CN116612138B (zh) * 2023-07-14 2023-09-19 威海职业学院(威海市技术学院) 基于图像处理的电气设备在线监测方法
CN116596921B (zh) * 2023-07-14 2023-10-20 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种焚烧炉渣分选方法及系统
CN117196446A (zh) * 2023-11-06 2023-12-08 北京中海通科技有限公司 一种基于大数据的产品风险实时监测平台
CN117196446B (zh) * 2023-11-06 2024-01-19 北京中海通科技有限公司 一种基于大数据的产品风险实时监测平台

Also Published As

Publication number Publication date
CN111814711B (zh) 2023-08-08
US11688057B2 (en) 2023-06-27
US20220020134A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
CN111814711B (zh) 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
CN114937055B (zh) 基于人工智能的图像自适应分割方法与系统
CN113781402B (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN108038883B (zh) 一种应用于公路路面视频图像的裂缝检测及识别方法
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN111260616A (zh) 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN113109368B (zh) 玻璃裂纹检测方法、装置、设备及介质
US6647132B1 (en) Methods and apparatuses for identifying regions of similar texture in an image
CN107742307A (zh) 基于改进帧差法的输电线路舞动特征提取及参数分析方法
CN110503637B (zh) 一种基于卷积神经网络的道路裂缝自动检测方法
CN111383244B (zh) 一种目标检测跟踪方法
CN110047063B (zh) 一种物料掉落的检测方法、装置、设备及存储介质
CN111476804B (zh) 托辊图像高效分割方法、装置、设备及存储介质
CN110288571B (zh) 一种基于图像处理的高铁接触网绝缘子异常检测方法
CN111489337A (zh) 一种自动光学检测伪缺陷去除方法及系统
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
Petraglia et al. Pipeline tracking and event classification for an automatic inspection vision system
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
CN113034464A (zh) 一种多背景下的液晶显示器缺陷视觉实时检测方法
CN112669286A (zh) 基于红外热像的外墙外保温系统缺陷识别与损伤程度评价方法
CN111798435A (zh) 图像处理方法、工程车辆侵入输电线路监测方法及系统
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN108830834B (zh) 一种爬索机器人视频缺陷信息自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant