CN111550273B - 一种基于计算机视觉的液压支架调平调直方法 - Google Patents
一种基于计算机视觉的液压支架调平调直方法 Download PDFInfo
- Publication number
- CN111550273B CN111550273B CN202010340489.2A CN202010340489A CN111550273B CN 111550273 B CN111550273 B CN 111550273B CN 202010340489 A CN202010340489 A CN 202010340489A CN 111550273 B CN111550273 B CN 111550273B
- Authority
- CN
- China
- Prior art keywords
- hydraulic support
- marks
- light reflecting
- offset
- leveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 239000003245 coal Substances 0.000 claims abstract description 17
- 238000005065 mining Methods 0.000 claims abstract description 17
- 239000003550 marker Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
- E21D23/12—Control, e.g. using remote control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mining & Mineral Resources (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Geology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于计算机视觉的液压支架调平调直方法，在多个液压支架上各设置两个圆形反光标志，通过摄像头拍摄各反光标志的照片，对照片进行YOLOv3算法和SITF算子处理，求出反光标志中心点的三维坐标，再拟合成长直线，然后根据反光标志中心点与直线的距离计算偏移量，再进行对齐操作。该方法可以在无人值守条件下自动将液压支架调直调平，操作精度高，便于提升采煤的自动化水平。
Description
技术领域
本发明涉及煤炭开采所用的液压支架调直调平领域，具体涉及一种基于计算机视觉的液压支架调平调直方法。
背景技术
现代煤炭开采时，要在井下巷道内依次排列液压支架，液压支架朝向煤炭综采面，采煤机在液压支架前的溜槽内运动并将煤从综采面上割下，然后落入采煤机下方的刮板运输机上运走。实际操作中，需要液压支架水平并排列整齐，液压支架的不平或排列不齐会影响采煤机的顺利前进甚至导致事故。目前，液压支架的调平和调直主要通过人工操作液压支架的控制系统来进行，并依据工人经验对调平调直的程度进行判断，对工人技能要求高，效率偏低，也不符合无人值守采煤的发展趋势。
发明内容
本发明的目的是提供一种基于计算机视觉的液压支架调平调直方法，该方法可以在无人值守条件下自动将液压支架调直调平，操作精度高，便于提升采煤的自动化水平。
为了实现上述目的，本发明采取如下技术方案：
一种基于计算机视觉的液压支架调平调直方法，包括依次排列的多个液压支架，其特征在于包括如下步骤：
（a）在每个所述液压支架的相同位置设置两个反光标志，并确定所述两个反光标志中心点的实际距离；
（b）每隔若干液压支架设置摄像头，并保证每个液压支架上的反光标志能够被相邻的两个摄像头拍到；
（c）所述摄像头同时曝光对各所述液压支架上的反光标志进行拍摄得到照片，利用YOLOv3算法得到每个摄像头拍摄到的各反光标志的所在区域，并用椭圆拟合法进行反光标志的高精度定位从而求出各反光标志的中心点的二维坐标；
（d）利用SIFT算子提取所述液压支架所处环境的纹理特征，结合所述反光标志点，用基于多条核线约束的匹配方法，利用多张像片上的核线约束来实现相应像点的匹配，获取所有反光标志中心点的三维相对坐标；
（e）利用所述两个反光标志中心点的实际距离，通过所述反光标志中心点的三维相对坐标，求出各反光标志的中心点的三维绝对坐标；
（f）根据所有反光标志的中心点的三维坐标拟合出两条目标直线，并计算各所述中心点与目标直线的距离，计算出所述各中心点对所述目标直线的偏移量；
（g）每个液压支架的控制系统根据所述偏移量控制该液压支架在竖直方向上进行调平和朝向与远离采煤面的水平方向的调整，以减小所述偏移量至预设的阈值范围。
优选的，其特征在于，所述反光标志为圆形反光标志。
优选的，所述步骤（g）中，每个所述液压支架的控制系统根据所述偏移量控制该液压支架在竖直方向上进行一个幅度的调平和朝向与远离采煤面的水平方向的一个幅度调整，然后根据步骤（b）至（f）重新计算所述偏移量，并根据所述偏移量再进行一个幅度的所述调平和调整，以此类推，直至减小所述偏移量至预设的阈值范围为止。
本发明有益效果在于，通过设置圆形反光标志和为液压支架分组并为每组设置两个摄像头，可以使每个摄像头均同时拍摄到带有反光标志的照片，从而可以引入YOLOv3智能算法，并由此得出放光标志的二维坐标。通过SIFT算子提取环境纹理特征能够更精准地确定反光标志的坐标，再结合多相片点云的匹配即可确定反光标志圆心的三维坐标，从而为拟制支线以及计算每个圆心对支线的偏移量创造条件，最后根据偏移量不断校正液压支架的位置直至调平调直。使用圆形反光标志尤其适合井下光线较暗环境的拍摄，容易使反光标志与背景进行明显区分，便于YOLOv3算法更好识别反光标志并计算出外接矩形位置。本方法将计算机视觉智能算法与具体采煤环境相结合，采用两个摄像头同时拍摄并作为数据源，可以避免摄像头随液压支架运动所带来的干扰，也为摄像头的设置提供了方便。
具体实施方式
下面通过具体实施例对本发明做进一步说明：
假设有20台液压支架，每台液压支架顶梁下侧设置两个圆形反光标志，每隔5台液压支架分别相对设置摄像头，分别为：第1台、第6台、第11台分别相对设置摄像头，保证每个反光标志都能被相邻两个摄像头拍摄到，同时测量出两个反光标志中心点的实际距离。
以前6台液压支架为例，摄像头1和摄像头2同时拍摄，每台摄像头一次曝光的照片均含有该组6*2个圆形反光标志，将照片传给计算机系统，计算机系统通过YOLOv3算法首先对圆形反光标志进行识别，识别过程中将最亮部分（灰度接近255）识别为对象，灰度小于一定值时即为背景，然后给出圆形标志外接矩形的左上角和右下角的二维坐标，在区域内，用椭圆拟合法进行摄影标志的高精度定位求出各反光标志的中心点的二维坐标。提取相片中环境中SIFT特征，以及强回光反射点，使用基于多条核线约束的匹配方法，利用多张像片上的核线约束来实现相应像点的匹配，建立三维坐标系，获得相对坐标，再依据同一液压支架上两强光点尺度建立绝对坐标系根据20*2个圆形反光标志圆心的三维坐标拟合出两条直线（最小二乘法计算），然后分别计算各圆形与直线的距离，计算出偏移量，根据该偏移量得出液压支架在竖向方向上的上升或下降幅度（调平），以及朝向或远离综采面的运动幅度（调直），然后是液压支架运动一个步幅。运动完该步幅后，重新再次同时拍摄，然后利用YOLOv3算法识别、求算圆心三维坐标、拟合直线，得出新的偏移量，然后每台液压支架再根据新的偏移量移动一个步幅，以此类推，直到最后每台液压支架相对于直线的偏移量均在阈值范围内，即认为完成调平调直。
上述实施例只是对本发明构思和实现的若干说明，并非对其进行限制，在本发明构思下，未经实质变换的技术方案仍然在保护范围内。
Claims (3)
1.一种基于计算机视觉的液压支架调平调直方法，包括依次排列的多个液压支架，其特征在于包括如下步骤：
（a）在每个所述液压支架的相同位置设置两个反光标志，并确定所述两个反光标志中心点的实际距离；
（b）每隔若干液压支架设置摄像头，并保证每个液压支架上的反光标志能够被相邻的两个摄像头拍到；
（c）所述摄像头同时曝光对各所述液压支架上的反光标志进行拍摄得到照片，利用YOLOv3算法得到每个摄像头拍摄到的各反光标志的所在区域，并用椭圆拟合法进行反光标志的定位从而求出各反光标志的中心点的二维坐标；
（d）利用SIFT算子提取所述液压支架所处环境的纹理特征，结合所述反光标志中心点，用基于多条核线约束的匹配方法，利用多张像片上的核线约束来实现相应像点的匹配，获取所有反光标志中心点的三维相对坐标；
（e）利用所述两个反光标志中心点的实际距离，通过所述反光标志中心点的三维相对坐标，求出各反光标志的中心点的三维绝对坐标；
（f）根据所有反光标志的中心点的三维坐标拟合出两条目标直线，并计算各所述中心点与目标直线的距离，计算出所述各中心点对所述目标直线的偏移量；
（g）每个液压支架的控制系统根据所述偏移量控制该液压支架在竖直方向上进行调平和朝向与远离采煤面的水平方向的调整，以减小所述偏移量至预设的阈值范围。
2.如权利要求1所述的基于计算机视觉的液压支架调平调直方法，其特征在于，所述反光标志为圆形反光标志。
3.如权利要求1所述的基于计算机视觉的液压支架调平调直方法，其特征在于，所述步骤（g）中，每个所述液压支架的控制系统根据所述偏移量控制该液压支架在竖直方向上进行一个幅度的调平和朝向与远离采煤面的水平方向的一个幅度调整，然后根据步骤（b）至（f）重新计算所述偏移量，并根据所述偏移量再进行一个幅度的所述调平和调整，以此类推，直至减小所述偏移量至预设的阈值范围为止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010340489.2A CN111550273B (zh) | 2020-04-26 | 2020-04-26 | 一种基于计算机视觉的液压支架调平调直方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010340489.2A CN111550273B (zh) | 2020-04-26 | 2020-04-26 | 一种基于计算机视觉的液压支架调平调直方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111550273A CN111550273A (zh) | 2020-08-18 |
| CN111550273B true CN111550273B (zh) | 2022-05-27 |
Family
ID=72003085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010340489.2A Active CN111550273B (zh) | 2020-04-26 | 2020-04-26 | 一种基于计算机视觉的液压支架调平调直方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111550273B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112539082B (zh) * | 2020-11-10 | 2021-12-24 | 临沂矿业集团菏泽煤电有限公司 | 一种基于视频技术的综采工作面直线度基线交互调直方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595557B (zh) * | 2016-10-31 | 2019-03-19 | 中国矿业大学 | 一种刮板输送机直线度的检测装置及检测方法 |
| WO2019173586A1 (en) * | 2018-03-09 | 2019-09-12 | Conocophillips Company | System and method for detecting downhole events |
| CN109519204A (zh) * | 2018-11-29 | 2019-03-26 | 江苏华海钢结构有限公司 | 一种用于煤矿液压支架的自适应调直方法 |
| CN109978949B (zh) * | 2019-03-26 | 2023-04-28 | 南开大学 | 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 |
| CN110926378A (zh) * | 2019-12-16 | 2020-03-27 | 太原科技大学 | 一种改进基于视觉检测的棒材直线度检测系统及方法 |
-
2020
- 2020-04-26 CN CN202010340489.2A patent/CN111550273B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111550273A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106767399B (zh) | 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法 | |
| CN104796612B (zh) | 高清雷达联动跟踪控制摄像系统及联动跟踪方法 | |
| CN104197899B (zh) | 移动机器人定位方法及系统 | |
| CN106546263B (zh) | 一种基于机器视觉的激光水平仪出射激光线检测方法 | |
| CN103206927B (zh) | 一种物体旋转角度测量系统及测量方法 | |
| CN110823130B (zh) | 一种结构光3d视觉快速自动标定装置及方法 | |
| CN106650701B (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| CN107588723B (zh) | 一种基于两步法的高速动目标上圆形标记漏点检测方法 | |
| CN113460851B (zh) | 基于单目视觉和激光的管片自动抓取和运输系统和方法 | |
| CN110864691B (zh) | 基于天花板式二维码的仿磁条定位方法及装置 | |
| CN101901501A (zh) | 一种生成激光彩色云图的方法 | |
| CN102328493A (zh) | 一种新型丝网印ccd图像识别的定位方法 | |
| CN112686889B (zh) | 基于单目视觉自动标签的液压支架推进度检测方法及系统 | |
| CN112224590B (zh) | 一种基于三维点云的钢坯贴标方法及系统 | |
| CN111550273B (zh) | 一种基于计算机视觉的液压支架调平调直方法 | |
| CN108168472B (zh) | 一种卫星天线展开平面度和指向精度的测量方法及装置 | |
| CN112161571B (zh) | 一种低数据量的双目视觉采煤机定位与位姿检测系统及方法 | |
| CN112324483B (zh) | 一种液压支架自动调直系统及刮板输送机随从调直系统及其应用 | |
| CN116958218A (zh) | 一种基于标定板角点对齐的点云与图像配准方法及设备 | |
| CN111638159A (zh) | 高炉原燃料粒度检测方法 | |
| CN110726402A (zh) | 非正交轴系激光全站仪的激光点视觉引导方法 | |
| CN113435412B (zh) | 一种基于语义分割的水泥布料区域检测方法 | |
| CN208868740U (zh) | 一种基于激光扫描的自动指挥工件入库系统 | |
| CN209281477U (zh) | 一种基于单目视觉的鞋底喷胶设备 | |
| CN113916149B (zh) | 依托多目ccd工业相机的圆柱直齿轮外形视觉测量装置及图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |