CN112288712B - 一种基于实景建模的黄金矿山溜井入料可视化检测方法 - Google Patents

一种基于实景建模的黄金矿山溜井入料可视化检测方法 Download PDF

Info

Publication number
CN112288712B
CN112288712B CN202011171653.8A CN202011171653A CN112288712B CN 112288712 B CN112288712 B CN 112288712B CN 202011171653 A CN202011171653 A CN 202011171653A CN 112288712 B CN112288712 B CN 112288712B
Authority
CN
China
Prior art keywords
ore
mine car
coordinate system
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011171653.8A
Other languages
English (en)
Other versions
CN112288712A (zh
Inventor
刘少杰
施升涛
张汉阔
郑飞
许芝光
戚克明
孙卫东
王峰
蔡金娥
曲伟霞
亓传铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Aite Network Media Co ltd
Shandong Gold Mining Laizhou Co Ltd Sanshandao Gold Mine
Original Assignee
Jinan Aite Network Media Co ltd
Shandong Gold Mining Laizhou Co Ltd Sanshandao Gold Mine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Aite Network Media Co ltd, Shandong Gold Mining Laizhou Co Ltd Sanshandao Gold Mine filed Critical Jinan Aite Network Media Co ltd
Priority to CN202011171653.8A priority Critical patent/CN112288712B/zh
Publication of CN112288712A publication Critical patent/CN112288712A/zh
Application granted granted Critical
Publication of CN112288712B publication Critical patent/CN112288712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于实景建模的黄金矿山溜井入料可视化检测方法，使用深度摄像机拍摄盛有矿石的矿车，使用实景建模技术，通过采集的图像建立矿车的车厢及矿石堆上表面的模型，从模型中获取车厢及矿石堆的尺寸信息，从而计算出矿石量。本发明在计算机视觉技术的基础上，通过边缘检测、模型建立、装载量推理预估的方式，完成黄金矿山溜井出入料的估量，再结合矿车尾部检测及矿车运输次数，得到具体的矿车运输次数和运输量，从而更好地把控运输车辆的运输次数，运输量，保证了溜井下发出料的安全性。

Description

一种基于实景建模的黄金矿山溜井入料可视化检测方法
技术领域
本发明涉及一种检测溜井入料量的方法。
背景技术
目前，黄金矿山溜井入料量的检测主要依靠人工估算，其工作量大，效率低下，准确性差，同时操作者作业环境恶劣，存在一定的安全隐患。
发明内容
本发明提出了一种基于实景建模的黄金矿山溜井入料可视化检测方法，其目的是：借助人工智能视觉技术，估算出矿石的数量。
本发明技术方案如下：
一种基于实景建模的黄金矿山溜井入料可视化检测方法，使用深度摄像机拍摄盛有矿石的矿车，通过采集的图像建立矿车车厢及矿石堆上表面的模型，从模型中获取车厢及矿石堆的尺寸信息，从而计算出矿石量。
作为本方法的进一步改进，具体步骤为：
步骤1、在矿车行驶轨迹旁架设光源和深度摄像机；
步骤2、装载矿石的矿车进入拍摄范围后，深度摄像机拍摄图像Im，并将图像传回工控机；
步骤3、工控机检测出图像中矿车的车尾位置信息；
步骤4、对图像Im进行灰度化、中值滤波后，进行边缘检测，得到矿车车厢的边缘信息；
步骤5、根据步骤3中的车尾位置信息与步骤4中的边缘信息，对事先建立的矿车三维模型的外轮廓进行横纵缩放，然后再根据缩放后的矿车三维模型的外轮廓对图像Im中的矿车的边缘进行边缘增强；
步骤6、对边缘增强后的图像Im中的边缘信息进行直线提取，从而获得车辆轮廓信息；
步骤7、依据深度摄像机所拍摄到的深度信息和步骤6中获得的车辆轮廓信息重新建立矿车的三维模型；
步骤8、根据图像Im获得矿车上矿石的上表面的坐标信息；
步骤9、结合步骤7中矿车的三维模型和矿石的上表面的坐标信息计算矿车所承载的矿石体积，从而计算出矿石量。
作为本方法的进一步改进：所述摄像头与水平面支架的夹角为50-70度。
作为本方法的进一步改进：步骤3中，使用fast-rcnn技术进行车尾检测；当检测到全部车尾进入图像的中心区域内时，确定该图片，并标记fast-rcnn获取的车尾位置信息。
作为本方法的进一步改进：步骤6中，通过霍夫变换对边缘信息进行直线提取。
作为本方法的进一步改进：所述三维模型是指依据深度摄像机输出的各点在相机坐标系的坐标(x,y,z)和深度摄像机在现实场景坐标系中的坐标(x0,y0,z0)建立的在现实场景坐标系中的三维模型；
相机坐标系与现实场景坐标系的坐标转换方式如下：
设现实场景坐标系转换到相机坐标系的转化顺序是:先按z轴旋转、之后按y轴旋转、之后按x轴旋转，最终得到相机坐标系，旋转的角度分别是yaw、pitch、roll；则从相机坐标系到现实场景坐标系的旋转矩阵按如下方式定义：
Figure BDA0002747482700000031
Figure BDA0002747482700000032
Figure BDA0002747482700000033
坐标系的转换公式为；
Xr＝RzRyRxXc+Tc→r
上式中的Xr为现实场景坐标系的坐标，Xc为相机坐标系中的坐标，Tc→r为相机坐标系到现实场景坐标系的原点偏移量。
作为本方法的进一步改进：步骤8中，获取矿石上表面坐标信息之前，通过fast-rcnn技术检测出矿石区域，从而得到矿石的边缘信息。
作为本方法的进一步改进：步骤9中，先获得矿石的上表面各点的坐标信息，依据各点的高度值上即z轴的坐标值计算矿石上表面的平均高度hz；然后，依据步骤7中矿车的三维模型得到车厢的宽度w和长度l，从而计算出矿石的体积为w×l×hz。
相对于现有技术，本发明具有以下有益效果：本发明在计算机视觉技术的基础上，通过边缘检测、模型建立、装载量推理预估的方式，完成黄金矿山溜井出入料的估量，再结合矿车尾部检测及矿车运输次数，得到具体的矿车运输次数和运输量，从而更好地把控运输车辆的运输次数，运输量，保证了溜井下发出料的安全性。
附图说明
图1为本发明实施时的结构示意图。
具体实施方式
下面结合附图详细说明本发明的技术方案：
如图1，一种基于实景建模的黄金矿山溜井入料可视化检测方法，使用深度摄像机1拍摄盛有矿石的矿车3，使用实景建模技术，通过采集的图像建立矿车3的车厢及矿石堆上表面的模型，从模型中获取车厢及矿石堆的尺寸信息，从而计算出矿石量。
具体步骤为：
步骤1、在矿车3行驶轨迹旁架设对称的功率为3W的LED光源2，确保车辆四周无阴影，工作时保持常亮。架设深度摄像机1，分辨率为1920×1080，镜头光轴与工作水平面为60°，且位于运输车辆停靠后方，其视野覆盖整个运输车辆和车尾部分。尽量让车辆信息位于图像中心区域，范围不超过图像宽度的1/2。深度摄像机1可以采集视野内的x,y,z信息，方便建模。
步骤2、装载矿石的矿车3进入拍摄范围后，深度摄像机1拍摄图像Im，并将图像传回工控机4。
步骤3、工控机4检测出图像中矿车3的车尾位置信息。
具体的，使用fast-rcnn技术进行车尾检测；当检测到全部车尾进入图像的中心区域内时，确定该图片，并标记fast-rcnn获取的车尾位置信息。
步骤4、对图像Im进行灰度化、中值滤波后，使用sobel算法进行边缘检测，得到矿车3车厢的边缘信息。
步骤5、根据步骤3中的车尾位置信息与步骤4中的边缘信息，对事先建立的矿车3三维模型的外轮廓进行横纵缩放，然后再根据缩放后的矿车3三维模型的外轮廓对图像Im中的矿车3的边缘进行边缘增强。
步骤6、通过霍夫变换对边缘增强后的图像Im中的边缘信息进行直线提取，从而获得车辆轮廓信息。
步骤7、依据深度摄像机1所拍摄到的深度信息和步骤6中获得的车辆轮廓信息重新建立矿车3的三维模型。
所述三维模型是指依据深度摄像机1输出的各点在相机坐标系的坐标(x,y,z)和深度摄像机1在现实场景坐标系中的坐标(x0,y0,z0)建立的在现实场景坐标系中的三维模型；
相机坐标系与现实场景坐标系的坐标转换方式如下：
设现实场景坐标系转换到相机坐标系的转化顺序是:先按z轴旋转、之后按y轴旋转、之后按x轴旋转，最终得到相机坐标系，旋转的角度分别是yaw、pitch、roll；则从相机坐标系到现实场景坐标系的旋转矩阵按如下方式定义：
Figure BDA0002747482700000051
Figure BDA0002747482700000061
Figure BDA0002747482700000062
坐标系的转换公式为；
Xr＝RzRyRxXc+Tc→r
上式中的Xr为现实场景坐标系的坐标，Xc为相机坐标系中的坐标，Tc→r为相机坐标系到现实场景坐标系的原点偏移量。
步骤8、通过fast-rcnn技术检测出矿石区域，从而得到矿石的边缘信息，最后根据图像Im获得矿车3上矿石的上表面的坐标信息。
步骤9、结合步骤7中矿车3的三维模型和矿石的上表面的坐标信息计算矿车3所承载的矿石体积，从而计算出矿石量。
具体的，先获得矿石的上表面各点的坐标信息，依据各点的高度值上即z轴的坐标值计算矿石上表面的平均高度hz；然后，依据步骤7中矿车3的三维模型得到车厢的宽度w和长度l，从而计算出矿石的体积为w×l×hz。

Claims (7)

1.一种基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：使用深度摄像机(1)拍摄盛有矿石的矿车(3)，通过采集的图像建立矿车(3)车厢及矿石堆上表面的模型，从模型中获取车厢及矿石堆的尺寸信息，从而计算出矿石量；
具体步骤为：
步骤1、在矿车(3)行驶轨迹旁架设光源(2)和深度摄像机(1)；
步骤2、装载矿石的矿车(3)进入拍摄范围后，深度摄像机(1)拍摄图像Im，并将图像传回工控机(4)；
步骤3、工控机(4)检测出图像中矿车(3)的车尾位置信息；
步骤4、对图像Im进行灰度化、中值滤波后，进行边缘检测，得到矿车(3)车厢的边缘信息；
步骤5、根据步骤3中的车尾位置信息与步骤4中的边缘信息，对事先建立的矿车三维模型的外轮廓进行横纵缩放，然后再根据缩放后的矿车三维模型的外轮廓对图像Im中的矿车(3)的边缘进行边缘增强；
步骤6、对边缘增强后的图像Im中的边缘信息进行直线提取，从而获得车辆轮廓信息；
步骤7、依据深度摄像机(1)所拍摄到的深度信息和步骤6中获得的车辆轮廓信息重新建立矿车(3)的三维模型；
步骤8、根据图像Im获得矿车(3)上矿石的上表面的坐标信息；
步骤9、结合步骤7中矿车(3)的三维模型和矿石的上表面的坐标信息计算矿车(3)所承载的矿石体积，从而计算出矿石量。
2.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：所述摄像机与水平面支架的夹角为50-70度。
3.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：步骤3中，使用fast-rcnn技术进行车尾检测；当检测到全部车尾进入图像的中心区域内时，确定该图像，并标记fast-rcnn获取的车尾位置信息。
4.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：步骤6中，通过霍夫变换对边缘信息进行直线提取。
5.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：所述三维模型是指依据深度摄像机(1)输出的各点在相机坐标系的坐标(x,y,z)和深度摄像机(1)在现实场景坐标系中的坐标(x0,y0,z0)建立的在现实场景坐标系中的三维模型；
相机坐标系与现实场景坐标系的坐标转换方式如下：
设现实场景坐标系转换到相机坐标系的转化顺序是:先按z轴旋转、之后按y轴旋转、之后按x轴旋转，最终得到相机坐标系，旋转的角度分别是yaw、pitch、roll；则从相机坐标系到现实场景坐标系的旋转矩阵按如下方式定义：
Figure FDA0003623939300000021
Figure FDA0003623939300000022
Figure FDA0003623939300000031
坐标系的转换公式为；
Xr＝RzRyRxXc+Tc→r
上式中的Xr为现实场景坐标系的坐标，Xc为相机坐标系中的坐标，Tc→r为相机坐标系到现实场景坐标系的原点偏移量。
6.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：步骤8中，获取矿石上表面坐标信息之前，通过fast-rcnn技术检测出矿石区域，从而得到矿石的边缘信息。
7.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法，其特征在于：步骤9中，先获得矿石的上表面各点的坐标信息，依据各点的高度值上即z轴的坐标值计算矿石上表面的平均高度hz；然后，依据步骤7中矿车(3)的三维模型得到车厢的宽度w和长度l，从而计算出矿石的体积为w×l×hz。
CN202011171653.8A 2020-10-28 2020-10-28 一种基于实景建模的黄金矿山溜井入料可视化检测方法 Active CN112288712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011171653.8A CN112288712B (zh) 2020-10-28 2020-10-28 一种基于实景建模的黄金矿山溜井入料可视化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011171653.8A CN112288712B (zh) 2020-10-28 2020-10-28 一种基于实景建模的黄金矿山溜井入料可视化检测方法

Publications (2)

Publication Number Publication Date
CN112288712A CN112288712A (zh) 2021-01-29
CN112288712B true CN112288712B (zh) 2022-07-22

Family

ID=74373577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011171653.8A Active CN112288712B (zh) 2020-10-28 2020-10-28 一种基于实景建模的黄金矿山溜井入料可视化检测方法

Country Status (1)

Country Link
CN (1) CN112288712B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408831B (zh) * 2023-12-15 2024-03-08 甘洛县尔呷地吉铅锌矿业有限公司 一种矿场采矿量计量方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146952A (zh) * 2018-09-06 2019-01-04 北京京东尚科信息技术有限公司 估计车厢空闲体积的方法、装置及计算机可读存储介质
CN109784327A (zh) * 2018-12-04 2019-05-21 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN111735445A (zh) * 2020-06-23 2020-10-02 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10022914B2 (en) * 2013-11-12 2018-07-17 Adobe Systems Incorporated Method and apparatus for automatically adding utility holes to printable 3-dimensional models
CN103714217B (zh) * 2013-12-31 2016-08-24 一重集团大连设计研究院有限公司 一种矿用自卸车车厢容量计算方法
CN103913116B (zh) * 2014-03-10 2017-06-06 上海大学 大型堆积物料体积两侧平行测量装置和方法
CN103955499B (zh) * 2014-04-22 2018-02-02 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
CN105205861B (zh) * 2015-10-09 2017-11-21 南京大学 基于Sphere‑Board的树木三维可视化模型实现方法
CN105869160B (zh) * 2016-03-28 2019-11-26 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及系统
JP6418215B2 (ja) * 2016-09-21 2018-11-07 カシオ計算機株式会社 表示装置、立体画像形成システム、表示プログラム、及び画像形成プログラム
CN106897982B (zh) * 2017-02-23 2019-06-14 淮阴工学院 基于图像无标记识别的现实增强方法
EP3955213A4 (en) * 2019-04-12 2023-09-27 Beijing Chengshi Wanglin Information Technology Co., Ltd. METHOD FOR MODELING A THREE-DIMENSIONAL OBJECT, IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE
CN110455368B (zh) * 2019-09-26 2021-02-05 赣州有色冶金研究所 一种矿斗所载矿物体积测量方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146952A (zh) * 2018-09-06 2019-01-04 北京京东尚科信息技术有限公司 估计车厢空闲体积的方法、装置及计算机可读存储介质
CN109784327A (zh) * 2018-12-04 2019-05-21 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN111735445A (zh) * 2020-06-23 2020-10-02 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法

Also Published As

Publication number Publication date
CN112288712A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
US11669972B2 (en) Geometry-aware instance segmentation in stereo image capture processes
CN100486476C (zh) 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统
CN104036275B (zh) 一种车辆盲区内目标对象的检测方法及其装置
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
CN112288712B (zh) 一种基于实景建模的黄金矿山溜井入料可视化检测方法
CN1958428A (zh) 港口运动集装箱卡车定位方法及装置
WO2024037408A1 (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN111704035B (zh) 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法
CN108564628B (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
CN110455368B (zh) 一种矿斗所载矿物体积测量方法及系统
Ruf et al. Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision
CN113850872A (zh) 一种基于高位视频的服务区停车压线检测方法
CN113674355A (zh) 一种基于相机与激光雷达的目标识别与定位方法
CN115984766A (zh) 一种煤矿井下快速单目视觉三维目标检测方法
CN111855667A (zh) 一种适用于地铁车辆的新型智慧列检系统和检测方法
JP6199693B2 (ja) 車間距離測定装置、車間距離測定方法、およびプログラム
CN112884848B (zh) 一种基于双目视觉的智能天车控制系统、方法、终端
CN103604946B (zh) 一种面向矿物泡沫浮选的嵌入式泡沫流速测量系统及方法
CN117314849A (zh) 一种基于深度学习的接触网磨耗检测方法
CN116520351A (zh) 一种列车状态监测方法、系统、存储介质及终端
CN116256752A (zh) 一种港口吊具模板点云自动生成的方法
CN111060091B (zh) 一种机器人导航系统
CN109508017A (zh) 智能小车控制方法
CN113359706B (zh) 一种多体辅助运输系统协同转弯轨迹自规划方法
CN113084815B (zh) 一种带载机器人的物理尺寸计算方法及装置、机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant