CN110706267A - 一种基于采矿过程的矿石三维坐标获取方法及其装置 - Google Patents

一种基于采矿过程的矿石三维坐标获取方法及其装置 Download PDF

Info

Publication number
CN110706267A
CN110706267A CN201910831631.0A CN201910831631A CN110706267A CN 110706267 A CN110706267 A CN 110706267A CN 201910831631 A CN201910831631 A CN 201910831631A CN 110706267 A CN110706267 A CN 110706267A
Authority
CN
China
Prior art keywords
ore
image
coordinates
contour
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910831631.0A
Other languages
English (en)
Other versions
CN110706267B (zh
Inventor
曾军英
李旭华
秦传波
韦凯天
王璠
姜晓伟
何伟钊
何俊华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910831631.0A priority Critical patent/CN110706267B/zh
Publication of CN110706267A publication Critical patent/CN110706267A/zh
Priority to US16/806,714 priority patent/US11111785B2/en
Priority to PCT/CN2020/078279 priority patent/WO2021042693A1/zh
Application granted granted Critical
Publication of CN110706267B publication Critical patent/CN110706267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E21—EARTH DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C39/00—Devices for testing in situ the hardness or other properties of minerals, e.g. for giving information as to the selection of suitable mining tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C41/00—Methods of underground or surface mining; Layouts therefor
    • E21C41/16—Methods of underground mining; Layouts therefor
    • E21C41/22—Methods of underground mining; Layouts therefor for ores, e.g. mining placers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/02—Prospecting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于采矿过程的矿石三维坐标获取方法及其装置，获取矿石图片；采用YOLACT算法和NMS算法对矿石图片进行处理得出预测掩码图；根据预测掩码图绘制矩形框，并通过矩形框得出矿石的二维坐标；获取彩色图和红外深度图；将彩色图传入至预训练模型中进行识别获得物体的轮廓；选取目标物体的轮廓，计算轮廓上所有点的X轴和Y轴的坐标之和，再将坐标之和除以轮廓上点的个数，得出目标物体的重心；计算目标物体的重心和原点的距离得出极坐标，并通过仿射变换进行对齐，得出彩色图在红外深度图中的缩放比例；将极坐标的长度乘以缩放比例，得到彩色图中的点所对应红外深度图中的点，从而深度信息；结合二维坐标和深度信息，得出矿石的三维坐标。

Description

一种基于采矿过程的矿石三维坐标获取方法及其装置
技术领域
本发明涉及采矿技术领域，特别涉及一种基于采矿过程的矿石三维坐标获取方法及其装置。
背景技术
目前，在采矿行业中，多数地底矿井施工区内，由于环境空间狭小，隧道地面崎岖，不适合大型采矿机器作业，如果采用人工挖矿的方式，则会耗费大量的劳动力，而且作业效率不高。因此，市面上出现了一种小型的采矿机器人，能够实现自动识别、移动和采矿操作，但是市面上的采矿机器人对矿石的位置识别不够精准，从而会影响其进行采矿作业。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于采矿过程的矿石三维坐标获取方法及其装置，能够精准识别矿石的坐标位置，提高采矿效率。
本发明的第一方面，提供一种基于采矿过程的矿石三维坐标获取方法，包括以下步骤：
获取矿石图片；
采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；
根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；
获取彩色图和红外深度图；
将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；
选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；
计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；
将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；
结合所述二维坐标和所述深度信息，得出矿石的三维坐标。
本发明的第二方面，提供一种基于采矿过程的矿石三维坐标获取装置，包括：
第一图片获取单元，用于获取矿石图片；
预测掩码图输出单元，用于采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；
二维坐标输出单元，用于根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；
第二图片获取单元，用于获取彩色图和红外深度图；
轮廓输出单元，用于将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；
重心输出单元，用于选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；
仿射变换单元，用于计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；
深度信息输出单元，用于将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；
三维坐标输出单元，用于结合所述二维坐标和所述深度信息，得出矿石的三维坐标。
本发明的第三方面，提供一种基于采矿过程的矿石三维坐标获取设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。
本发明的第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。
本发明的第五方面，提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。
本发明的一种基于采矿过程的矿石三维坐标获取方法及其装置至少具有以下有益效果：本发明包括以下步骤：获取矿石图片；采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；获取彩色图和红外深度图；将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；结合所述二维坐标和所述深度信息，得出矿石的三维坐标。本发明通过二维坐标和深度信息相结合得出矿石的三维坐标，能够精准识别矿石的坐标位置，提高采矿效率。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明一个实施例所提供的一种基于采矿过程的矿石三维坐标获取方法的流程图；
图2是本发明一个实施例所提供的一种基于采矿过程的矿石三维坐标获取装置的结构示意图；
图3是本发明一个实施例所提供的一种基于采矿过程的矿石三维坐标获取设备的结构示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的第一方面，提供一种基于采矿过程的矿石三维坐标获取方法，包括以下步骤：
S1a：获取矿石图片；当采矿机器人到达采矿目标位置后，开启深度摄像头对矿石进行识别。
S1b：采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；识别算法是采用基于深度学习的YOLACT实时实例分割算法对采集到的矿石图片进行分割，生成高质量的掩码。YOLACT实施分割算法旨在现有的one-stage型检测器上添加一个人mask分支来达到实例分割的目的，但这一个过程中不希望引用特征定位步骤，提高分割的速度。使用了由ResNet101和PFN(Feature Pyramid Network)组成的主干监测器，得到多尺度的特征图，这样能够生成更高质量的掩码。为了保证速度，设计了两个分支网络分别为Protonet和Predicition Head并行运作。其中，第一个分支使用FCN去产生一系列独立于单一实例原型mask；第二个分支在检测分支上添加额外的头去预测mask系数，以用于编码一个实例在原型mask空间的表示。在NMS算法步骤后，通过将两分支的输出结果进行线性组合来得到最后的预测掩码图，在基于掩码图上，然后再经过非极大抑制算法来选出多余的框，找到最佳的物体检测位置。
S1c：根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；在基于生成的矿石的预测掩码图绘制一个矩形框，通过求矩形框的中心点得到一个二维坐标。
S2a：获取彩色图和红外深度图；所述彩色图可以为三通道彩色图。
S2b：将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；
S2c：选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；先将彩色图传入预训练模型中进行识别，预训练模型返回图像多种物体识别的轮廓和物体标签，选取目标物体标签的轮廓，轮廓计算轮廓上所有点的X和Y轴的坐标之和，除以点的个数，得到物体的重心。
S2d：计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；以X轴正向为正方向，图像中心点为原点，再计算目标物体的重心和原点的距离。
S2e：将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；
结合所述二维坐标和所述深度信息，得出矿石的三维坐标。
本实施例中通过二维坐标和深度信息相结合得出矿石的三维坐标，能够精准识别矿石的坐标位置，提高采矿效率。
参照图2，本发明的第二方面，提供一种基于采矿过程的矿石三维坐标获取装置100，包括：
第一图片获取单元110，用于获取矿石图片；
预测掩码图输出单元120，用于采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；
二维坐标输出单元130，用于根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；
第二图片获取单元140，用于获取彩色图和红外深度图；
轮廓输出单元150，用于将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；
重心输出单元160，用于选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；
仿射变换单元170，用于计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；
深度信息输出单元180，用于将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；
三维坐标输出单元190，用于结合所述二维坐标和所述深度信息，得出矿石的三维坐标。
需要说明的是，由于本实施例中的XXXX装置与上述的XXXX方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
参照图3，本发明的第三方面，提供一种基于采矿过程的矿石三维坐标获取设备200，该矿石三维坐标获取设备200可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。
具体地，该矿石三维坐标获取设备200包括：一个或多个控制处理器210和存储器220，图3中以一个控制处理器210为例。
控制处理器210和存储器220可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的一种基于采矿过程的矿石三维坐标获取方法对应的程序指令/模块，例如，图2中所示的单元100-190。控制处理器210通过运行存储在存储器220中的非暂态软件程序、指令以及模块，从而执行一种基于采矿过程的矿石三维坐标获取装置100的各种功能应用以及数据处理，即实现上述方法实施例的一种基于采矿过程的矿石三维坐标获取方法。
存储器220可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种基于采矿过程的矿石三维坐标获取装置100的使用所创建的数据等。此外，存储器220可以包括高速随机存取存储器220，还可以包括非暂态存储器220，例如至少一个磁盘存储器220件、闪存器件、或其他非暂态固态存储器220件。在一些实施方式中，存储器220可选包括相对于控制处理器210远程设置的存储器220，这些远程存储器220可以通过网络连接至该一种基于采矿过程的矿石三维坐标获取设备200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器220中，当被所述一个或者多个控制处理器210执行时，执行上述方法实施例中的一种基于采矿过程的矿石三维坐标获取方法，例如，执行以上描述的图1中的方法步骤S1a-S1c、S2a-S2e和S3，实现图2中的单元100-190的功能。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器210执行，例如，被图3中的一个控制处理器210执行，可使得上述一个或多个控制处理器210执行上述方法实施例中的一种基于采矿过程的矿石三维坐标获取方法，例如，执行以上描述的图1中的方法步骤S1a-S1c、S2a-S2e和S3，实现图2中的单元100-190的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
本发明的第五方面，提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于采矿过程的矿石三维坐标获取方法，其特征在于，包括以下步骤：
获取矿石图片；
采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；
根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；
获取彩色图和红外深度图；
将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；
选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；
计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；
将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；
结合所述二维坐标和所述深度信息，得出矿石的三维坐标。
2.一种基于采矿过程的矿石三维坐标获取装置，其特征在于，包括：
第一图片获取单元，用于获取矿石图片；
预测掩码图输出单元，用于采用YOLACT算法和NMS算法对所述矿石图片进行处理，得出预测掩码图；
二维坐标输出单元，用于根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；
第二图片获取单元，用于获取彩色图和红外深度图；
轮廓输出单元，用于将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；
重心输出单元，用于选取目标物体的轮廓，计算所述轮廓上所有点的X轴和Y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；
仿射变换单元，用于计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；
深度信息输出单元，用于将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；
三维坐标输出单元，用于结合所述二维坐标和所述深度信息，得出矿石的三维坐标。
3.一种基于采矿过程的矿石三维坐标获取设备，其特征在于：包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如权利要求1所述的一种基于采矿过程的矿石三维坐标获取方法。
4.一种计算机可读存储介质，其特征在于：计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如权利要求1所述的一种基于采矿过程的矿石三维坐标获取方法。
5.一种计算机程序产品，其特征在于：所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如权利要求1所述的一种基于采矿过程的矿石三维坐标获取方法。
CN201910831631.0A 2019-09-04 2019-09-04 一种基于采矿过程的矿石三维坐标获取方法及其装置 Active CN110706267B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910831631.0A CN110706267B (zh) 2019-09-04 2019-09-04 一种基于采矿过程的矿石三维坐标获取方法及其装置
US16/806,714 US11111785B2 (en) 2019-09-04 2020-03-02 Method and device for acquiring three-dimensional coordinates of ore based on mining process
PCT/CN2020/078279 WO2021042693A1 (zh) 2019-09-04 2020-03-06 一种基于采矿过程的矿石三维坐标获取方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910831631.0A CN110706267B (zh) 2019-09-04 2019-09-04 一种基于采矿过程的矿石三维坐标获取方法及其装置

Publications (2)

Publication Number Publication Date
CN110706267A true CN110706267A (zh) 2020-01-17
CN110706267B CN110706267B (zh) 2022-11-15

Family

ID=69194045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910831631.0A Active CN110706267B (zh) 2019-09-04 2019-09-04 一种基于采矿过程的矿石三维坐标获取方法及其装置

Country Status (3)

Country Link
US (1) US11111785B2 (zh)
CN (1) CN110706267B (zh)
WO (1) WO2021042693A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552300A (zh) * 2020-06-09 2020-08-18 南开大学 一种基于实例分割和路径规划的农作物采摘系统
WO2021042693A1 (zh) * 2019-09-04 2021-03-11 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN113160263A (zh) * 2021-03-30 2021-07-23 电子科技大学 一种基于yolact实例分割的改进方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
CN113378262B (zh) * 2021-05-24 2023-04-07 中建钢构武汉有限公司 弯扭构件的加工信息获取方法、设备及存储介质
CN113344912B (zh) * 2021-07-06 2024-04-16 矿冶科技集团有限公司 矿石颗粒分割系统、方法和机器可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142841A2 (en) * 2008-05-20 2009-11-26 Honda Motor Co., Ltd Rectangular table detection using hybrid rgb and depth camera sensors
US20150146964A1 (en) * 2013-11-27 2015-05-28 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
CN107358654A (zh) * 2017-06-19 2017-11-17 中国地质大学（武汉） 基于多边形变形技术的剖面重构三维表面建模方法及系统
CN108090434A (zh) * 2017-12-13 2018-05-29 赣州好朋友科技有限公司 一种矿石快速识别方法
CN108108679A (zh) * 2017-12-13 2018-06-01 赣州好朋友科技有限公司 一种全自动钨矿选矿机
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN108961390A (zh) * 2018-06-08 2018-12-07 华中科技大学 基于深度图的实时三维重建方法
CN109934848A (zh) * 2019-03-07 2019-06-25 贵州大学 一种基于深度学习的运动物体精准定位的方法
CN110108231A (zh) * 2019-05-08 2019-08-09 广东嘉腾机器人自动化有限公司 基于角点检测的钜体箱体三维尺寸测量方法及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117373A (ja) * 2015-12-25 2017-06-29 キヤノン株式会社 操作装置とその制御方法、及びプログラム
CN108335308A (zh) * 2017-01-20 2018-07-27 深圳市祈飞科技有限公司 一种橙子自动检测方法、系统以及机器人智能零售终端
CN106951905A (zh) * 2017-02-16 2017-07-14 江苏大学 一种基于tof相机的树上苹果识别与定位方法
CN110706267B (zh) * 2019-09-04 2022-11-15 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142841A2 (en) * 2008-05-20 2009-11-26 Honda Motor Co., Ltd Rectangular table detection using hybrid rgb and depth camera sensors
US20150146964A1 (en) * 2013-11-27 2015-05-28 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
CN107358654A (zh) * 2017-06-19 2017-11-17 中国地质大学（武汉） 基于多边形变形技术的剖面重构三维表面建模方法及系统
CN108090434A (zh) * 2017-12-13 2018-05-29 赣州好朋友科技有限公司 一种矿石快速识别方法
CN108108679A (zh) * 2017-12-13 2018-06-01 赣州好朋友科技有限公司 一种全自动钨矿选矿机
CN108961390A (zh) * 2018-06-08 2018-12-07 华中科技大学 基于深度图的实时三维重建方法
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN109934848A (zh) * 2019-03-07 2019-06-25 贵州大学 一种基于深度学习的运动物体精准定位的方法
CN110108231A (zh) * 2019-05-08 2019-08-09 广东嘉腾机器人自动化有限公司 基于角点检测的钜体箱体三维尺寸测量方法及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHANG, DELEI等: "Optimization research on coordinate exploitation of high and low-grade ore in phosphate mining", 《ADVANCES IN ENERGY SCIENCE AND EQUIPMENT ENGINEERING》 *
任助理等: "基于粒子群优化算法和ANFIS的矿体品位插值", 《中国有色金属学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021042693A1 (zh) * 2019-09-04 2021-03-11 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN111552300A (zh) * 2020-06-09 2020-08-18 南开大学 一种基于实例分割和路径规划的农作物采摘系统
CN113160263A (zh) * 2021-03-30 2021-07-23 电子科技大学 一种基于yolact实例分割的改进方法

Also Published As

Publication number Publication date
US11111785B2 (en) 2021-09-07
CN110706267B (zh) 2022-11-15
WO2021042693A1 (zh) 2021-03-11
US20210062653A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110706267B (zh) 一种基于采矿过程的矿石三维坐标获取方法及其装置
WO2018205803A1 (zh) 位姿估计方法和装置
CN106846495B (zh) 实现增强现实的方法与装置
CN107885871A (zh) 基于云计算的同步定位与地图构建方法、系统、交互系统
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN110322399B (zh) 一种超声图像调整方法、系统、设备及计算机存储介质
CN112634343A (zh) 图像深度估计模型的训练方法、图像深度信息的处理方法
CN112171675B (zh) 一种移动机器人的避障方法、装置、机器人及存储介质
CN110942474B (zh) 机器人目标跟踪方法、设备及存储介质
CN108122245B (zh) 一种目标行为描述方法、装置和监控设备
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
WO2014188446A2 (en) Method and apparatus for image matching
CN109903308B (zh) 用于获取信息的方法及装置
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN115035160A (zh) 一种基于视觉跟随的目标追踪方法、装置、设备及介质
CN116266402A (zh) 对象自动标注方法、装置、电子设备及存储介质
CN112784676A (zh) 图像处理方法、机器人及计算机可读存储介质
US11189050B2 (en) Learning template representation libraries
CN112270357A (zh) Vio视觉系统及方法
CN113094016B (zh) 用于信息增益与显示的系统、方法及介质
CN113392795B (zh) 联合检测模型训练、联合检测方法、装置、设备及介质
CN113936338A (zh) 手势识别方法、装置及电子设备
CN116071325A (zh) 一种3d目标检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant