CN110032922A - 为采矿作业提供增强现实的方法和系统 - Google Patents

为采矿作业提供增强现实的方法和系统 Download PDF

Info

Publication number
CN110032922A
CN110032922A CN201811510328.2A CN201811510328A CN110032922A CN 110032922 A CN110032922 A CN 110032922A CN 201811510328 A CN201811510328 A CN 201811510328A CN 110032922 A CN110032922 A CN 110032922A
Authority
CN
China
Prior art keywords
stone
video flowing
video
mining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811510328.2A
Other languages
English (en)
Inventor
U·马德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual reality software
Original Assignee
Virtual reality software
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual reality software filed Critical Virtual reality software
Publication of CN110032922A publication Critical patent/CN110032922A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C47/00—Machines for obtaining or the removal of materials in open-pit mines
    • E21C47/10—Machines for obtaining or the removal of materials in open-pit mines for quarrying stone, sand, gravel, or clay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Mining & Mineral Resources (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Geology (AREA)
  • Geochemistry & Mineralogy (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为采矿作业提供增强现实的方法和系统。本发明涉及一种向采矿作业的操作员实时呈现信息的方法，该信息与在采矿作业的过程中要从采矿地点移除的至少第一石块相关，该方法包括用摄像机拍摄第一石块的采矿作业的视频流；识别视频流中的第一石块；从视频流提取第一石块的图像数据；基于图像数据确定第一石块的至少一个参数；基于参数获得与采矿作业有关的信息；以及在显示器上向操作员实时地可视化包括第一石块(51)的图像的视频流，其中可视化视频流包括使用增强现实技术以强调的方式来可视化第一石块的图像，并且用信息覆盖视频流。本发明还涉及一种用于执行该方法的系统以及一种包括该系统的采矿车辆。

Description

为采矿作业提供增强现实的方法和系统
技术领域
本发明涉及一种用于实时呈现与在采矿作业过程中要移动的石块有关的信息的方法。该信息将呈现给采矿作业的操作员并且使用增强现实技术来呈现。本发明还涉及一种用于执行所述方法的增强现实系统。
背景技术
例如，从现有技术文献US 2014/0184643 A1、US 2012/0139325 A1、US 2009/0256860 A1或US 2014/0188333 A1，通常已知在采矿或运土过程中使用增强现实技术。
在采石场采矿包括从开采地点移除石块并且将其运输到另一地点以进行进一步处理的步骤。这种移除和运输可以例如通过轮式装载机或挖掘机与自卸式卡车结合使用来进行。这些石块既可以是巨石，也可以是例如通过爆破破碎而碎裂基岩产生的岩石。
通常，在开采地点存在各种尺寸的石块，其中一些石块太大而无法移除或运输并且需要首先将其碎裂成更小的部分。对于适于移除石块的车辆(即轮式装载机或挖掘机)的操作员，通常难以确定某一石块是否可以被运输或是否需要被碎裂。
试图移除和运输太大并因此太重的石块会对使用过的车辆造成损坏并且如果石块的重量让车辆翻倒，甚至可能导致事故。此外，不断挖掘和运输仅略微过重的石块也会过度磨损设备。
因此需要一种方便操作员进行该步骤的方法和系统。
发明内容
因此，本发明的一个目的是提供一种实时呈现用于在挖掘作业中使用的信息的改进方法。
此外，一个目的是提供一种用于执行所述方法的增强现实系统和一种包括这种系统的采矿车辆。
通过根据权利要求1的方法、根据权利要求13的增强现实装置、根据权利要求15的采矿车辆和/或本发明的从属权利要求来实现这些目的中的至少一个。
本发明的第一方面涉及一种用于生成信息并且将所述信息实时地呈现给采矿作业的操作员的方法。所述信息至少涉及在采矿作业过程中要从开采地点移除的第一石块。根据本发明，该方法包括
-利用摄像机拍摄第一石块的采矿作业的视频流；
-识别视频流中的第一石块；
-从视频流提取第一石块的图像数据；
-基于所述图像数据确定第一石块的至少一个参数；
-基于所述参数获得与采矿作业有关的信息；以及
-在显示器上实时地向操作员可视化视频流，该视频流包括第一石块的图像，其中，可视化视频流包括使用增强现实技术来以强调的方式可视化第一石块的图像并且用所述信息覆盖视频流。
根据该方法的实施方式，所述信息包括是否移除第一石块的指令。根据该方法的另一实施方式，所述信息包括是否对第一石块进行碎裂的指令。尤其是，当可视化视频流时，将这些指令中的一个覆盖在第一石块的图像上。
根据另一实施方式，确定至少一个参数包括基于图像数据计算或估计第一石块的重量，尤其是其中，该信息包括第一石块的重量规格。
根据另一实施方式-如果车辆是适于移除第一石块的轮式装载机或挖掘机、或者是适于运输第一石块的卡车，尤其是自卸式卡车-该方法包括获得在采矿作业中部署的车辆的重量允许值。可选地或附加地，该方法包括计算车辆的当前载荷的重量，即当前负载的所有石块的总重量。
根据另一实施方式，该方法包括确定开采地点和/或第一石块的位置，尤其是使用全球导航卫星系统，并且获得与所确定位置处的石块材料的典型成分有关的成分数据，其中，计算或估计重量也基于成分数据。
根据另一实施方式，确定所述至少一个参数包括计算或估计第一石块所在的地面的斜率，其中，计算或估计斜率基于图像数据，并且/或者该方法还包括确定第一石块的位置，并且获得与第一石块的位置处的地形轮廓相关的轮廓数据，其中，计算或估计斜率基于所述轮廓数据。
根据另一实施方式，确定所述至少一个参数包括如果要移除第一石块则计算或估计块体移动的风险和可能范围。尤其地，块体移动涉及开采地点处的其它石块，并且确定所述至少一个参数包括基于图像数据计算或估计开采地点处的相对于第一石块的至少第二石块的位置，尤其是多个其它石块的位置。
根据另一实施方式，在远程服务器计算机处确定所述至少一个参数，并且该方法还包括将图像数据发送到服务器计算机。另选地，可以借助于本地计算单元来确定参数。
根据另一实施方式，利用至少两个摄像机或借助于3D摄像机拍摄第一石块的采矿作业的至少两个视频流，其中，在所述至少两个视频流中识别第一石块，并且从所述至少两个视频流提取第一石块的图像数据，尤其是其中，所述至少两个视频流对操作员被可视化为三维视频流。
根据另一实施方式，该方法包括拍摄第一石块的采矿作业的至少一个范围图像，其中，确定第一石块的所述至少一个参数也基于所述至少一个范围图像。尤其是，摄像机被构建为适于拍摄范围图像，尤其是适于在拍摄视频流的同时拍摄多个范围图像的RIM摄像机。
根据另一实施方式，该方法包括从视频流中提取多个石块的图像数据，并且基于所述图像数据确定多个石块中的每一个的至少一个参数，尤其是其中，当可视化视频流时将信息覆盖在相应石块的图像上。
本发明的第二方面涉及一种被配置成用于第一石块的采矿作业，尤其是用于根据本发明的第一方面的方法的增强现实系统。该系统包括
-摄像机，该摄像机被配置成拍摄视频流，
-位置获取单元，该位置获取单元被配置成获得位置信息，尤其是摄像机的位置信息，
-图像识别单元，该图像识别单元被配置成识别视频流中的特征并且从视频流中获得与该特征相关的图像数据，
-计算单元，该计算单元被配置成基于图像数据确定特征的至少一个参数，
-图像增强单元，该图像增强单元被配置成通过用基于所述参数的内容实时地覆盖所述视频流来创建增强视频流，以及
-显示器，该显示器被配置成向装置的操作员可视化该增强视频流。
根据本发明，
-视频流是第一石块的采矿作业的视频流；
-图像识别单元被配置成识别视频流中的第一石块并且从视频流中提取第一石块的图像数据；
-计算单元被配置成基于第一石块的图像数据确定与第一石块相关的至少一个参数，并且基于该参数计算和/或估计与采矿作业相关的信息；并且
-图像增强单元被配置成以这样的方式创建增强视频流，使得视频流中的第一石块的图像被强调并且视频流与信息覆盖。
根据一个实施方式，摄像机被构建为3D摄像机，该3D摄像机被配置成从不同位置和/或以不同角度拍摄第一石块的采矿作业的至少两个视频流。
根据另一实施方式，摄像机被构建为RIM摄像机，该RIM摄像机被配置成拍摄第一石块的采矿作业的至少一个范围图像，尤其被配置成在拍摄视频流的同时拍摄多个范围图像。
本发明的第三方面涉及一种包括根据第二方面的增强现实系统的采矿车辆，诸如轮式装载机或挖掘机。
附图说明
下面将参照附图的示例性实施方式来详细描述本发明，在附图中：
图1a至图1b示出了与从开采地点移除石块有关的采矿作业；
图2a至图2b示出了根据本发明的增强现实装置的两个示例性实施方式；
图3a、图3b、图3c和图3d示出了根据本发明的增强现实装置的示例性实施方式的显示器上的示例性输出；
图4示出了根据本发明的增强现实装置的另一示例性实施方式的显示器上的示例性输出；
图5示出了例示根据本发明的方法的第一实施方式的流程图；以及
图6示出了例示根据本发明的方法的第二实施方式的流程图。
具体实施方式
在图1a和图1b中例示了采矿作业。在开采地点50中放有多个石块，其中第一石块51即将从开采地点50移除。在图1a中，这将由挖掘机30执行，该挖掘机30将石块加载到自卸式卡车40，该自卸式卡车40将多个石块54运送到远程处理地点(未示出)。在图1b中，第一石块51将由轮式装载机35移除，该轮式装载机35将石块运送到附近的石块堆场55。
挖掘机30和轮式装载机35由操作人员31操作，操作人员31需要确定石块51是否适合于被移除和运输。从操作人员在挖掘机30中的位置来看，这个决定可能是困难的，尤其是对于现场的新手来说，因为需要同时考虑许多参数。
一方面,这些参数包括石块51的尺寸和重量，需要基于挖掘机30和/或轮式装载机35的挖掘能力以及卡车40的仍然可用的有效载荷来考虑这些参数。如果石块太大和/或太重，无法用已经部分装载的卡车运输，那么它的移除需要推迟到下一辆卡车到达。如果石块的尺寸或重量超过挖掘机的能力和/或卡车的总有效载荷，则需要例如借助于炸药或气锤先将其碎裂。
另一方面，这些参数还包括地面的斜率和开采地点50处的多个石块的相对位置。需要考虑这些参数以防止如果某一石块51被移动可能发生的块体移动(mass movement)(例如，滑坡)。
为了帮助操作员31考虑这些参数，作业的采矿车辆30、35配备有根据本发明的增强现实系统。该系统包括摄像机11，该摄像机11朝向开采地点50和第一石块51并且拍摄其视频流。该系统还包括显示单元16，该显示单元16向操作员31可视化由摄像机11拍摄到的视频流。增强现实系统还包括计算装置10，该计算装置10包括计算单元，该计算单元允许通过自动生成的指令和/或帮助操作员31做出决定的信息来增强可视化的视频流。
可选地，可以使用比这里示出的一个摄像机11更多的摄像机来拍摄图像或视频流。尤其是，可以使用被配置成从不同位置并且以不同角度拍摄第一石块51的采矿作业的至少两个视频流的3D摄像机。此外，一个或更多个摄像机可以安装在一个或更多个无人驾驶飞行器(UAV)上，诸如摄像机无人机。
图2a和图2b例示了根据本发明的增强现实系统1的两个示例性实施方式。
在图2a中，系统1包括具有被配置成拍摄视频流的摄像机11的装置10、被配置成获得装置10的位置信息的位置获取单元15、以及被配置成显示增强视频流的显示器16。装置10还包括允许创建增强视频流的计算单元。这些包括被配置成从视频流获得图像数据的图像识别单元12、被配置成基于图像数据确定至少一个参数的计算单元13、被配置成通过用基于所述参数的内容实时地覆盖所述视频流来创建增强视频流的图像增强单元14。在图2a中，装置10还包括数据库17。
在图2b中，数据库17’和计算单元的一部分(这里是计算单元13’)不是装置10的一部分，而是构成系统1的一部分的远程服务器计算机20的一部分。装置10包括被配置成例如借助于互联网连接与服务器计算机20建立无线数据连接的数据链接单元18。
这里被示出为单个装置10的一部分的组件当然也可以设置在包括例如分布在作业车辆上的多个单元的系统1中。在图1a和图1b中示出了一个简单的示例，其中摄像机11和显示器16与包括计算单元的装置10分开设置。
图3a至图3d示出了根据本发明的增强现实系统的示例性实施方式的显示器16，其上显示有四个示例性输出。
尽管所示的显示器16集成在装置10中，但是当然它以可以单独设置。在特定实施方式中，显示器16可以被配置为虚拟现实(VR)护目镜或扩展现实(XR)护目镜。
在图3a中，显示器16示出没有任何增强现实内容的视频流60。操作员(这里未示出)可以看到具有多个石块的图1的开采地点50。操作员认为石块51是要被移除的下一个石块。
图3b示出了图3a的显示器16，其中显示同一视频流60。操作员选择了石块51。在这种情况下，显示器16被配置为触摸屏并且通过在显示石块51的显示器16的相应部分上轻敲(由图标61示出)来选择石块。
作为选择的结果，在视频流60中识别出的石块51被突出可视化(通过框62和不同的着色示出)。
图3c示出了图3b的显示器16和视频流60，其中关于石块51的信息可视化在同一石块51上的视频流中。这里，该信息是重量信息63。
在识别出视频流中的所选石块51之后，已经提取了石块51的图像数据，并且已经基于图像数据估计或计算了石块51的重量。优选地，获得这样的参数也可以基于其它数据，在这种情况下，例如，基于在开采地点50处的石块的已知平均成分。
然后，所选择的石块51的估计或计算出的重量被显示为增强视频流60中的重量信息63，例如，直接覆盖在所选石块51的图像上。
图3d示出了图3a的显示器16，其中显示同一视频流60。已自动识别出开采地点50处的石块并且考虑其可提取性。
被认为太重的两个石块标有图标65，向操作员发信号通知不要将它们移除而是等待它们的碎裂。
被认为其被移除太危险的一个石块(例如，因为它可能由于地面倾斜和靠在该石块上的其它石块而触发块体移动)已经标记有警告图标66，例如，在地点50被确保抵御可能的块体移动之前向操作员发信号通知不要移除该石块。
已经识别出另一石块，但是其太多的表面被其它石块覆盖，以至于难以估计其尺寸并因此难以估计其重量。因此用图标67标记，向操作员发出信号通知首先移除其它石块，以便考虑该石块的可运输性。
一个石块被认为是可移除的。因此，用图标61标记向操作员发信号通知该石块是可移除的。借助于框62进一步突出显示，向操作员发信号通知该石块应该是下一个要移除的石块。
图4示出了作为根据本发明的系统的一部分的装置10的另一示例性实施方式，其被实现为手持装置10，该手持装置10具有在面向用户的正面上的显示器16和在面向开采地点50的背面上的摄像机(未示出)。摄像机拍摄包含第一石块51的图像的开采地点50的视频。如上所述，可以在视频中识别出该石块，以便在用户选择时可以在显示的视频60中突出显示该石块(不同的着色62)，并且可以在视频60中显示关于石块51的所选信息(例如，其重量63)。
包括所示手持装置10的系统的该实施方式可以在车辆外部使用，例如，在借助挖掘机或轮式装载机移除石块之前由用户确定需要进一步碎裂哪些石块(见图1a、图1b)。手持装置10还可以部分地或完全包括图2a中显示的计算单元。优选地，它可以配备有GNSS传感器并且可连接到因特网以访问远程服务器上的数据库(参见图2b)。
如图4所示，也拍摄石块的周围，使得例如借助于特征提取和/或图像识别，可以确定开采地点50处的地形的斜率59。
一个或更多个摄像机无人机可用于从各种位置拍摄图像以便于估计或计算石块的重量以确定可能的危险或确定斜率59。可选地，可以从不同的视点呈现增强视频流。
在图5和图6中，借助于流程图例示了根据本发明的方法100的两个示例性实施方式。
图5的方法开始于拍摄采矿作业的视频流(步骤110)，其中，至少第一石块在视频流中可见。接下来，借助于图像识别，在视频流中识别出石块或多个石块(步骤120)。从视频流中提取属于至少一个石块的图像数据(步骤130)并且基于所提取的图像数据确定一个或更多个参数(例如，石块尺寸)(步骤140)。根据一个或更多个所确定的参数获得信息(步骤150)，例如，石块是否适合车辆的斗，并且显示增强视频流(步骤160)，该增强视频流包括在原始视频流上覆盖的信息。
同样，在图6中例示的方法100的第二实施方式中，方法100开始于拍摄采矿作业的视频流(步骤110)，其中，至少第一石块在视频流中可见。接下来，借助于图像识别，在视频流中识别出石块或多个石块(步骤120)，并且从视频流中提取属于至少一个石块的图像数据(步骤130)。
在该实施方式中，确定石块的位置(步骤170)。这是借助于系统的GNSS模块完成的，该模块确定摄像机的位置。该位置可能已被用作石块的粗略位置。对于更详细的位置，可以根据所拍摄的图像确定石块相对于摄像机的位置，即相对于摄像机的方向和距离。在特定实施方式中，摄像机可以配备有距离测量单元(例如，激光测距仪)，或者被实现为范围成像(RIM)摄像机。
使用所确定的石块位置，可以从数据库中检索关于所述位置中的石块的参数。在这种情况下，需要石块的成分以便确定石块的大概重量。
由于摄像机的位置已知，因此开采地点也是已知的。此外，已经提取了石块的图像数据，因此石块的颜色和纹理是已知的。该信息可用于在步骤180中估计石块的成分并因此估计其密度。
在步骤145中，然后根据可以根据所提取的图像数据获得的石块的尺寸(步骤130)和基于已知位置和颜色和纹理估计的石块的密度来计算石块的估计重量(步骤180)。
在步骤155中，然后通过将石块的重量与所涉及的车辆的已知参数进行比较来确定是否可以移除所选择的石块。尤其是，确定所使用的挖掘机或轮式装载机是否能够移动这样的重量，并且要装载该石块的卡车是否可以承载额外的重量而不会过载。
在最后的步骤160中，通过将关于是否将所选石块移除的指令覆盖到视频流中的石块的图像上，在增强视频流中可视化该信息。
尽管以上说明了本发明，部分参考了一些优选实施方式，但是必须理解，可以对这些实施方式的不同特征进行多种修改和组合。所有这些修改都在所附权利要求的范围内。

Claims (15)

1.一种用于生成信息并且将所述信息实时呈现给采矿作业的操作员(31)的方法，所述信息与在所述采矿作业过程中要从开采地点(50)移除的至少第一石块(51)有关，所述方法包括以下步骤：
-利用摄像机(11)拍摄(110)所述第一石块(51)的所述采矿作业的视频流；
-识别(120)所述视频流中的所述第一石块(51)；
-从所述视频流提取(130)所述第一石块(51)的图像数据；
-基于所述图像数据确定(140)所述第一石块(51)的至少一个参数；
-基于所述参数(150)获得与所述采矿作业有关的信息；以及
-在显示器(16)上对所述操作员(31)实时可视化(160)所述视频流，所述视频流包括所述第一石块(51)的图像，
其中，可视化(160)所述视频流的步骤包括使用增强现实技术以
-按照强调的方式可视化所述第一石块(51)的图像，并且
-用所述信息覆盖所述视频流。
2.根据权利要求1所述的方法(100)，
其特征在于，
所述信息包括是否移除所述第一石块(51)的指令(64-67)，
尤其是其中，当可视化(160)所述视频流时，所述指令被覆盖在所述第一石块(51)的所述图像上。
3.根据权利要求1或权利要求2所述的方法(100)，
其特征在于，
所述信息包括是否对所述第一石块(51)进行碎裂的指令，尤其是其中，当可视化(160)所述视频流时，所述指令被覆盖在所述第一石块(51)的所述图像上。
4.根据前述权利要求中任一项所述的方法(100)，
其特征在于，
确定(140)所述至少一个参数的步骤包括基于所述图像数据来计算或估计(145)所述第一石块(51)的重量，尤其是其中，所述信息包括所述第一石块(51)的重量规格(63)。
5.根据权利要求4所述的方法(100)，其中，所述车辆是适配为移除所述第一石块(51)的轮式装载机或挖掘机(30)、或者卡车(40)，尤其是适配为运输所述第一石块(51)的自卸式卡车，
其特征在于，
-获得在所述采矿作业中部署的车辆的重量允许值；和/或
-计算当前装载的石块的重量(54)。
6.根据权利要求4或权利要求5所述的方法(100)，
其特征在于，
-尤其使用全球导航卫星系统来确定所述开采地点(50)的位置和/或所述第一石块(51)的位置，并且
-获得与所确定的位置处的石块材料的典型成分相关的成分数据，
其中，计算或估计所述重量的步骤也基于所述成分数据。
7.根据前述权利要求中任一项所述的方法(100)，
其特征在于，
确定(140)所述至少一个参数的步骤包括计算或估计所述第一石块(51)所在的地面的斜率，其中，
-基于所述图像数据来计算或估计所述斜率，和/或
-所述方法还包括确定所述第一石块(51)的位置，以及获得与所述第一石块(51)的位置处的地形轮廓相关的轮廓数据，其中，基于所述轮廓数据来计算或估计所述斜率。
8.根据权利要求7所述的方法(100)，
其特征在于，
确定(140)所述至少一个参数的步骤包括如果要移除所述第一石块(51)则计算或估计块体移动的风险和可能程度，尤其是其中，
-所述块体移动涉及所述开采地点(50)处的其它石块，并且
-确定(140)所述至少一个参数的步骤包括基于所述图像数据来计算或估计所述开采地点(50)处的至少第二石块相对于所述第一石块的位置，尤其是多个其它石块的位置。
9.根据前述权利要求中任一项所述的方法(100)，
其特征在于，
在远程服务器计算机(20)处确定(140)所述至少一个参数，并且所述方法还包括将所述图像数据发送到所述服务器计算机(20)。
10.根据前述权利要求中任一项所述的方法(100)，
其特征在于，
利用至少两个摄像机(11)来拍摄(110)所述第一石块(51)的所述采矿作业的至少两个视频流，其中，在所述至少两个视频流中识别(120)出所述第一石块(51)，并且从所述至少两个视频流提取(130)所述第一石块(51)的图像数据，尤其是其中，向所述操作员(31)可视化(160)所述至少两个视频流作为三维视频流。
11.根据前述权利要求中任一项所述的方法(100)，
其特征在于，
拍摄所述第一石块(51)的所述采矿作业的至少一个范围图像，其中，确定(140)所述第一石块(51)的所述至少一个参数的步骤也基于所述至少一个范围图像，
尤其是其中，所述摄像机(11)被构建为RIM摄像机，所述RIM摄像机被配置成拍摄所述范围图像，尤其被配置成在拍摄所述视频流的同时拍摄多个范围图像。
12.根据前述权利要求中任一项所述的方法(100)，
其特征在于，
从所述视频流提取(130)多个石块的图像数据，并且基于所述图像数据确定(140)所述多个石块中的每一个石块的至少一个参数，
尤其是其中，当可视化(160)所述视频流时，所述信息被覆盖在相应石块的图像上。
13.一种用于第一石块(51)的采矿作业的增强现实系统(1)，所述增强现实系统(1)包括：
-摄像机(11)，所述摄像机(11)被配置成拍摄视频流，
-位置获取单元(15)，所述位置获取单元(15)被配置成获得位置信息，尤其是获得所述摄像机(11)的位置信息，
-图像识别单元(12)，所述图像识别单元(12)被配置成识别所述视频流中的特征，并且从所述视频流获得与所述特征相关的图像数据；
-计算单元(13)，所述计算单元(13)被配置成基于所述图像数据来确定所述特征的至少一个参数，
-图像增强单元(14)，所述图像增强单元(14)被配置成通过用基于所述参数的内容实时地覆盖所述视频流来创建增强视频流(60)，以及
-显示器(16)，所述显示器(16)被配置成向装置(10)的操作员(31)可视化所述增强视频流，
其特征在于，
-所述视频流是所述第一石块(51)的所述采矿作业的视频流；
-所述图像识别单元(12)被配置成识别所述视频流中的所述第一石块(51)并且从所述视频流提取所述第一石块(51)的图像数据；
-所述计算单元(13)被配置成基于所述第一石块(51)的所述图像数据来确定与所述第一石块(51)相关的至少一个参数，并且基于所述参数来计算和/或估计与所述采矿作业相关的信息；并且
-所述图像增强单元(14)被配置成按照强调所述视频流中的所述第一石块(51)的图像并且用所述信息覆盖所述视频流的方式来创建所述增强视频流。
14.根据权利要求13所述的增强现实系统，
其特征在于，
所述摄像机(11)被构建为
-3D摄像机，所述3D摄像机被配置成从不同位置和/或以不同角度来拍摄所述第一石块(51)的所述采矿作业的至少两个视频流，或者
-RIM摄像机，所述RIM摄像机被配置成拍摄所述第一石块(51)的所述采矿作业的至少一个范围图像，尤其是被配置成在拍摄所述视频流的同时拍摄多个范围图像。
15.一种采矿车辆(30、35)，所述采矿车辆(30、35)包括根据权利要求13或权利要求14所述的增强现实系统(1)。
CN201811510328.2A 2017-12-13 2018-12-11 为采矿作业提供增强现实的方法和系统 Pending CN110032922A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17206957.7A EP3499438A1 (en) 2017-12-13 2017-12-13 Method and system providing augmented reality for mining operations
EP17206957.7 2017-12-13

Publications (1)

Publication Number Publication Date
CN110032922A true CN110032922A (zh) 2019-07-19

Family

ID=60888154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510328.2A Pending CN110032922A (zh) 2017-12-13 2018-12-11 为采矿作业提供增强现实的方法和系统

Country Status (3)

Country Link
US (1) US11371347B2 (zh)
EP (1) EP3499438A1 (zh)
CN (1) CN110032922A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PE20201314A1 (es) * 2018-04-27 2020-11-24 Goldcorp Inc Procedimiento y sistema de realidad mixta para mineria de precision
US11595618B2 (en) 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
CN111479091A (zh) * 2020-05-18 2020-07-31 江苏电力信息技术有限公司 一种实现远程督察现场作业的方法
PE20240488A1 (es) * 2021-04-19 2024-03-13 Orica Int Pte Ltd Georreferenciacion de fragmentacion

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543200A (zh) * 2003-04-22 2004-11-03 ���µ�����ҵ��ʽ���� 联合摄像机构成的监视装置
CN102254169A (zh) * 2011-08-23 2011-11-23 东北大学秦皇岛分校 基于多摄像机的人脸识别方法及系统
CN103635954A (zh) * 2011-02-08 2014-03-12 隆沙有限公司 基于地理和可视信息增强可视数据流的系统
CN104471629A (zh) * 2012-06-13 2015-03-25 赛百瑞索路信有限公司 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US20150199847A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Head Mountable Display System
CN105739704A (zh) * 2016-02-02 2016-07-06 上海尚镜信息科技有限公司 基于增强现实的远程引导方法和系统
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2250108B (en) * 1990-10-31 1995-02-08 Samsung Heavy Ind Control system for automatically controlling actuators of an excavator
US7020307B2 (en) * 2002-02-15 2006-03-28 Inco Limited Rock fragmentation analysis system
US20070129869A1 (en) * 2005-12-06 2007-06-07 Caterpillar Inc. System for autonomous cooperative control of multiple machines
US9176235B2 (en) 2008-04-11 2015-11-03 Caterpillar Trimble Control Technologies Llc System and method for presenting topographical data for an earthmoving operation
US8392165B2 (en) * 2009-11-25 2013-03-05 Halliburton Energy Services, Inc. Probabilistic earth model for subterranean fracture simulation
US20120139325A1 (en) 2010-09-01 2012-06-07 The University Of Sydney System and method for terrain analysis
US8918246B2 (en) 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
US20140184643A1 (en) 2012-12-27 2014-07-03 Caterpillar Inc. Augmented Reality Worksite
US9196084B2 (en) * 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
US9418309B2 (en) * 2013-09-17 2016-08-16 Motion Metrics International Corp. Method and apparatus for performing a fragmentation assessment of a material
US10324433B2 (en) * 2015-04-01 2019-06-18 Caterpillar Inc. System and method for determination of machine state based on video and audio analytics
US10821992B2 (en) * 2015-06-03 2020-11-03 Volvo Construction Equipment Ab Method and system for predicting a risk for rollover of a working machine
PE20201314A1 (es) * 2018-04-27 2020-11-24 Goldcorp Inc Procedimiento y sistema de realidad mixta para mineria de precision

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543200A (zh) * 2003-04-22 2004-11-03 ���µ�����ҵ��ʽ���� 联合摄像机构成的监视装置
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
CN103635954A (zh) * 2011-02-08 2014-03-12 隆沙有限公司 基于地理和可视信息增强可视数据流的系统
CN102254169A (zh) * 2011-08-23 2011-11-23 东北大学秦皇岛分校 基于多摄像机的人脸识别方法及系统
CN104471629A (zh) * 2012-06-13 2015-03-25 赛百瑞索路信有限公司 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置
US20150199847A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Head Mountable Display System
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN105739704A (zh) * 2016-02-02 2016-07-06 上海尚镜信息科技有限公司 基于增强现实的远程引导方法和系统

Also Published As

Publication number Publication date
US20190178081A1 (en) 2019-06-13
US11371347B2 (en) 2022-06-28
EP3499438A1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
CN110032922A (zh) 为采矿作业提供增强现实的方法和系统
CN105518556B (zh) 车辆行驶系统以及车辆行驶控制方法
JP6393412B2 (ja) 体積推定装置及びそれを備えた油圧ショベル
US12094151B2 (en) Image processing system, image processing method, learned model generation method, and data set for learning
KR102013761B1 (ko) 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
Neitzel et al. Mobile 3D mapping with a low-cost UAV system
WO2016047807A1 (ja) 校正システム、作業機械及び校正方法
WO2015162710A1 (ja) 掘削装置
JP6322612B2 (ja) 施工管理システム及び形状計測方法
CA2858213C (en) Systems and methods for motion capture in an underground environment
JP6791041B2 (ja) 原料山計測方法および原料山計測システム
JP2017071915A (ja) 施工管理システム及び施工管理方法
CN112469869A (zh) 图像处理系统、显示装置、图像处理方法、学习完毕模型的生成方法以及学习用数据集
CN107251093A (zh) 用于确定材料移动机械的铲斗的材料装载状况的系统和方法
AU2015206034A1 (en) Mine vehicle and method of determining position and direction of monitored object
AU2018425665A1 (en) Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator
JP6585697B2 (ja) 施工管理システム
CN108431336A (zh) 用于确定待从料堆移除的材料实体的系统和方法以及用于包括这种系统的工程机械的控制单元
McKinnon et al. Automatic identification of large fragments in a pile of broken rock using a time-of-flight camera
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP6606230B2 (ja) 形状計測システム
JP7117273B2 (ja) 破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
Borthwick Mining haul truck pose estimation and load profiling using stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination