CN111877449A - 控制用于地下测绘的移动式施工设备 - Google Patents

控制用于地下测绘的移动式施工设备 Download PDF

Info

Publication number
CN111877449A
CN111877449A CN202010359714.7A CN202010359714A CN111877449A CN 111877449 A CN111877449 A CN 111877449A CN 202010359714 A CN202010359714 A CN 202010359714A CN 111877449 A CN111877449 A CN 111877449A
Authority
CN
China
Prior art keywords
images
items
logic
representation
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010359714.7A
Other languages
English (en)
Other versions
CN111877449B (zh
Inventor
斯科特·S·汉德龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN111877449A publication Critical patent/CN111877449A/zh
Application granted granted Critical
Publication of CN111877449B publication Critical patent/CN111877449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • E02F9/245Safety devices, e.g. for preventing overload for preventing damage to underground objects during excavation, e.g. indicating buried pipes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)

Abstract

控制用于地下测绘的移动式施工设备。接收由地面扰动作业机器上的图像捕获装置捕获和从不同视角获得的图像。机器学习图像识别模型识别所述图像中感兴趣的物项。基于所述组的图像而生成三维表示。所述三维表示识别辨识出的物项位于被挖掘的土壤的表面下方的深度。接收识别待提供图像数据的位置和深度的地图请求。响应于所述请求,提供所述位置和深度的三维表示。

Description

控制用于地下测绘的移动式施工设备
发明领域
本说明书涉及移动式作业机器。更具体地,本说明书涉及控制用于地下测绘的移动式作业机器。
背景技术
存在许多不同类型的移动式机器。一些这样的机器包括移动式作业机器,例如,挖掘机、装载机、铲运机以及其它设备。
这些类型的机器都经常执行地面扰动(disturbing)操作,其中邻近机器或在机器下方的地面被挖掘、刮掉或以其它方式扰动。在执行这些类型的操作时可能出现许多不同的问题。举例来说,地下可能存在将被地面扰动操作毁坏的物项。以示例方式,可能存在埋藏在待被扰动的地面的地下管道、瓷砖、公用设施(例如电线、光纤缆线等)。当执行地面扰动操作(例如,挖掘)时,挖掘可能损坏或毁坏这些物项。修理可能是耗时并且昂贵的。类似地,在被损坏的物项是危险的(例如,气体管线)情况下,损坏物项对在操作附近的操作员和设备来说可能是危险的。
类似地,在执行这些类型的操作时,知道待挖掘地面的土壤类型可能是有益的。以示例方式,为了移动多岩石的地面,可能需要比移动沙质地面更大并且更坚固的设备。类似地,当挖掘特定类型的材料(例如,粘土)时,可能存在附加的考虑(例如,排水考虑等)。
一些当前系统试图解决这些问题。举例来说,存在试图使用探地雷达来生成图像以便识别地下物项的一些系统。然而,这些图像的解释是不同的,并且它们在某些类型的土壤(例如,粘土)中通常是不准确的。
上文的讨论仅仅是针对一般背景信息而提供的,而非意在用于帮助确定所要求保护的主题的范围。
发明内容
接收由地面扰动作业机器上的图像捕获装置捕获和从不同视角拍摄的图像。机器学习图像识别模型识别所述图像中感兴趣的物项。基于所述组的图像而生成三维表示。所述三维表示识别辨识出的物项位于被挖掘的土壤的表面下方的深度。接收识别待提供图像数据的位置和深度的地图请求。响应于所述请求,提供所述位置和深度的三维表示。
提供本发明内容是为了以简化的形式介绍一些概念,所述概念将在下文的具体实施方式中进一步描述。本发明内容不意在识别所要求保护的主题的关键特征或必要特征,也不意在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中陈述的任何或所有缺点的实施方案。
附图说明
图1是示出地下图像被从其捕获的地面扰动操作的一个示例的形象性图示。
图2是示出用于从所捕获的图像生成三维测绘信息的架构的一个示例的框图。
图3是图示图像捕获系统在捕获用于地下测绘的图像时的操作的一个示例的流程图。
图4A和图4B(本文中统称为图4)示出图示地下图像处理计算系统在处理图像和响应请求时的操作的一个示例的流程图。
图5是示出可以基于请求而生成的用户接口显示的一个示例的框图。
图6是示出图2中所图示的架构的一个示例的框图,所述架构部署在远程服务器架构中。
图7到图9示出可以在先前图中所示的架构中使用的移动装置的示例。
图10是示出可以在先前图中所示的架构中使用的计算环境的一个示例的框图。
具体实施方式
图1是位于其中执行地面扰动操作(例如,挖掘)的位置处的工地(或挖掘地点)100的一个示例的形象性图示。将注意到,地面扰动操作可以由不同类型的机器执行,但是地面扰动操作在本文中被称为挖掘操作。
在图1中所示的示例中,移动式作业机器(例如,挖掘机)102和104各自具有地面扰动工具(例如,铲斗106到108),所述地面扰动工具由一组致动器控制以便执行挖掘操作。在图1中所示的示例中,操作产生基坑(或分布区域)110。挖掘机102到104的操作员室中的操作员可以提供操作员输入,以控制致动器,以便挖掘土壤。
在执行挖掘时,可能存在将遇到的地下物体(例如,气体管线、管道、电力电缆、光纤缆线等)117。如果机器102到104的操作员没有意识到那些物项,则物项可能被机器102到104损坏或毁坏。因此,在执行挖掘操作之前知道地下物项的位置以及知道那些物项是什么可以是有益的。
知道将被操作扰动的土壤或地面的类型也可以是有益的。举例来说,挖掘主要是粘土的土壤比挖掘包括任何数量的大岩石的土壤可能花费更多的时间或需要不同的设备。图1示出了在基坑110的侧壁上可以看到不同的土壤类型113和115。
因此,在图1中所示的示例中,机器102设置有图像捕获装置109,并且机器104设置有图像捕获装置111。图像捕获装置109和111被示意性地控制以随着时间并且从不同的角度捕获基坑110的图像。因此,随着基坑110变得更深,可以捕获示出在挖掘中已经被揭开的物项117的附加图像。除此之外,图像还示意性地示出了正被挖掘的土壤113、115的类型。
如下文所描述,这些图像由图像处理系统处理,以便生成基坑110的三维表示,从而示出在正被挖掘的土壤的表面下方正确地下深度处遇到的不同物项113、115、117。
在一个示例中,图像处理系统从在其它挖掘(或地面扰动)地点处的其它机器接收这些图像以及各种各样的其它图像。它可以自动地识别图像中的物项(例如,管道、电气电缆或光纤缆线、土壤类型等),并且它可以生成在不同地点处拍摄的图像之间的相关性。举例来说,如果在特定深度处、一个位置处的基坑处识别出特定类型的管道,并且随后在从在一个街区之外的第二基坑拍摄的图像中识别出该相同类型的管道,则可以在那两个图像之间绘制相关性。假设管道在已经挖掘的两个位置之间的地下延续,则相关性可以在两个图像之间外推。也可以生成这些和其它相关性。
图像、三维表示、对应于那些图像和表示的元数据以及各种图像之间的相关性都可以由地下图像处理计算系统114存储和维护。因此,请求系统116的用户可以请求用于特定位置的地下信息。系统114可以通过在所请求位置处生成地下空间的三维表示来响应该请求。它可以将该信息提供给请求系统116,其中三维表示可以被显示给请求用户并且与请求用户交互。三维信息将示意性地识别土壤类型和位于所识别的位置处的表面下方的地下物项、那些物项所位于的深度、它们的定向等。三维信息可以包括所识别的位置的形象性表示(或实际图像),或者它也可以包括其它物项。这全部在下文更详细地描述。
图2是示出包括来自图1的一些物项的架构112的一个示例的框图。那些物项在图1和图2中被类似地编号。图2还示出,在一个示例中,机器102到104可以通过网络118彼此通信并且与地下图像处理计算系统114和请求系统116通信。因此,网络118可以是各种各样的不同类型的网络中的任何一种,例如,广域网络、局域网络、近场通信网络、蜂窝通信网络或各种各样其它网络或网络组合中的任何一种。
图2还示出,在一个示例中,请求系统116示意性地生成一个或多个用户接口119以用于请求用户120的交互。请求用户120示意性地利用用户接口119交互,以便控制和操纵请求系统116以及地下图像处理计算系统114的多个部分。
此外,图2示出了移动式作业机器102和104中的每个可以分别包括操作员122和124。操作员122和124示意性地与操作员输入机构交互,以分别控制和操纵移动式作业机器102和104。
将注意到,移动式作业机器102和104可以是类似的或不同的。出于本说明书的目的,将假设它们是类似的,从而仅更详细地描述移动式作业机器102。在描述架构112的整体操作之前,在捕获图像并且响应于针对地下3D表示的请求时,将首先提供架构112中的物项中的一些及其操作的简要描述。
移动式作业机器102示意性地包括一个或多个处理器126、多个不同的传感器128、数据存储器130、通信系统132、图像捕获系统134、控制系统136、多个不同的可控制子系统138、操作员接口机构140,并且它可以包括各种各样的其它物项142。图像捕获系统134示意性地包括一个或多个捕获装置144、捕获控制逻辑电路146、图像处理逻辑电路148、元数据生成逻辑电路150,并且它可以包括其它物项152。
传感器128可以感测各种各样的不同变量。举例来说,它们可以包括感测机器102或机器102的部分的位置和定向的位置传感器(例如,GPS接收器或其它位置传感器)。传感器128可以包括感测移动机器102上的挖掘工具(例如,铲斗、刮刀等)的各种致动器的位置的传感器。它们可以包括感测机器操作特性(例如,地面速度、机器承载的负载、发动机速度、发动机参数、燃油消耗、燃油量)的传感器以及各种各样的其它传感器。
通信系统132示意性地允许机器102中的物项彼此通信,并且通过网络118通信。因此,系统132可以包括控制器局域网(CAN)通信系统,以及可以被用于通过网络118通信的任何其它系统。
控制系统136示意性地生成控制信号以控制各种可控制子系统138。可控制子系统138可以包括用于转向和驱动移动式作业机器102的转向和推进系统、控制挖掘工具的位置的致动器以及各种各样的其它物项。控制系统136可以基于来自传感器128的传感器信号输入、来自操作员接口机构140的操作员输入、来自图像捕获系统134的输出和其它物项而生成控制信号。
操作员接口机构140可以包括操作员122可以与其交互以便控制和操纵移动式作业机器102的各种各样的不同类型的机构。举例来说,它们可以包括控制杆、踏板、方向盘、操纵杆、连杆、阀、感测来自操作员122的触摸手势的触敏屏幕、接收和处理来自操作员122的语音命令的语音处理系统,以及各种各样的其它物项。机构140还可以包括向操作员122提供信息的视觉、触觉和音频输出机构。在本文中可以预期这些和其它操作员接口机构140。
图像捕获系统134示意性地捕获上文参考图1描述的图像。因此,捕获装置144可以包括一个或多个相机、立体相机、摄像机、或其它图像捕获装置。图像可以在可见光谱、红外光谱或其它电磁辐射光谱中。
捕获控制逻辑电路146示意性地控制捕获装置144来捕获图像。捕获控制逻辑电路146可以识别图像捕获触发器,并且然后控制图像捕获装置144来捕获图像。举例来说,捕获控制逻辑电路146可以感测可控制子系统138中的致动器何时被操作以执行地面扰动操作(例如,何时铲斗执行挖掘操作、何时刮板下降等)。作为响应,当图像相对于被扰动的土壤位于不同角度时,或者以其它方式,它可以控制捕获装置144间歇地捕获图像。由图像捕获装置144捕获的一系列图像被提供给图像处理逻辑电路148,图像处理逻辑电路148可以处理那些图像以执行识别操作来识别图像中的物项,或者执行初步图像处理,其中大部分(或全部)图像处理由地下图像处理计算系统114执行。
元数据生成逻辑电路150示意性地生成对应于所捕获图像的元数据。元数据可以包括例如图像被捕获处的基坑的地理位置、图像被捕获的时间和日期、基坑的深度(例如,何时可以基于机器102的已知尺寸以及挖掘元件相对于机器102的剩余部分的相对位置或者以其它方式识别深度)之类的东西。元数据生成逻辑电路150也可以以其它方式生成元数据。
图像捕获系统134然后可以将图像和对应的数据存储器在数据存储器130中,以用于以后的传输,或者它可以控制通信系统132通过网络118将那些图像和对应的数据传递到地下图像处理计算系统114。
在另一示例中,操作员122通过操作员接口机构140提供适当的输入,以便控制捕获装置144来捕获图像。也可以通过其它方式手动或自动地捕获图像。
地下图像处理计算系统114示意性地包括一个或多个处理器或服务器154、通信系统156、图像传输处理系统158、图像处理系统160、数据存储器162、请求处理系统164,并且它可以包括其它物项166。图像处理系统160示意性地包括三维(3D)生成逻辑电路168、自动物项标识逻辑电路170、图像相关性逻辑电路172、数据存储器交互逻辑电路174,并且它可以包括其它物项176。数据存储器162示意性地存储图像数据/元数据178、3D表示数据/元数据180、相关性数据182,并且它可以包括其它物项184。
请求处理系统164示意性地包括请求解析逻辑电路186、数据存储器访问逻辑电路188、响应生成器逻辑电路190、用户交互处理逻辑电路192,并且它可以包括其它物项194。请求解析逻辑电路186本身示意性地包括位置标识符196、深度标识符198,并且它可以包括其它物项200。
通信系统156示意性地允许系统114中的物项彼此通信,并且直接地或通过网络118与架构112中的其它物项通信。图像传输处理系统158示意性地处理针对由移动式作业机器102和104捕获的图像的图像数据以及对应的元数据和在机器102到104上执行的任何图像处理数据的传输。它示意性地将所捕获的图像提供给图像处理系统160。三维生成逻辑电路168示意性地接收从特定挖掘地点(或其它地面扰动地点)拍摄的一系列图像,并且基于那些图像而生成三维表示。3D生成逻辑电路168因此可以使用摄影测量技术或用于从一系列二维图像生成三维表示的其它技术。
自动物项标识逻辑电路170示意性地是被训练以从多个位置的一系列图像识别经常在地下位置中发现的物项的机器训练的(或人类训练的)标识符(例如,神经网络、贝叶斯网络或其它分类器、基于规则的辨识器或概率模型)。举例来说,可以训练它识别管道、不同类型的管道和其它导管。它可以被训练,以尤其是识别瓷砖、电力电缆或光纤缆线、污水系统物项、其它公共设施物项。当它被训练时,自动物项标识逻辑电路170可以识别特定类型的物项,以及其在挖掘(或其它地面扰动操作)中的位置的深度。它可以识别其定向(例如,当管道被识别出时,它可以识别管道的尺寸、制成管道的材料以及管道的纵向轴线的定向)。
自动物项标识逻辑电路170也示意性地被训练以识别土壤类型。举例来说,基坑的图像可以示出基坑的侧壁(例如,图1中所示的基坑110的侧壁)。逻辑电路170因此可以被训练以识别沿着基坑的侧壁的不同深度处的不同土壤类型。
图像相关性逻辑电路172也示意性地是机器训练的逻辑电路物项,或者它可以是识别来自不同地点的不同图像之间的相关性的基于规则的逻辑电路物项或其它逻辑电路物项(例如,神经网络、贝叶斯网络或其它基于规则的辨识器、分类器或概率模型)。举例来说,如果在第一位置处执行第一挖掘,则可以从该挖掘拍摄第一组图像。假设,从第一组图像,在表面下方8英尺处识别出南北定向的PVC管道,并且可以存储该数据。然后,在稍后的时间,可以在一个街区之外执行第二挖掘,并且可以捕获该挖掘的第二组图像。从第二组图像,可以在相同的深度处识别出具有相同的南北定向的相同尺寸的相同类型的管道(PVC)。图像相关性逻辑电路172因此可以将两个图像相关,并且执行推断,所述推断指示所识别的管道在南北方向上在8英尺的深度处在第一位置和第二位置之间延续。
类似地,在从第一位置拍摄的第一组图像示出了在地面表面下方2英尺与3英尺之间延伸的粘土层,并且从第二位置拍摄的图像也示出了在地面表面下方2英尺与3英尺之间延伸的粘土层的情况下,然后图像相关性逻辑电路172可以将两个图像相关联,并且推断出粘土层在地面表面下方2英尺到3英尺的深度处从第一位置延伸到第二位置。也可以生成各种各样的其它相关性,并且上面所描述的那些仅仅是为了示例起见。
数据存储器交互逻辑电路174示意性地与数据存储器162交互,以存储对应于被接收的一系列图像的图像数据和元数据178、对应于由3D生成逻辑电路168生成的信息的三维表示数据和元数据180、由逻辑电路170生成并且识别图像中所辨识的不同物项的物项数据181、由相关性逻辑电路172生成的相关性数据182,并且它还可以存储其它物项184。
请求处理系统164示意性地从请求系统116接收针对三维地下测绘数据的请求。请求解析逻辑电路186解析请求,以识别响应于请求而应该返回的特定信息物项。请求将示意性地包括针对其请求地下信息的至少一个位置,并且还可以包括标识针对其搜索信息的深度的深度标识符。深度标识符可以包括深度范围(例如,表面下方0英尺到10英尺、表面下方2英尺到3英尺等)。位置标识符196识别对应于请求的位置,并且深度标识符198识别所请求的深度,如果提供了任何所请求的深度的话。
数据存储器访问逻辑电路188然后访问数据存储器182,以获得对应于所识别的位置和深度的信息。响应生成器逻辑电路190基于从数据存储器162获得的信息而生成对请求的响应。该信息可以被提供给请求系统116,在请求系统116处,它可以被显现以用于用户交互。用户可以以各种各样的不同的方式(下文将更详细地描述其中的一些方式)与响应交互。用户交互处理逻辑电路192接收那些用户交互的指示并且处理它们。作为一个示例,用户可能希望查看在不同的深度处的信息。因此,用户可以操纵指示用户希望查看在表面下方更深的深度处的信息的用户输入机构。在该情况下,由用户交互处理逻辑电路192检测并且处理该用户交互,以获得所期望的信息,使得响应生成器逻辑电路190可以生成响应,并且将更新的信息(或响应于用户交互而提供的信息)提供给请求系统116。
请求系统116示意性地包括一个或多个处理器或服务器202、数据存储器204、通信系统206、请求生成器207、显现/交互逻辑电路208、用户接口逻辑电路/机构210,并且它可以包括各种各样的其它物项212。通信系统206示意性地允许请求系统116中的物项彼此通信,并且直接地或通过网络118或两者与架构112中的其它物项通信。请求生成器207示意性地通过用户接口119(其可由用户接口逻辑电路或机构210控制)从用户120接收针对地下测绘数据的请求输入。如上所指示,请求生成器207示意性地生成被发送到请求处理系统164以用于处理的请求。显现/交互逻辑电路208示意性地接收响应,并且基于响应而提供可以由用户接口逻辑电路/机构210向操作员120显现的信息。它还示意性地检测具有所显现的信息的用户交互。在一个示例中,所显现的信息显示在触敏用户接口显示器上。信息可以包括可以由用户120致动以改变所显示的信息的各种不同的用户可致动输入机构。致动器可以包括例如深度控制致动器之类的东西,所述深度控制致动器可以由用户120致动以改变信息被针对其显示的地下深度。它可以包括位置致动器,所述位置致动器改变地下信息被针对其显示的位置。它可以包括时间致动器,所述时间致动器显示位于地下空间的显示器上的物项的时间流逝视图。以示例方式,可能是五年前在位置处的地下深度处铺设了管道,并且三年前在不同的深度但在相同位置处铺设了光纤缆线。因此,通过改变时间致动器,用户120可以能够识别地下物项何时被放置在所识别的位置处,以及它们被放置的深度。这些仅仅是示例。
图3是图示移动式作业机器102上的图像捕获系统134在地面扰动操作的位置处捕获图像的操作的一个示例的流程图。本说明书将关于作为挖掘的地面扰动操作继续进行,但是将了解,这样的描述也预期了可以包括刮削操作、装载操作或其它土壤移动或地面扰动操作的操作。
首先假设一件地面扰动设备正在操作。这由图3的流程图中的框220指示。同样,地面扰动设备可以是一个或多个挖掘机222、铲运机224或各种各样的其它地面扰动设备,其将地面的表面扰动到可以针对其请求地下数据的地下深度。这由框226指示。
在某一点,捕获控制逻辑电路146辨识出正在执行地面扰动操作。这由图3的流程图中的框228指示。在一个示例中,捕获控制逻辑电路146基于来自作业机器102上的设备或致动器的信号而检测地面扰动操作。以示例方式,用于地面接合工具(例如,铲斗)的致动器中的一个可以被致动以执行挖掘操作。这可以由捕获控制逻辑电路146检测为指示机器102正在执行地面扰动操作。在另一示例中,捕获控制逻辑电路146可以从操作员接口机构140接收信号,所述信号指示操作员122已经将一个或多个输入提供给控制机器102以执行挖掘操作。这只是两个示例。基于来自机器102的信号的检测操作由图3的流程图中的框230指示。捕获控制逻辑电路146还可以直接接收来自操作员122的输入,所述输入指示图像捕获装置144捕获图像。由框232指示基于操作员输入而控制图像捕获装置捕获图像。
捕获控制逻辑电路146可以确定捕获图像的时间到了,并且也控制捕获装置144以其它方式捕获图像。这由框234指示。
图像捕获装置144然后捕获被扰动地面的一系列图像。这由框236指示。图像捕获装置可以是装置,例如,设备本身上的装置109到111。这由框238指示。图像捕获装置可以位于由操作员122携带的移动装置上,它们也可以是位于其它区域中的图像捕获装置。这由图3的流程图中的框240指示。
在一个示例中,捕获控制逻辑电路146控制图像捕获装置144随时间捕获一组多个图像。这由图3的流程图中的框242指示。此外,捕获控制逻辑电路146可以控制捕获装置144从不同视角捕获图像。这由框244指示。以示例方式,传感器128中的一个可以是识别机器何时移动的加速度计。捕获控制逻辑电路146可以控制捕获装置144在机器移动时捕获一系列图像。因此,这将提供从不同视角拍摄的图像,使得可以更容易地从它们生成三维表示。
捕获控制逻辑电路146也可以控制捕获装置144以各种各样的其它方式捕获图像。这由图3的流程图中的框246指示。
元数据生成逻辑电路150然后生成对应于所捕获的一系列图像(和单独图像)的图像元数据。这由图3的流程图中的框248指示。举例来说,它可以生成标识每个图像被捕获时的时间的时间印记。这由框250指示。它可以生成指示图像被捕获的地理位置的位置印记。这由框252指示。它可以生成指示图像中表示的地下深度的深度印记。这由框254指示。以示例方式,元数据生成逻辑电路150可以包括使用位置传感器(例如,GPS接收器等)识别地面接合工具(例如,铲斗)的位置的逻辑电路。它还可以包括基于已知的机器几何形状和被用于定位地面接合元件的各种致动器的已知范围而识别铲斗相对于机器104的框架的位置的逻辑电路。以这种方式,它可以识别在机器102所坐的地面的表面下方的距离,地面接合元件以所述距离接合地面。这只是用以生成深度印记的一种方式,并且仅出于示例起见对其进行描述。
元数据生成逻辑电路150还可以生成各种各样的其它元数据。这由图3的流程图中的框256指示。
图像捕获系统134然后可以将图像信息存储在数据存储器130中和/或控制通信系统132,以将信息传递到地下图像处理计算系统114。传输图像由图3的流程图中的框258指示。在一个示例中,当图像被捕获时,可以基本上实时(或接近实时)传输图像和对应的数据。这由框260指示。在另一示例中,图像可以被存储在数据存储器130中,并且被间歇地传送(例如,在轮班结束时、一天结束时、每周结束时或其它时候)。这由框262指示。在又一示例中,可以使用存储和转发机构来传送图像。这由框264指示,并且其在下文被更详细地描述。图像和对应的信息也可以以其它方式传输到系统114。这由框266指示。
在一个示例中,只要执行挖掘或其它地面扰动操作,机器102就继续拍摄图像。这由图3的流程图中的框268指示。
图4A和图4B(本文中统称为图4)图示示出了地下图像处理计算系统114在处理图像时和在响应来自请求系统116的请求时的操作的一个示例的流程图。图像传输处理系统158首先接收被扰动地面的一个或多个图像以及由图像捕获系统134生成的对应元数据。接收一系列图像由图4的流程图中的框280指示。
系统158生成可以由图像处理系统160处理的图像的表示。该表示可以识别基坑的尺寸和形状,并且其可以存储在数据存储器162中。处理图像以生成被扰动地面的表示由框282指示。识别基坑的尺寸和形状由框284指示,并且将该表示存储在数据存储器中由框286指示。图像传输处理系统158也可以以其它方式生成所接收图像的表示,并且这由框288指示。
自动物项标识逻辑电路170然后自动地识别图像中的可辨识物项,例如,位于被挖掘的地下空间中的物项。这由框290指示。以示例方式,它可以识别被挖掘的土壤类型,如框292所指示。它可以识别位于图像中的不同类型的管道或导管,如框294所指示。它可以识别其它物项,例如电缆、瓷砖、光纤和电气导管等。这由框296指示。它还可以识别正在执行的操作的类型。举例来说,设备可能正在执行用以铺设电缆、铺设管道、挖掘场地的操作或其它类型的操作。识别正在执行的操作的类型由框298指示。其它物项也可以在图像中被识别。这由框300指示。
自动物项标识逻辑电路170也可以自动地识别对应于那些辨识出的物项的特性。这由框302指示。举例来说,它可以识别被扰动土壤的部分的尺寸(例如,形成基坑的洞的尺寸,或其它尺寸)。这由框304指示。它可以识别基坑内的物项的位置,如框306所指示。如框308所指示,它可以识别那些物项的深度,并且如框310所指示,它可以识别物项的方向或定向(或姿势)。它还可以识别对应于辨识出的物项的各种各样的其它特性,并且这由框312指示。此外,在一个示例中,自动意味着除了可能起始或授权步骤、功能或操作之外,步骤或功能或操作在没有人进一步的参与的情况下被执行。
数据存储器交互逻辑电路174然后可以控制数据存储器162存储指示图像中被辨识的物项以及对应于那些物项的特性的数据。这由框314指示。将注意到,由系统158接收的原始图像数据以及对应的元数据也可以被存储。
在某一点,图像相关性逻辑电路172示意性地生成与从其它挖掘地点拍摄的图像的相关性。这由框316指示。以示例方式,图像相关性逻辑电路172可以检测到对应于不同位置的第二系列图像已经被接收和处理。它可以基于各种各样的标准而确定是否在不同组的图像之间生成相关性。举例来说,如果两个位置在彼此的阈值距离内,则这可能是用以识别相关性的触发器。如果两个地面分布操作相同(或在相同深度处执行),则可能触发相关性识别。这些仅仅是示例。图像相关性逻辑电路172然后可以识别不同组的图像中的类似物项(例如,在相同深度处在相同方向上延续的相同类型的管道等)。它可以识别相同的土壤类型,或其它类似物项。这由框318指示。图像相关性逻辑电路172还可以在对应于不同地点的图像之间进行推断。举例来说,它可以推断特定土壤类型在两个地点之间延续,或者图像中所识别的特定物项在两个地点之间延续等。在两个地点之间的推断由框320指示。将注意到,图像相关性逻辑电路172也可以生成各种各样的其它相关性。这由框322指示。
此外,在某一点,3D生成逻辑电路168生成具有辨识出的物项和相关性的基坑的三维表示。举例来说,它可以生成正在挖掘的洞的三维表示,其中管道、土壤类型、导管、电缆等在各种地下深度处。生成三维表示可以使用摄影测量或以各种各样的其它方式来完成。这由图4的流程图中的框324指示。
数据存储器交互逻辑电路174可以控制数据存储器162存储该信息以及被生成的任何其它信息、表示和相关性。这由图4的流程图中的框326指示。
在某一点,请求处理系统164将检测来自请求系统116的请求输入。这由框328指示。请求可以识别地下数据被针对其请求的地理位置。它可以识别单个地理位置或两个不同位置之间的路线,或者在请求中包括地理位置或路线信息的各种各样的其它地理位置由框330指示。请求还可以包括标识信息被针对其寻找的地下深度的深度标识符。深度可以是深度的范围或单个深度。接收包括深度标识信息的请求由框332指示。请求还可以包括各种各样的其它信息,并且这由框334指示。
请求解析逻辑电路186解析请求。位置标识符196识别位置,并且深度标识符198识别请求中指定的深度。解析请求由图4的流程图中的框336指示。数据存储器访问逻辑电路188然后访问数据存储器162,以检索请求中所请求的信息。信息可以是三维表示数据以及对应的元数据和相关性数据。它还可以包括原始图像数据以及其元数据。访问数据存储器以获得响应性数据由图4的流程图中的框338指示。
一旦获得响应性数据,响应生成器逻辑电路190然后就生成响应。这由图4的流程图中的框340指示。
响应生成器逻辑电路190然后控制通信系统156将响应发送给请求系统116。发送响应由图4的流程图中的框342指示。
显现/交互逻辑电路208然后在用户接口119上显现三维表示,以用于请求用户120的用户交互。这由图4的流程图中的框344指示。在另一示例中,请求系统116可以位于机器102或104上。在该情况下,逻辑电路208可以为控制系统136显现三维表示,控制系统136使用所述三维表示来控制致动器挖掘地点,但是避免与任何易损物项(例如,管道、电缆等可能被挖掘工具损坏的物项)接触。控制系统136使用三维表示作为地下地图,以用于自动地导航挖掘以避免损坏物项。这由框345指示。
在另一示例中,三维表示被为用户120显现,并且示出了在请求中指定的位置处的地下地面的视图。如果指定了特定的深度,它可以示出位于该深度处的物项的三维视图。三维视图不仅可以示出物项(例如,管道、电缆等),而且它也可以示出在所指示的三维地下深度或遍及地下深度范围的土壤类型(以层或其它方式)。它不仅可以在指定位置处,而且可以在指定位置周围的范围处(例如,在指定位置周围的10米范围或另一范围处)以三维示出该信息。本文中预期了所有这些和其它三维表示。
在一个示例中,显现信息的用户接口119包括用户可以致动其以与信息交互的一组用户可致动输入机构。举例来说,它可以包括位置改变用户输入机构,如框346所指示。当用户对其致动时,用户可以改变针对其提供三维表示的位置。用户接口可以包括深度导航用户输入机构348。用户可以致动该机构,以便导航针对其显示三维表示的深度。用户接口可以包括时间导航用户输入机构350,时间导航用户输入机构350可以由用户致动以通过时间导航,使得三维表示示出在特定时间在地面中的物项。当用户在时间上向前和向后导航时,如果在不同时间添加或移除了附加物项,则可以示出附加物项。
用户接口可以包括向上钻探和/或向下钻探用户输入机构352。用户可以致动该致动器以示出更详细的信息(当向下钻探时),或者以三维表示示出不太详细的、更一般的信息(当向上钻探时)。用户接口可以包括物项过滤用户输入机构354,物项过滤用户输入机构354可以由用户致动,以便过滤要显示的各种物项。举例来说,用户可以对表示过滤以示出仅光纤缆线、仅管道、仅公共设施物项等。被用于显现表示的用户接口也可以包括各种各样的其它物项356。
用户接口逻辑电路210可以利用用户接口119检测用户交互,并且那些用户交互可以被发送回到请求处理系统164中的用户交互处理逻辑电路192。检测用户交互输入由图4的流程图中的框358指示。用户交互处理逻辑电路192然后可以基于检测到的用户交互而生成控制信号以控制地下图像处理计算系统114中的子系统。这由框360指示。举例来说,用户交互处理逻辑电路192可以生成控制信号以便控制数据存储器162以访问不同的信息,并且然后可以生成控制信号以控制通信系统156将该信息传递到请求系统116。这些和其它控制信号可以基于用户交互而生成。
图5是示出当请求系统116接收到对请求生成器207生成的请求的响应时,可以由用户显现/交互逻辑电路208生成的特定用户接口显示器362的一个示例的框图。用户接口显示器362示意性地包括被用于显示由请求指定的地面的三维表示的三维视图部分364。举例来说,三维视图可以示出其中地面的一部分被切掉的三维视图,或者从地面上方往下看、通过地面的透明表示、或从不同的视角看的三维视图。它可以示出在该位置处识别的、在三维表示内的对应地下深度处放置在它们的相应位置处的所有物项(例如,电缆、管道等)。三维视图部分也可以以各种各样的其它方式示出三维表示。
在图5中所示的示例中,显示器362还包括用户交互部分366。用户交互部分366可以包括各种用户交互性致动器以与显示器交互。将注意到,致动器可以位于显示器362上的任何位置,三维视图部分364也是如此。两个部分可以彼此重叠,使得致动器显示在三维视图上,或者以其它方式显示。仅出于示例起见,它们在图5中以并排关系示出。
在图5中所示的示例中,用户交互部分366包括深度改变致动器368、时间推移致动器370、位置改变致动器372、向上/向下钻探致动器374、物项过滤致动器375,并且它们可以包括各种各样的其它致动器376。致动器368到376可以以类似于上文所讨论的致动器346到356的方式操作。
将注意到,用户接口显示器362也可以包括各种各样的其它物项378。
因此,可以看出,随着时间的推移,在图像捕获装置在各种挖掘或其它地面扰动操作期间捕获地下图像时,可以生成详细的三维地下地图。即使在其中尚未捕获图像的位置中,也可以在其它位置之间绘制相关性,这也将给出关于什么位于那些位置处的指示,并且还可以生成和显现那些位置(先前未挖掘的位置)的三维表示。
本讨论已经提到了处理器和服务器。在一个示例中,处理器和服务器包括具有未单独示出的相关联的存储器和定时电路的计算机处理器。它们是它们所属的系统或装置的功能部件,并且由那些系统中的其它部件或物项激活,并且促进那些系统中的其它部件或物项的功能性。
此外,已经讨论了许多用户接口显示器。它们可以采取各种各样的不同的形式,并且可以具有设置在其上的各种各样的不同的用户可致动输入机构。举例来说,用户可致动输入机构可以是文本框、复选框、图标、链接、下拉菜单、搜索框等。它们也可以以各种各样的不同的方式来致动。举例来说,它们可以使用点击装置(例如,轨迹球或鼠标)来致动。它们可以使用硬件按钮、开关、操纵杆或键盘、拇指开关或拇指垫等来致动。它们也可以使用虚拟键盘或其它虚拟致动器来致动。另外,在显示它们的屏幕是触敏屏幕的情况下,它们可以使用触摸手势来致动。此外,在显示它们的装置具有语音辨识部件的情况下,它们可以使用语音命令来致动。
也已经讨论了许多数据存储器。将注意到,它们可以各自被分成多个数据存储器。所有这些对于访问它们的系统都可以是本地的,所有这些都可以是远程的,或者一些可以是本地的而其它的是远程的。本文中预期了所有这些配置。
此外,图中显示了具有归属于每个块的功能性的多个块。应当注意,可以使用更少的块,因此功能由更少的部件来执行。此外,在功能性分布在更多部件中的情况下,可以使用更多个块。
将注意到,上文讨论已经描述了各种不同的系统、部件和/或逻辑电路。将了解,这样的系统、部件和/或逻辑电路可以由执行与那些系统、部件和/或逻辑电路相关联的功能的硬件物项(例如,处理器和相关联的存储器,或者其它处理部件,下文描述了其中一些)组成。另外,系统、部件和/或逻辑电路可以由加载到存储器中并且随后由处理器或服务器或其它计算部件执行的软件组成,如下文所描述。系统、部件和/或逻辑电路也可以由硬件、软件、固件等的不同组合组成,下面描述了其中的一些示例。这些仅仅是可以被用于形成上文所描述的系统、部件和/或逻辑电路的不同结构的一些示例。也可以使用其它结构。
图6是图1中所示的机器102和104的框图,只不过它们与远程服务器架构500中的元件通信。在示例中,远程服务器架构500可以提供计算、软件、数据访问和存储服务,所述存储服务不需要终端用户知道递送服务的系统的物理位置或配置。在各种示例中,远程服务器可以使用适当的协议通过广域网络(例如,互联网)递送服务。举例来说,远程服务器可以通过广域网络递送应用程序,并且它们可以通过网络浏览器或任何其它计算部件来访问。图2中所示的软件或部件以及对应的数据可以存储在远程位置处的服务器上。远程服务器环境中的计算资源可以整合在远程数据中心位置处,或者它们也可以分散。远程服务器基础设施可以通过共享的数据中心来递送服务,即使它们对于用户来说表现为单个访问点。因此,本文中所描述的部件和功能可以使用远程服务器架构从远程位置处的远程服务器来提供。可替选地,它们可以从传统服务器提供,或者它们可以直接地或以其它方式安装在客户装置上。
在图6中所示的示例中,一些物项类似于图1和图2中所示的那些物项,并且它们被类似地编号。图6具体地示出了计算系统114、机器102、104和系统116可以位于远程服务器位置502处。因此,采集器100通过远程服务器位置502访问那些系统。
图6还描绘了远程服务器架构的另一示例。图6示出了还预期图1和图2的一些元件被设置在远程服务器位置502处,而其它元件没有被设置在远程服务器位置502处。以示例方式,数据存储器130、162、204或图像处理系统160可以设置在与位置502分离的位置处,并且通过位置502处的远程服务器来访问。无论它们位于何处,它们都可以由其它系统通过网络(广域网络或局域网络)直接访问,它们可以由服务托管在远程站点处,或者它们可以作为服务被提供,或者由驻留在远程位置中的连接服务访问。此外,数据可以存储在基本上任何位置中,并且被感兴趣的各方间歇地访问或转发给感兴趣的各方。举例来说,可以使用物理载体来代替电磁波载体,或者除了电磁波载体之外,还可以使用物理载体。在这样的示例中,在蜂窝覆盖很差或不存在的情况下,另一移动式机器(例如,燃料卡车)可以具有自动信息收集系统。在机器102、104靠近燃料卡车(反之亦然)以便加油的情况下,系统使用任何类型的自组织无线连接自动地收集来自机器102、104的信息。在燃料卡车到达存在蜂窝覆盖(或其它无线覆盖)的位置的情况下,所收集的信息然后可以被转发到主要网络。举例来说,当行进以为其它机器提供燃料时或当在主要燃料存储位置处时,燃料卡车可进入被覆盖的位置。本文中预期了所有这些架构。此外,信息可以存储在机器102、104上,直到机器进入被覆盖的位置为止。机器本身然后可以将信息发送到主要网络。
还将注意到,图1和图2的元件或它们的部分可以设置在各种各样的不同的装置上。那些装置中的一些包括服务器、台式计算机、膝上型计算机、平板计算机或其它移动式装置,例如,掌上计算机、蜂窝电话、智能电话、多媒体播放器、个人数字助理等。
图7是其中可以部署本系统(或其部分)的可以被用作用户或客户的手持式装置16的手持式或移动式计算装置的一个图示性示例的简化框图。举例来说,移动式装置可以部署在机器102或104的操作员室中,以用于生成、处理或显示图像或三维表示。图8到图9是手持式或移动式装置的示例。
图7提供了可以运行图1和图2中所示的一些部件、与它们交互或者两者的客户装置16的部件的总体框图。在装置16中,提供了通信链路13,通信链路13允许手持式装置与其它计算装置通信并且在一些示例下提供了用于自动地(例如,通过扫描)接收信息的信道。通信链路13的示例包括允许通过一个或多个通信协议(例如,被用于提供对网络的蜂窝接入的无线服务,以及提供到网络的本地无线连接的协议)进行通信。
在其它示例中,可以在连接到接口15的可移动安全数字(SD)卡上接收应用程序。接口15和通信链路13沿着总线19与处理器17(其也可以包括来自先前附图的处理器或服务器)通信,总线19也连接到存储器21和输入/输出(I/O)部件23,以及时钟25和位置系统27。
在一个示例中,提供I/O部件23以促进输入和输出操作。用于装置16的各种示例的I/O部件23可以包括输入部件(例如,按钮、触摸传感器、光学传感器、麦克风、触摸屏幕、接近传感器、加速度计、定向传感器)和输出部件(例如,显示装置、扬声器和/或打印机端口)。也可以使用其它I/O部件23。
时钟25示意性地包括输出时间和日期的实时时钟部件。它还可以示意性地为处理器17提供定时功能。
位置系统27示意性地包括输出装置16的当前地理位置的部件。这可以包括举例来说全球定位系统(GPS)接收器、罗兰(LORAN)系统、航位推算系统、蜂窝三角测量系统或其它定位系统。举例来说,它还可以包括生成所期望的地图、导航路线和其它地理功能的测绘软件或导航软件。
存储器21存储操作系统29、网络设置31、应用程序33、应用程序配置设置35、数据存储器37、通信驱动器39和通信配置设置41。存储器21可以包括所有类型的有形的易失性和非易失性计算机可读存储器装置。它还可以包括计算机存储介质(下文所描述)。存储器21存储计算机可读指令,所述指令在由处理器17执行时促使处理器根据指令执行计算机实施的步骤或功能。处理器17也可以由其它部件激活,以促进它们的功能性。
图8示出了其中装置16是平板计算机600的一个示例。在图8中,计算机600示出有用户接口显示屏幕602。屏幕602可以是触摸屏幕或从笔或指示笔接收输入的启用笔的接口。它还可以使用屏幕上的虚拟键盘。当然,它也可以通过合适的附接机构(例如,举例来说,无线链路或USB端口)附接到键盘或其它用户输入装置。计算机600也可以示意性地接收语音输入。
图9示出了装置可以是智能电话71。智能电话71具有显示图标或图块的触敏显示器73或者其它用户输入机构75。用户可以使用机构75来运行应用程序、拨打电话、执行数据传送操作等。通常,智能电话71建立在移动式操作系统上,并且提供比功能电话更先进的计算能力和连接性。
注意,装置16的其它形式也是可能的。
图10是其中可以部署图1和图2的元件或它们的一部分(举例来说)的计算环境的一个示例。参考图10,用于实施一些实施例的示例性系统包括呈计算机810形式的通用计算装置。计算机810的部件可以包括但不限于:处理单元820(其可以包括来自先前附图的处理器或服务器)、系统存储器830和系统总线821,系统总线821将包括系统存储器的各种系统部件联接到处理单元820。系统总线821可以是几种类型的总线结构中的任何一种,所述总线结构包括存储器总线或存储器控制器、外围总线以及使用各种总线架构中的任何一个的本地总线。关于图1描述的存储器和程序可以部署在图10的对应部分中。
计算机810通常包括各种计算机可读介质。计算机可读介质可以是可由计算机810访问的任何可用介质,并且包括易失性和非易失性介质、可移除和不可移除介质。以示例而非限制方式,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质不同于调制数据信号或载波,并且不包括调制数据信号或载波。它包括硬件存储介质,所述硬件存储介质包括以任何方法或技术实施的易失性和非易失性、可移除和不可移除介质,以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息。计算机存储介质包括但不限于:RAM、ROM、EEPROM、闪存存储器或其它存储技术、CD-ROM、数字通用光盘(DVD)或其它光盘存储器、磁盒、磁带、磁盘存储器或其它磁存储装置或者可以被用于存储所期望的信息并且可以由计算机810访问的任何其它介质。通信介质可以在传输机构中包括计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传送介质。术语“所调制数据信号”意指具有以对信号中的信息进行编码的方式来设置或改变其特性中的一个或多个特性的信号。
系统存储器830包括呈易失性和/或非易失性存储器形式的计算机存储介质,例如,只读存储器(ROM)831和随机存取存储器(RAM)832。含有基本例程的基本输入/输出系统833(BIOS)通常存储在ROM 831中,所述基本例程例如在启动期间有助于在计算机810内的元件之间传送信息。RAM 832通常含有可由处理单元820立即访问和/或当前正被处理单元820操作的数据和/或程序模块。以示例而非限制方式,图10图示了操作系统834、应用程序835、其它程序模块836和程序数据837。
计算机810还可以包括其它可移除/不可移除的易失性/非易失性计算机存储介质。仅以示例方式,图10图示了从不可移除的、非易失性磁性介质、非易失性磁盘852读取或向其写入的硬盘驱动器841、光盘驱动器855和非易失性光盘856。硬盘驱动器841通常通过不可移除存储器接口(例如,接口840)连接到系统总线821,并且光盘驱动器855通常通过可移除存储器接口(例如,接口850)连接到系统总线821。
可替选地或另外,本文中所描述的功能性可以至少部分地由一个或多个硬件逻辑电路部件执行。举例来说但不限于,可以使用的图示性类型的硬件逻辑电路部件包括现场可编程门阵列(FPGA)、专用集成电路(例如,ASIC)、专用标准产品(例如,ASSP)、系统芯片系统(SOC)、复杂可编程逻辑电路装置(CPLD)等。
上文讨论并且在图10中图示的驱动器及其相关联的计算机存储介质为计算机810提供计算机可读指令、数据结构、程序模块和其它数据的存储。在图10中,举例来说,硬盘驱动器841被图示为存储操作系统844、应用程序845、其它程序模块846和程序数据847。注意,这些部件可以与操作系统834、应用程序835、其它程序模块836和程序数据837相同或不同。
用户可以通过输入装置(例如,键盘862、麦克风863和点击装置861(例如,鼠标、轨迹球或触摸板))将命令和信息输入到计算机810中。其它输入装置(未示出)可以包括操纵杆、游戏垫、圆盘式卫星电视天线、扫描仪或类似物。这些和其它输入装置虽然通常通过联接到系统总线的用户输入接口860连接到处理单元820,但是可以通过其它接口和总线结构连接。视觉显示器891或其它类型的显示设备也通过例如视频接口890的接口连接到系统总线821。除了监视器之外,计算机还可以包括可以通过输出外围接口895被连接的其它外围输出装置,例如,扬声器897和打印机896。
计算机810使用到一个或多个远程计算机(例如,远程计算机880)的逻辑电路连接(例如,局域网络——LAN、控制器局域网——CAN或广域网络——WAN)被在网络化环境中操作。
当在LAN网络化环境中使用时,计算机810通过网络接口或适配器870连接到LAN871。当在WAN化网络环境中使用时,计算机810通常包括调制解调器872或用于通过WAN 873(例如,互联网)建立通信的其它装置。在网络化环境中,程序模块可以存储在远程存储器存储装置中。举例来说,图10图示了远程应用程序885可以驻留在远程计算机880上。
还应该注意,本文中描述的不同示例可以以不同的方式组合。即,一个或多个示例的部分可以与一个或多个其它示例的部分组合。本文中预期了所有这些。
示例1是一种作业机器计算系统,包括:
图像传输处理系统,所述图像传输处理系统接收位于第一位置处的第一挖掘地点的第一组图像;
自动物项标识逻辑电路,所述自动物项标识逻辑电路从所述第一组图像辨识所述第一挖掘地点中的第一组物项,所述物项位于所述第一挖掘地点处在地面的表面水平下方的第一地下深度处;
三维(3D)生成逻辑电路,所述三维(3D)生成逻辑电路从所述第一组图像生成具有辨识出的第一组物项的所述第一挖掘地点的第一3D表示,所述辨识出的第一组物项基于所述第一组图像而在所述3D表示内位于所述地下深度处;
数据存储器交互逻辑电路,所述数据存储器交互逻辑电路将与所述第一挖掘地点的所述第一位置对应的所述第一3D表示存储在数据存储器中;和
请求处理系统,所述请求处理系统从请求系统接收标识所请求位置的请求,访问所述数据存储器以获得与所述所请求位置对应的所述3D表示,并且生成包括与所述所请求位置对应的所述3D表示的响应,并且将所述响应发送到所述请求系统。
示例2是根据任何或所有前述示例所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于所述第一组图像而标识每个辨识出的物项在3D空间中的姿势。
示例3是根据任何或所有前述示例所述的作业机器计算系统,其中,所述图像传输处理系统被配置成从第二位置处的第二挖掘地点接收第二组图像,并且其中,所述自动物项标识逻辑电路被配置成从所述第二组图像辨识所述第二挖掘地点中的第二组物项,所述第二组物项位于所述第二挖掘地点处在地面的表面水平下方的第二地下深度处。
示例4是根据任何或所有前述示例所述的作业机器计算系统,其中,所述三维(3D)生成逻辑电路被配置成:从所述第二组图像生成具有辨识出的第二组物项的与所述第二挖掘地点对应的第二3D表示,所述辨识出的第二组物项基于所述第二组图像而在所述3D表示内位于所述第二地下深度处。
示例5是根据任何或所有前述示例所述的作业机器计算系统,并且进一步包括:
图像相关性逻辑电路,所述图像相关性逻辑电路被配置成基于所述第一和第二3D表示而识别所述第一组物项和所述第二组物项之间的相关性。
示例6是根据任何或所有前述示例所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于在所述第一组物项和所述第二组物项之间识别出的所述相关性而生成对应于第三位置的第三3D表示。
示例7是根据任何或所有前述示例所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于在所述第一组物项和所述第二组物项之间识别出的所述相关性而生成具有辨识出的物项的第三3D表示,所述辨识出的物项在所述第三3D表示内位于第三地下深度处。
示例8是根据任何或所有前述示例所述的作业机器计算系统,其中,所述图像相关性逻辑电路被配置成基于所述第一和第二3D表示而将所述相关性识别为辨识出的物项的姿势的推断。
示例9是根据任何或所有前述示例所述的作业机器计算系统,其中,所述自动物项标识逻辑电路包括机器学习分类模型,所述机器学习分类模型被配置成通过将所述物项分类到多个预定义类别中的一个中来辨识所述物项。
示例10是根据任何或所有前述示例所述的作业机器计算系统,其中,所述自动物项标识逻辑电路被配置成识别制造辨识出的物项的材料。
示例11是根据任何或所有前述示例所述的作业机器计算系统,其中,所述第一挖掘地点包括具有侧壁的第一基坑,并且其中,所述自动物项标识逻辑电路被配置成沿着所述基坑的侧壁辨识土壤类型。
示例12是根据任何或所有前述示例所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于所述第一组图像而标识沿着所述侧壁辨识出的每种土壤类型在所述3D空间中的不同深度水平。
示例13是根据任何或所有前述示例所述的作业机器计算系统,其中,所述请求包括深度标识符,并且其中,所述请求处理系统包括:
请求解析逻辑电路,所述请求解析逻辑电路解析所述请求以识别所述所请求位置和通过所述深度标识符标识的深度;和
响应生成器,所述响应生成器被配置成生成包括与所述所请求位置和所述深度对应的3D表示的响应。
示例14是一种作业机器,包括:
挖掘工具,所述挖掘工具挖掘土壤以生成基坑;
图像捕获装置;
机器定向传感器,所述机器定向传感器感测所述作业机器的定向并且生成指示所感测到的定向的定向输出;
捕获控制逻辑电路,所述捕获控制逻辑电路检测所述挖掘工具的致动,并且控制所述图像捕获装置从不同视角拍摄所述基坑的一组图像;
元数据生成逻辑电路,所述元数据生成逻辑电路生成标识与所述组的图像对应的时间、位置和图像捕获装置定向的时间印记元数据、位置印记元数据和定向元数据;和
通信系统,所述通信系统将所述组的图像以及对应的元数据和定向输出传输到远程服务器。
示例15是一种控制图像处理系统的计算机实施的方法,所述计算机实施的方法包括:
接收位于第一位置处的第一挖掘地点的第一组图像;
从所述第一组图像辨识所述第一挖掘地点中的第一组物项,所述物项位于所述第一挖掘地点处在地面的表面水平下方的第一地下深度处;
从所述第一组图像生成具有所述第一组物项的所述第一挖掘地点的第一3D表示,所述第一组物项基于所述第一组图像而在所述3D表示内位于所述地下深度处;
将与所述第一挖掘地点的所述第一位置对应的所述第一3D表示存储在数据存储器中;
从请求系统接收标识所请求位置的请求;
访问所述数据存储器以获得与所述所请求位置对应的所述3D表示;
生成包括与所述所请求位置对应的所述3D表示的响应;和
将所述响应发送到所述请求系统。
示例16是根据任何或所有前述示例所述的计算机实施的方法,其中,生成所述第一3D表示包括:基于所述第一组图像而标识每个辨识出的物项在3D空间中的姿势。
示例17是根据任何或所有前述示例所述的计算机实施的方法,并且进一步包括:
从在第二位置处的第二挖掘地点接收第二组图像;和
从所述第二组图像辨识所述第二挖掘地点中的第二组物项,所述物项位于所述第二挖掘地点处在地面的表面水平下方的第二地下深度处。
示例18是根据任何或所有前述示例所述的计算机实施的方法,并且进一步包括:
从所述第二组图像生成具有辨识出的物项的与所述第二挖掘地点对应的第二3D表示,其中所述辨识出的物项基于所述第二组图像而在所述3D表示内位于所述第二地下深度处。
示例19是根据任何或所有前述示例所述的计算机实施的方法,并且进一步包括:
基于所述第一和第二3D表示而标识所述第一组物项和所述第二组物项之间的相关性;和
基于在所述第一组物项和所述第二组物项之间识别的所述相关性而生成对应于第三位置的第三3D表示。
示例20是根据任何或所有前述示例所述的计算机实施的方法,其中,生成所述第三3D表示包括:基于在所述第一组物项和所述第二组物项之间识别的所述相关性而生成所述第三3D表示,其中辨识出的物项在所述第三3D表示内位于第三地下深度处。
尽管已经用结构特征和/或方法动作专用的语言描述了主题,但应理解,所附权利要求书中定义的主题不必限于上文所描述的具体特征或动作。而是,公开上文所描述的具体特征和动作作为实施权利要求的示例形式。

Claims (15)

1.一种作业机器计算系统(114),包括:
图像传输处理系统(158),所述图像传输处理系统接收位于第一位置处的第一挖掘地点的第一组图像;
自动物项标识逻辑电路(170),所述自动物项标识逻辑电路从所述第一组图像辨识所述第一挖掘地点中的第一组物项,所述第一组物项位于所述第一挖掘地点处在地面的表面水平下方的第一地下深度处;
三维(3D)生成逻辑电路(168),所述三维(3D)生成逻辑电路从所述第一组图像生成所述第一挖掘地点的具有辨识出的第一组物项的第一3D表示,所述辨识出的第一组物项基于所述第一组图像而在所述第一3D表示内位于所述第一地下深度处;
数据存储器交互逻辑电路(174),所述数据存储器交互逻辑电路将与所述第一挖掘地点的所述第一位置对应的所述第一3D表示存储在数据存储器中;和
请求处理系统(160),所述请求处理系统从请求系统(116)接收标识所请求位置的请求,访问所述数据存储器以获得与所述所请求位置对应的所述第一3D表示,并且生成包括与所述所请求位置对应的所述第一3D表示的响应,并且将所述响应发送到所述请求系统(116)。
2.根据权利要求1所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于所述第一组图像而标识每个辨识出的物项在3D空间中的姿势。
3.根据权利要求2所述的作业机器计算系统,其中,所述图像传输处理系统被配置成从在第二位置处的第二挖掘地点接收第二组图像,并且其中,所述自动物项标识逻辑电路被配置成从所述第二组图像辨识在所述第二挖掘地点中的第二组物项,所述第二组物项位于所述第二挖掘地点处在地面的表面水平下方的第二地下深度处。
4.根据权利要求3所述的作业机器计算系统,其中,所述三维(3D)生成逻辑电路被配置成从所述第二组图像生成具有辨识出的第二组物项的与所述第二挖掘地点对应的第二3D表示,所述辨识出的第二组物项基于所述第二组图像而在所述第二3D表示内位于所述第二地下深度处。
5.根据权利要求4所述的作业机器计算系统,并且进一步包括:
图像相关性逻辑电路,所述图像相关性逻辑电路被配置成基于所述第一3D表示和所述第二3D表示而识别所述第一组物项和所述第二组物项之间的相关性。
6.根据权利要求5所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于在所述第一组物项和所述第二组物项之间识别的所述相关性而生成与第三位置对应的第三3D表示。
7.根据权利要求6所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于在所述第一组物项和所述第二组物项之间识别的所述相关性而生成具有辨识出的物项的第三3D表示,所述辨识出的物项在所述第三3D表示内位于第三地下深度处。
8.根据权利要求7所述的作业机器计算系统,其中,所述图像相关性逻辑电路被配置成基于所述第一3D表示和所述第二3D表示而将所述相关性识别为所述辨识出的物项的姿势的推断。
9.根据权利要求2所述的作业机器计算系统,其中,所述自动物项标识逻辑电路包括机器学习分类模型,所述机器学习分类模型被配置成通过将所述物项分类到多个预定义类别中的一个中来辨识所述物项。
10.根据权利要求2所述的作业机器计算系统,其中,所述自动物项标识逻辑电路被配置成识别制造辨识出的物项的材料。
11.根据权利要求2所述的作业机器计算系统,其中,所述第一挖掘地点包括具有侧壁的第一基坑,并且其中,所述自动物项标识逻辑电路被配置成沿着所述第一基坑的侧壁辨识土壤类型。
12.根据权利要求11所述的作业机器计算系统,其中,所述3D生成逻辑电路被配置成基于所述第一组图像而标识沿着所述侧壁辨识出的每种土壤类型在所述3D空间中的不同深度水平。
13.根据权利要求2所述的作业机器计算系统,其中,所述请求包括深度标识符,并且其中,所述请求处理系统包括:
请求解析逻辑电路,所述请求解析逻辑电路解析所述请求以识别所述所请求位置和由所述深度标识符标识的深度;和
响应生成器,所述响应生成器被配置成生成包括与所述所请求位置和所述深度对应的3D表示的响应。
14.一种作业机器(102),包括:
挖掘工具(138),所述挖掘工具挖掘土壤以生成基坑;
图像捕获装置(148);
机器定向传感器(128),所述机器定向传感器感测所述作业机器(102)的定向并且生成指示所感测到的定向的定向输出;
捕获控制逻辑电路(146),所述捕获控制逻辑电路检测所述挖掘工具的致动,并且控制所述图像捕获装置从不同视角拍摄所述基坑的一组图像;
元数据生成逻辑电路(150),所述元数据生成逻辑电路生成标识与所述一组图像对应的时间、位置和图像捕获装置定向的时间印记元数据、位置印记元数据和定向元数据;和
通信系统(132),所述通信系统将所述一组图像以及对应的元数据和定向输出传输到远程服务器。
15.一种控制图像处理系统(148)的计算机实施的方法,所述计算机实施的方法包括:
接收位于第一位置处的第一挖掘地点的第一组图像;
从所述第一组图像辨识在所述第一挖掘地点中的第一组物项,所述第一组物项位于所述第一挖掘地点处在地面的表面水平下方的第一地下深度处;
从所述第一组图像生成所述第一挖掘地点的具有所述第一组物项的第一3D表示,所述第一组物项基于所述第一组图像而在所述第一3D表示内位于所述第一地下深度处;
将与所述第一挖掘地点的所述第一位置对应的所述第一3D表示存储在数据存储器中;
从请求系统(116)接收标识所请求位置的请求;
访问所述数据存储器(130)以获得与所述所请求位置对应的所述第一3D表示;
生成包括与所述所请求位置对应的所述第一3D表示的响应;和
将所述响应发送到所述请求系统(116)。
CN202010359714.7A 2019-05-02 2020-04-29 控制用于地下测绘的移动式施工设备 Active CN111877449B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/401,517 US11062511B2 (en) 2019-05-02 2019-05-02 Controlling mobile construction equipment for subterranean mapping
US16/401,517 2019-05-02

Publications (2)

Publication Number Publication Date
CN111877449A true CN111877449A (zh) 2020-11-03
CN111877449B CN111877449B (zh) 2023-04-28

Family

ID=72839092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010359714.7A Active CN111877449B (zh) 2019-05-02 2020-04-29 控制用于地下测绘的移动式施工设备

Country Status (4)

Country Link
US (1) US11062511B2 (zh)
CN (1) CN111877449B (zh)
DE (1) DE102020205175A1 (zh)
RU (1) RU2020114217A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553407A (en) * 1995-06-19 1996-09-10 Vermeer Manufacturing Company Excavator data acquisition and control system and method of use
US20020184235A1 (en) * 2000-06-14 2002-12-05 Vermeer Manufacturing Company Utility mapping and data distribution system and method
US6735888B2 (en) * 2001-05-18 2004-05-18 Witten Technologies Inc. Virtual camera on the bucket of an excavator displaying 3D images of buried pipes
JP2008216143A (ja) * 2007-03-06 2008-09-18 Komatsu Ltd 埋設物検出装置、管理装置、および建設機械監視システムの埋設物探索方法
CN106759625A (zh) * 2016-12-20 2017-05-31 清华大学合肥公共安全研究院 一种城市挖掘管线实时预警终端及其固定结构
US9824490B1 (en) * 2015-06-08 2017-11-21 Bentley Systems, Incorporated Augmentation of a dynamic terrain surface
WO2018124500A1 (ko) * 2016-12-26 2018-07-05 삼성전자(주) 객체의 인식 결과를 제공하는 방법 및 전자 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516563B2 (en) 2006-11-30 2009-04-14 Caterpillar Inc. Excavation control system providing machine placement recommendation
RU2497152C2 (ru) * 2007-06-07 2013-10-27 Пэредайм Джиофизикал Корпорейшн Устройство и способ сейсмического исследования подземной структуры
US8817238B2 (en) 2007-10-26 2014-08-26 Deere & Company Three dimensional feature location from an excavator
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
US8873334B2 (en) * 2013-03-05 2014-10-28 Hunt Energy Enterprises, L.L.C. Correlation techniques for passive electroseismic and seismoelectric surveying
US20150348309A1 (en) * 2014-06-03 2015-12-03 Schlumberger Technology Corporation Cross section creation and modification
US10535168B2 (en) * 2016-03-02 2020-01-14 Schlumberger Technology Corporation Image enhancement using seismic partition images
US10254398B2 (en) * 2016-04-28 2019-04-09 Fluke Corporation Manipulation of 3-D RF imagery and on-wall marking of detected structure
US20190206068A1 (en) * 2016-10-04 2019-07-04 Halliburton Energy Services, Inc. Monitoring a subterranean formation using motion data
US10444344B2 (en) * 2016-12-19 2019-10-15 Fluke Corporation Optical sensor-based position sensing of a radio frequency imaging device
US10515272B2 (en) * 2017-05-11 2019-12-24 Digitalglobe, Inc. Muddy water detection using normalized semantic layers
US10679369B2 (en) * 2018-06-12 2020-06-09 Chiral Software, Inc. System and method for object recognition using depth mapping
US10755484B1 (en) * 2018-08-17 2020-08-25 Bentley Systems, Incorporated Estimating subsurface feature locations during excavation
US20200224526A1 (en) * 2019-01-15 2020-07-16 Schlumberger Technology Corporation Utilizing Vision Systems at a Wellsite

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553407A (en) * 1995-06-19 1996-09-10 Vermeer Manufacturing Company Excavator data acquisition and control system and method of use
CN1191594A (zh) * 1995-06-19 1998-08-26 弗米尔制造公司 挖掘机数据采集和控制系统及方法
US20020184235A1 (en) * 2000-06-14 2002-12-05 Vermeer Manufacturing Company Utility mapping and data distribution system and method
US6735888B2 (en) * 2001-05-18 2004-05-18 Witten Technologies Inc. Virtual camera on the bucket of an excavator displaying 3D images of buried pipes
JP2008216143A (ja) * 2007-03-06 2008-09-18 Komatsu Ltd 埋設物検出装置、管理装置、および建設機械監視システムの埋設物探索方法
US9824490B1 (en) * 2015-06-08 2017-11-21 Bentley Systems, Incorporated Augmentation of a dynamic terrain surface
CN106759625A (zh) * 2016-12-20 2017-05-31 清华大学合肥公共安全研究院 一种城市挖掘管线实时预警终端及其固定结构
WO2018124500A1 (ko) * 2016-12-26 2018-07-05 삼성전자(주) 객체의 인식 결과를 제공하는 방법 및 전자 장치

Also Published As

Publication number Publication date
US11062511B2 (en) 2021-07-13
RU2020114217A (ru) 2021-10-21
US20200349760A1 (en) 2020-11-05
RU2020114217A3 (zh) 2021-12-30
CN111877449B (zh) 2023-04-28
DE102020205175A1 (de) 2020-11-05

Similar Documents

Publication Publication Date Title
CN109816778B (zh) 物料堆三维重建方法、装置、电子设备和计算机可读介质
US10474155B2 (en) System and method for material disposal
CN109903337A (zh) 用于确定挖掘机的铲斗的位姿的方法和装置
JP6794449B2 (ja) 管理システム
CN110344467B (zh) 挖掘机测量和控制逻辑电路
US20120150573A1 (en) Real-time site monitoring design
US11609562B2 (en) Using generated markings for vehicle control and object avoidance
CN110703637A (zh) 作业机械平整控制系统
CN110132255A (zh) 控制方法、装置、显示终端、机械设备及人机交互系统
CN110578347B (zh) 作业机器自保护系统
CN111877449B (zh) 控制用于地下测绘的移动式施工设备
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
CN112034835A (zh) 基于多车辆传感器融合的控制和映射
CN108779985B (zh) 施工管理系统
AU2021215096A1 (en) Grading machines with improved control
CN114830853A (zh) 具有改进的平整控制系统的移动平整机器
US11472416B2 (en) Multi-dimensional mobile machine path visualization and control system
US20220081878A1 (en) Grading machines with improved control
Yajima et al. Development of an excavator-avoidance system for buried pipes
JP2021043107A (ja) 情報処理装置、情報処理方法、プログラム及び掘削システム
JP7480030B2 (ja) 試掘情報管理装置、方法、及びプログラム
US20240093464A1 (en) Autonomous Control Of Operations Of Earth-Moving Vehicles Using Trained Machine Learning Models
JP2019101697A (ja) 施工管理装置および施工管理方法
CN117272429A (zh) 用于土方作业的设计生成
CN116910845A (zh) 掌子面前方风险点的获取及确定方法、设备、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant