CN114175104A - 基于视觉的叶片定位 - Google Patents

基于视觉的叶片定位 Download PDF

Info

Publication number
CN114175104A
CN114175104A CN202080054234.8A CN202080054234A CN114175104A CN 114175104 A CN114175104 A CN 114175104A CN 202080054234 A CN202080054234 A CN 202080054234A CN 114175104 A CN114175104 A CN 114175104A
Authority
CN
China
Prior art keywords
interest
points
tool
image
blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054234.8A
Other languages
English (en)
Inventor
唐纳·凯利
亚历山大·亚历山德罗维奇·皮缅诺夫
阿列克谢·威尔德尼科夫
伊万·亚历山德罗维奇·博格丹尤克
米哈伊尔·尼古拉耶维奇·斯米尔诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Positioning Systems Inc
Original Assignee
Topcon Positioning Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Positioning Systems Inc filed Critical Topcon Positioning Systems Inc
Publication of CN114175104A publication Critical patent/CN114175104A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/844—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically
    • E02F3/847—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically using electromagnetic, optical or acoustic beams to determine the blade position, e.g. laser beams
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7622—Scraper equipment with the scraper blade mounted on a frame to be hitched to the tractor by bars, arms, chains or the like, the frame having no ground supporting means of its own, e.g. drag scrapers
    • E02F3/7627—Scraper equipment with the scraper blade mounted on a frame to be hitched to the tractor by bars, arms, chains or the like, the frame having no ground supporting means of its own, e.g. drag scrapers with the scraper blade adjustable relative to the frame about a vertical axis
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7622—Scraper equipment with the scraper blade mounted on a frame to be hitched to the tractor by bars, arms, chains or the like, the frame having no ground supporting means of its own, e.g. drag scrapers
    • E02F3/7631—Scraper equipment with the scraper blade mounted on a frame to be hitched to the tractor by bars, arms, chains or the like, the frame having no ground supporting means of its own, e.g. drag scrapers with the scraper blade adjustable relative to the frame about a horizontal axis
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/844—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G01C15/004—Reference lines, planes or sectors
    • G01C15/006—Detectors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于重型设备或其他机械的基于视觉的传感器系统，该基于视觉的传感器系统对叶片相对于重型设备车辆的姿势或位置进行确定，其中，该传感器系统包括基于视觉的叶片位置系统，该基于视觉的叶片位置系统具有图像采集装置和视觉系统处理器。

Description

基于视觉的叶片定位
相关申请的交叉引用
本申请要求于2019年8月5日提交的美国实用专利申请No.16/532,331的优先权，该申请的公开内容在本文中全部并入。
技术领域
本发明涉及对具有工作边缘的工作工具的位置进行确定，并且更具体地，本发明涉及用于对叶片相对于机器的姿势或位置进行确定的传感器系统的方法和设备。
背景技术
重型建筑机械(例如，推土机、平地机、拖拉机、摊铺机、前端装载机、反铲挖土机等)典型地具有用于执行特定功能的一个或更多个工作边缘(例如，叶片)。如本文中使用的术语工作边缘通常指代重型设备中执行特定功能的任意部件，在该特定功能中需要精确的定位，例如，工作边缘可以包括推土机或平地机的叶片或反铲挖土机的铲部，此处仅举几例。
重型设备的用户会利用工作边缘来执行一系列典型的工地功能(例如，使用推土机的叶片将工地的一部分平整到某个所需的坡度和宽度)。在重型设备的操作期间对这项工作不断地检查以确保与适用的工地要求或规范一致。例如，这通常需要反复的过程直至达到所需的坡度和宽度以及根据规范进行的核实。
因此，设备制造商通常为他们的重型设备提供某些类型的自动工作边缘定位系统，从而在使用重型设备横穿工地时通过精确地引导用户来协助用户并提高生产率。一种常规的工作边缘控制系统采用固定至工作边缘的一个或更多个传感器来监控相对于在重型设备车辆上的固定点的位置和/或取向。例如，工作边缘位置信息经由一根或更多根电缆被传输至位于车辆驾驶室部分内的控制系统。重型设备车辆的位置能够通过多种方法来提供，所述多种方法包括但不限于LPS(本地定位系统)、基于视觉或光检测的SLAM(同步定位与建图)和测距LIDAR(光检测和测距)系统、或者已知的以任务为中心的定位方法。例如，重型设备车辆可以具有以已知的方式提供机器精确位置的全球导航卫星系统(GNSS)接收器。通过工作边缘控制系统利用与传输的叶片位置结合的该位置信息以精确地为工地设定坡度和/或平整工地。
这种基于传感器的工作边缘控制系统的一个缺点是，传感器是安装在工作边缘上并经受与恶劣工作环境相关联的损坏风险的非常灵敏的部件。例如，在操作期间施加至重型设备上的大机械应力以及撞击传感器的泥土或其他材料可能导致这些部件发生故障、变得不对准和/或需要重新校准。
因此，存在对用于在常规重型设备操作期间精确地确定叶片相对于机器的姿势和/或位置的改进的传感器技术的需求。
发明内容
根据各种实施方式，提供了一种用于重型设备的基于视觉的传感器系统，该基于视觉的传感器系统确定叶片相对于重型设备车辆的姿势或位置。
根据实施方式，图像采集装置(例如，单个相机)建立为单一POV以通过使用方位投影来确定叶片位置，该方位投影将图像平面中的叶片上或叶片周围(例如，叶片的上拐角部)的特定兴趣点映射至在机器参考系中的特定旋转。通过这种方式，采用基于视觉的传感器系统以用于对采集和追踪的一个或更多个兴趣点(POI)、例如在叶片拐角部进行图像分析。从该工作边缘位置信息通过图像采集装置捕获的图像来获取，并且在视觉系统的特定坐标系中计算位置信息。工作边缘位置信息可以转化至GNSS坐标系中(或对相关联的重型设备的位置和取向进行确认的其他方法、例如LIDAR)，使得可以使用该信息来控制相关联的重型设备(例如，推土机)的叶片。
根据实施方式，基于视觉的传感器系统设置成用于对叶片相对于重型设备的位置进行精确确定。说明性地，图像采集装置(例如，单个相机)安装在重型设备上并且关于叶片(例如，具有相应上拐角部的叶片的上边缘)具有空间区域的固定视场。说明性地，视觉系统识别叶片的叶片上边缘(即限定两个相应的POI的第一拐角部和第二拐角部)，其中，这种拐角部落在包括叶片的球形表面(即如由视觉系统通过数学方式建立的兴趣球形表面)，并且其中，每个角部的运动被限定至兴趣球形表面上所谓的相应片部。在图像采集装置获得的图像中识别出叶片的这些第一拐角部和第二拐角部之后，然后使用方位投影以用于将球体映射至图像采集装置前部的图片平面。也就是说，根据实施方式，使用兴趣球形表面的适当半径(RE)的方位投影双射地将球体上的拐角部位置映射至平面上的位置。通过这种方式，在获得的图像中识别相应的拐角部并且在视觉系统坐标系中计算相应拐角部的位置，使得对于单一POV而言采用透视投影(并且因此消除对第二相机的需要)。根据实施方式，相应叶片拐角部的位置(在叶片拐角部相应的第一片部和第二片部中)以及因此工作边缘的位置根据基于以视觉系统为中心的坐标系的X、Y、Z位置和/或旋转来确定。
根据实施方式，在安装时执行校准以确定相关联的重型设备(例如，推土机)的特定特征的位置和长度，所述特定特征的位置和长度是通过所谓的转换投影来完成对叶片位置的计算所需要的。校准将通常包括相关联的重型设备上的特定可接近特征与该特定可接近特征在相机图像中的相应位置之间的测量值的组合。通过这些测量值能够计算出相关联的重型设备的所需要的特定特征的位置和长度。
根据实施方式，执行校准以获得从视觉系统至机器参考系的唯一转换。在存在GNSS情况下，可以应用第二转换以根据GNSS系统的坐标系生成叶片的工作边缘的位置，然后可以使用GNSS系统的坐标系来控制叶片和/或重型设备在工地上执行特定功能(例如，精确地设定坡度)。
根据一个实施方式，用于确定附接至机器的工具的位置的视觉系统包括用于获得工具的图像的图像采集装置。该图像采集装置定位成：(1)对在远端上位于工具上的至少两个兴趣点进行观察，使得对于工具的整个运动范围而言在图像中可以看到兴趣点，并且(2)使得工具的共用原点的任何运动组合将引起兴趣点通过方位投影而被映射至图像采集装置的图像平面。在一示例中，兴趣点可以与固定至工具的相应的目标相关联。视觉系统还包括处理器和存储器，以用于通过使用兴趣点在图像中的相应位置以及工具关于机器铰接的胶接部的已知几何形状，将兴趣点在图像中的投影转换，来计算兴趣点在视觉系统的参考系中的相应位置。
在一种说明性的实施方式中，视觉系统通过如下方式校准：对于工具的多个位置而言收集与至少两个兴趣点相关联的多个图像和距离，所述多个位置代表了对于所述多个位置中的各个位置而言工具围绕相应的旋转中心的运动。然后可以对相应的旋转中心中的每一者在视觉系统参考系中的相应位置进行计算。在一种示例中，机器为推土机且工具为叶片，并且兴趣点定位在叶片相应的上部远端拐角部处。叶片的球形接合部可以具有围绕该球形接合部中心的有限范围的旋转运动，使得球形接合部由C式框架承载并且球形接合部处于围绕推土机C式框架上的固定旋转轴线的固定半径的弧形部中。
通过参考如下详细说明和附图，本发明的这些以及其他优点对于本领域中的普通技术人员而言将是明显的。
附图说明
图1示出了根据实施方式构造的示例性重型设备车辆；
图2示出了根据实施方式的用于确定叶片相对于机器的姿势或位置的示例性传感器系统；
图3示出了根据实施方式的使用单个相机的各种说明性的方位投影；
图4A和图4B示出了根据实施方式确定的用于图1的重型设备车辆的叶片运动的示例；
图5A和图5B示出了根据实施方式的将球体映射至图4A/图4B的叶片运动所确定的图片框的说明性方位投影；
图6示出了根据实施方式的将图5A/图5B中的球形片部映射至图像的说明性映射；
图7示出了根据实施方式并根据图5A/图5B和图6的映射的说明性叶片图像；
图8示出了根据实施方式的用于叶片相对于机器的姿势和位置的传感器系统的说明性操作的流程图；以及
图9示出了根据实施方式的示例性计算机的高级框图。
具体实施方式
根据各种实施方式，提供了用于重型设备的基于视觉的传感器系统，该传感器系统对叶片相对于重型设备车辆的姿势或位置进行确定。
图1示出了根据实施方式构造的示例性重型设备车辆。更具体地，推土机100(在本文中也被称为铲土机100)示例性地包括工作边缘件(即叶片110)和图像采集装置120(例如单个相机)，该图像采集装置120安装在推土机100的驾驶室顶部上以获得与叶片(例如，叶片顶部边缘130)相关联的一个或更多个POI 140的一个或更多个图像。应当指出的是，在图1中，图像采集装置120安装在推土机100的顶部上，但是对于图像采集装置120而言存在其他合适的各种安装位置。例如，替代性的安装位置可以是在推土机100的前格栅部上或通过某视觉特征线而足够接近于叶片110的任何其他位置(将在下文进一步讨论)。此外，在视觉系统参考系中示出了用于推土机100的C形框架180的枢转位置190(例如，球形接合部)并将在下文中就校准操作而言来进一步讨论。所述一个或更多个POI 140通常可以位于叶片110的叶片边缘130的上拐角部处或邻近叶片110的叶片边缘130的上拐角部，而不是必须(在所有情况下)位于拐角部本身处。例如，POI 140可以在一定程度上位于叶片110顶部的内侧和下侧。使用天线150以各种已知方式来使推土机100能够发送和接收通信信号，并且使用定位系统160以常规方式来提供位置和前进信息。如所示出的，根据实施方式，图像采集装置120具有关于叶片110(以及叶片的顶部边缘、例如叶片顶部边缘130)的空间区域的固定视场170。应当指出的是，虽然本文中的描述涉及具有叶片110的推土机100，但实施方式的原理同样地适用于采用工作边缘的任何类型的重型设备或其他机械。还应当指出的是，图1中示出的比例不是按比例的并且本质上是表示性的。
图2示出了根据实施方式的用于确定叶片相对于机器的姿势或位置的示例性传感器系统。特别地，传感器系统包括基于视觉的叶片位置系统200，该基于视觉的叶片位置系统200具有相机120和视觉系统处理器245。说明性地，定位系统160以常规的方式将与推土机100相关联的位置和前进信息255提供至机器控制系统220。机器控制系统220还接收如通过基于视觉的叶片位置系统200中的视觉系统处理器245处理的相对于叶片110位置的叶片姿势信息260，从而便于将液压系统命令265发送至重型设备(例如，推土机100)，现在将进一步讨论其细节。
如上所指出的，本文中的实施方式采用图像分析并使用单个相机(例如，相机120)来获取并且追踪叶片(例如叶片110)上或叶片周围的一个或更多个兴趣点，而不需要固定至叶片的专门目标。说明性地，如上指出的，根据实施方式的一个或更多个兴趣点表示位于叶片的边缘上或邻近叶片边缘(例如叶片的边缘的上拐角部)的固定位置。可以(以单独地或以任何组合的方式)采用叶片特征的诸如线性特征(例如边缘、线元素等)、平行特征、固定角度(例如直角)、轮廓、纹理和颜色之类的视觉特性来增强对所公开的实施方式的基于视觉的叶片定位的传递。这些特征可以被分组为限定特定POI标记的三个基本标准：外观(例如亮度、颜色、纹理、及其变型)，几何形状(例如尺寸、形状、比例和取向)，以及位置(例如左侧VS右侧、已知的最后位置、以及轨迹)。举例来说，兴趣点可以通过使用各种目标识别操作对视觉特征进行评估来获得。
根据公开的实施方式的基于视觉的叶片位置系统允许在诸如旋转、倾斜、提升、偏向和移位之类的多个自由度(即，自由度是在参考系内关于平移或旋转的任何机会)中捕获叶片运动，并且该基于视觉的叶片位置系统利用与该叶片运动相关的特定方位投影(如将在下文进一步公开)。如将理解的是，叶片的旋转、倾斜和偏向通常共用旋转中心，使得在叶片上的与旋转中心(例如叶片相应的上拐角部、即叶片的距被倾斜地面最远的拐角部)等距的特征运动位于球形(就数学表示而言)表面上。因此，根据本文中的实施方式，具有适当定位投影点的方位投影双射地将球体上的兴趣位置映射到平面上的位置，可以使用该平面来对叶片进行定位。如果投影点与视觉系统的相机的孔径相对应，则叶片特征(例如，拐角部)位置与图像平面中的位置的映射是唯一的。该投影的转换(例如，在视觉系统的参考系中计算叶片的目标特征的位置)需要知道在这些特征之间的距离以及这些特征与旋转中心相距的相应距离(在校准期间计算)。
例如，图3示出了采用单个相机的各种形式的方位投影300，相机在本文的实施方式中可以是有用的并将在下文中进一步讨论。为包括提升性(例如推土机的C式框架与球形接合部的铰接)需要附加的校准数据，因为控制提升性的旋转中心(例如推土机的C式框架的旋转轴线)必然远离前面讨论的自由度的旋转中心(例如，推土机的球形接合部)。在这种情况下，知道前面所讨论的两个旋转中心之间的距离(例如，球形接合部围绕C式框架轴线的运动半径)就足够了。通常，用于定位叶片的自由度的增加将需要相应的几何形状的限定(例如，在铰接链的中心与任何固定中心的几何形状位置之间的半径)。
图4A和图4B示出了根据实施方式确定的用于图1的重型设备车辆的叶片运动的示例。如将在一起进行讨论的图4A和图4B中所示，具有叶片110的推土机100在绕工地480进行运动470。根据实施方式，将使用安装在推土机100的驾驶室顶部的图像采集装置120(例如，单个相机)来获得与叶片相关联的一个或更多的POI(例如，沿叶片上边缘的第一拐角部410和第二拐角部420)的一个或更多个图像。说明性地，如从图像采集装置120观察的，第一拐角部410是叶片110的上左拐角部，并且第二拐角部420是叶片110的上右拐角部。如上详述，叶片110的这些上拐角部将总是落(在数学意义中)在球体430的表面上(即兴趣球形表面)，该球体430以叶片110的运动轴线的交点460为中心。根据实施方式，每个拐角部的运动被限制在所谓的片部(patch)中。说明性地，第一拐角部410被限制在第一片部440以及第二拐角部420被限制在第二片部450(如图4B中所示)。
根据该实施方式，采用图像采集装置120来获得第一拐角部410的位置信息和第二拐角部420的位置信息，以及因此获得第一拐角部410和第二拐角部420所处的工作边缘(即，叶片110)的位置。当叶片110移动通过图像采集装置120的固定视场170时，获得第一拐角部410和第一拐角部420中的每一者的一个或更多个图像。根据本文中实施方式的原理，全部追踪以及基于视觉的计算都是使用叶片上的可以持续地被识别的视觉特征的位置来执行的。这些特征可以是上拐角部也可以不是上拐角部。如果用于定位的特征不是上拐角部则上拐角部的位置不会被计算。此外，两(2)个特征的位置必须是远端的并且通常安置成接近上拐角部。如果特征对称地安置在叶片上，则所述特征将落在同一球体上，但特征对称地定位在叶片上并不是必要条件。如果在特征与球形接合部之间的径向距离不同，则所述特征将各自置于具有相应半径的同心球体上。
如前所指出的，采用方位投影来将球体430映射至图片框。图5A和5B示出了根据实施方式的将图4A和图4B的叶片运动确定的球体映射至图片框的说明性的方位投影。如上所指出的，在本文中的基于视觉的传感器技术中使用方位投影来将球体(即兴趣球体表面，上述叶片拐角部的运动分别地位于该兴趣球形表面上)映射至图片框，并且将对其进行讨论以促进对所公开的实施方式的理解。图5A示出了具有切线560的特定的说明性方位投影。与使用根据实施方式的单个相机相对应的方位投影的类型被称为“远侧常规透视”类型，并且该类型的方位投影具有使球形表面内部的一部分从接近于相应球体但在相应球体外部的点可视化的性质。如图5A中所示，远侧投影(即RE<-2)通过实际透镜映射半球。如所示出的，(如由图像采集装置120限定的)POV必须足够接近以使两个片部(例如，第一片部440和第二片部450)从推土机100内部是可视化的。通过这种方式，如图5B中所示，球体430被从POV的切线锥面510切割(在图5B中也可以看到例如沿切线560的相切部520)使得在这个说明性示例中RE约为-2.4。
返回图2，来自图像采集装置120(以说明性的方式示出为相机)的图像由视觉系统处理器245进行处理，以用于在基于视觉的叶片位置系统200的视觉系统坐标系中确定第一拐角部410和第二拐角部420的位置。通过这种方式，基于视觉的叶片位置系统200通过说明性地使用对于第一拐角部410和第二拐角部420而言所建立的预定空间关系来识别工作边缘(即，叶片110)在视觉系统坐标系中的位置。
说明性地，固定视场170包括第一拐角部410和第二拐角部420在叶片110操作期间移动通过的空间区域。图像采集装置120被校准(例如，在安装时)成建立用于所获取图像的比例，该比例(以图像像素的方式)限定第一拐角部410与第二拐角部420之间的关系。这有助于建立关于相应拐角部在视场内的比例和位置的基线。说明性地，获得了叶片110的原始位置(以及进而获得了叶片边缘的第一拐角部410和第二拐角部420的原始位置)。通过建立识别第一拐角部410和/或第二拐角部420的位置的基线在第一拐角部410和/或第一拐角部420移动通过视场170时是有利的。在操作期间，图像采集装置120获得固定视场170中的一个或更多个图像，并且视觉处理器245在每一图像中定位出第一拐角部410和第二拐角部420。校准还可以包括以已知的方式对相机的镜头中的失真进行校正。在下文中讨论前述校准的其他方面。
此外，如果工作边缘被提升，则第一拐角部410的位置和第二拐角部420的位置将被提升。同样地，如果工作边缘移动至左侧或右侧和/或进行旋转，则第一拐角部410和第二拐角部420在视场内的位置将会相应地移位和/或旋转。通过这种方式，基于视觉的叶片位置系统200向机器控制系统220输出一组工作边缘信息(例如，叶片姿势信息260)，该机器控制系统220可以将所述信息与由常规GNSS系统以已知方式提供的导航信息相结合。
图6示出了根据实施方式的使用方位投影将图5A/图5B中的球形片部440和450投影至图像640的说明性的映射。如图6中所示，通过可投影表面在图像中的图像边界650建立图像640，使得叶片拐角部410/片部440与图像640中的左侧片部620相关联并且使叶片拐角部420/片部450与图像640中的右侧片部630相关联。为了通过图像640分析一个或更多个附加的自由度可以利用其他约束。说明性地，考虑到来自校准的数据以及对于给定图像而言位置特征在叶片上的像素位置，位置特征在视觉系统参考系中的位置可以用对应于C式框架在视觉系统参考系中的取向(即，角度)的单一未知量来表示。
图7示出了根据实施方式的根据图5A/图5B和图6的映射的说明性的叶片图像700。如上所指出的，考虑到来自以上校准的数据以及对于给定图像而言位置特征在叶片上的像素位置，位置特征在视觉系统参考系中的位置可以用对应于C式框架在视觉系统参考系中的取向(即，角度)的单一未知量来表示。说明性地，所有校准包括(1)工厂校准和(2)安装校准。
对于工厂校准(即，相机/镜头系统失真校正，以在视觉系统参考系中建立像素位置与角度空间的映射)而言，校正失真的校准在工厂执行一次并提供图像中的像素位置与视觉系统参考系中的角度空间的精确映射。在安装至机器时需要进行校准并且根据自由度和叶片铰接的布置通过多个阶段来实现。对于具有安装至球形接合部的叶片的推土机来说，校准必须找到与两(2)个特征位置中的每一者相对应的球体半径(以球体为中心)以及C式框架的轴或枢轴在视觉系统参考系中的位置。找到与两(2)个特征位置中的每一者相对应的球体半径是通过如下方式来实现的：将叶片定位至叶片铰接部的极限(根据实际情况)，并且将对获得的每一姿势而言的位置特征(对应于“上拐角部”，例如410)与相机120之间的距离710和位置特征在图像640中的像素位置715一起被记录。在该步骤期间，C式框架(例如，C式框架180)必须保持静置。对应于四(4)个极限姿势与叶片上的特征之间的距离相结合的测量足以计算出与两(2)个特征位置的每一者对应的球体半径(以球体为中心)。C式框架的轴或枢轴在视觉系统参考系中的位置通过如下方式实现：使C式框架绕C式框架的轴线旋转并将位置特征与相机之间的距离和图像中对应的像素位置一起记录。C式框架的四(4)个位置足够用于计算轴线的位置和取向以及C式框架的旋转平面。以类似的方式，可以将与上述捕获的自由度不共用旋转原点的附加自由度特征化，以用于姿势计算。
图8示出了根据实施方式的用于叶片相对于机器的姿势或位置的传感器系统的说明性操作800的流程图。在步骤805中，对当前安装而言是否执行校准进行评估。该决定可以由安装历史(存储在存储器中)或作为从常规用户界面的输入来通知。在步骤815中，对视觉系统进行校准以获得叶片在图像中(例如，图像640)的特征，该特征对应于叶片(例如，叶片110)上的参考位置(例如，410和420)。特征通过特殊的描述符来识别，该描述符可以包括但不限于具有以下各者的信息：特征在叶片上的位置，某些邻近点的性质，特征的取向，或由视觉系统捕获的在一系列图像(例如，图像640)中的特征位置(例如，特征位置715)的轨迹。在步骤820处，校准捕获推土机(例如推土机100)的C式框架(例如，C式框架180)在视觉系统参考系中的枢转位置(例如，枢转位置190)。为此以及确保图8中随后的校准步骤，假定在相机(例如，相机120)与叶片上的参考位置(例如，参考位置410和参考位置420)之间临时安装了距离测量装置(例如，悠悠球(yo-yos))。为执行该校准步骤，叶片110相对于球形接合部(例如，球形接合部460)保持固定。然后对于C式框架180的至少三(3)个位置而言，将叶片110上的参考位置410和参考位置420中每一者的距离(例如，距离710)和图像位置(例如，图像位置715)捕获。以较好理解的方式，可以计算出与叶片110上的参考位置420和参考位置430对应的点在视觉系统参考系中的位置。C式框架180的枢转位置190的枢轴轴线与两个圆的中心之间的线相同，所述两个圆分别适合于与每一侧部相关联的点集。
以类似的方式，在步骤825处，叶片110相对于球形接合部460的位置可以被特征化。在这种情况下，C式框架180在一高度处固定就位，从而允许叶片110绕球形接合部460的实际的运动范围最大。可以收集叶片110上的参考位置410和参考位置420中的每一者的距离(例如，距离710)以及图像位置(例如，图像位置715)，并且计算出与球形片部(例如，片部440和450)的拐角部对应的关联点。以较好理解的方式，可以通过与片部440的拐角部和片部450的拐角部相对应的点来计算与每个片部440和片部450相关联的球体430的中心位置和半径。球体430的与片部440和片部450相关联的中心与球形接合部460的中心一致。
在步骤830中，即校准的最后一步，其中，推土机100处于平坦表面上并且叶片110也搁置在该平面上，将叶片110上的参考位置410和参考位置420中的每一者的距离710和图像位置715收集并计算出在视觉系统参考系中关联点的位置。该数据将用于提供机器控制以常规方式设定坡度中所使用的零位置。在步骤835处，通过保存用于在操作期间计算叶片姿势的计算出的数值以及编辑安装历史以反映成功校准，从而完成校准步骤。在操作中(即叶片姿势的循环报告)在步骤805执行校准步骤的决定评估为“否”并且在步骤810中追踪叶片姿势的下一决定评估为“是”。在这种情况下，在操作循环中在步骤840中的第一任务是使用如上详述的与校准期间相同的技术来将叶片特征定位在图像715中。
在一个实施方式中，下一步骤，即在步骤845处，评估C式框架相对于视觉系统参考系的取向(即姿势)。用于生成该评估的方法可以包括但不限于以下各者：相对于安装而言可以定制或非定制的任意固定值，基于图像715中的特征位置的近似值，或基于紧邻的上一步所确定的取向的C式框架180的运动轨迹。以较好理解的方式，在步骤850处，通过所评估的C式框架180的取向和图像715中的特征位置，然后可以对叶片110上的参考位置410和参考位置420在视觉系统参考系中的位置的进行计算。在步骤855处，可以对所计算的这些位置之间的距离进行计算，并且在步骤860处，可以将所计算的这些位置之间的距离相对于在校准期间找到的参考位置之间的距离来进行检验。使用在该检验期间评估的误差来修改来自步骤845的C式框架的预估姿势，并且在步骤860处持续进行循环直至检验期间评估的误差被认为足够小(例如，在某些误差阈值之内)从而在步骤865处报告叶片姿势的结果。
如上详述，本文中的各种实施方式能够以实践这些方法的方法和设备的形式来实现。公开的方法可以通过安装在用户设备中和/或以可通信的方式连接至用户设备的硬件、软件、固件、中间件以及计算机可读介质(统称“计算机”)的组合来执行。图9是示例性的计算机900的高级块图，该计算机900可以用于实施根据本文的各种实施方式的用于进行基于视觉的叶片定位的方法。计算机900包括处理器910，处理器910以可操作的方式联接至数据存储装置920和存储器930。处理器910通过执行限定计算机900整体操作的计算机程序指令来控制计算机900的整体操作。通信总线960有利于计算机900的各个部件之间的联接和通信。计算机程序指令可以存储在数据存储装置920或非临时性计算机可读介质中，并且在需要执行计算机程序指令时将该计算机程序指令加载到存储器930中。因此，所公开方法的步骤(例如，参见图8和上文中相关的讨论)可以由计算机程序指令限定，该计算机程序指令存储在存储器930和/或数据存储装置920中并且由执行该计算机程序指令的处理器910控制。例如，计算机程序指令可以作为由本领域计算人员编程的计算机可执行代码实施，以执行由公开方法限定的说明性的操作。因此，通过执行计算机程序指令，处理器910执行由本公开的方法限定的算法。计算机900还包括用于经由网络(例如，无线通信网路)或已知的一种或更多种通信协议与其他装置通信的一个或更多个通信接口950。例如，这样的通信接口可以是用于以多种已知的方式交换有线通信或无线通信的接收器、收发器或调制解调器。计算机900还包括能够使用户与计算机900交互的一个或更多个输入/输出装置940(例如，相机、显示器、键盘、鼠标、扬声器、麦克风、按钮等)。
处理器910可以包括通用的或特殊用途的微处理器，并且可以是计算机900的唯一处理器或多个处理器中的一个处理器。例如，处理器910可以包括一个或更多个中央处理单元(CPU)。处理器910、数据存储装置920和/或存储器930可以通过补充的方式包括一个或更多个特定应用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA)或结合的方式包括一个或更多个特定应用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA)。
数据存储装置920和存储器930各自包括有形的非临时性计算机可读存储介质。数据存储装置920和存储器930可以各自包括：高速随机存取存储器，例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDR RAM)或其他随机存取固态存储器装置；并且可以包括非易失性存储器，例如一个或更多个磁盘存储装置、比如内部硬盘和可移除盘、磁光盘存储装置、光盘存储装置、闪存装置、半导体存储装置、比如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘或其他非易失性固态存储装置。
输入/输出装置940可以包括外围设备，例如相机、打印机、扫描仪、显示屏幕等。例如，输入/输出装置940可以包括：用于向用户显示信息的显示装置，例如阴极射线显像管(CRT)监视器、等离子或液晶显示(LCD)监视器；键盘；以及指向装置、例如鼠标或轨迹球，用户通过该指向装置可以向计算机900提供输入。
应当指出的是，为解释清楚，本文所述的说明性的实施方式可以展示为包括单个功能块或功能块的组合。这些块表示的功能可以通过使用专用或分享的硬件来提供，所述硬件包括但不限于能够执行软件的硬件。说明性的实施方式可以包括数字信号处理器(“DSP”)硬件和或/执行本文所述操作的软件。因此，例如，本领域技术人员可以理解的是，本文中的块图表示在本文的各种实施方式中描述的原理的说明性功能、操作和/或电路的概念性视图。同样地，可以理解的是，任何流程图、流程示图、状态转换图、虚拟码、程序代码等表示各种过程，所述过程基本上可以在计算机可读介质中表示并因此可以由计算机、机器或处理器执行，无论这种计算机、机器或处理器是否明确地示出。本领域技术人员将认识到，实际的计算机或计算机系统的实施也可以具有其他结构并且还可以包括其他部件，并且这种计算机的部件中的一些部件的高级表示是用于说明性的目的。
前述详细的描述可以理解为从各个方面都是说明性的和示例性的，而不是限制性的，并且本文公开的本发明范围不从具体实施方式确定，而是通过根据专利法所允许的全部宽度来解释的权利要求来确定。可以理解的是，本文示出和描述的实施方式仅是说明本发明的原理并且可以由本领域技术人员在不脱离本发明的范围和精神的情况下进行各种修改。本领域技术人员在不脱离本发明范围和精神的情况下可以实施各种其他特征的组合。

Claims (20)

1.一种视觉系统，所述视觉系统用于确定附接至机器的工具的位置，所述视觉系统包括：
图像采集装置，所述图像采集装置用于获得所述工具的图像，所述图像采集装置定位成：(i)对在远端上位于所述工具上的至少两个兴趣点进行观察，使得对于所述工具的整个运动范围而言在所述图像中能够看到所述至少两个兴趣点，以及(ii)使得所述工具的共用原点的任何运动组合将使所述至少两个兴趣点通过方位投影而被映射至所述图像采集装置的图像平面；
处理器；以及
存储器，所述存储器用于存储计算机程序指令，所述计算机程序指令当在所述处理器上执行时使所述处理器执行包括以下各者的操作：
通过使用所述至少两个兴趣点在所述图像中的相应位置以及所述工具关于所述机器铰接的铰接部的已知几何形状而将所述兴趣点的在所述图像中的投影进行转换，对所述至少两个兴趣点的在所述视觉系统的视觉系统参考系中的相应位置进行计算。
2.根据权利要求1所述的视觉系统，其中，所述操作还包括：
通过以下各者对所述视觉系统进行校准：
对于所述工具的多个位置而言收集与所述至少两个兴趣点相关联的多个图像和多个距离，所述工具的多个位置代表了对于所述多个位置中的各个位置而言所述工具围绕相应的旋转中心的运动；以及
对所述相应的旋转中心中的每个旋转中心在所述视觉系统参考系中的相应位置进行计算。
3.根据权利要求2所述的视觉系统，其中，所述机器是推土机并且所述工具是叶片，所述至少两个兴趣点位于所述叶片的相应的上部远端拐角部处，并且所述视觉系统还包括：
所述叶片的球形接合部，所述叶片的所述球形接合部具有围绕所述球形接合部的中心的有限范围的旋转运动；以及
所述推土机的C式框架，其中，所述球形接合部由所述C式框架承载，并且所述球形接合部处于围绕所述C式框架上的固定旋转轴线的固定半径的弧形部中。
4.根据权利要求1所述的视觉系统，其中，所述至少两个兴趣点与固定至所述工具的相应的目标相关联。
5.根据权利要求1所述的视觉系统，其中，所述操作还包括：
选择所述工具的一个或更多个视觉特征，其中，所述工具的所述一个或更多个所述视觉特征选自以下各者中的至少一者：(i)一个或更多个边缘或线元素以及所述一个或更多个边缘或线元素的对应的图像取向；(ii)一个或更多个几何形状以及相关联的几何形状比例；(iii)在颜色或强度方面的变型；(iv)包括各特征之间的关系的特征组合；(v)所述图像的所述一个或更多个视觉特征被找到的区域；(v)所述一个或更多个视觉特征在所述图像平面中的轨迹；以及
通过使用多个目标识别操作对所选择的一个或更多个视觉特征评估来获取所述至少两个兴趣点。
6.根据权利要求3所述的视觉系统，其中，对所述视觉系统的操作的校准还包括：
确定所述C式框架的固定旋转轴线；
确定所述球形接合部的围绕所述C式框架的所述固定旋转轴线的固定半径的弧形部；
确定所述工具上的所述至少两个兴趣点中的每个兴趣点与所述球形接合部的中心相距的相应的第一距离；以及
确定所述工具上的所述至少两个兴趣点之间的相应的第二距离。
7.根据权利要求6所述的视觉系统，其中，对所述视觉系统的操作的校准还包括：
确定所述叶片的参考位置，其中，所述参考位置是所述叶片的相对于所述机器的参考系的已知位置。
8.根据权利要求3所述的视觉系统，其中，所述操作还包括：
通过以下各者来确定所述叶片的位置：
获取图像，在所述图像中显示有所述至少两个兴趣点中的每个兴趣点；
通过使所述至少两个兴趣点之间的所计算的距离的误差阈值最小化来确定所述C式框架的取向，所述误差阈值是使用所述多个距离中的至少一个距离来限定的；以及
在所述误差阈值达到最小化时输出所述至少两个兴趣点的相应位置。
9.根据权利要求1所述的视觉系统，其中，所述图像采集装置安装在所述机器上以实现从所述机器的单一视点。
10.根据权利要求1所述的视觉系统，其中，所述方位投影是远侧常规透视类型。
11.一种用于对附接至机器的工具的位置进行确定的方法，所述方法包括：
通过图像采集装置获取所述工具的图像，其中，所述图像采集装置定位成：(i)对在远端上位于所述工具上的至少两个兴趣点进行观察，使得对于所述工具的整个运动范围而言在所述图像中能够看到所述至少两个兴趣点；以及(ii)使得所述工具的共用原点的任何运动组合将使所述至少两个兴趣点通过方位投影而被映射至所述图像采集装置的图像平面；以及
通过使用所述至少两个兴趣点在所述图像中的相应位置以及所述工具关于所述机器铰接的铰接部的已知几何形状而将所述兴趣点的在所述图像中的投影进行转换，对所述至少两个兴趣点的在视觉系统的视觉系统参考系中的相应位置进行计算。
12.根据权利要求11所述的方法，还包括：
通过以下各者对所述视觉系统进行校准：
对于所述工具的多个位置而言收集与所述至少两个兴趣点相关联的多个图像和多个距离，所述工具的多个位置代表了对于所述多个位置中的各个位置而言所述工具的围绕相应的旋转中心的运动；以及
对所述相应的旋转中心中的每个旋转中心在所述视觉系统参考系中的相应位置进行计算。
13.根据权利要求12所述的方法，其中，所述机器是具有C式框架的推土机，所述工具是具有球形接合部的叶片，所述球形接合部由所述C式框架承载，并且所述球形接合部处于围绕所述C式框架上的固定旋转轴线的固定半径的弧形部中，所述至少两个兴趣点位于所述叶片的相应的上部远端拐角部处，并且所述叶片的所述球形接合部具有围绕所述球形接合部的中心的有限范围的旋转运动。
14.根据权利要求11所述的方法，还包括：
使所述至少两个兴趣点与固定至所述工具的相应的目标相关联。
15.根据权利要求11所述的方法，所述方法还包括：
选择所述工具的一个或更多个视觉特征，其中，所述工具的所述一个或更多个所述视觉特征选自以下各者中的至少一者：(i)一个或更多个边缘或线元素以及所述一个或更多个边缘或线元素的对应的图像取向；(ii)一个或更多个几何形状以及相关联的几何形状比例；(iii)在颜色或强度方面的变型；(iv)包括特征之间的关系的特征组合；(v)所述图像的所述一个或更多个视觉特征被找到的区域；(v)所述一个或更多个视觉特征在所述图像平面中的轨迹；以及
通过使用多个目标识别操作对所选择的一个或更多个视觉特征进行评估来获取所述至少两个兴趣点。
16.根据权利要求13所述的方法，其中，对所述视觉系统的校准还包括：
确定所述C式框架的固定旋转轴线；
确定所述球形接合部的围绕所述C式框架的所述固定旋转轴线的固定半径的弧形部；
确定所述工具上的所述至少两个兴趣点中的每个兴趣点与所述球形接合部的中心相距的相应的第一距离；以及
确定所述工具上的所述至少两个兴趣点之间的相应的第二距离。
17.根据权利要求16所述的方法，其中，对所述视觉系统的校准还包括：
确定所述叶片的参考位置，其中，所述参考位置是所述叶片的相对于所述机器的参考系的已知位置。
18.根据权利要求13所述的方法，还包括：
通过如下方式确定所述叶片的位置：
获取图像，在所述图像中显示有所述至少两个兴趣点中的每个兴趣点；
通过使所述至少两个兴趣点之间的所计算的距离的误差阈值最小化来确定所述C式框架的取向，所述误差阈值是使用所述多个距离中的至少一个距离来限定的；以及
在所述误差阈值达到最小化时输出所述至少两个兴趣点的相应位置。
19.根据权利要求11所述的方法，其中，所述图像采集装置安装在所述机器上以实现从所述机器的单一视点。
20.根据权利要求11所述的方法，其中，所述方位投影是远侧常规透视类型。
CN202080054234.8A 2019-08-05 2020-06-22 基于视觉的叶片定位 Pending CN114175104A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/532,331 2019-08-05
US16/532,331 US11905675B2 (en) 2019-08-05 2019-08-05 Vision-based blade positioning
PCT/US2020/038869 WO2021025791A1 (en) 2019-08-05 2020-06-22 Vision-based blade positioning

Publications (1)

Publication Number Publication Date
CN114175104A true CN114175104A (zh) 2022-03-11

Family

ID=71528064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054234.8A Pending CN114175104A (zh) 2019-08-05 2020-06-22 基于视觉的叶片定位

Country Status (5)

Country Link
US (1) US11905675B2 (zh)
EP (1) EP4010533A1 (zh)
JP (1) JP7400076B2 (zh)
CN (1) CN114175104A (zh)
WO (1) WO2021025791A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4097552A4 (en) * 2020-01-28 2023-11-22 Topcon Positioning Systems, Inc. SYSTEM AND METHOD FOR CONTROLLING A WORK DEVICE ON A WORK MACHINE USING MACHINE VISION

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3226859A (en) * 1964-02-11 1966-01-04 Hough Co Frank Mounting assembly for dozer blade
US3628612A (en) * 1969-09-08 1971-12-21 Caterpillar Tractor Co Mounting arrangement for bulldozer blades
US5612864A (en) * 1995-06-20 1997-03-18 Caterpillar Inc. Apparatus and method for determining the position of a work implement
AUPN385195A0 (en) * 1995-06-29 1995-07-20 Hall, David John A system for monitoring a movement of a vehicle tool
DE29724569U1 (de) * 1997-06-25 2002-05-16 Claas Selbstfahr Erntemasch Vorrichtung an Landmaschinen zur berührungslosen Abtastung von sich über dem Boden erstreckender Konturen
SE509209C2 (sv) * 1997-11-28 1998-12-14 Spectra Precision Ab Anordning och förfarande för att bestämma läget för bearbetande del
US8478492B2 (en) 1998-11-27 2013-07-02 Caterpillar Trimble Control Technologies, Inc. Method and system for performing non-contact based determination of the position of an implement
CA2447809C (en) * 2001-06-04 2011-08-02 Novatel Inc. An inertial/gps navigation system
US8224024B2 (en) * 2005-10-04 2012-07-17 InterSense, LLC Tracking objects with markers
JP4875887B2 (ja) 2005-11-28 2012-02-15 全景株式会社 画像合成システム及び画像合成方法
US9746329B2 (en) * 2006-11-08 2017-08-29 Caterpillar Trimble Control Technologies Llc Systems and methods for augmenting an inertial navigation system
US8145391B2 (en) * 2007-09-12 2012-03-27 Topcon Positioning Systems, Inc. Automatic blade control system with integrated global navigation satellite system and inertial sensors
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
US9139977B2 (en) 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
US8738242B2 (en) * 2011-03-16 2014-05-27 Topcon Positioning Systems, Inc. Automatic blade slope control system
CL2012000933A1 (es) * 2011-04-14 2014-07-25 Harnischfeger Tech Inc Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal.
US8494726B2 (en) * 2011-05-16 2013-07-23 Trimble Navigation Ltd. Agricultural autopilot path adjustment
US8972119B2 (en) * 2013-03-15 2015-03-03 Novatel Inc. System and method for heavy equipment navigation and working edge positioning
CN104457767B (zh) * 2013-09-18 2019-03-01 腾讯科技（深圳）有限公司 实现位置服务的方法和装置
WO2015089403A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
US9567731B2 (en) * 2015-05-18 2017-02-14 Caterpillar Inc. Implement position calibration using compaction factor
DE102015118767A1 (de) * 2015-11-03 2017-05-04 Claas Selbstfahrende Erntemaschinen Gmbh Umfelddetektionseinrichtung für landwirtschaftliche Arbeitsmaschine
AU2016402225B2 (en) 2016-04-04 2022-02-10 Topcon Positioning Systems, Inc. Method and apparatus for augmented reality display on vehicle windscreen
US10217488B1 (en) * 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
JP2020037767A (ja) * 2018-08-31 2020-03-12 株式会社小松製作所 バケット高さ通知装置およびバケット高さ通知方法
JP7420733B2 (ja) * 2018-10-31 2024-01-23 株式会社小松製作所 表示制御システムおよび表示制御方法
US11733043B2 (en) * 2019-05-06 2023-08-22 Hexagon Technology Center Gmbh Automatic locating of target marks
JP7424784B2 (ja) * 2019-09-30 2024-01-30 株式会社小松製作所 制御装置、作業機械および制御方法

Also Published As

Publication number Publication date
EP4010533A1 (en) 2022-06-15
JP2022544123A (ja) 2022-10-17
WO2021025791A1 (en) 2021-02-11
US20210040708A1 (en) 2021-02-11
US11905675B2 (en) 2024-02-20
JP7400076B2 (ja) 2023-12-18

Similar Documents

Publication Publication Date Title
EP2187166B1 (en) Industrial Machine
Alismail et al. Automatic calibration of a range sensor and camera system
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
Ahn et al. Analysis and noise modeling of the intel realsense d435 for mobile robots
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
CN106029994B (zh) 校正系统、作业机械和校正方法
US20210232845A1 (en) Information processing apparatus, information processing method, and storage medium
WO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
WO2020059220A1 (ja) 座標変換システム及び作業機械
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
JP7023813B2 (ja) 作業機械
JP7463530B2 (ja) 機械視点を用いた工作機械上の装置の制御システムおよび方法
CN111226009A (zh) 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械
KR20210034070A (ko) 교정 작업 지원 시스템
CN114175104A (zh) 基于视觉的叶片定位
EP3757299B1 (en) Apparatus for generating environment data around construction equipment and construction equipment including the same
CN113240745A (zh) 点云数据标定方法、装置、计算机设备和存储介质
JP7363545B2 (ja) キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
Jiang et al. LiDAR-based benchmark approach development and validation for unloading-on-the-go systems incorporating stereo camera-based perception
KR102456515B1 (ko) 수중 물체에 대한 3차원 광학 체적 모델을 획득하는 방법 및 시스템
CN116088365A (zh) 一种基于视觉的自主挖掘作业卸料点定位系统及方法
CN115683102A (zh) 无人农机导航方法、设备、装置及存储介质
CN117824682A (zh) 一种低成本机器人地面监测系统和方法
KR20230077934A (ko) 인프라 센서 설치 방법
CN116912325A (zh) 基于标定治具的摄像头外参标定方法、芯片和机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination