CN112639226B - 校正作业支援系统 - Google Patents

校正作业支援系统 Download PDF

Info

Publication number
CN112639226B
CN112639226B CN202080004790.4A CN202080004790A CN112639226B CN 112639226 B CN112639226 B CN 112639226B CN 202080004790 A CN202080004790 A CN 202080004790A CN 112639226 B CN112639226 B CN 112639226B
Authority
CN
China
Prior art keywords
information
target
posture
driver
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080004790.4A
Other languages
English (en)
Other versions
CN112639226A (zh
Inventor
中城健太
金成靖彦
泉枝穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN112639226A publication Critical patent/CN112639226A/zh
Application granted granted Critical
Publication of CN112639226B publication Critical patent/CN112639226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明的校正作业支援系统具有：用于输入机械信息的输入装置，该机械信息包括液压挖掘机的车辆类别信息和前作业机的规格信息；显示控制装置，其基于从输入装置输入的机械信息和预先决定的目标姿势信息来生成目标姿势图像，该目标姿势信息是作为对惯性计测装置进行校正时的前作业机的目标计测姿势而预先决定的，该目标姿势图像是以驾驶员(M)的视点位置以及视线方向对采取了目标计测姿势的前作业机进行观察的情况下的图像；和HMD，其显示由显示控制装置生成的目标姿势图像，HMD以使目标姿势图像与以驾驶员(M)的视点位置以及视线方向观察到的现实中的前作业机重叠的方式进行显示。

Description

校正作业支援系统
技术领域
本发明涉及对安装在作业机械所具备的作业装置上的惯性计测装置的校正作业进行支援的校正作业支援系统。
背景技术
液压挖掘机是代表性的作业机械，作为作业装置而具有多关节型的前作业机。作为向驾驶者提示该前作业机的姿势并对由液压挖掘机进行的挖掘作业进行支援的显示系统而具有机械导引(Machine Guidance)。为了实现正确的机械导引，而需要正确检测前作业机的姿势。
作为关于前作业机的姿势检测的技术，在专利文献1中公开了一种液压缸的行程前期校正作业支援装置，该装置具有：计测液压缸的行程距离的行程传感器；计测重设基准点的重设传感器，该重设基准点是将由行程传感器执行的行程距离的计测值重设的基准点；检测液压缸的行程结束位置的行程结束检测处理部；在检测到重设基准点及/或行程结束位置的情况下对行程距离的计测值进行校正(修正)的校正处理部；在进行液压缸的前期校正作业的情况下进行搭载有液压缸的作业机械整体的显示的监视器；和对用于使校正对象的液压缸驱动的可动部进行突出显示并且显示驱动方向的突出显示处理部。
现有技术文献
专利文献
专利文献1：国际公开2014/167731号公报
发明内容
近几年，作为机械导引中的前作业机的姿势计测机构而利用了IMU(InertialMeasurement Unit)。IMU是由陀螺传感器和加速度传感器构成的惯性计测装置，通过使这两种传感器组合来实现高精度且高应答的姿势计测。IMU设置于液压挖掘机的车身以及前作业机的各部位(动臂、斗杆、铲斗等)的表面，事前校正IMU的安装位置以及安装角度，由此计测前作业机的姿势。也就是说，在校正作业未实施的情况下，无法向驾驶者提示前作业机的姿势信息。
在此，IMU的校正作业是指，使安装在前作业机的各部位的IMU所计测的计测值与实际中的前作业机的姿势匹配的作业。具体地，使前作业机在某个姿势(目标计测姿势)中停止，由全站仪等的高精度的测量设备来计测此时的IMU的计测值、和各部位的转动部(动臂销、斗杆销、铲斗连杆销等)的位置坐标，使机械导引控制器学习这两个计测值。此时，为了提高校正作业的精度，在多个姿势中实施计测值的学习。另外，为了抑制每个量产机的精度偏差，由作业工序说明书等规定了校正作业中的计测姿势以及计测次数。
但是，由于机体的车辆类别和规格多种多样，所以在驾驶室内操作前作业机的驾驶者难以将前作业机移动为特定的姿势。因为在机械导引中使用各种视点来提示前作业机的姿势信息，所以可知难以从驾驶者的视点(从驾驶室观察到的前作业机的样子)掌握前作业机的姿势。因此，以往，从驾驶室外直接视觉观察前作业机的姿势，来确认是否处于正确姿势。由此，产生了与校正作业无直接关系的、从驾驶室外确认姿势的多余作业，由此作业性不高。
上述专利文献1中，提示了关于液压缸内置型的行程传感器的校正作业的操作支援信息。具体地，提示要动作的部位(可动部)和其方向(驱动方向)，由设在液压缸的行程结束处的检测装置来检测行程的动作，报告校正作业的完成。在使用行程传感器的情况下，通过使用专利文献1的发明，即使不是熟练者也能够高效实施校正作业。
但是，在作为前作业机的姿势计测机构而使用IMU的情况下，无法使用作为该姿势计测机构而利用行程传感器的专利文献1的技术。这是因为，由于专利文献1的行程传感器内置于液压缸，所以虽然预先确定了传感器的安装姿势，但IMU的安装姿势不明，需要在校正作业内进行安装姿势的校正。由此，无法如专利文献1那样地检测液压缸的行程结束来判断校正作业的结束。另外，在IMU的校正作业中，需要采取若干个计测姿势，在专利文献1的支援信息(可动部和其驱动方向)中，驾驶者无法判断前作业机是否处于正确的计测姿势。
本发明的目的为，提供一种能够使在驾驶室内进行操作的驾驶者容易判断IMU的校正作业中的作业装置的姿势是否与目标计测姿势一致的校正作业支援系统。
本申请包括多个解决上述课题的方案，若举出一例，则为一种校正作业支援系统，其对安装在作业机械所具备的作业装置上的惯性计测装置的校正作业进行支援，其中，该校正作业支援系统具有：用于输入机械信息的输入装置，该机械信息包括所述作业机械的车辆类别信息和所述作业装置的规格信息；控制装置，其基于从所述输入装置输入的所述机械信息和预先决定的目标姿势信息来生成目标姿势图像，该目标姿势信息是作为对所述惯性计测装置进行校正时的所述作业装置的目标计测姿势而预先决定的，该目标姿势图像是从规定的视点位置以规定的视线方向对采取了所述目标计测姿势的所述作业装置进行观察的情况下的图像；和显示装置，其显示由所述控制装置生成的所述目标姿势图像，所述显示装置构成为，能够使所述目标姿势图像与从所述规定的视点位置以所述规定的视线方向观察到的现实中的所述作业装置重叠。
发明效果
根据本发明，省略了IMU的校正作业中的通过视觉观察进行的姿势确认作业，因此能够提高校正作业的效率。
附图说明
图1是本发明的实施方式的液压挖掘机的构成图。
图2是本发明的实施方式的驾驶室7内的概观图。
图3是本发明的实施方式的头戴式显示器的硬件构成图。
图4是本发明的实施方式的输入装置的硬件构成图。
图5是本发明的实施方式的校正作业支援系统的功能框图。
图6是基于头戴式显示器的显示控制装置执行的目标姿势图像生成流程图。
图7是本发明的实施方式的输入装置的输入画面的布局构成图。
图8是表示本发明的实施方式的校正作业支援系统对驾驶者进行提示的支援图像的一例的图。
图9是表示本发明的实施方式的前侧部件的模型坐标系与前作业机的前坐标系之间的关系的图。
图10是表示本发明的实施方式的动臂根部销位置与标识位置之间的位置关系的图。
图11是对于本发明的实施方式的惯性计测装置S1、S2、S3的校正作业所必需的系统的概略构成图。
图12是本发明的实施方式的控制器执行的校正作业处理的流程图。
图13是表示本发明的实施方式的前作业机的各前侧部件上安装的标识的位置的图。
图14是表示本发明的实施方式的变形例的显示装置的安装位置的图。
图15是表示本发明的实施方式的变形例的校正作业支援系统向驾驶者进行提示的支援图像的一例的图。
具体实施方式
以下，使用附图来说明本发明的实施方式。
此外，以下，作为作业机械例举了作为作业装置的顶端的作业工具(附件)而具有铲斗的液压挖掘机，但也可以适用于具有铲斗以外的附件的作业机械。另外，只要是具有能够在姿势检测中利用IMU的作业装置的作业机械，也能够适用于液压挖掘机以外的作业机械。
(整体构成)
图1是本发明的实施方式的液压挖掘机的侧视图。此外，将图中的左称为前，将右称为后，将从纸面的近前朝向里侧的方向称为右，将从该里侧朝向近前的方向称为左。如该图所示，液压挖掘机(作业机械)1具有下部行驶体1e、和在该下部行驶体1e的上侧能够旋转地安装的上部旋转体1B。
上部旋转体1B具有：成为基座的旋转车架10；配置于该旋转车架10的前方左侧的驾驶室7；能够沿上下方向转动地安装于旋转车架10的前方中央的前作业机(作业装置)1A；配置于旋转车架10后方的配重6；和设置在前作业机1A与配重6间的发动机舱1d。
前作业机(作业装置)1A是将沿垂直方向分别转动的多个前侧部件(动臂1a、斗杆1b以及铲斗1c)连结而构成的。动臂1a的基端在上部旋转体1B的前部经由动臂销能够转动地支承。在动臂1a的顶端经由斗杆销能够转动地连结有斗杆1b的基端，在斗杆1b的顶端经由铲斗销能够转动地连结有铲斗1c的基端。动臂1a由动臂液压缸3a驱动，斗杆1b由斗杆液压缸3b驱动，铲斗1c由铲斗液压缸3c驱动。
该前作业机1A由搭乘于驾驶室7的驾驶者M操作。配重6用于取得与前作业机1A的重量平衡，能够由具有例如大致圆弧状的水平截面的重量物形成。
另外，在前作业机1A的各前侧部件(动臂1a、斗杆1b、铲斗1c)的侧面安装有作为用于计测各部件姿势的姿势计测装置的惯性计测装置(IMU)S1～S3。
图2是驾驶室7内的概观图。此外，对于与之前的图相同的部分标注相同的附图标记，有时省略相同部分的说明(在随后的图中也是同样)。如图2所示，在驾驶室7设有供驾驶者M落座的驾驶席7A、和作为操作装置的四根操作杆7a1～7a4，该操作装置对包括各液压执行机构3a～3c的动作的车身动作进行指示。
操作杆7a1(左操作杆)用于操作斗杆液压缸3b(斗杆1b)以及上部旋转体1B(旋转液压马达(未图示))，操作杆7a2(右操作杆)用于操作动臂液压缸3a(动臂1a)以及铲斗液压缸3c(铲斗1c)。另外，操作杆7a3(左行驶杆)用于操作下部行驶体1e(左行驶液压马达(未图示))，操作杆7a4(右行驶杆)用于操作下部行驶体1e(右行驶液压马达(未图示))。
驾驶室7由多根支柱16支承，在前侧的两根支柱16之间埋入有前玻璃(前窗)13。另外，在设置于驾驶室7前方的前玻璃13上安装有二维标识7b，从落座于驾驶席7A的驾驶者M来看，在右侧的支柱16上安装有触摸面板式的输入装置15。在输入装置15中，能够输入液压挖掘机1的车辆类别信息、前作业机1A的规格信息、用于确定校正作业的对象的作业项目信息、和用于由各前侧部件1a、1b、1c的旋转角确定目标计测姿势的作业工序信息(也称为目标姿势信息)。此外，输入装置15也可以兼做显示装置。
在搭乘于液压挖掘机1并落座于驾驶席7A的驾驶者M的头部，佩戴着头戴式显示器(以下HMD)17来作为具有配置于驾驶者M的前方的透视型显示器(半透镜17G)的显示装置。
图3是HMD17的硬件构成图。如图3所示，HMD17具有：作为计测装置的摄像头17A，其通过拍摄二维标识7b来计测驾驶者M的视点位置以及视线方向；生成目标姿势图像(也称支援图像)的显示控制装置17B，该目标姿势图像是从驾驶者M的视点位置在驾驶者M的视线方向上对采取了目标计测姿势的前作业机1A进行观察的情况下的图像；输出由显示控制装置17B生成的目标姿势图像的投影仪17E；将从投影仪17E输出的目标姿势图像放大缩小的镜头17F；和供从镜头17F通过的目标姿势图像投影的作为透视型显示器的半透镜17G。半透镜17G作为显示目标姿势图像的显示装置发挥功能，另一方面构成为，通过其透视性而能够使目标姿势图像与在驾驶者M的视点位置以及视线方向上观察到的现实中的前作业机1A重叠。
摄像头17A搭载于HMD17的主体，位置以及光轴方向与驾驶者M的头部的动作配合地变化。半透镜17G配置于佩戴着HMD17的驾驶者M的眼睛前方并成为兼具透视性和反射性的构造，由此驾驶者M能够同时视觉确认投影于半透镜17G上的目标姿势图像和前方的现实景象(也包括现实中的前作业机1A)。显示控制装置17B具有运算装置17C(例如CPU)、记忆装置17D(例如ROM、RAM等半导体存储器)、通信接口(I/F)17H和输入输出I/F17J。在记忆装置17D中，针对每个前侧部件，与后述的机械信息建立对应关系地预先记忆有成为目标姿势图像的基准的前作业机1A的模型数据，在此基础上，还记忆有摄像头17A的内部参数和二维标识7b的图案文件。另外，HMD17经由通信I/F17H与网络连接，能够与输入装置15进行数据通信。
图4是输入装置15的硬件构成图。如该图所示，输入装置15具有显示器(显示装置)15A、贴附于显示器15A的上表面的触摸面板(位置输入装置)15B、控制显示器15A以及触摸面板15B的输入控制装置15G。输入控制装置15G与显示控制装置17B同样地，具有运算装置15C(例如CPU)、记忆装置15D(例如ROM、RAM等半导体存储器)、通信I/F15H、和输入输出I/F15J。
图5是本发明的实施方式的校正作业支援系统的功能框图。HMD17的显示控制装置17B利用由驾驶者M向输入装置15的显示器15A(触摸面板15B)输入的信息(后述的机械信息和作业信息(参照图7))，由运算装置17C执行记忆装置17D内所记忆的程序，由此作为图5所示的各部分发挥功能。
图7是表示在输入装置15的显示器15A中显示的机械信息输入画面(a)、作业内容输入画面(b)和作业工序输入画面(c)的图。
在机械信息输入画面(a)中设有机械信息输入部15a，其从驾驶者M受理包括液压挖掘机1的车辆类别信息、和前作业机1A的各部分的规格信息(例如作为动臂的规格而具有标准动臂、两节式动臂、高扬程动臂等)在内的“机械信息”的输入。图7的例构成为，车辆类别信息和各部分的规格信息供驾驶者M从下拉菜单选择。
在作业内容输入画面(b)和作业工序输入画面(c)中设有作业信息输入部15b，其从驾驶者M受理分别对惯性计测装置S1、S2、S3进行校正时的“作业信息”的输入。作业内容输入画面(b)的作业信息输入部15b中输出有“作业信息”中的作业项目的信息(“作业项目信息”是规定将安装有惯性计测装置的多个前侧部件(动臂、斗杆、附件(铲斗))中的哪个前侧部件设为姿势计测的对象、即校正作业的对象的信息)，作业工序输入画面(c)作业信息输入部15b中输入有“作业信息”中的作业工序的信息(“作业工序信息”是当对由作业项目选择的前侧部件上的惯性计测装置进行校正时作为前作业机1A的目标计测姿势而预先决定的信息)。图7的例中，作业项目的信息(成为姿势计测的对象的前侧部件)以供驾驶者M从下拉菜单选择的方式构成。作业工序的信息可以按预先决定的工序自动显示预先设定的多个计测姿势，也可以由驾驶者M手动输入各前侧部件的角度来采取多个目标计测姿势。
通过驾驶者M分别从输入画面(a)、(b)、(c)输入的机械信息和作业信息经由网络向HMD17发送。
图5中，显示控制装置17B具有：基于由输入装置15输入的机械信息将与该对象机械对应的前作业机1A的模型数据从模型数据记忆部17g选择出的模型选择部17a；基于由输入装置15输入的机械信息以及作业信息、和记忆在标识位置信息记忆部17j内的标识7b的安装位置信息来转换模型数据的坐标的模型坐标转换部17b；基于从输入装置15输入的机械信息以及作业信息(作业信息中包括目标计测姿势)、和根据摄像头17A的姿势算出的驾驶者M的视点位置以及视线方向来生成从驾驶者M对采取了目标计测姿势的前作业机1A进行观察的情况下的图像(目标姿势图像)的目标姿势图像生成部17c；将由目标姿势图像生成部17c生成的目标姿势图像向半透镜17G投影的显示控制部17d；基于从标识信息记忆部17h读取的包括标识7b的形状和大小的信息而从摄像头17A的拍摄图像中检测标识7b的标识检测部17e；基于标识检测部17e检测到的标识7b的形状及大小、和记忆在内部参数记忆部17i内的摄像头17A的内部参数来计算摄像头17A的位置和姿势(摄像头17A的外部参数)的摄像头姿势推定部17f；记忆有与车辆类别和规格匹配的多个前作业机1A的模型数据的模型数据记忆部17g；记忆有包括标识7b的形状和大小的信息的标识信息记忆部17h；记忆有摄像头17A的内部参数(例如焦点距离和光学中心)的内部参数记忆部17i；和记忆有驾驶室7内的标识7b的安装位置信息(例如以动臂1a的根部销(动臂销)的位置为基准的位置)的标识位置信息记忆部17j。
(由HMD17的显示控制装置17B执行的目标姿势图像生成流程图)
边参照图6边说明由HMD17的显示控制装置17B执行的生成目标姿势图像的方法。图6是由HMD17的显示控制装置17B执行的目标姿势图像生成流程图。显示控制装置17B以来自驾驶者M的校正作业的开始指示的输入为触发而执行图6的流程并将目标姿势图像向半透镜17G投影。
显示控制装置17B当从输入装置15输入了来自驾驶者M的校正作业的开始指示后，开始图6的流程，进行机械信息的获取(S101)和作业信息的获取(S102)。驾驶者M向输入装置15的机械信息输入部15a输入的信息作为S101的机械信息而输入至输入显示控制装置17B。在机械信息中包括成为校正作业的对象的机械(以下称对象机械)的车辆类别、和构成前作业机1A的各前侧部件(动臂1a、斗杆1b、铲斗1c)的规格。与机械信息同样地，驾驶者M向输入装置15的作业信息输入部15b输入的信息作为S102的作业信息而输入至显示控制装置17B。作业信息中包括校正作业的作业项目(校正对象的安装有惯性计测装置的前侧部件)、和该作业项目的作业工序(为了对校正对象进行校正而前作业机1A应该采取的目标计测姿势)。
S103中，模型选择部17a基于由S101获取的机械信息从模型数据记忆部17g读取与对象机械对应的模型数据。如上所述，模型数据预先与机械信息建立了关联地记忆于模型数据记忆部17g。模型数据以前侧部件(部位)为单位而记忆有动臂1a、斗杆1b、铲斗1c等，对应于标准动臂、两节式动臂等多种规格。也就是说，模型选择部17a读取与所输入的车辆类别、规格对应的模型数据。
(从模型坐标系向前模型坐标系的转换)
S104中，模型坐标转换部17b基于机械信息和作业信息，将由S103读取的各部位的模型数据从各部位的模型坐标系向前模型坐标系进行坐标转换，生成采取了基于作业项目以及作业工序规定的恰当的目标计测姿势的前作业机1A整体的模型数据(以下，称为前模型数据)。
参照图9来详细说明S104的向前模型坐标系的转换方法。图9是表示前作业机1A的各部分的坐标系与前模型坐标系之间的关系的图。若将前模型坐标系设为以前作业机1A的各部位的长边方向为Z轴(前侧部件前方为正)的左手正交坐标系，则从部位模型数据(xm，ym，zm)向目标计测姿势的前模型数据(xf，yf，zf)的转换能够使用如下的式子(参照数式1)来进行。此外，θ是与作业信息输入部15b获取的作业信息建立了对应关联的各部位的旋转角度，(Tx，Ty，Tz)表示每个部位的平移向量。
数式1
Figure BDA0002953864010000101
如上所述，平移向量(Tx，Ty，Tz)对于每个前作业机1A的部位都不同。若假设成为校正作业的对象的机械的前作业机1A由动臂1a、斗杆1b、铲斗1c构成，则动臂1a的平移向量TB、斗杆1b的平移向量TS、铲斗1c的平移向量TA分别由如下式子(参照数式2)表示。在此，LB表示动臂长度，LS表示斗杆长度，LA表示铲斗长度，θB表示动臂旋转角度，θS表示斗杆旋转角度。
数式2
TB＝0
Figure BDA0002953864010000111
Figure BDA0002953864010000112
(从前模型坐标系向标识坐标系的转换)
而且，模型坐标转换部17b在S105中从标识位置信息记忆部17j读取驾驶席7内的标识7b的安装位置信息(例如以动臂1a的根部销(动臂销)的位置为基准的位置)，进行从以动臂1a的基端侧的旋转轴为基准的前模型坐标系向标识坐标系的坐标转换(S106)。由此使实际中的前作业机1A的动臂1a根部销位置与前模型数据的动臂根部销位置一致。
参照图10来详细说明S106的向标识坐标系的转换。图10是表示前模型坐标系与标识坐标系之间的关系的图。若将标识坐标系设为以标识中心为原点、以与标识平面正交的方向为Z轴(车身前方为正)的左手正交坐标系，则使用从实际中的液压挖掘机1的动臂销的中心位置到标识安装中心位置为止的距离向量(tx，ty，tz)，向标识坐标系的转换后的前模型数据的坐标(xr，yr，zr)由如下式子表示。此外，标识7b的安装位置信息预先记忆在标识位置信息记忆部17j，标识7b与动臂根部销平行地设置。
数式3
Figure BDA0002953864010000113
(标识的检测)
S107中，标识检测部17e获取摄像头17A拍摄的驾驶者M的前方的图像(拍摄图像)。接着，标识检测部17e相对于由S107获取的拍摄图像进行边缘检测等图像处理，从标识信息记忆部17h读取包括标识的形状和大小的信息(S108)，并基于该信息来检测拍摄图像内所拍到的标识7b(S109)。
具体地，标识检测部17e作为用于从摄像头17A拍摄到的拍摄图像检测标识7b的前处理，而相对于拍摄到的RGB图像进行使用阈值将各像素的明度值转换为0或255的阈值处理，由此将拍摄图像向二值化图像转换。接着，为了检测标识7b的轮廓，进行边缘检测处理。将明度差大的像素设为边缘。边缘检测例如使用索贝尔滤波器(Sobel filter)而对二值化图像进行索贝尔滤波器的核函数的卷积运算，由此检测水平方向和垂直方向的边缘。而且，相对于检测到的边缘进行直线近似。在直线近似中使用最小二乘法和霍夫变换。通过直线近似，获取近似的直线的交点坐标来作为标识矩形的顶点。而且，标识检测部17e检测由从图像处理后的拍摄图像中获取的标识矩形的四个顶点而规定的四边形区域(也就是说拍摄到标识7b的区域)，对该四边形区域的形状、和在标识信息记忆部17h作为向量形式的参数数据预先记忆的标识7b的形状(模板图案)进行图案匹配。并且，标识检测部17e在双方的匹配率超过规定阈值的情况下，判断为在拍摄图像内检测到的四边形区域相当于标识7b，在摄像头17A的拍摄图像中拍到了标识7b。
(标识坐标系中的摄像头17A的位置、姿势的推定)
摄像头姿势推定部17f在S110读取摄像头17A的内部参数，基于该内部参数和由S109检测到的标识7b的形状(也就是说摄像头17A的拍摄图像中的标识7b的形状)来计算摄像头17A的外部参数(摄像头17A的姿势和位置)(S111)。摄像头17A的姿势和位置能够改称为摄像头17A的光轴方向和安装位置。能够根据摄像头17A的姿势和位置来运算驾驶者M的视点位置和视线方向。内部参数是包括摄像头17A的失真的不依赖摄像头17A的位置和姿势的变化的硬件固有的参数，预先记忆在记忆装置17D内所设的记忆区域、即内部参数记忆部17i内。
在此详细说明S111的摄像头17A的姿势和位置的推定。此外，摄像头17A的姿势和位置的推定方法通常是公知的，由此仅详细记载工序。
首先，从标识坐标系向摄像头坐标系的转换能够使用对由S111推定的摄像头17A的姿势和位置进行表示的外部参数来表现。另一方面，从摄像头坐标系向画面坐标系的转换能够使用摄像头17A的内部参数来表示。在此，内部参数包括半透镜17G上设定的画面坐标系的原点、摄像头17A的焦点距离、像素的标度因数、摄像头17A的半径方向以及圆周方向上的失真。
因此，从标识坐标系向画面坐标系的转换能够与摄像头17A的外部参数和内部参数配合地由透视投影矩阵来表现。透视投影转换矩阵为3×4的矩阵，由此未知数为12个，但是将能够忽视定数倍、和标识7b的顶点处于标识坐标系的同一平面上作为限制条件，未知数成为7个。因此，若从摄像头17A的拍摄图像算出的摄像头坐标系中的标识7b的顶点坐标与标识坐标系中的标识7b的顶点坐标之间的组合为4组，则能够解开方程式。也就是说，能够根据标识检测部17e检测的摄像头坐标系中的标识7b的四个顶点坐标求出透视投影矩阵的成分。
如上所述，透视投影矩阵由摄像头17A的内部参数和外部参数组合而成，能够根据从标识7b的顶点求出的透视投影矩阵和已知的内部参数求出摄像头17A的外部参数、即摄像头17A的位置、姿势。
(从标识坐标系向画面坐标系的转换和目标姿势图像的生成)
S112中，目标姿势图像生成部17c利用了使用由S111获取的摄像头17A的姿势和位置(摄像头17A的外部参数)和摄像头17A的内部参数来表现的透视投影矩阵，将标识坐标系中的前模型数据向半透镜17G上设定的画面坐标系转换(透视投影转换)。通过该透视投影转换，前模型数据从三维的标识坐标系向二维的画面坐标系转换。这样地透视投影转换后的前模型数据的图像是图8的右侧所示的、从驾驶者M观察到的对前作业机1A的目标计测姿势进行表示的目标姿势图像24。显示控制部17d将由目标姿势图像生成部17c生成的目标姿势图像24向投影仪17E输出，由此目标姿势图像24投影至半透镜17G(S113)。在图8的左侧表示驾驶者M借助半透镜17G看到的现实中的前作业机1A和目标姿势图像24重叠的样子。也就是说，本实施方式的HDM17(半透镜17G)作为如下显示装置实现功能，该显示装置构成为，能够使目标姿势图像24与在驾驶者M的视点位置以及视线方向上观察到的现实中的前作业机1A重叠。
(校正作业)
接着，说明对于惯性计测装置S1、S2、S3的校正作业所必要的控制器(校正作业控制装置)20。该控制器20每当利用HMD17由实际中的前作业机1A采取目标计测姿势时被利用。
图11是对于惯性计测装置S1、S2、S3的校正作业所必要的系统的概略构成图。该图所示的系统具有：获取惯性计测装置S1、S2、S3的输出信号并负责校正作业的控制器(校正作业控制装置)20；和对将前作业机1A的前侧部件1a、1b、1c连结的各销p1～p6以及铲斗爪尖p7(参照后述的图13)的三维位置坐标进行计测的销位置计测装置(例如全站仪)19。控制器20能够搭载于液压挖掘机1，与输入装置15、惯性计测装置S1、S2、S2以及销位置计测装置19以能够实现数据通信的方式连接。此外，控制器20可以通过对HMD17的显示控制装置和输入装置15的输入控制装置安装程序而构成于HMD17和输入装置15内，也可以构成于与液压挖掘机1独立的计算机内。
控制器20与显示控制装置17B和输入控制装置15G同样地具有运算装置、记忆装置、通信I/F、和输入输出I/F(均未图示)，由运算装置执行在记忆装置内记忆的程序，由此作为图11中所示的各部分发挥功能。控制器20作为计测指示接收部20a、计测指示发送部20b、计测值获取部20c、输出信号获取部20d、以及安装角度计算部20e实现功能，在记忆装置内的记忆区域内确保信息记忆部20f的构成。使用图12，与控制器20的各部分的说明一同来说明由控制器20执行的处理的流程图。
图12是控制器20执行的校正作业处理的流程图。
驾驶者M基于HMD17上显示的目标姿势图像24而将前作业机1A的姿势设为目标计测姿势，然后当触摸显示器15A上的校正作业开始按钮后，输出计测指示信号，控制器20开始图12所示的流程图。当流程开始后，经由电气线缆等与输入装置15连接的控制器20的计测指示接收部20a获取从输入装置15输出的计测指示信号(S114)。
S115中，控制器20的计测指示发送部20b以从输入装置15获取计测指示为触发，相对于与控制器20能够无线通信地连接的销位置计测装置20发送计测指示信号。在此，销位置计测装置19例如是全站仪等能够高精度计测角度和距离的装置，以下说明销位置计测装置19为全站仪的情况。如图13所示，对于将前作业机1A的各前侧部件1a、1b、1c连结的各销p1～p6以及铲斗爪尖p7的轴向端面，预先设置有计测用标识。从控制器20接收到计测指示信号的全站仪(销位置计测装置19)计测离各标识的距离以及角度。当计测结束之后，全站仪(销位置计测装置19)将该计测值(离各标识的距离以及角度)向控制器20发送，由此控制器20获取全站仪的计测值(S116)。此外，由于全站仪的构成以及工作是公知的，所以在此省略说明。
在S117中，控制器20的输出信号获取部20d获取惯性计测装置S1～S3的输出信号。
S118中，控制器20的安装角度计算部20e基于由S116获取的全站仪(销位置计测装置19)的计测值、和由S117获取的惯性计测装置S1～S3的输出信号来计算惯性计测装置S1～S3相对于前作业机1A的各前侧部件的安装角度(S118)，并将其作为校正信息而记录至校正信息记忆部20f(S119)。
(作用效果)
在上述那样构成的校正作业支援系统中，当驾驶者M向输入装置15输入机械信息(包括车辆类别信息以及规格信息)和作业信息(包括作业项目信息以及作业工序信息(目标计测姿势))后，显示控制装置17B生成在驾驶者M的视点位置以及视线方向上对采取了目标计测姿势的前作业机1A进行观察的情况下的图像(目标姿势图像24)，并将该目标姿势图像24投影至HMD17的半透镜17G。HMD17的半透镜17G具有透视性，由此，目标姿势图像24与此时的在驾驶者M的视点位置以及视线方向上观察到的现实中的前作业机1A重叠(参照图8)。与现实中的前作业机1A同样地，目标姿势图像24也是在驾驶者M的视点位置以及视线方向上观察到的前作业机1A的姿态。因此，驾驶者M仅仅靠以使现实中的各前侧部件与半透镜17G上的目标姿势图像中的各前侧部件重合的方式对操作杆7a1、7a1进行操作来使现实中的前作业机1A动作，就能够身处驾驶室7内使前作业机1A采取对于校正作业所必要的目标计测姿势。也就是说，惯性计测装置S1、S2、S2的校正作业中，驾驶者M无需离开驾驶室7从液压挖掘机1的侧方通过视觉观察确认前作业机1A的姿势，不论驾驶者M的熟练度，都能够身处驾驶室7内将前作业机1A操作为正确的目标计测姿势。该结果为，不需要从驾驶室7外通过视觉观察进行确认的工序，提高校正作业整体的作业性。
(变形例)
接着，说明上述实施方式的变形例。上述实施方式中表示了如下例子：作为显示装置而使用了佩戴于驾驶者的头部的HMD17，HMD17的摄像头17A检测前玻璃16上的标识7b，由此推定驾驶者M的头部姿势，控制半透镜17G上的目标姿势图像24的显示。
作为其他例子，也可以代替HMD17，而使用不具有镜头和半透镜等光学类设备的普通的显示装置(例如LCD显示器和有机EL显示器)。具体地，如图14所示，能够利用固定在驾驶室7中的右侧的支柱13上的显示装置18。在显示装置18的壳体内收纳有显示控制装置17B。
图15是表示显示装置18的表面(图中左)和背面(图中右)的图。在显示装置18的背面设有摄像头18A，该摄像头18A对包括前作业机1A的驾驶室7前方进行拍摄。目标姿势图像26与上述的实施方式相同地是基于输入装置9获取的机械信息和作业信息而生成的。在显示器18的表面(图中左)显示有摄像头18A拍摄到的驾驶室前方的拍摄图像25、和从摄像头18A的安装位置朝向摄像头18A的光轴方向观察采取了目标计测姿势的前作业机1A的模型数据的情况下的图像(目标姿势图像)26，撮像图像25上的现实中的前作业机1A上重叠显示有目标姿势图像26。此外，其他部分与之前的实施方式相同，省略说明。
如上所述，在本变形例中，显示控制装置17B将生成目标姿势图像26时的成为基准的位置以及方向设为安装在液压挖掘机1(支柱13)上的摄像头18A的安装位置以及光轴方向。显示控制装置17B基于从输入装置15输入的机械信息、目标姿势信息(作业信息)、和摄像头18A的安装位置以及光轴方向，作为由摄像头18A对采取了目标计测姿势的前作业机1A进行观察时的图像(目标姿势图像)26而生成图像。显示装置18是配置在落座于驾驶室7内的驾驶席上的驾驶者M的前方的显示器，使由摄像头18A拍摄到的现实中的前作业机1A与目标姿势图像26重叠显示。
这样地校正系统也与之前的实施方式同样地，无论成为校正作业的对象的机械的车辆类别和规格，能够以与实际中的前侧部件的位置重叠的方式向驾驶者提示目标姿势图像26。因此，驾驶者能够身处驾驶室7内容易地掌握目标姿势图像26与现在的前作业机1A的姿势之间的差量。也就是说，不论驾驶者M的熟练度，都能够身处驾驶室7内将前作业机1A操作为正确的目标计测姿势。该结果为，不需要从驾驶室7外通过视觉观察进行确认的工序，提高校正作业整体的作业性。
(其他)
此外，本发明并不限定于上述实施方式，包括不脱离其要旨范围内的各种变形例。例如本发明并不限定于具有上述实施方式所说明的全部构成，也包括将其一部分构成删除的方案。另外，也能够将某一实施方式的一部分构成对其他实施方式的构成追加或置换。
另外，上述中，当生成目标姿势图像24、26时，以驾驶者M的视点位置以及视线方向、和摄像头18A的安装位置以及光轴方向为基准，但只要是能够使现实中的前作业机1A与目标姿势图像在共通的视点位置以及视线方向上重合的视点位置以及视线方向，也可以以希望的视点位置以及视线方向为基准来生成目标姿势图像。
另外，上述实施方式中包括的控制装置(例如，显示控制装置17B、输入控制装置15G、控制器20)的各构成和该各构成的功能以及执行处理等可以由硬件(例如在集成电路上设计执行各功能的逻辑等)实现其一部分或全部。另外，上述控制装置的构成也可以作为通过由运算装置(例如CPU)进行读取和执行来实现该控制装置的构成的各功能的程序(软件)。该程序的信息例如能够记忆在半导体存储器(闪存、SSD等)、磁性记忆装置(硬盘驱动器等)以及记录介质(磁盘、光盘等)等。
另外，上述的各实施方式的说明中，关于控制线和信息线，仅表示了为了该实施方式的说明所必要的部分，但并不限于表示了与产品有关的全部的控制线和信息线。可以认为在现实中几乎全部构成是相互连接的。
附图标记说明
1…液压挖掘机，1A…前作业机，1a…动臂，1b…斗杆，1c…铲斗，S1～S3…姿势计测装置，7…驾驶室，M…驾驶者，7b…二维标识，13…前玻璃，15…输入装置，15A…显示器，15a…机械信息输入部，15b…作业信息输入部，16…支柱，17…头戴式显示器，17A…摄像头，17B…显示控制装置，17C…运算装置，17D…记忆装置，17E…投影仪，17F…镜头，17G…半透镜，17H…通信I/F，17a…模型选择部，17b…模型坐标转换部，17c…目标姿势图像生成部，17d…显示控制部，17e…标识检测部，17f…摄像头姿势推定部，17g…模型数据记忆部，17h…标识信息记忆部，17i…内部参数记忆部，17j…标识位置信息记忆部，18…显示装置，18A…摄像头，24、26…目标姿势图像，25…前景图像。

Claims (4)

1.一种校正作业支援系统，其对安装在作业机械所具备的作业装置上的惯性计测装置的校正作业进行支援，其特征在于，具有：
用于输入机械信息的输入装置，该机械信息包括所述作业机械的车辆类别信息和所述作业装置的规格信息；
控制装置，其基于从所述输入装置输入的所述机械信息和预先决定的目标姿势信息来生成目标姿势图像，该目标姿势信息是作为对所述惯性计测装置进行校正时的所述作业装置的目标计测姿势而预先决定的，该目标姿势图像是从规定的视点位置以规定的视线方向对采取了所述目标计测姿势的所述作业装置进行观察的情况下的图像；和
显示装置，其显示由所述控制装置生成的所述目标姿势图像，
所述显示装置构成为，能够使所述目标姿势图像与从所述规定的视点位置以所述规定的视线方向观察到的现实中的所述作业装置重叠。
2.根据权利要求1所述的校正作业支援系统，其特征在于，
所述显示装置是配置在搭乘于所述作业机械的驾驶者的前方的透视型显示器，
所述规定的视点位置以及所述规定的视线方向是所述驾驶者的视点位置以及视线方向，
所述校正作业支援系统还具有计测所述驾驶者的视点位置以及视线方向的计测装置，
所述控制装置基于从所述输入装置输入的所述机械信息、所述目标姿势信息、和由所述计测装置计测出的所述驾驶者的视点位置以及视线方向，生成以所述驾驶者的视点位置以及视线方向对采取了所述目标计测姿势的所述作业装置进行观察时的目标姿势图像来作为所述目标姿势图像。
3.根据权利要求2所述的校正作业支援系统，其特征在于，
所述显示装置是供搭乘于所述作业机械的驾驶者佩戴的透视型的头戴式显示器，
所述计测装置是搭载于所述头戴式显示器的摄像头，且是对设置于所述作业机械的驾驶室的前方的二维标识进行拍摄的摄像头，
所述控制装置基于所述摄像头的内部参数、和所述摄像头的拍摄图像中的所述二维标识的形状来运算所述驾驶者的视点位置以及视线方向。
4.根据权利要求1所述的校正作业支援系统，其特征在于，
所述规定的视点位置以及所述规定的视线方向是安装于所述作业机械的摄像头的安装位置以及光轴方向，
所述控制装置基于从所述输入装置输入的所述机械信息、所述目标姿势信息、和所述摄像头的安装位置以及光轴方向，生成由所述摄像头对采取了所述目标计测姿势的所述作业装置进行观察时的目标姿势图像来作为所述目标姿势图像，
所述显示装置是配置在搭乘于所述作业机械的驾驶者的前方的显示器，将由所述摄像头拍摄到的所述现实中的作业装置与所述目标姿势图像重叠显示。
CN202080004790.4A 2019-03-26 2020-01-29 校正作业支援系统 Active CN112639226B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019059267A JP7153594B2 (ja) 2019-03-26 2019-03-26 較正作業支援システム
JP2019-059267 2019-03-26
PCT/JP2020/003229 WO2020195135A1 (ja) 2019-03-26 2020-01-29 較正作業支援システム

Publications (2)

Publication Number Publication Date
CN112639226A CN112639226A (zh) 2021-04-09
CN112639226B true CN112639226B (zh) 2022-03-15

Family

ID=72609812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004790.4A Active CN112639226B (zh) 2019-03-26 2020-01-29 校正作业支援系统

Country Status (6)

Country Link
US (1) US11891783B2 (zh)
EP (1) EP3951103A4 (zh)
JP (1) JP7153594B2 (zh)
KR (1) KR102509346B1 (zh)
CN (1) CN112639226B (zh)
WO (1) WO2020195135A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734830B2 (en) * 2020-05-31 2023-08-22 Sketchar , Vab Method of facade plane detection
JP7444094B2 (ja) 2021-02-05 2024-03-06 コベルコ建機株式会社 遠隔操作支援システムおよび遠隔操作支援方法
US20240141619A1 (en) * 2022-10-28 2024-05-02 Deere & Company Visibility of work implement using augmented reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010089632A (ja) * 2008-10-08 2010-04-22 Caterpillar Japan Ltd 監視対象領域表示システム
JP2011001775A (ja) * 2009-06-19 2011-01-06 Caterpillar Sarl 建設機械のディスプレイ装置
CN103857854A (zh) * 2012-10-05 2014-06-11 株式会社小松制作所 挖掘机械的显示系统及挖掘机械
JP2016061054A (ja) * 2014-09-17 2016-04-25 住友重機械工業株式会社 ショベル及びショベルの支援装置
WO2017110382A1 (ja) * 2015-12-25 2017-06-29 株式会社小松製作所 作業車両および作業車両の制御方法
CN108368694A (zh) * 2015-12-25 2018-08-03 株式会社小松制作所 作业车辆以及显示控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5111210B1 (zh) * 1970-12-31 1976-04-09
JP4095320B2 (ja) 2002-03-19 2008-06-04 キヤノン株式会社 センサ較正装置、センサ較正方法、プログラム、記憶媒体
JP5111210B2 (ja) 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
KR20140066408A (ko) * 2012-11-23 2014-06-02 에스티엑스조선해양 주식회사 비전 센서를 이용한 장비 위치 보정 시스템 및 그 방법
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
JP5801333B2 (ja) 2013-02-28 2015-10-28 株式会社東芝 電源回路
DE112013000097B4 (de) 2013-04-12 2021-04-15 Komatsu Ltd. Vorrichtung und Verfahren zum Unterstützen einer Hydraulikzylinderhubanfangskalibriertätigkeit
JP6253417B2 (ja) 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
JP6701224B2 (ja) * 2015-10-28 2020-05-27 株式会社小松製作所 作業機械の校正装置、作業機械及び作業機械の校正方法
JP6630855B2 (ja) * 2017-01-10 2020-01-15 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2017191853A1 (ja) 2017-06-28 2017-11-09 株式会社小松製作所 作業機械の表示装置及び表示システム
US10907326B2 (en) * 2017-08-11 2021-02-02 Deere & Company Vision system for monitoring a work tool of a work vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010089632A (ja) * 2008-10-08 2010-04-22 Caterpillar Japan Ltd 監視対象領域表示システム
JP2011001775A (ja) * 2009-06-19 2011-01-06 Caterpillar Sarl 建設機械のディスプレイ装置
CN103857854A (zh) * 2012-10-05 2014-06-11 株式会社小松制作所 挖掘机械的显示系统及挖掘机械
JP2016061054A (ja) * 2014-09-17 2016-04-25 住友重機械工業株式会社 ショベル及びショベルの支援装置
WO2017110382A1 (ja) * 2015-12-25 2017-06-29 株式会社小松製作所 作業車両および作業車両の制御方法
CN108368694A (zh) * 2015-12-25 2018-08-03 株式会社小松制作所 作业车辆以及显示控制方法

Also Published As

Publication number Publication date
WO2020195135A1 (ja) 2020-10-01
CN112639226A (zh) 2021-04-09
EP3951103A4 (en) 2022-12-28
KR20210034070A (ko) 2021-03-29
KR102509346B1 (ko) 2023-03-14
JP2020160777A (ja) 2020-10-01
US20220018098A1 (en) 2022-01-20
EP3951103A1 (en) 2022-02-09
US11891783B2 (en) 2024-02-06
JP7153594B2 (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
CN112639226B (zh) 校正作业支援系统
JP6491574B2 (ja) Ａｒ情報表示装置
JP7328889B2 (ja) 作業領域画像検出装置を有する曲げ機械
US8565515B2 (en) Three-dimensional recognition result displaying method and three-dimensional visual sensor
US9008371B2 (en) Method and system for ascertaining the position and orientation of a camera relative to a real object
CA3053100C (en) A display system and method for remote operation using acquired three-dimensional data of an object and viewpoint position data of a worker
CN106029994B (zh) 校正系统、作业机械和校正方法
JP5390813B2 (ja) 空間情報表示装置及び支援装置
EP2916099A1 (en) Articulated arm coordinate measuring machine
JP6826233B2 (ja) 作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械
JPWO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
JP7155516B2 (ja) 建設機械
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
EP3923569A1 (en) Remote operation system and remote operation server
JP2015075426A (ja) 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置
KR102505529B1 (ko) 작업 기계
JP7036559B2 (ja) 杭位置検査装置及び杭位置検査方法
US20240076855A1 (en) Method for controlling work assistance system, and program for controlling work assistance system
TW202324009A (zh) 產業機械、用於驗證產業機械之動作之裝置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant