CN111989440A - 作业机械的控制系统及方法 - Google Patents

作业机械的控制系统及方法 Download PDF

Info

Publication number
CN111989440A
CN111989440A CN201980026485.2A CN201980026485A CN111989440A CN 111989440 A CN111989440 A CN 111989440A CN 201980026485 A CN201980026485 A CN 201980026485A CN 111989440 A CN111989440 A CN 111989440A
Authority
CN
China
Prior art keywords
work machine
image
distance
specific object
control mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026485.2A
Other languages
English (en)
Inventor
逢泽正宪
岛田健二郎
续木雄基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN111989440A publication Critical patent/CN111989440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/431—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
    • E02F3/434—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like providing automatic sequences of movements, e.g. automatic dumping or loading, automatic return-to-dig
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

处理器获取用于表示摄像机拍摄的拍摄图像的图像数据。处理器通过使用了物体检测模型的图像分析，从图像数据获取拍摄图像内存在的特定物体和从作业机械至特定物体为止的距离。物体检测模型已训练了特定物体的图像和至特定物体为止的距离。在拍摄图像中检测出特定物体时，处理器基于从作业机械至特定物体为止的距离，控制作业机械。

Description

作业机械的控制系统及方法
技术领域
本发明涉及作业机械的控制系统及方法。
背景技术
通过自动控制进行由作业机械进行的作业的技术已被众所周知。例如，在专利文献1中，挖掘位置和排土位置被预先示教给作业机械的控制器。控制器控制作业机械，使得在挖掘位置进行挖掘，使作业机械从挖掘位置向排土位置旋转，在排土位置排土。
现有技术文献
专利文献
专利文献1：日本特开2000－192514号公报
发明内容
发明要解决的课题
如上述，在通过自动控制进行由作业机械进行的作业的情况下，作业机械以自动方式动作。优选考虑周围的环境的同时进行这样的自动动作。本发明提供在考虑周围的环境的同时，能够以自动方式进行由作业机械进行的作业的技术。
用于解决课题的方案
第1方案的系统具备作业机械、拍摄作业机械的四周的摄像机和处理器。处理器获取用于表示摄像机拍摄的拍摄图像的图像数据。处理器通过使用了物体检测模型的图像分析，从图像数据获取拍摄图像内存在的特定物体和从作业机械至特定物体为止的距离。物体检测模型已训练了特定物体的图像和至特定物体为止的距离。在拍摄图像中检测出特定物体时，处理器基于从作业机械至特定物体为止的距离得到的距离，控制作业机械。
第2方案的方法是，由用于控制作业机械的处理器执行的方法。该方法具备以下的处理。第1处理是，获取用于表示拍摄了作业机械的四周的拍摄图像的图像数据。第2的处理是，通过使用了物体检测模型的图像分析，从图像数据获取在拍摄图像内存在的特定物体和从作业机械至特定物体为止的距离。物体检测模型已训练了特定物体的图像和至特定物体为止的距离。第3的处理是，在拍摄图像中检测出特定物体时，基于从作业机械至特定物体为止的距离，控制作业机械。
第3方案的系统具备：作业机械；拍摄作业机械的四周的摄像机；显示器；以及处理器。处理器获取用于表示由摄像机拍摄的拍摄图像的图像数据。处理器通过使用了物体检测模型的图像分析，从图像数据获取拍摄图像内存在的特定物体和从作业机械至特定物体为止的距离。物体检测模型已训练了特定物体的图像和至特定物体为止的距离。处理器将表示特定物体的信息和表示距离的信息附加在拍摄图像中并使显示器显示。
第4方案的训练数据是用于训练物体检测模型的训练数据，并具备：表示作业机械附近的图像的图像数据；在图像中存在的特定物体的类别信息；图像中的特定物体的位置信息；以及与特定物体有关的距离信息。
第5方案的方法为物体检测模型的制造方法，并具备以下的处理。第1处理是，获取训练数据。训练数据包含：表示作业机械附近的图像的图像数据；在图像中存在的特定物体的类别信息；图像中的特定物体的位置信息；以及与特定物体有关的距离信息。第2的处理是，通过训练数据训练模型。
第6方案的方法是由计算机执行的方法，具备以下的处理。第1处理是，获取作业机械附近的图像。第2的处理是，通过使用了物体检测模型的图像分析，检测在拍摄图像内存在的特定物体和从作业机械至特定物体为止的距离。物体检测模型已训练了特定物体的图像和至特定物体为止的距离。
发明效果
在本发明中，通过使用了已训练的物体检测模型的图像分析，从作业机械的拍摄图像，检测特定物体的存在，并且获取至特定物体为止的距离。然后，通过基于从至特定物体为止的距离得到的距离参数，控制作业机械，可以一面考虑周围的环境，一面以自动方式进行由作业机械进行的作业。
附图说明
图1是表示被使用了作业机械的作业现场的一例的俯视图。
图2是作业机械的侧视图。
图3是表示作业机械的结构的框图。
图4是作业机械和其周围的俯视图。
图5是表示自动控制模式的处理的流程图。
图6是表示用于物体检测模型的图像分析的结构的示意图。
图7是表示物体检测模型的结构的示意图。
图8是表示用于检测作业机械的附近的人的处理的流程图。
图9是表示作业机械的拍摄图像的一例的图。
图10是表示在图9所述示的拍摄图像中被检测出人的位置的俯视图。
图11是表示进行物体检测模型的训练的训练系统的结构的示意图。
图12是表示变形例子的作业机械的结构的框图。
具体实施方式
以下，一边参照附图一边说明实施方式的作业机械1的控制系统。图1是表示被使用了作业机械1的作业现场的一例的俯视图。作业机械1和运输车辆2被配置在作业现场。作业机械1通过自动控制与运输车辆2协同作业。
在本实施方式中，作业机械1为液压挖掘机。运输车辆2为自卸车。作业机械1被配置在作业现场内的规定的挖掘位置P1的旁边。运输车辆2在作业现场内的规定的装载位置P2和规定的卸载位置P3之间往返行驶。作业机械1通过自动控制，将在挖掘位置P1挖掘的、沙土等原料装载到停车在装载位置P2的运输车辆2上。被装载了原料的运输车辆2行驶至卸载位置P3，在卸载位置P3卸下原料。在卸载位置P3，被配置推土机等其他作业机械3，将在卸载位置P3被卸下的原料铺开。卸下了原料的运输车辆2行驶至装载位置P2，作业机械1对停车在装载位置P2的运输车辆2再次装载原料。通过反复进行这样的作业，挖掘位置P1的原料被转送到卸载位置P3。
图2是作业机械1的侧视图。如图2所示，作业机械1包含车辆主体11和作业机12。车辆主体11包含旋转体13和行驶体14。旋转体13能够旋转地安装在行驶体14。旋转体13上被配置驾驶室15。但是，驾驶室15也可以被省略。行驶体14包含履带16。通过由后述的发动机24的驱动力驱动履带16，作业机械1行驶。
作业机12被安装在车辆主体11的前部。作业机12包含动臂(boom)17、斗杆(arm)18和铲斗19。动臂17相对旋转体13在上下方向上可动作地安装。斗杆18相对动臂17可动作地安装。铲斗19相对斗杆18可动作地安装。作业机12包含动臂气缸21、斗杆气缸22和铲斗气缸23。动臂气缸21、斗杆气缸22和铲斗气缸23为液压气缸，由来自后述的液压泵25的液压油驱动。动臂气缸21使动臂17动作。斗杆气缸22使斗杆18动作。铲斗气缸23使铲斗19动作。
图3是表示作业机械1的控制系统的结构的框图。如图3所示，作业机械1包含发动机24、液压泵25、动力传递装置26和控制器27。
发动机24由来自控制器27的指令信号控制。液压泵25由发动机24驱动，排出液压油。从液压泵25排出的液压油被供给到动臂气缸21、斗杆气缸22和铲斗气缸23。
作业机械1包含旋转马达28。旋转马达28为液压马达，通过来自液压泵25的液压油驱动。旋转马达28使旋转体13旋转。另外，在图2中，图示了一个液压泵25，但也可以被设置多个液压泵。
液压泵25为可变容量泵。泵控制装置29被连接到液压泵25。泵控制装置29控制液压泵25的倾斜角度。泵控制装置29例如包含电磁阀，由来自控制器27的指令信号进行控制。控制器27通过控制泵控制装置29，控制液压泵25的容量。
液压泵25、气缸21－23和旋转马达28经由控制阀31并通过液压回路被连接。控制阀31由来自控制器27的指令信号进行控制。控制阀31控制从液压泵25向气缸21－23及旋转马达28供给的液压油的流量。控制器27通过对控制阀31的控制，控制作业机12的动作。此外，控制器27通过对控制阀31的控制，控制旋转体13的旋转。
动力传递装置26将发动机24的驱动力传递给行驶体14。动力传递装置26例如也可以是扭矩转换器、或者具有多个变速齿轮的变速器。或者，动力传递装置26也可以是HST(Hydro Static Transmission；静液压传动装置)、或者HMT(Hydraulic MechanicalTransmission；液压机械传动装置)等其他形式的变速器。
控制器27被编程，使得基于获取的数据控制作业机械1。控制器27通过控制发动机24、行驶体14和动力传递装置26，使作业机械1行驶。控制器27通过控制发动机24、液压泵25和控制阀31，使作业机12动作。
控制器27包含CPU或者GPU等处理器271和存储器272。处理器271进行用于作业机械1的自动控制的处理。存储器272也可以包含例如RAM等易失性存储器、或者ROM等非易失性存储器。存储器272存储用于作业机械1的自动控制的数据及程序。
作业机械1包含位置传感器33、作业机传感器34a－34c和旋转角度传感器39。位置传感器33检测作业机械1的位置，输出表示作业机械1的位置的位置数据。位置传感器33包含GNSS(Global Navigation Satellite System；全球导航卫星系统)接收器。GNSS接收器例如是用于GPS(Global Positioning System；全球定位系统)的接收机。
作业机传感器34a－34c检测作业机12的姿态，输出表示作业机12的姿态的姿态数据。作业机传感器34a－34c例如是检测气缸21－23的行程量的行程传感器。作业机12的姿态数据包含气缸21－23的行程量。或者，作业机传感器34a－34c也可以是检测动臂17、斗杆18、以及铲斗19各自的旋转角度的传感器等其他传感器。旋转角度传感器39检测旋转体13相对行驶体14的旋转角度，输出表示旋转角度的旋转角度数据。
控制器27通过有线或者无线与位置传感器33、作业机传感器34a－34c、以及旋转角度传感器39能够通信地连接。控制器27从位置传感器33、作业机传感器34a－34c和旋转角度传感器39，分别接收作业机械1的位置数据、作业机12的姿态数据和旋转角度数据。控制器27从位置数据、姿态数据和旋转角度数据，计算铲斗19的斗尖位置。例如，作业机械1的位置数据表示位置传感器33的全球坐标。控制器27基于作业机12的姿态数据和旋转角度数据，从位置传感器33的全球坐标计算铲斗19的斗尖位置的全球坐标。
作业机械1包含地形传感器35。地形传感器35测量作业机械1的周围的地形，输出表示由地形传感器35测量出的地形的地形数据。在本实施方式中，地形传感器35被安装在旋转体13的侧部。地形传感器35测量位于旋转体13侧的地形。地形传感器35例如是激光雷达(LIDAR：Laser Imaging Detection and Ranging；激光成像检测和测距)。激光雷达通过照射激光，测量其反射光，测量至地形上的多个测量点的距离。地形数据表示相对作业机械1的各测量点的位置。
作业机械1包含作业监视摄像机36和多个四周监视摄像机41－44。如图2所示，作业监视摄像机36面向旋转体13的前方，被安装在旋转体13上。作业监视摄像机36拍摄旋转体13的前方。作业监视摄像机36为立体摄像机。作业监视摄像机36输出表示了作业监视摄像机36拍摄的图像的作业图像数据。
多个四周监视摄像机41－44拍摄作业机械1的四周。四周监视摄像机41－44被安装在旋转体13上。图4是作业机械1和其周围的俯视图。如图4所示，四周监视摄像机41－44分别拍摄相互不同的方向。四周监视摄像机41－44为单目摄像机。四周监视摄像机41－44包含第1摄像机41、第2摄像机42、第3摄像机43和第4摄像机44。
第1摄像机41被安装在旋转体13的一个侧部。第2摄像机42被安装在旋转体13的另一侧部。第1摄像机41拍摄作业机械1的一侧。第2摄像机42拍摄作业机械1的另一侧。第3摄像机43和第4摄像机44被安装在旋转体13的后部。第3摄像机43和第4摄像机44拍摄作业机械1的后方。
第1摄像机41输出表示了第1摄像机41拍摄的第1拍摄图像的第1图像数据。第2摄像机42输出表示了第2摄像机42拍摄的第2拍摄图像的第2图像数据。第3摄像机43输出表示了第3摄像机43拍摄的第3拍摄图像的第3图像数据。第4摄像机44输出表示了第4摄像机44拍摄的第4拍摄图像的第4图像数据。
控制器27通过有线或者无线与作业监视摄像机36及四周监视摄像机41－44能够通信地连接。控制器27从作业监视摄像机36接收作业图像数据。控制器27从四周监视摄像机41－44接收第1图像数据～第4图像数据。另外，四周监视摄像机41－44的数目不限于4个，也可以为3个以下，或者5个以上。
作业机械1包含通信装置38。通信装置38与作业机械1的外部的设备进行数据通信。通信装置38与作业机械1的外部的远程计算机设备4进行通信。远程计算机设备4也可以被配置在作业现场。或者，远程计算机设备4也可以被配置与作业现场分开的管理中心内。远程计算机设备4包含显示器401和输入装置402。
显示器401显示与作业机械1有关的图像。显示器401显示与从控制器27经由通信装置38接收到的信号对应的图像。输入装置402由操作员操作。输入装置402例如可以包含触摸屏，或者也可以包含硬键(hardware key)。远程计算机设备4将表示通过输入装置402输入的指令的信号，经由通信装置38发送到控制器27。
如图3所示，运输车辆2包含车辆主体51、行驶体52和货箱53。车辆主体51被行驶体52支承。通过行驶体52被驱动，运输车辆2行驶。货箱53被车辆主体51支承。运输车辆2包含位置传感器63和通信装置66。例如与作业机械1的位置传感器33同样地，位置传感器63包含GNSS接收器。位置传感器63检测运输车辆2的位置。作业机械1的通信装置38与运输车辆2的通信装置66进行数据通信。作业机械1的控制器27经由通信装置38、66，接收运输车辆2的位置数据。
接着，说明由作业机械1的控制器27执行的自动控制模式的处理。在自动控制模式中，控制器27控制作业机械1，使得作业机械1以自动方式进行规定的作业。在本实施方式中，规定的作业为挖掘及装载。图5是表示自动控制模式的处理的流程图。
若接收到自动控制模式的开始指令，则控制器27起动作业机械1的发动机24，并且执行图5所示的处理。例如通过操作员操作上述的远程计算机设备4的输入装置402，从远程计算机设备4输出自动控制模式的开始指令。控制器27经由通信装置38接收开始指令。
如图5所示，在步骤S101中，控制器27获取作业机械1的位置。这里，控制器27从位置传感器33、作业机传感器34a－34c、旋转角度传感器39分别获取作业机械1的位置数据、作业机12的姿态数据和旋转角度数据。控制器27从位置数据、姿态数据和旋转角度数据，计算铲斗19的斗尖位置。
在步骤S102中，控制器27获取图像数据。这里，控制器27从作业监视摄像机36获取用于表示旋转体13的前方图像的作业图像数据。此外，控制器27从四周监视摄像机41－44获取用于表示旋转体13的两侧及后方的图像的第1图像数据～第4图像数据。另外，至少在自动控制模式的执行中，作业监视摄像机36和四周监视摄像机41－44始终进行拍摄，生成作业图像数据和第1图像数据～第4图像数据。至少在自动控制模式的执行中，控制器27从作业监视摄像机36和四周监视摄像机41－44，实时地获取作业图像数据和第1图像数据～第4图像数据。
在步骤S103中，控制器27执行图像处理。图像处理中，基于作业图像数据和第1图像数据～第4图像数据，通过图像识别技术，检测作业机械1的周围中存在的规定的物体。在步骤S104中，控制器27判定在作业机械1的附近是否被检测出人。针对图像处理、以及人的检测方法，在后面说明。在作业机械1的附近没有被检测出人时，控制器27执行步骤S105至步骤S109中所示的第1控制模式的处理。
在步骤S105中，控制器27判定是否检测到运输车辆2。控制器27通过图像识别技术，从作业图像数据检测运输车辆2是否到达了规定的装载位置P2。或者，控制器27通过从运输车辆2接收到的位置数据，检测运输车辆2是否到达了规定的装载位置P2。在控制器27检测到运输车辆2时，处理进入至步骤S106。
在步骤S106中，控制器27进行自动挖掘。这里，控制器27控制作业机械1，使得作业机12在规定的挖掘位置P1进行挖掘。在自动挖掘中，控制器27通过地形传感器35测量挖掘位置P1的地形。根据地形传感器35测量出的挖掘位置P1的地形，控制器27调整由作业机12进行的挖掘位置。此外，根据地形传感器35测量出的挖掘位置P1的地形，控制器27确定目标挖掘路径。控制器27控制作业机12，使得作业机12的斗尖随着目标挖掘路径移动。
在步骤S107中，控制器27进行自动装载。这里，控制器27控制作业机械1，使得旋转体13从挖掘位置P1朝向装载位置P2旋转，由作业机12在装载位置P2排土。由此，挖掘出的原料被装载到停车在装载位置P2的运输车辆2的货箱53中。
在步骤S108中，控制器27判定装载是否结束。控制器27获取例如被装载到货箱53中的原料的重量，在该原料的重量达到了容许重量时，判定为装载结束。
在步骤S108中，在控制器27判定为装载没有结束时，处理返回到步骤S106。然后，步骤S106和步骤S107的处理被反复进行。由此，原料的挖掘和向运输车辆2的装载被反复进行。
在步骤S108中，在控制器27判定为装载结束时，处理进入至步骤S109。在步骤S109中，控制器27向运输车辆2发送来自装载位置P2的脱离指令。若接收到脱离指令，则运输车辆2从装载位置P2朝向卸载位置P3移动。
在步骤S110中，控制器27判定是否接收到结束指令。在接收到结束指令时，控制器27使自动控制模式停止。例如，控制器27通过操作员操作上述的远程计算机设备4的输入装置402，从远程计算机设备4被输出。控制器27经由通信装置38接收结束指令。
在步骤S104中，在作业机械1的附近被检测出人时，控制器27执行步骤S111所示的第2控制模式的处理。详细而言，在步骤S111中，控制器27使输出装置45输出警报。如图2所示，在本实施方式中，输出装置45为被设置在作业机械1中的警告灯。在作业机械1的附近被检测出人时，控制器27点亮警告灯。另外，输出装置45也可以为扬声器。在作业机械1的附近被检测出人时，控制器27也可以从扬声器发出警告声音。
至少在自动控制模式的执行中，控制器27实时地进行在作业机械1的附近的人的检测的判断。因此，在第1控制模式的执行中被检测出人在作业机械1的附近时，控制器27也可以一边执行第1控制模式中的处理，一边使输出装置45输出警报。或者，控制器27也可以停止第1控制模式的处理，使输出装置45输出警报。
接着，说明在作业机械1的附近的人的检测方法。控制器27通过使用了AI(Artificial Intelligence；人工智能)的图像识别技术，检测作业图像数据和第1图像数据～第4图像数据所示的图像中的特定物体的存在。特定物体包含人。特定物体不仅限于人，也可以包含运输车辆2、或者推土机等其他的作业机械。控制器27通过图像识别技术，识别人和其他的特定物体。
如图6所示，控制器27包含已训练的物体检测模型111。物体检测模型111被安装在控制器27中。物体检测模型111是用于图像分析的人工知能模型。物体检测模型111对输入的图像数据D11进行分析，判定特定物体是否被包含在图像数据表示的图像中。图像数据D11包含上述的作业图像数据及第1图像数据～第4图像数据。
在特定物体被包含在图像数据D11所表示的图像中时，物体检测模型111输出图像中的特定物体的类别、图像中的特定物体的坐标、以及至特定物体为止的距离。特定物体的类别为特定物体的种类，包含人。特定物体的类别也可以包含运输车辆2或者推土机等人以外的种类。
物体检测模型111包含图7所示的神经网络120。例如，物体检测模型111包含卷积神经网络(CNN)等的深度神经网络。如图7所示，神经网络120包含输入层121、中间层122(隐藏层)、以及输出层123。各层121、122、123具备1个或多个神经元。相互邻接的层的神经元彼此被耦合，在各耦合中被设定权重(耦合载荷)。也可以被适当设定神经元的耦合数。各神经元中被设定阈值，各神经元的输出值根据对各神经元的输入值和权重之积的和是否超过阈值而被确定。
图像数据D11被输入到输入层121。表示图像中被检测出的特定物体的类别、图像中的特定物体的坐标、以及至特定物体为止的距离的输出值被输出到输出层123。物体检测模型111已训练，以使在被输入图像数据D11时，输出表示在图像中被检测出的特定物体的类别、图像中的特定物体的坐标、以及至特定物体为止的距离的输出值。通过训练得到的物体检测模型111的已训练参数被存储在控制器27中。已训练参数，例如包含神经网络120的层数、各层中的神经元的个数、神经元彼此的耦合关系、各神经元间的耦合的权重、以及各神经元的阈值。
图8是表示用于检测在作业机械1的附近的人的处理的流程图。如图8所示，在步骤S201中，控制器27检测图像内的人。如上述，控制器27通过使用了物体检测模型111的图像分析，分别对于作业图像数据所表示的图像、以及第1图像数据～第4图像数据所表示的作业机械1的多张拍摄图像，检测人。
图9是表示由第1摄像机41拍摄的第1拍摄图像的一例的图。如图9所示，在多个人H1－H3被包含在图像内时，控制器27分别识别并检测图像中的多个人H1－H3。控制器27检测图像中的多个人H1－H3各自的图像内的坐标、以及离距作业机械1的距离。图像中的人H1－H3的坐标表示在表示人H1－H3的框的图像内的位置。例如，图10是表示在图9所示的图像中被检测出的人H1－H3的位置的俯视图。控制器27从作业机械1获取至被包含在图像中的人H1－H3为止的距离L1－L3。
在步骤S202中，控制器27确定距离参数D。在图像中仅包含一人时，控制器27将至被包含在图像中的该人为止的距离确定为距离参数D。在图像中包含多人时，控制器27将至被包含在图像中的多人为止的距离之中最短的距离选择为距离参数D。
例如，在图10所示的例子中，控制器27将至被包含在图像中的多人H1－H3为止的距离L1－L3之中最短的距离L3选择为距离参数D。另外，控制器27在每个规定的采样时间检测被包含在图像中的人，获取至该人为止的距离。此外，控制器27在每个规定的采样时间确定距离参数D。
控制器27确定对于第1拍摄图像～第4拍摄图像各自的距离参数D。例如，在第1拍摄图像中被检测出多人时，将至被包含在第1拍摄图像中多人为止的距离之中最短的距离确定为第1拍摄图像中的距离参数D。在第2拍摄图像中被检测出多人时，将至被包含在第2拍摄图像中的多人为止的距离之中最短的距离确定为第2拍摄图像中的距离参数D。在第3拍摄图像中被检测出多人时，将至被包含在第3拍摄图像中的多人为止的距离之中最短的距离确定为第3拍摄图像中的距离参数D。在第4拍摄图像中被检测出多人时，将至被包含在第4拍摄图像中的多人为止的距离之中最短的距离确定为第4拍摄图像中的距离参数D。
在步骤S203中，控制器27判定距离参数D是否小于规定的距离阈值A。在距离参数D小于规定的距离阈值A时，在步骤S204中，控制器27确定为在作业机械1的附近检测出人。
在多张拍摄图像中被检测出人时，在步骤S203中，控制器27判定为在多张拍摄图像各自的距离参数D之中、至少1个距离参数D是否小于规定的距离阈值A。然后，在多张拍摄图像各自的距离参数D之中、至少1个距离参数D小于规定的距离阈值A时，在步骤S204中，控制器27确定为在作业机械1的附近检测出人。
如上述，在作业机械1的附近检测出人时，控制器27从输出装置45输出警报。因此，在多张拍摄图像的至少1个中，在从作业机械1至规定的距离阈值A为止的范围内检测出人时，控制器27从输出装置45输出警报。此外，在作业图像数据表示的图像、以及所有拍摄图像中，在从作业机械1至规定的距离阈值A为止的范围内没有检测出人时，控制器27停止来自输出装置45的警报。
在以上说明的本实施方式的作业机械1的控制系统中，控制器27通过使用了已训练物体检测模型111的图像分析，从作业机械1的拍摄图像，检测人的存在，并且获取从作业机械1至人的距离。然后，控制器27通过基于至检测出人为止的距离来控制作业机械1，可以一面考虑周围的环境，一面以自动方式进行由作业机械1进行的作业。
此外，物体检测模型111训练了特定物体和至该物体的距离，所以如果将单张图像输入到物体检测模型11中，则可以得到被包含在该单张图像中特定物体和距离。因此，无需利用所拍摄的地形的形状信息和所拍摄的物体的大小等的信息，而从单张图像获取距离。
接着，说明有关实施方式的分类模型111的训练方法。图11是表示进行物体检测模型111的训练的训练系统200的图。训练系统200包含训练数据生成模块211和训练模块212。
训练数据生成模块211从图像数据D21生成训练数据D22。训练模块212使用训练数据D22，进行物体检测模型111的训练，使物体检测模型111的参数最优化。训练系统200将已被最优化的参数获取为已训练参数D23。训练数据生成模块211和训练模块212被安装在计算机上。训练数据生成模块211和训练模块212也可以被安装在单个计算机中。或者，训练数据生成模块211和训练模块212也可以被分散地安装在多个计算机中。
训练数据生成模块211将特定物体的类别信息、位置信息和距离信息分配给图像数据D21所表示的图像中被指定的框内的图像。类别信息表示在图像中存在的特定物体的类别。位置信息是图像中的特定物体的位置，表示图像中的框的坐标。距离信息表示至特定物体为止的距离。
也可以通过人以手动方式输入来分配类别信息。也可以从图像数据D21通过训练数据生成模块211的运算来分配位置信息。也可以从由立体摄像机获取的图像数据D21通过训练数据生成模块211的运算来分配距离信息。或者，也可以通过人以手动方式输入来分配距离信息。训练数据生成模块211通过对多张图像反复进行上述的分配，生成训练数据D22。
训练模块212通过训练数据D22进行物体检测模型111的训练。训练模块212将被包含在训练数据D22中的图像作为输入数据，将作业图像中的特定物体的类别、图像中的特定物体的坐标、以及至特定物体为止的距离作为教学数据，进行物体检测模型111的训练。
例如，计算机202将图像的各像素值用作输入层121的输入，进行神经网络120的正向传播方向的运算处理。由此，训练模块212得到从神经网络120的输出层123输出的输出值。接着，训练模块212计算从输出层123输出的输出值与教学数据所表示的正确的输出值之间的误差。训练模块212从计算出的输出值的误差，通过反向传播(back propagation)，计算各神经元间的耦合的权重、以及各神经元的阈值各自的误差。然后，训练模块212基于计算出的各误差，进行各神经元间的耦合的权重、以及各神经元的阈值的更新。
训练模块212对于多张图像，反复进行上述的处理，直至来自物体检测模型111的输出值与教学数据表示的正确的输出值一致为止。由此，物体检测模型111的参数被最优化，可以训练物体检测模型111。
另外，物体检测模型111的各种参数的初始值也可以通过模板被给予。或者，参数的初始值也可以通过人的输入以手动方式被给予。在进行物体检测模型111的再训练时，训练模块212也可以基于作为进行再训练的对象的物体检测模型111的已训练参数D23，准备参数的初始值。
另外，训练系统200也可以通过定期地执行上述的物体检测模型111的训练，更新已训练参数D23。训练系统200也可以将更新后的已训练参数D23转发给控制器27。控制器27也可以通过被转发的已训练参数D23，更新物体检测模型111的参数。
以上，说明了本发明的一实施方式，但本发明不限定于上述实施方式，可在不脱离发明的宗旨的范围内进行各种变更。
作业机械1不限于液压挖掘机，也可以是轮式装载机、或者平地机等其他机械。作业机械1的结构不限于上述实施方式，也可以进行变更。作业机械1也可以是由电动马达驱动的车辆。例如，行驶体14和/或旋转体13也可以由电动马达驱动。作业机12的结构也可以进行变更。例如，作业机12不限于铲斗19，也可以包含抓斗、叉、起重磁铁等其他装载用配件。
运输车辆2也可以是自卸车以外的车辆。运输车辆2的结构不限于上述实施方式的结构，也可以进行变更。运输车辆2也可以通过自动控制来驾驶。或者，运输车辆2也可以由操作员以手动方式驾驶。运输车辆2也可以被省略。即，作业机械1进行的作业也可以是与运输车辆2协同作业以外的作业。
具备作业机械1所具备的各种传感器的结构不限于上述实施方式的结构，也可以进行变更。例如，地形传感器35也可以被配置在旋转体13的侧部以外的部分。地形传感器35不限于激光雷达，也可以是雷达等其他的传感装置。或者，地形传感器35可以是摄像机，控制器27通过分析摄像机拍摄的图像，也可以识别地形。
作业监视摄像机36也可以被配置在旋转体13的前部以外的部分。四周监视摄像机41－44也可以被配置在旋转体13的两侧部及后部以外的部分。
控制器27不限于一体，也可以被分成多个控制器27。由控制器27执行的处理也可以被分散到多个控制器27中执行。该情况下，多个控制器27的一部分也可以被配置在作业机械1的外部。
由控制器27执行的自动控制模式的处理不限于上述实施方式，也可以进行变更。第1控制模式中作业机械1进行的规定的作业不限于挖掘及装载，也可以是其他作业。在第2控制模式中，控制器27也可以使作业机械1停止。或者，在第2控制模式中，控制器27也可以比第1控制模式中的动作进一步限制作业机械1的动作。例如，控制器27也可以降低作业机械1的旋转速度。控制器27也可以不限制作业机械1的旋转范围。控制器27也可以降低作业机械1的行驶速度。控制器27也可以限制作业机械1的行驶范围。
如上述，控制器27在每个规定的采样时间确定距离参数D。在本次的距离参数D和上次的距离参数D的差分大于规定的阈值时，控制器27也可以校正本次的距离参数D，使得差分变小。例如，控制器27也可以将本次的距离参数D和上次的距离参数D的平均值确定为本次的距离参数D。或者，控制器27也可以忽略本次的距离参数D，将与上次的距离参数D相同的值确定为本次的距离参数D。
图12是表示变形例子的作业机械1的控制系统的结构的框图。如图12所示，作业机械1的控制系统也可以具备显示器46。显示器46例如是LCD(liquid crystal display；液晶显示)、有机EL(electroluminescence；电致发光)显示器、或者CRT(cathode ray tube；阴极射线管)显示器等。控制器27也可以将从拍摄图像检测出的特定物体的类别和距离附加在拍摄图像中并使显示器46显示。另外，显示器46也可以被搭载在作业机械1上。或者，显示器46也可以被配置在作业机械1的外部。
工业实用性
根据本发明，可一面考虑周围的环境，一面以自动方式进行由作业机械进行的作业。
标号说明
1 作业机械
41－44 四周监视摄像机
271 处理器
45 输出装置
46 显示器

Claims (22)

1.一种系统，具备：
作业机械；
摄像机，拍摄所述作业机械的四周；以及
处理器，
所述处理器
获取用于表示由所述摄像机拍摄的拍摄图像的图像数据，
通过对特定物体的图像、至所述特定物体为止的距离进行使用了已训练的物体检测模型的图像分析，从所述图像数据获取在所述拍摄图像内存在的所述特定物体、以及从所述作业机械至所述特定物体为止的距离，
在所述拍摄图像中检测出所述特定物体时，基于从所述作业机械至所述特定物体为止的距离，控制所述作业机械。
2.如权利要求1所述的系统，其中，
所述处理器
在所述拍摄图像中检测出多个所述特定物体时，将从所述作业机械至所述多个特定物体各自的距离之中最短的距离选择为距离参数，
基于所述距离参数控制所述作业机械。
3.如权利要求2所述的系统，其中，
所述处理器
在所述距离参数为规定的距离阈值以上时，通过所述作业机械以自动方式进行规定的作业的第1控制模式，控制所述作业机械，
在所述距离参数小于所述规定的距离阈值时，通过与所述第1控制模式不同的第2控制模式，控制所述作业机械。
4.如权利要求3所述的系统，其中，
所述处理器
获取用于表示所述作业机械的相互不同方向的多张拍摄图像的多个图像数据，
通过使用了所述物体检测模型的图像分析，在所述多张拍摄图像的各个拍摄图像中检测出所述特定物体时，对于所述多张拍摄图像的各个拍摄图像确定所述距离参数，
在所述多张拍摄图像的各个拍摄图像的所述距离参数之中的至少一个距离参数小于所述规定的距离阈值时，通过所述第2控制模式，控制所述作业机械。
5.如权利要求3或4所述的系统，其中，
所述作业机械包含输出装置，
所述处理器在所述第2控制模式中使所述输出装置输出警报。
6.如权利要求3至5中任意一项所述的系统，其中，
所述处理器在所述第2控制模式中比所述第1控制模式进一步限制所述作业机械的动作。
7.如权利要求3至6中任意一项所述的系统，其中，
所述处理器在所述第2控制模式中使所述作业机械停止。
8.如权利要求1至7中任意一项所述的系统，其中，
所述处理器在每个规定时间获取所述距离，
在本次的距离和上次的距离的差分大于规定的阈值时，校正所述本次的距离，使得所述差分减小。
9.如权利要求1至8中任意一项所述的系统，其中，
所述摄像机为单目摄像机。
10.如权利要求1至9中任意一项所述的系统，其中，
所述特定物体包含人。
11.一种方法，其为为了控制作业机械而通过处理器执行的方法，具备以下步骤：
获取用于表示拍摄了所述作业机械的四周的拍摄图像的图像数据；
通过对特定物体的图像、至所述特定物体为止的距离进行使用了已训练的物体检测模型的图像分析，从所述图像数据获取在所述拍摄图像内存在的所述特定物体、以及从所述作业机械至所述特定物体为止的距离；以及
在所述拍摄图像中检测出所述特定物体时，基于从所述作业机械至所述特定物体为止的距离，控制所述作业机械。
12.如权利要求11所述的方法，还具备以下步骤：
在所述拍摄图像中被检测出多个所述特定物体时，将从所述作业机械至所述多个特定物体各自的距离之中最短的距离选择为距离参数；以及
基于所述距离参数，控制所述作业机械。
13.如权利要求12所述的方法，还具备以下步骤：
在所述距离参数为规定的距离阈值以上时，通过所述作业机械以自动方式进行规定的作业的第1控制模式，控制所述作业机械；以及
在所述距离参数小于所述规定的距离阈值时，通过与所述第1控制模式不同的第2控制模式，控制所述作业机械。
14.如权利要求13所述的方法，还具备以下步骤：
获取用于表示所述作业机械的相互不同方向的多张拍摄图像的多个图像数据；
通过使用了所述物体检测模型的图像分析，在所述多张拍摄图像的各个拍摄图像中检测出所述特定物体时，对于所述多张拍摄图像的各个拍摄图像确定所述距离参数；以及
在所述多张拍摄图像的各个拍摄图像的所述距离参数之中的至少一个距离参数小于所述规定的距离阈值时，通过所述第2控制模式，控制所述作业机械。
15.如权利要求13或14所述的方法，其中，
所述作业机械包含输出装置，
通过所述第2控制模式控制所述作业机械的步骤包含：使所述输出装置输出警报的步骤。
16.如权利要求13至15中任意一项所述的方法，其中，
通过所述第2控制模式控制所述作业机械的步骤包含：比所述第1控制模式进一步限制所述作业机械的动作的步骤。
17.如权利要求13至16中任意一项所述的方法，其中，
在所述第2控制模式中控制所述作业机械的步骤包含：使所述作业机械停止的步骤。
18.如权利要求11至17中任意一项所述的方法，其中，
所述特定物体包含人。
19.一种系统，具备：
作业机械；
摄像机，拍摄所述作业机械的四周；
显示器；以及
处理器，
所述处理器
获取用于表示由所述摄像机拍摄的拍摄图像的图像数据；
通过对特定物体的图像、至所述特定物体为止的距离进行使用了已训练的物体检测模型的图像分析，从所述图像数据获取在所述拍摄图像内存在的所述特定物体、以及从所述作业机械至所述特定物体为止的距离；以及
将表示所述特定物体的信息和表示所述距离的信息附加在所述拍摄图像中并使所述显示器显示。
20.一种训练数据，其为用于训练物体检测模型的训练数据，
所述训练数据具备：
表示作业机械附近的图像的图像数据；
所述图像中存在的特定物体的类别信息；
所述图像中的所述特定物体的位置信息；以及
与所述特定物体有关的距离信息。
21.一种制造方法，其为物体检测模型的制造方法，
所述制造方法具备以下步骤：
获取训练数据，所述训练数据包含：表示作业机械附近的图像的图像数据、所述图像中存在的特定物体的类别信息、所述图像中的所述特定物体的位置信息、以及与所述特定物体有关的距离信息；以及
通过所述训练数据训练模型。
22.一种方法，其为被计算机执行的方法，
所述方法具备以下步骤：
获取作业机械附近的图像；以及
通过对特定物体的图像和至所述特定物体为止的距离进行使用了已训练的物体检测模型的图像分析，检测所述拍摄图像内存在的所述特定物体和从所述作业机械至所述特定物体为止的距离。
CN201980026485.2A 2018-09-10 2019-08-26 作业机械的控制系统及方法 Pending CN111989440A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018169158A JP7160606B2 (ja) 2018-09-10 2018-09-10 作業機械の制御システム及び方法
JP2018-169158 2018-09-10
PCT/JP2019/033244 WO2020054366A1 (ja) 2018-09-10 2019-08-26 作業機械の制御システム及び方法

Publications (1)

Publication Number Publication Date
CN111989440A true CN111989440A (zh) 2020-11-24

Family

ID=69778497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026485.2A Pending CN111989440A (zh) 2018-09-10 2019-08-26 作业机械的控制系统及方法

Country Status (5)

Country Link
US (1) US20210310219A1 (zh)
JP (1) JP7160606B2 (zh)
CN (1) CN111989440A (zh)
DE (1) DE112019001524T5 (zh)
WO (1) WO2020054366A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651593A (zh) * 2020-11-30 2021-04-13 东北农业大学 一种基于北斗系统的农业机组作业参数测试及分析决策系统及方法
CN115143930A (zh) * 2022-06-27 2022-10-04 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
WO2023287745A1 (en) * 2021-07-12 2023-01-19 Caterpillar Inc. Systems and methods for improving machine performance based on machine application identification
CN115143930B (zh) * 2022-06-27 2024-05-24 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202100000242A1 (it) * 2021-01-07 2022-07-07 Cnh Ind Italia Spa Metodo per rilevare una missione di un veicolo da lavoro o agricolo attraverso una rete neurale e un'unità di controllo che implementa il metodo
US20230265640A1 (en) * 2022-02-24 2023-08-24 Caterpillar Inc. Work machine 3d exclusion zone
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine
US20230419525A1 (en) * 2022-06-24 2023-12-28 Caterpillar Inc. Systems and methods for estimating object weight using camera images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
CN202320088U (zh) * 2011-12-07 2012-07-11 中联重科股份有限公司 工程车辆及其作业用防撞装置
CN103362172A (zh) * 2012-03-29 2013-10-23 哈尼施费格尔技术公司 用于挖掘机的碰撞探测和减缓系统及其方法
JP2016053904A (ja) * 2014-09-04 2016-04-14 株式会社日本自動車部品総合研究所 車載装置、車載システム
JP2017142591A (ja) * 2016-02-09 2017-08-17 トヨタ自動車株式会社 車両用支援システム
JP2017147759A (ja) * 2017-05-08 2017-08-24 住友建機株式会社 ショベル
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018077190A (ja) * 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233853B2 (en) * 2004-10-29 2007-06-19 Deere & Company Multiple mode operational system for work vehicle braking
JP4598653B2 (ja) * 2005-05-13 2010-12-15 本田技研工業株式会社 衝突予知装置
JP4760272B2 (ja) * 2005-09-30 2011-08-31 アイシン精機株式会社 車両周辺監視装置及びセンサユニット
JP4862518B2 (ja) * 2006-06-29 2012-01-25 パナソニック株式会社 顔登録装置、顔認証装置および顔登録方法
DK2053539T3 (da) * 2007-10-26 2012-03-26 Sick Ag Klassificering af objekter samt detektering af deres position og orientering i rummet
US9043129B2 (en) * 2010-10-05 2015-05-26 Deere & Company Method for governing a speed of an autonomous vehicle
JP5722127B2 (ja) * 2011-06-07 2015-05-20 株式会社小松製作所 作業車両の周辺監視装置
JP5772714B2 (ja) * 2012-05-16 2015-09-02 株式会社デンソー 灯火検出装置及び車両制御システム
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9167214B2 (en) * 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
US20150070498A1 (en) * 2013-09-06 2015-03-12 Caterpillar Inc. Image Display System
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
US9529347B2 (en) * 2014-08-28 2016-12-27 Caterpillar Inc. Operator assistance system for machine
DE102015010011B4 (de) * 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP2018147286A (ja) * 2017-03-07 2018-09-20 オムロン株式会社 対象物解析装置、対象物解析方法、学習装置及び学習方法
JP6541734B2 (ja) 2017-09-06 2019-07-10 住友建機株式会社 ショベル

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
CN202320088U (zh) * 2011-12-07 2012-07-11 中联重科股份有限公司 工程车辆及其作业用防撞装置
CN103362172A (zh) * 2012-03-29 2013-10-23 哈尼施费格尔技术公司 用于挖掘机的碰撞探测和减缓系统及其方法
JP2016053904A (ja) * 2014-09-04 2016-04-14 株式会社日本自動車部品総合研究所 車載装置、車載システム
JP2017142591A (ja) * 2016-02-09 2017-08-17 トヨタ自動車株式会社 車両用支援システム
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018077190A (ja) * 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム
JP2017147759A (ja) * 2017-05-08 2017-08-24 住友建機株式会社 ショベル

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651593A (zh) * 2020-11-30 2021-04-13 东北农业大学 一种基于北斗系统的农业机组作业参数测试及分析决策系统及方法
CN112651593B (zh) * 2020-11-30 2023-04-18 东北农业大学 一种基于北斗系统的农业机组作业参数测试及分析决策系统及方法
WO2023287745A1 (en) * 2021-07-12 2023-01-19 Caterpillar Inc. Systems and methods for improving machine performance based on machine application identification
CN115143930A (zh) * 2022-06-27 2022-10-04 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
CN115143930B (zh) * 2022-06-27 2024-05-24 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机

Also Published As

Publication number Publication date
WO2020054366A1 (ja) 2020-03-19
US20210310219A1 (en) 2021-10-07
DE112019001524T5 (de) 2020-12-31
JP2020041326A (ja) 2020-03-19
JP7160606B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
JP7160606B2 (ja) 作業機械の制御システム及び方法
CN111757962B (zh) 作业机械
CN111771031B (zh) 用于控制作业机械的系统及方法
US11802391B2 (en) System and method for controlling work machine
US11914380B2 (en) System including conveyance vehicle and work machine that loads materials onto conveyance vehicle, method and work machine
US10279930B2 (en) Work surface failure prediction and notification system
US11933017B2 (en) Work machine
CN111757961B (zh) 用于控制作业机械的系统以及方法
US11788254B2 (en) System and method for controlling work machine
US20210310213A1 (en) System and method for controlling work machine that loads materials onto conveyance vehicle
CN113661295B (zh) 挖土机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination