CN113396257B - 工程机械的目标位置推定装置 - Google Patents

工程机械的目标位置推定装置 Download PDF

Info

Publication number
CN113396257B
CN113396257B CN201980091912.5A CN201980091912A CN113396257B CN 113396257 B CN113396257 B CN 113396257B CN 201980091912 A CN201980091912 A CN 201980091912A CN 113396257 B CN113396257 B CN 113396257B
Authority
CN
China
Prior art keywords
target position
region
information
operator
construction machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980091912.5A
Other languages
English (en)
Other versions
CN113396257A (zh
Inventor
山下耕治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN113396257A publication Critical patent/CN113396257A/zh
Application granted granted Critical
Publication of CN113396257B publication Critical patent/CN113396257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本发明的工程机械的目标位置推定装置能够精度良好地推定工程机械的操作人员预想的远端装置的作业目标位置。控制器(40)根据姿势检测部(31)和操作检测部(32)各自的检测结果，计算预测轨迹区域A2。预测轨迹区域A2是基于预测远端装置(25)通过的轨迹亦即预测轨迹A1的区域。控制器(40)根据视线检测部(33)的检测结果，计算注视点区域B2。注视点区域B2是基于操作人员O的注视点B1的区域。控制器(40)将目标位置T设定在预测轨迹区域A2与注视点区域B2重叠的区域内。

Description

工程机械的目标位置推定装置
技术领域
本发明涉及推定工程机械的操作人员的作业目标位置的工程机械的目标位置推定装置。
背景技术
专利文献1中记载了推定驾驶员所注视的区域的技术。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2018-185763号。
该文献所记载的技术根据驾驶员的视线方向来推定驾驶员所注视的区域(目标位置)。然而，与例如在车道上行驶的汽车的驾驶员等相比，工程机械的操作人员会对各种各样的位置作为目标来进行观察。因此，仅根据操作人员的视线方向，有可能令目标位置的推定精度不足。
发明内容
本发明的目的在于提供一种能够精度良好地推定工程机械的操作人员的作业目标位置的工程机械的目标位置推定装置。
本发明所提供的工程机械的目标位置推定装置推定由操作人员针对工程机械预想的目标位置，所述工程机械具有包含允许操作人员搭乘的驾驶室的机械主体、被装配于所述机械主体的附属设备、以及被设置于所述附属设备的远端部的远端装置，该工程机械的目标位置推定装置包括：姿势检测部，检测关于所述工程机械的姿势的信息亦即姿势信息；操作检测部，检测关于操作人员对所述工程机械进行的操作的信息亦即操作信息；视线检测部，检测关于操作人员的视线的信息亦即视线信息；距离信息检测部，检测所述工程机械的前方区域的距离信息；以及，控制器，在操作人员操作所述工程机械而使所述远端装置移动时，推定操作人员所预想的所述远端装置的目标位置；其中，所述控制器包括：轨迹区域设定部，根据所述姿势检测部所检测的所述姿势信息及所述操作检测部所检测的所述操作信息，设定预测轨迹区域，该预测轨迹区域是包含预测所述远端装置通过的轨迹亦即预测轨迹的区域且是与所述距离信息相关联的区域；注视区域设定部，根据所述视线检测部所检测的所述视线信息，设定注视区域，该注视区域是包含操作人员的注视点的区域且是与所述距离信息相关联的区域；以及，目标位置推定部，根据所述轨迹区域设定部所设定的所述预测轨迹区域与所述注视区域设定部所设定的所述注视区域相互重叠的区域，推定所述远端装置的所述目标位置。
附图说明
图1是具备本发明的一实施方式所涉及的目标位置推定装置的工程机械的侧视图。
图2是本发明的一实施方式所涉及的工程机械的俯视图。
图3是本发明的一实施方式所涉及的目标位置推定装置的方块图。
图4是表示本发明的一实施方式所涉及的目标位置推定装置的动作的流程图。
图5是表示根据本发明的一实施方式所涉及的目标位置推定装置所参照的操作人员的注视点的分布的图。
具体实施方式
参照图1至图5，对本发明的一实施方式所涉及的被应用于工程机械1的目标位置推定装置30进行说明。
工程机械1是利用远端装置25进行作业的机械。工程机械1例如是进行建筑作业的工程机械，更详细而言是挖掘机等。工程机械1具备下部行走体11和上部回转体15(机械主体)。下部行走体11是使工程机械1行走的部分。上部回转体15可相对于下部行走体11转动，并且被配置在下部行走体11的上方。上部回转体15具备允许操作人员搭乘的驾驶室16。
驾驶室16是操作工程机械1的操作人员O进行操作的操纵室。驾驶室16具备座席17和操作部18。座席17是让操作人员O就座的座位。操作部18是用于操作工程机械1的装置，供操作人员O操作。在通过操作部18进行的操作中包含有：使下部行走体11行走的操作；使上部回转体15相对于下部行走体11回转的操作；以及使附属设备20动作的操作。操作部18例如可以具备杆，也可以具备踏板。
附属设备20被安装于上部回转体15，是进行作业的装置。附属设备20例如通过液压缸而被驱动。附属设备20具备动臂21、斗杆23、远端装置25。动臂21可摆动(起伏)地被安装于上部回转体15。斗杆23可摆动地被安装于动臂21。
远端装置25是与作业对象(例如砂土等)接触的装置。远端装置25被设置于附属设备20的远端部。例如，远端装置25可摆动地被安装于斗杆23。远端装置25例如可以是铲取砂土的铲斗，也可以是剪切式装置(破碎机、切具等)(未图示)，也可以是碎断器(未图示)等。作为与远端装置25相关联的位置而有特定位置25t(详细情况后述)。
本实施方式所涉及的目标位置推定装置30是推定图2所示的操作人员O欲进行作业的位置(作业目标位置)的装置。目标位置推定装置30根据指定的信息计算所述目标位置T。目标位置推定装置30在操作人员O操作工程机械1而欲使远端装置25(更详细而言为特定位置25t)移动时推定操作人员O预想的远端装置25的目标位置。目标位置推定装置30被应用于工程机械1，并且被配置(安装、搭载)于工程机械1。此外，目标位置推定装置30的构成部分的一部分可以被配置于工程机械1的外部。如图3所示，目标位置推定装置30具备姿势检测部31、操作检测部32、视线检测部33、距离信息检测部34、种类信息获取部35、操作人员信息获取部36、除外区域获取部37、控制器40。
姿势检测部31检测关于图1所示的工程机械1的姿势的信息亦即姿势信息。具体而言，姿势检测部31(参照图3)检测上部回转体15相对于下部行走体11的回转角度、以及附属设备20的姿势。附属设备20的姿势中例如包含动臂21相对于上部回转体15的摆动角度、斗杆23相对于动臂21的摆动角度、以及远端装置25相对于斗杆23的摆动角度。姿势检测部31可以具备检测摆动角度的摆动角度传感器。姿势检测部31包含摄像机，可以根据所述摄像机获取的图像信息来检测工程机械1的至少局部(例如附属设备20)的姿势。所述“摄像机”可以被兼用作距离信息检测部34。姿势检测部31也可以按指定的时间间隔来检测附属设备20的姿势，从而检测远端装置25的移动速度。
操作检测部32(参照图3)检测关于操作人员O对工程机械1进行的操作的信息亦即操作信息。操作检测部32检测操作人员O对操作部18进行的操作，具体而言，例如检测操作部18所受的操作的操作量及操作方向。
视线检测部33(参照图2、图3)检测操作人员O的视线B0(关于视线的信息亦即视线信息)。视线检测部33具备朝向座席17的摄像机，通过拍摄操作人员O的眼来检测所述视线B0。
距离信息检测部34(参照图2、图3)检测工程机械1的前方区域的距离信息，更详细而言检测上部回转体15的前方的距离信息。上述“工程机械1的前方”是从上部回转体15的回转中心观察时的远端装置25的配置侧(方向)。距离信息检测部34检测工程机械1的周围的区域且是包含操作人员O的视野的区域的距离信息。距离信息检测部34所检测的距离信息是包含从操作人员O等的指定的基准点观察的周围的物体的方向(角度)及距离的三维信息，是包含纵深的信息的图像(映像)信息。距离信息检测部34例如可以具备TOF(Time ofFlight)摄像机，也可以具备复眼摄像机。距离信息检测部34所检测的距离信息能够被变换为指定的三维坐标。
种类信息获取部35(参照图3)获取关于远端装置25的种类的信息(种类信息)。种类信息获取部35例如可以根据由操作人员O等通过驾驶室16内的未图示的输入部进行的手动操作而输入的信息，来获取远端装置25的种类信息。种类信息获取部35也可以通过根据由摄像机(例如距离信息检测部34)等所获取的图像而自动地辨别远端装置25的种类，来获取远端装置25的种类信息。
操作人员信息获取部36(参照图3)获取关于操作工程机械1的操作人员O的信息(操作人员O信息)。操作人员O信息可以包含操作人员O是谁这样的信息(固有信息、个人信息)。操作人员O信息可以包含关于后述的预测轨迹区域A2(参照图2)和注视点区域B2(参照图2)中的至少其中之一的设定的信息。操作人员信息获取部36(参照图3)可以根据由操作人员自身通过所述输入部进行的手动操作而输入的信息，来获取操作人员O信息。操作人员信息获取部36也可以从操作人员O所持有的装置(例如无线标签等)获取操作人员O信息。操作人员信息获取部36也可以从摄像机所拍摄的操作人员O的图像获取操作人员O信息(是谁)。
除外区域获取部37(参照图3)获取关于应该从图2所示的目标位置T中被除外的区域亦即除外区域D的信息(详细情况后述)。
如图3所示，控制器40进行信号的输入输出、信息的存储、运算(计算、判定等)。控制器40通过进行关于目标位置T(参照图2)的推定的运算，来推定远端装置25的目标位置T。控制器40具有轨迹区域设定部、注视区域设定部、目标位置推定部、判定部。轨迹区域设定部根据姿势检测部31所检测的所述姿势信息及操作检测部32所检测的所述操作信息，来设定预测轨迹区域A2，该预测轨迹区域A2是包含预测远端装置25通过的轨迹亦即预测轨迹A1的区域，且是与所述距离信息相关联的区域。注视区域设定部根据视线检测部33所检测的所述视线信息，来设定注视点区域B2(注视区域)，该注视点区域B2是包含操作人员的注视点B1的区域，且是与所述距离信息相关联的区域。目标位置推定部根据所述轨迹区域设定部所设定的预测轨迹区域A2与所述注视区域设定部所设定的注视点区域B2相互重叠的区域，来推定远端装置25的目标位置T。判定部在所述目标位置推定部推定远端装置25的目标位置T之后判定远端装置25在指定时间内是否到达目标位置T。此外，上述的“与所述距离信息相关联的区域”可以是由基于所述距离信息的所述三维坐标来表达的区域。
(动作)
目标位置推定装置30如下述那样动作。下面，主要对控制器40的构成参照图3并且对目标位置推定装置30所执行的各步骤(S10至S43)参照图4进行说明。图2所示的目标位置推定装置30的动作概要如下。控制器40(轨迹区域设定部)根据附属设备20的姿势及操作部18所受的操作，计算远端装置25的预测轨迹区域A2(步骤S20)。其次，控制器40(注视区域设定部)根据操作人员O的视线B0，计算注视点区域B2(步骤S30)。此外，控制器40(目标位置推定部)将从预测轨迹区域A2与注视点区域B2重叠的重叠区域C中去除了除外区域D的区域作为目标位置T。目标位置推定装置30的动作的详细情况如下。
距离信息检测部34(参照图3)所检测的距离信息被输入控制器40(步骤S10)。
(关于预测轨迹区域A2的计算(步骤S20))
控制器40根据姿势检测部31(参照图3)所检测的所述姿势信息及操作检测部32(参照图3)所检测的所述操作信息，计算预测轨迹区域A2(步骤S20)。预测轨迹区域A2的计算的详细情况下如下。
姿势检测部31(参照图3)所检测的工程机械1的姿势被输入控制器40(步骤S21)。控制器40(轨迹区域设定部)根据工程机械1的姿势，计算远端装置25的位置(步骤S22)。此时，控制器40例如计算远端装置25相对于指定的基准位置的位置。上述的“基准位置”例如可以是距离信息检测部34的位置，也可以是上部回转体15的(例如驾驶室16的)特定的位置。此外，远端装置25相对于基准位置的位置的计算所必要的信息且是工程机械1的姿势以外的信息预先(在远端装置25的位置的计算之前)被设定于控制器40。具体而言，例如动臂21的基端部相对于基准位置的位置、以及动臂21、斗杆23及远端装置25各自的尺寸及形状等信息被预先设定于控制器40(被存储于控制器40内的存储部)。
控制器40使远端装置25的位置的信息与所述距离信息相关联(步骤S23)。更详细而言，控制器40使远端装置25相对于基准位置的实际的位置的信息与距离信息的数据(坐标)上的位置相关联(相对应或叠加)。此外，作为该相关联所必要的信息与上述同样地被预先设定于控制器40。具体而言，例如距离信息检测部34相对于基准位置的位置及检测方向等信息被预先设定于控制器40。
操作检测部32(参照图3)所检测的操作被输入控制器40(步骤S24)。
控制器40根据姿势检测部31(参照图3)及操作检测部32(参照图3)各自的检测结果，计算预测轨迹A1(步骤S25)。预测轨迹A1是预测远端装置25(更详细而言为特定位置25t)通过(经过)的轨迹。更详细而言，控制器40在假定为操作检测部32所检测的操作从现在(现在时刻)起持续至经过一定时间为止的情况下，对预测远端装置25通过的预测轨迹A1进行检测。此外，图2中表示了在从斗杆23叠合于动臂21的状态起该斗杆23相对于动臂21展开并且上部回转体15相对于下部行走体11向左回转的情况下的预测轨迹A1。此情况下，预测轨迹A1被配置在空中。
此外，控制器40(轨迹区域设定部)可以根据某些条件来改变预测轨迹A1。例如，控制器40也可以根据种类信息获取部35所获取的远端装置25的种类信息来改变(设定)预测轨迹A1。此时的详细情况如下。预想操作人员O在作业时所注视的位置基于远端装置25的种类的不同而不同。具体而言，例如在远端装置25为铲斗的情况下，预想操作人员O注视铲斗的远端(特定位置25t)。此外，例如在远端装置25为剪切式装置的情况下，预想操作人员O注视展开的剪切部之间的空间。将关于远端装置25的位置且是预想操作人员O在作业时所注视的位置定义为特定位置25t。而且，控制器40将预测该特定位置25t通过的轨迹作为预测轨迹A1来计算(设定)。
此外，控制器40计算(推定)预测轨迹区域A2(步骤S27)。预测轨迹区域A2是包含预测轨迹A1的区域，其根据预测轨迹A1而被计算。预测轨迹区域A2是在距离信息中的区域(数据上的位置的范围)。换言之，预测轨迹区域A2与距离信息被相关联。将从预测轨迹A1起至预测轨迹区域A2的外侧端部(边界)的距离作为距离L。将在第1方向上的距离L定义为距离La，将与第1方向不同的第2方向上的距离L定义为距离Lb。
对预测轨迹区域A2的阔度进行说明。控制器40欲推定的目标位置T在预测轨迹区域A2与注视点区域B2的重叠区域C的范围内这一情况为条件。由此，预测轨迹区域A2是成为目标位置T的候选的区域。因此，预测轨迹区域A2越窄(距离L越短)，则成为目标位置T的候选的区域越窄，能够提高目标位置T的精度。另一方面，预测轨迹区域A2越窄，则注视点区域B2(详细情况后述)不包含在预测轨迹区域A2中从而不能确定目标位置T的可能性增大。此外，预测轨迹区域A2越宽阔(距离L越长)，则成为目标位置T的候选的区域越宽阔，因此，注视点区域B2易于被包含在预测轨迹区域A2中。另一方面，预测轨迹区域A2越宽阔，则目标位置T的精度会变差(但取决于注视点区域B2的阔度)。
与预测轨迹A1对应的预测轨迹区域A2的范围(以下有时简称为“预测轨迹区域A2的范围”)可设定为各种各样。例如预测轨迹区域A2的阔度、以及与预测轨迹A1对应的预测轨迹区域A2的范围的偏离(偏移)等可设定为各种各样。[例子1] 预测轨迹区域A2可以是距预测轨迹A1规定的距离L以内的范围(距离L可以是规定值)。此情况下，与预测轨迹A1对应的预测轨迹区域A2的范围的偏离不存在。[例子1a] 距离L可以是0。预测轨迹区域A2可以与预测轨迹A1相一致，可以是线状的区域。[例子1b] 在距离L为规定值的情况下，距离L可以是正数。预测轨迹区域A2可以是在空间上具有广度的范围。
[例子2] 距离L可以不是规定值。[例子2a] 距离L可以根据与预测轨迹A1对应的方向而被设定为不同(可以改变)。具体而言，例如第1方向上的距离La(例如相对于预测轨迹A1向工程机械1侧的距离La)和第2方向上的距离Lb(例如相对于预测轨迹A1向工程机械1侧相反侧的距离Lb)可以彼此不同。[例子2b] 距离L可以根据距工程机械1的特定位置的距离而有所不同。例如距驾驶室16越远，则距离L也可以被设定得越大。例如越是距当前的远端装置25的位置远的位置，则距离L被设定得越大。
[例子3] 预测轨迹区域A2的范围可以根据某些条件而被改变(被设定)。[例子3a]预测轨迹区域A2的范围可以根据操作人员O等输入的信息(例如距离L的值等)而被设定。
[例子3b] 控制器40可以以根据远端装置25的移动速度而使与预测轨迹A1对应的预测轨迹区域A2的范围变化的方式来改变该范围。远端装置25的移动速度例如作为在步骤S22所计算的远端装置25的位置的每一单位时间的变化量而被算出。而且，由于远端装置25的移动速度越快，则操作人员O的实际的作业目标位置与预测轨迹A1的偏移变得越大，注视点区域B2不包含在预测轨迹区域A2中的可能性变得越高，因此，不能确定目标位置T的可能性有时会变得越高。因此，远端装置25的移动速度越快，则控制器40也可以将预测轨迹区域A2设定得越宽阔。此例子只不过是一个例子而已(以下的具体例也是同样)，远端装置25的移动速度越快，控制器40也可以将预测轨迹区域A2设定得越窄。
[例子3c] 控制器40可以根据姿势检测部31所检测的附属设备20的姿势(附属设备姿势信息)，改变与预测轨迹A1对应的预测轨迹区域A2的范围。更详细而言，根据附属设备20的姿势来计算预测轨迹A1(步骤S21至S25)，此外，也可以以根据附属设备20的姿势而使与预测轨迹A1对应的预测轨迹区域A2的范围变化的方式来改变该范围。例如附属设备20的水平方向上的长度(例如从驾驶室16至远端装置25的距离)越长，则操作人员O的实际的作业目标位置与预测轨迹A1的偏移变得越大，不能确定目标位置T的可能性有时会变得越高。因此，附属设备20的水平方向上的长度越长，则控制器40也可以将预测轨迹区域A2设定得越宽阔(使距离L越长)。
[例子3d] 控制器40可以根据种类信息获取部35所获取的关于远端装置25的种类的信息，改变预测轨迹区域A2的范围。
[例子3e] 控制器40可以根据操作人员信息获取部36所获取的操作人员O的信息，改变与预测轨迹A1对应的预测轨迹区域A2的范围。具体而言，例如基于操作人员O的熟练度，实际的远端装置25的轨迹与预测轨迹A1的偏移的大小有所不同。例如操作人员O越是熟练人员，则越能够在维持当前的操作部18的操作状态的情况下使远端装置25移动，因此，实际的远端装置25的轨迹与预测轨迹A1的偏移较小。另一方面，操作人员O越是非熟练人员，则无用的操作越多，操作部18的操作状态易于发生变化，实际的远端装置25的轨迹与预测轨迹A1的偏移较大。因此，操作人员O的熟练度越高，则控制器40也可以将预测轨迹区域A2设定得越窄，而操作人员O的熟练度越低，则也可以将预测轨迹区域A2设定得越宽阔。此外，操作倾向(习惯)有时会因操作人员O的不同而不同。例如实际的远端装置25的轨迹与预测轨迹A1的偏移的倾向(偏移的大小、方向等)有时会因操作人员O的不同而不同。此外，注视点区域B2与预测轨迹A1的偏移的倾向有时会因操作人员O的不同而不同。因此，控制器40可以根据操作人员O来改变预测轨迹区域A2。
[例子3f] 控制器40可以通过学习来改变(调整)预测轨迹区域A2的范围。例如，控制器40的判定部在推定目标位置T之后(后述的步骤S43之后)能够判定远端装置25(更详细而言为特定位置25t)在第1指定时间内是否到达目标位置T。而且，控制器40(轨迹区域设定部)能够根据该判定结果来改变预测轨迹区域A2的范围。具体而言，例如在工程机械1的作业开始时尽可能宽阔地预先设定预测轨迹区域A2，从而使注视点区域B2易于包含在预测轨迹区域A2中。而且，在作业中，进行目标位置T的推定。在目标位置T被推定且远端装置25实际上在某个时间(第1指定时间)内移动到目标位置T的情况下，目标位置T的推定便为恰当。此情况下，控制器40为了提高目标位置T的精度而缩窄预测轨迹区域A2。例如控制器40可以在目标位置T的推定为恰当的次数超过指定次数的情况下缩窄预测轨迹区域A2。另一方面，在目标位置T被推定之后，在远端装置25在第1指定时间内未移动到目标位置T时，目标位置T的推定便为不恰当。此情况下，通过扩宽预测轨迹区域A2，来扩大作为目标位置T的候选的区域。由此，操作人员O的实际的作业目标位置便易于包含在目标位置T中。
(关于注视点区域B2的计算(步骤S30))
控制器40根据视线检测部33(参照图3)的检测结果，计算(推定)注视点区域B2(步骤S30)。注视点区域B2的计算的详细情况如下。
视线检测部33所检测的操作人员O的视线B0的信息(方向)从视线检测部33被输入控制器40(步骤S31)。
控制器40使视线B0的信息与距离信息相关联(步骤S33)。更详细而言，控制器40使视线B0的实际的位置(例如视线B0的通过点的位置及方向)与距离信息的数据上的位置相关联(相对应或叠加)。此外，作为该相关联所必要的信息被预先设定于控制器40。具体而言，例如视线检测部33相对于基准位置的位置及检测方向等信息被预先设定于控制器40。
控制器40根据视线检测部33的检测结果，计算注视点B1(眼点位置)(步骤S35)。注视点B1是与操作人员O注视的实际的位置对应的距离信息上的位置(数据上的位置)。换言之，注视点B1是操作人员O的视线与地面相交的部分。此外，在其它的实施方式，注视点B1也可以是被远端装置25破碎的物体(对象物)、操作人员O的视线及地面相交的部分。
控制器40根据视线检测部33的检测结果，计算注视点区域B2(步骤S37)。注视点区域B2是距离信息中的数据上的区域(位置的范围)，是基于注视点B1的区域。与预测轨迹区域A2同样，注视点区域B2是成为目标位置T的候选的区域。注视点区域B2越窄，则成为目标位置T的候选的区域越窄，能够提高目标位置T的精度。另一方面，注视点区域B2越窄，则注视点区域B2不包含在预测轨迹区域A2中的可能性越大，不能确定目标位置T的可能性增大。此外，注视点区域B2越宽阔，则成为目标位置T的候选的区域越宽阔，注视点区域B2易于被包含在预测轨迹区域A2中。另一方面，注视点区域B2越宽阔，则目标位置T的精度会变差(但取决于预测轨迹区域A2的阔度)。
与注视点B1对应的注视点区域B2的范围(有时简称为“注视点区域B2的范围”)(例如阔度)可设定为各种各样。[例子4] 注视点区域B2可以与注视点B1相一致。注视点区域B2可以是点状或线状的区域。[例子4a] 此情况下，也可以将当前的(某个瞬间的)注视点B1作为注视点区域B2。[例子4b] 也可以将在某个时间内的注视点B1的轨迹作为注视点区域B2。该“某个时间”可以是规定时间，也可以与下述的第2指定时间等同样地被设定为各种各样(以下的[例子5b]的“某个时间”也是同样)。[例子5] 注视点区域B2可以是具有广度的区域。[例子5a] 此情况下，也可以将包含当前的(某个瞬间的1个点的)注视点B1的具有广度的区域作为注视点区域B2。[例子5b] 此外，也可以将包含在某个时间内的注视点B1的轨迹的具有广度的区域作为注视点区域B2。
[例子6] 可以将在操作人员O的注视点B1始终摇摆不定时所推定的该操作人员O特别注视的区域作为注视点区域B2。更详细而言，控制器40也可以如图5所示那样根据包含在某个时间(第2指定时间)内的频度的注视点B1的分布来设定注视点区域B2。此外，在图5，以点来表示的多个注视点B1中，仅有一部分的注视点B1被附予符号。[例子6a] 具体而言，注视区域设定部通过将所述距离信息分为多个区域并且在各区域测量包含注视点B1的次数，从而能够计算出注视点B1的频度的分布。控制器40(注视区域设定部)将在所述距离信息中的多个区域中注视点B1的频度大于阈值th1(注视点区域设定阈值)的区域作为注视点区域B2。[例子6a1] 例如，注视区域设定部可以将所述距离信息呈网格状地分为多个区域，计算出在各区域的注视点B1的频度的分布。[例子6a2] 在图5所示的例子中，表示了图5中的左右方向的注视点B1的频度的分布。[例子6a3] 也可以计算图5中的上下方向的注视点B1的频度的分布。
[例子7a] 在上述的[例子6]，获取注视点B1的分布的时间(第2指定时间)可以是规定时间。[例子7b] 在上述的[例子6]，用于决定注视点区域B2的阈值th1可以是规定值。
[例子8] 与注视点B1对应的注视点区域B2的范围(以下有时简称为“注视点区域B2范围”)可以根据某些条件而被改变(被设定)。具体而言，上述的第2指定时间及阈值th1中的至少其中之一可以根据某些条件而被改变。第2指定时间被设定得越长，则注视点区域B2越宽阔。阈值th1被设定得越小，则注视点区域B2越宽阔。[例子8a] 注视点B1与注视点区域B2的关系可以根据操作人员O等所输入的信息而被改变。
[例子8b] 控制器40可以根据图2所示的远端装置25的移动速度来改变(设定)注视点区域B2的范围。远端装置25的移动速度例如作为在步骤S22所计算的远端装置25的位置的每一单位时间的变化量而被算出。
[例子8c] 控制器40可以根据姿势检测部31所检测的附属设备20的姿势，改变注视点区域B2的范围。[例子8d] 控制器40可以根据种类信息获取部35所获取的关于远端装置25的种类信息，改变注视点区域B2的范围。
[例子8e] 控制器40可以根据操作人员信息获取部36所获取的操作人员O的信息，改变注视点区域B2，即，可以设定与注视点对应的注视点区域B2的范围。具体而言，例如，基于操作人员O的不同，注视实际的作业目标位置的时间以及注视点B1的摇摆不定的程度会存在差异。例如，通常，操作人员O越是熟练人员，则注视点B1的摇摆不定会越少。因此，操作人员O的熟练度越高，控制器40可以将注视点区域B2设定得越窄，此外，操作人员O的熟练度越低，可以将注视点区域B2设定得越宽阔。具体而言，例如在此情况下，控制器40可以将第2指定时间设定得较短，也可以将阈值th1设定得较高。
[例子8f] 控制器40可以通过学习来改变(调整)注视点区域B2的范围。例如，控制器40的判定部在所述目标位置推定部推定目标位置T之后(步骤S43之后)能够判定远端装置25(更详细而言为特定位置25t)在第3指定时间内是否到达目标位置T。而且，控制器40根据该判定结果来改变注视点区域B2。具体而言，例如与上述的[例子3f]同样地，在工程机械1的作业开始时尽可能预先使注视点区域B2宽阔，从而使注视点区域B2易于包含在预测轨迹区域A2中。而且，在工程机械1的作业中，进行目标位置T的推定。在目标位置T被推定后，且在远端装置25实际上在某个时间(第3指定时间)内到达目标位置T的情况下，目标位置T的推定便为恰当。此情况下，控制器40也可以为了提高目标位置T的精度而缩窄注视点区域B2。此外，控制器40也可以在目标位置T的推定为恰当的次数超过指定次数的情况下，缩窄注视点区域B2。另一方面，在目标位置T被推定之后，在远端装置25在第3指定时间内未移动到目标位置T时，目标位置T的推定便为不恰当。此情况下，控制器40可以通过扩宽注视点区域B2，来扩大成为目标位置T的候选的区域。由此，操作人员O的实际的作业目标位置便易于包含在目标位置T中。
操作人员O的实际的作业目标位置通常为1处，因此，注视点区域B2通常为1处。在图2所示的例子中，注视点区域B2为1处。另一方面，有可能出现满足注视点区域B2的条件的区域存在于多处(存在于彼此离开的位置)的情况。此情况下，也可以将满足注视点区域B2的条件的多个区域直接作为注视点区域B2。此外，在此情况下，也可以将包含上述“多个区域”那样的范围且是比当前的注视点区域B2宽阔的1处的范围作为新的注视点区域B2。
(目标位置T的计算(步骤S40))
控制器40根据预测轨迹区域A2及注视点区域B2，计算(推定)目标位置T(步骤S40)。该计算的详细情况如下。
控制器40计算在预测轨迹区域A2的范围内且在注视点区域B2的范围内的重叠区域C(步骤S41)。此外，在重叠区域C不存在的情况下，不计算目标位置T。此情况下较为理想的是，例如从下一次处理起，将预测轨迹区域A2和注视点区域B2中的至少其中之一设定为比当前(此次的处理)更宽阔。
其次，由除外区域获取部37(参照图3)所获取的除外区域D被输入控制器40。除外区域D是应该从目标位置T中被除外的区域。具体而言，例如在工程机械1进行挖掘砂土的作业的情况下，砂土的搬运车辆存在的区域以及建筑物存在的区域等不是操作人员O的实际的作业目标位置。因此，不会成为实际的作业目标位置的这样的区域被设定为除外区域D。于是，控制器40将除外区域D从重叠区域C中予以除外(步骤S42)。除外区域D例如也可以根据操作人员O等输入的信息而被获取。除外区域D可以根据距离信息检测部34的距离信息而自动地被设定，也可以根据距离信息检测部34以外的检测部(摄像机等)所获取的图像而自动地被设定。
控制器40(目标位置推定部)将从重叠区域C中被除外的除外区域D的区域设定为目标位置T(步骤S43)。目标位置T例如按指定的时间而被更新。目标位置T可以进行各种各样的利用，例如可以被用于操作的辅助、操作的指导、操作的训练、操作的自动化(例如基于视线B0的操作)等。
(背景的例子)
建筑现场人手不足已成为问题，尤其是因熟练操作人员不足而导致建筑现场的生产率下降已成为问题。更详细而言，与熟练操作人员相比，非熟练操作人员进行无用的操作较多难以进行稳定的作业，因此，这成为生产率下降的主要原因。更具体而言，非熟练操作人员即使确定到作业目标位置，有时也不具有迅速地且没有多余动作地使远端装置25移动到该位置等的技术水平。此外，基于工程机械1的种类(大小或者是否为后方小回转机型等)而会使上部回转体15及附属设备20的惯性力及特性发生变化。因此，即使是已适应了某一机型的操作的操作人员，在每次工程机械1的种类变化时，直至理解到该工程机械1的特性而能够进行操作为止也是花费时间的。为了解决上述的问题，可考虑操作的辅助、操作的指导、操作的训练、操作的自动化等，但是为了使它们得以实现而必须确定具体的目标位置T。关于该背景的例子的问题，并不一定由本实施方式来解决。
此外，汽车的驾驶员的行走目标位置通常是在所决定的行车道上。另一方面，在工程机械1的情况下，各种各样的位置会成为操作人员O的作业目标位置。在工程机械1的情况下，例如操作人员O会对欲成形的泥土的形状加以考虑现状的泥土的状态或形状等，而在一定程度自由的范围内决定作业目标位置。因此，仅根据操作人员O的视线B0的信息来推定作业目标位置是困难的。另一方面，在本实施方式，能够如下述那样推定工程机械1的操作人员O的作业目标位置。
(效果)
图2所示的目标位置推定装置30的效果如下。此外，关于控制器40参照图3。
目标位置推定装置30被用于具备被设置在附属设备20的远端部上的远端装置25的工程机械1。如图3所示，目标位置推定装置30具备姿势检测部31、操作检测部32、视线检测部33、距离信息检测部34、控制器40。姿势检测部31检测图2所示的工程机械1的姿势。操作检测部32(参照图3)检测工程机械1的操作。视线检测部33(参照图3)检测操作工程机械1的操作人员O的视线B0。距离信息检测部34(参照图3)检测工程机械1的前方区域的距离信息。控制器40推定操作人员O的目标位置T。
图3所示的控制器40根据姿势检测部31及操作检测部32各自的检测结果，计算图2所示的预测轨迹区域A2。预测轨迹区域A2是基于预测远端装置25通过的轨迹亦即预测轨迹A1的区域，是距离信息中的区域。控制器40根据视线检测部33的检测结果，计算注视点区域B2。注视点区域B2是基于操作人员O的注视点B1的区域，是距离信息中的区域。在目标位置T的条件中包含有是在预测轨迹区域A2的范围内且是在注视点区域B2的范围(重叠区域C)内的情况。
在上述的构成中，目标位置T的条件中包含有是在基于操作人员O的注视点B1的注视点区域B2的范围内且是在远端装置25的预测轨迹区域A2的范围内的情况。因此，与仅根据关于操作人员O的注视点B1的信息来推定目标位置T的情形相比，能够提高相对于操作人员O实际的作业目标位置的、目标位置T的精度。因此，能够精度良好地推定工程机械1的操作人员O的作业目标位置。
此外，控制器40根据关于远端装置25的种类的信息，改变预测轨迹A1。
操作人员O作为作业目标位置的位置(特定位置25t)基于远端装置25的种类的不同而不同。因此，因远端装置25的种类的不同，恰当的预测轨迹A1会不同。因此，目标位置推定装置30具备上述的构成。由此，能够计算出基于远端装置25的种类的恰当的预测轨迹A1，其结果，能够将预测轨迹区域A2设定为基于远端装置25的种类的恰当的区域(位置、范围)。
此外，控制器40根据远端装置25的移动速度，改变与预测轨迹A1对应的预测轨迹区域A2的范围。
根据上述的构成，能够将预测轨迹区域A2设定为基于远端装置25的移动速度的恰当的区域。
例如，在控制器40将预测轨迹区域A2设为较窄(缩短了距离L)的情况下，能够进一步提高目标位置T相对于操作人员O的实际的作业目标位置的精度。此外，在控制器40将预测轨迹区域A2设为较宽阔(增加了距离L)的情况下，能够使操作人员O的实际的作业目标位置易于包含在预测轨迹区域A2(成为目标位置T的候选的区域)中。
此外，控制器40根据附属设备20的姿势，改变与预测轨迹A1对应的预测轨迹区域A2的范围。
根据上述的构成，能够将与预测轨迹A1对应的预测轨迹区域A2的范围设定为基于附属设备20的姿势的恰当的区域。其结果，能够获得与上述的移动速度的情形同样的效果。
此外，控制器40根据关于操作工程机械1的操作人员O的信息，改变与预测轨迹A1对应的预测轨迹区域A2的范围。
根据上述的构成，能够将预测轨迹区域A2设定为基于与操作人员O有关的信息的恰当的区域。其结果，能够获得与上述的移动速度的情形同样的效果。
此外，控制器40在推定目标位置T之后，根据远端装置25在第1指定时间内是否移动到目标位置T，改变与预测轨迹A1对应的预测轨迹区域A2的范围。
在控制器40(目标位置推定部)推定目标位置T之后，在远端装置25在第1指定时间内到达目标位置T的情况下，可以说目标位置T的推定为恰当。另一方面，在推定目标位置T之后，在远端装置25在第1指定时间内未到达目标位置T的情况下，可以说目标位置T的推定为不恰当。因此，通过目标位置推定装置30具备上述的构成，能够根据目标位置T的推定是否恰当来将预测轨迹区域A2设定为恰当的区域。其结果，能够获得与上述的移动速度的情形同样的效果。
此外，控制器40根据包含在第2指定时间内的注视点B1的频度的分布，设定注视点区域B2。
由于操作人员O的视点摇摆不定，因此，操作人员O的注视点B1未必与操作人员O的实际的作业目标位置相一致。因此，通过使目标位置推定装置30具备上述的构成，能够将操作人员O的实际的作业目标位置亦即可能性高的区域设定为注视点区域B2。
例如，在控制器40将注视点区域B2设定得宽阔的情况下，能够进一步提高目标位置T相对于操作人员O的实际的作业目标位置的精度。此外，在控制器40将注视点区域B2设定得狭窄的情况下，能够使操作人员O的实际的作业目标位置易于包含在注视点区域B2(成为目标位置T的候选的区域)中。
此外，控制器40根据远端装置25的移动速度，改变与注视点B1对应的注视点区域B2的范围。
根据上述的构成，能够将注视点区域B2的范围设定为基于远端装置25的移动速度的恰当的范围。其结果，能够获得与上述的注视点B1的分布的情形同样的效果。
此外，控制器40能够根据关于操作工程机械1的操作人员O的信息，改变与注视点B1对应的注视点区域B2的范围。
根据上述的构成，能够将注视点区域B2设定为基于与操作人员O有关的信息的恰当的区域。其结果，能够获得与上述的注视点B1的情形同样的效果。
此外，控制器40在推定目标位置T之后，根据远端装置25在第3指定时间内是否移动到目标位置T，改变与注视点B1对应的注视点区域B2的范围。
根据上述的构成，能够根据目标位置T的推定是否恰当来将注视点区域B2设定为恰当的区域。其结果，能够获得与上述的注视点B1的情形同样的效果。
此外，控制器40获取从目标位置T中被除外的区域亦即除外区域D。目标位置T的条件中包含有除外区域D的外部的情况。
根据上述的构成，在将被预想不是操作人员O的作业目标位置的区域设定为除外区域D的情况下，能够进一步提高目标位置T的精度。
(变形例)
例如，也可以变更图3所示的方块图中的电路的连接。例如，也可以变更图4所示的流程图的步骤的顺序，也可以使一部分的步骤不予以进行。例如，也可以变更上述实施方式的构成部分的数量，也可以使一部分的构成部分不予以设置。例如，作为互不相同的多个部分(构成部分)而被说明的也可以是一个部分。例如，作为一个部分而被说明的也可以被设置为分为互不相同的多个部分。
例如，目标位置推定装置30(参照图2、图3)的构成部分的一部分也可以被配置在图2所示的工程机械1的外部。例如，控制器40也可以被配置在工程机械1的外部。操作人员O也可以在工程机械1的外部远程操纵工程机械1。此情况下，座席17、操作部18、操作检测部32(参照图4)、以及视线检测部33被配置在工程机械1的外部。此情况下，操作人员O一边观察影视着工程机械1的周围的图像的画面，一边进行操作，视线检测部33检测该操作人员O的视线B0(正看着画面的何处)。
例如，也可以如上所述那样使预测轨迹区域A2与预测轨迹A1相一致(也可以是线状的区域)，也可以使注视点区域B2与注视点B1相一致(也可以是点状或线状)。较为理想的是，预测轨迹区域A2和注视点区域B2中的至少其中之一是在空间上具有广度的区域。
表示了例如根据某些条件来改变预测轨迹A1、预测轨迹区域A2、注视点B1及注视点区域B2的例子，但是，也可以仅进行各个例子的一部分。例如，也可以不设定除外区域D。此外，也可以仅执行上述的多个处理中的一部分的处理。
此外，在上述的实施方式，通过以工程机械1的上部回转体15的回转动作为前提的形态进行了说明，但是，也可以采用上部回转体15不进行回转动作而仅附属设备20进行动作(变更姿势)的形态。例如，即使在图1中在操作人员O进行使动臂、斗杆摆动到上部回转体15跟前并且使远端装置25(铲斗远端)着地于比点B1更跟前之处的作业的情况下，通过本发明所涉及的目标位置推定装置30，也能够预先推定目标位置T。
本发明所提供的工程机械的目标位置推定装置推定由操作人员针对工程机械预想的目标位置，所述工程机械具有包含允许操作人员搭乘的驾驶室的机械主体、被装配于所述机械主体的附属设备、以及被设置于所述附属设备的远端部的远端装置，该工程机械的目标位置推定装置包括：姿势检测部，检测关于所述工程机械的姿势的信息亦即姿势信息；操作检测部，检测关于操作人员对所述工程机械进行的操作的信息亦即操作信息；视线检测部，检测关于操作人员的视线的信息亦即视线信息；距离信息检测部，检测所述工程机械的前方区域的距离信息；以及，控制器，在操作人员操作所述工程机械而使所述远端装置移动时，推定操作人员所预想的所述远端装置的目标位置；其中，所述控制器包括：轨迹区域设定部，根据所述姿势检测部所检测的所述姿势信息及所述操作检测部所检测的所述操作信息，设定预测轨迹区域，该预测轨迹区域是包含预测所述远端装置通过的轨迹亦即预测轨迹的区域且是与所述距离信息相关联的区域；注视区域设定部，根据所述视线检测部所检测的所述视线信息，设定注视区域，该注视区域是包含操作人员的注视点的区域且是与所述距离信息相关联的区域；以及，目标位置推定部，根据所述轨迹区域设定部所设定的所述预测轨迹区域与所述注视区域设定部所设定的所述注视区域相互重叠的区域，推定所述远端装置的所述目标位置。
在上述的方案中，较为理想的是还包括：种类信息获取部，获取关于所述远端装置的种类的信息亦即种类信息；其中，所述轨迹区域设定部根据所述种类信息获取部所获取的所述种类信息，设定所述预测轨迹。
在上述的方案中，较为理想的是所述轨迹区域设定部根据所述远端装置的移动速度，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
在上述的方案中，较为理想的是所述姿势检测部能够检测关于所述附属设备相对于所述机械主体的姿势的信息亦即附属设备姿势信息，所述轨迹区域设定部根据所述附属设备姿势信息，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
在上述的方案中，较为理想的是还包括：操作人员信息获取部，获取关于操作人员的信息亦即操作人员信息；其中，所述轨迹区域设定部根据所述操作人员信息获取部所获取的所述操作人员信息，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
在上述的方案中，较为理想的是所述控制器还包括：判定部，在所述目标位置推定部推定所述远端装置的所述目标位置之后，判定所述远端装置在指定时间内是否到达所述目标位置；其中，所述轨迹区域设定部根据所述判定部的判定结果，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
在上述的方案中，较为理想的是所述注视区域设定部根据在指定时间内的所述注视点的频度的分布，设定所述注视区域。
在上述的方案中，较为理想的是所述注视区域设定部根据所述远端装置的移动速度，改变与所述注视点对应的所述注视区域的范围。
在上述的方案中，较为理想的是还包括：操作人员信息获取部，获取关于操作人员的信息亦即操作人员信息；其中，所述注视区域设定部根据所述操作人员信息，改变与所述注视点对应的所述注视点区域的范围。
在上述的方案中，较为理想的是所述控制器包括：判定部，在所述目标位置推定部推定所述远端装置的所述目标位置之后，判定所述远端装置在指定时间内是否到达所述目标位置；其中，所述轨迹区域设定部根据所述判定部的判定结果，改变与所述注视点对应的所述注视区域的范围。
在上述的方案中，较为理想的是还包括：除外区域获取部，获取关于应该从所述目标位置中被除外的区域亦即除外区域的信息；其中，所述目标位置推定部根据所述轨迹区域设定部所设定的所述预测轨迹区域与所述注视区域设定部所设定的所述注视区域相互重叠的区域中被去除了所述除外区域的区域，推定所述远端装置的所述目标位置。

Claims (11)

1.一种工程机械的目标位置推定装置，其特征在于推定由操作人员针对工程机械预想的目标位置，所述工程机械具有包含允许操作人员搭乘的驾驶室的机械主体、被装配于所述机械主体的附属设备、以及被设置于所述附属设备的远端部的远端装置，该工程机械的目标位置推定装置包括：
姿势检测部，检测关于所述工程机械的姿势的信息亦即姿势信息；
操作检测部，检测关于操作人员对所述工程机械进行的操作的信息亦即操作信息；
视线检测部，检测关于操作人员的视线的信息亦即视线信息；
距离信息检测部，检测所述工程机械的前方区域的距离信息；以及，
控制器，在操作人员操作所述工程机械而使所述远端装置移动时，推定操作人员所预想的所述远端装置的目标位置；其中，
所述控制器包括：
轨迹区域设定部，根据所述姿势检测部所检测的所述姿势信息及所述操作检测部所检测的所述操作信息，设定预测轨迹区域，该预测轨迹区域是包含预测所述远端装置通过的轨迹亦即预测轨迹的区域且是与所述距离信息相关联的区域；
注视区域设定部，根据所述视线检测部所检测的所述视线信息，设定注视区域，该注视区域是包含操作人员的注视点的区域且是与所述距离信息相关联的区域；以及，
目标位置推定部，根据所述轨迹区域设定部所设定的所述预测轨迹区域与所述注视区域设定部所设定的所述注视区域相互重叠的区域，推定所述远端装置的所述目标位置。
2.根据权利要求1所述的工程机械的目标位置推定装置，其特征在于还包括：
种类信息获取部，获取关于所述远端装置的种类的信息亦即种类信息；其中，
所述轨迹区域设定部根据所述种类信息获取部所获取的所述种类信息，设定所述预测轨迹。
3.根据权利要求1或2所述的工程机械的目标位置推定装置，其特征在于：
所述轨迹区域设定部根据所述远端装置的移动速度，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
4.根据权利要求1至3中任一项所述的工程机械的目标位置推定装置，其特征在于：
所述姿势检测部能够检测关于所述附属设备相对于所述机械主体的姿势的信息亦即附属设备姿势信息，
所述轨迹区域设定部根据所述附属设备姿势信息，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
5.根据权利要求1至4中任一项所述的工程机械的目标位置推定装置，其特征在于还包括：
操作人员信息获取部，获取关于操作人员的信息亦即操作人员信息；其中，
所述轨迹区域设定部根据所述操作人员信息获取部所获取的所述操作人员信息，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
6.根据权利要求1至5中任一项所述的工程机械的目标位置推定装置，其特征在于所述控制器还包括：
判定部，在所述目标位置推定部推定所述远端装置的所述目标位置之后，判定所述远端装置在指定时间内是否到达所述目标位置；其中，
所述轨迹区域设定部根据所述判定部的判定结果，改变与所述预测轨迹对应的所述预测轨迹区域的范围。
7.根据权利要求1至6中任一项所述的工程机械的目标位置推定装置，其特征在于：
所述注视区域设定部根据在指定时间内的所述注视点的频度的分布，设定所述注视区域。
8.根据权利要求1至7中任一项所述的工程机械的目标位置推定装置，其特征在于：
所述注视区域设定部根据所述远端装置的移动速度，改变与所述注视点对应的所述注视区域的范围。
9.根据权利要求1至8中任一项所述的工程机械的目标位置推定装置，其特征在于还包括：
操作人员信息获取部，获取关于操作人员的信息亦即操作人员信息；其中，
所述注视区域设定部根据所述操作人员信息，改变与所述注视点对应的所述注视点区域的范围。
10.根据权利要求1至9中任一项所述的工程机械的目标位置推定装置，其特征在于所述控制器包括：
判定部，在所述目标位置推定部推定所述远端装置的所述目标位置之后，判定所述远端装置在指定时间内是否到达所述目标位置；其中，
所述轨迹区域设定部根据所述判定部的判定结果，改变与所述注视点对应的所述注视区域的范围。
11.根据权利要求1至10中任一项所述的工程机械的目标位置推定装置，其特征在于还包括：
除外区域获取部，获取关于应该从所述目标位置中被除外的区域亦即除外区域的信息；其中，
所述目标位置推定部根据所述轨迹区域设定部所设定的所述预测轨迹区域与所述注视区域设定部所设定的所述注视区域相互重叠的区域中被去除了所述除外区域的区域，推定所述远端装置的所述目标位置。
CN201980091912.5A 2019-02-19 2019-12-24 工程机械的目标位置推定装置 Active CN113396257B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-027435 2019-02-19
JP2019027435A JP7159903B2 (ja) 2019-02-19 2019-02-19 目標位置推測装置
PCT/JP2019/050518 WO2020170599A1 (ja) 2019-02-19 2019-12-24 作業機械の目標位置推定装置

Publications (2)

Publication Number Publication Date
CN113396257A CN113396257A (zh) 2021-09-14
CN113396257B true CN113396257B (zh) 2022-07-08

Family

ID=72144319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091912.5A Active CN113396257B (zh) 2019-02-19 2019-12-24 工程机械的目标位置推定装置

Country Status (5)

Country Link
US (1) US11959256B2 (zh)
EP (1) EP3901382B1 (zh)
JP (1) JP7159903B2 (zh)
CN (1) CN113396257B (zh)
WO (1) WO2020170599A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419348B2 (ja) * 2019-04-04 2024-01-22 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、および学習済みの姿勢推定モデルの製造方法
EP4195798A4 (en) 2020-08-05 2024-04-24 Panasonic Ip Corp America WIRELESS COMMUNICATION DEVICE AND WIRELESS COMMUNICATION METHOD

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104884713A (zh) * 2012-12-28 2015-09-02 株式会社小松制作所 建设机械的显示系统及其控制方法
CN105425967A (zh) * 2015-12-16 2016-03-23 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统
WO2017176143A1 (en) * 2016-04-04 2017-10-12 Limited Liability Company "Topcon Positioning Systems" Method and apparatus for augmented reality display on vehicle windscreen
CN107924239A (zh) * 2016-02-23 2018-04-17 索尼公司 遥控装置、遥控方法、遥控系统和程序
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
JP2018172857A (ja) * 2017-03-31 2018-11-08 日立建機株式会社 作業機械の周囲監視装置
JP2018185763A (ja) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 注視領域推定装置
CN109070879A (zh) * 2016-08-09 2018-12-21 Jvc 建伍株式会社 显示控制装置、显示装置、显示控制方法以及程序
CN109116839A (zh) * 2017-06-26 2019-01-01 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10458099B2 (en) * 2004-08-26 2019-10-29 Caterpillar Trimble Control Technologies Llc Auto recognition of at least one standoff target to determine position information for a mobile machine
US8473166B2 (en) * 2009-05-19 2013-06-25 Topcon Positioning Systems, Inc. Semiautomatic control of earthmoving machine based on attitude measurement
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
WO2018179384A1 (ja) * 2017-03-31 2018-10-04 株式会社小松製作所 作業車両の制御システム、作業機の軌跡設定方法、及び作業車両

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104884713A (zh) * 2012-12-28 2015-09-02 株式会社小松制作所 建设机械的显示系统及其控制方法
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN105425967A (zh) * 2015-12-16 2016-03-23 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统
CN107924239A (zh) * 2016-02-23 2018-04-17 索尼公司 遥控装置、遥控方法、遥控系统和程序
WO2017176143A1 (en) * 2016-04-04 2017-10-12 Limited Liability Company "Topcon Positioning Systems" Method and apparatus for augmented reality display on vehicle windscreen
CN109070879A (zh) * 2016-08-09 2018-12-21 Jvc 建伍株式会社 显示控制装置、显示装置、显示控制方法以及程序
JP2018172857A (ja) * 2017-03-31 2018-11-08 日立建機株式会社 作業機械の周囲監視装置
JP2018185763A (ja) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 注視領域推定装置
CN109116839A (zh) * 2017-06-26 2019-01-01 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质

Also Published As

Publication number Publication date
EP3901382A1 (en) 2021-10-27
US20220106774A1 (en) 2022-04-07
US11959256B2 (en) 2024-04-16
CN113396257A (zh) 2021-09-14
JP7159903B2 (ja) 2022-10-25
EP3901382B1 (en) 2023-05-03
EP3901382A4 (en) 2022-04-06
JP2020133229A (ja) 2020-08-31
WO2020170599A1 (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
JP5706050B1 (ja) 作業車両
KR101597928B1 (ko) 작업 차량
US20210087794A1 (en) Excavator and information processing apparatus
JP7203616B2 (ja) 作業機械
CN113396257B (zh) 工程机械的目标位置推定装置
US20200150650A1 (en) An information system for a working machine
US20210140147A1 (en) A working machine provided with an image projection arrangement
EP3751845B1 (en) Working machine control device
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
JP2017186875A5 (zh)
CN112601867B (zh) 作业机械
US20210395982A1 (en) System and method for work machine
KR20240011803A (ko) 굴삭 기계의 가동 범위 설정 시스템 및 그 제어 방법
US20220243427A1 (en) Work machine
KR20210068527A (ko) 작업 기계, 작업 기계를 포함하는 시스템, 및 작업 기계의 제어 방법
US12006654B2 (en) Work machine, system including work machine, and method of controlling work machine
US20230383496A1 (en) Systems and methods for determining poor implement penetration
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
KR101544337B1 (ko) 작업 차량
US20230143733A1 (en) Construction method and construction system
JP2024035297A (ja) 作業機械
JP2021156000A (ja) 作業機械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant