CN112601867B - 作业机械 - Google Patents

作业机械 Download PDF

Info

Publication number
CN112601867B
CN112601867B CN202080004721.3A CN202080004721A CN112601867B CN 112601867 B CN112601867 B CN 112601867B CN 202080004721 A CN202080004721 A CN 202080004721A CN 112601867 B CN112601867 B CN 112601867B
Authority
CN
China
Prior art keywords
display
image
display image
range
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080004721.3A
Other languages
English (en)
Other versions
CN112601867A (zh
Inventor
黑发和重
时田充基
坂本博史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN112601867A publication Critical patent/CN112601867A/zh
Application granted granted Critical
Publication of CN112601867B publication Critical patent/CN112601867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

基于由姿势传感器检测到的前作业装置的姿势推定操作员的视线方向，并基于该推定出的操作员的视线方向在透明显示器的画面上设定多个显示区域，以显示图像位于该设定的多个显示区域中的与显示图像的种类相对应的显示区域的方式运算显示图像的显示位置。在根据操作员的视线方向的变化而显示区域在显示装置上的位置发生了变化的情况下，在该变化后显示图像仍位于与显示图像的种类相对应的显示区域内时保持显示图像的显示位置，在该变化后显示图像从与显示图像的种类相对应的显示区域脱离时运算显示图像的新的显示位置以使得显示图像再次收于相对应的显示区域内。

Description

作业机械
技术领域
本发明涉及具备显示装置的作业机械。
背景技术
近年来，在液压挖掘机等作业机械中，增加了设想如下的功能：从监视器等显示装置输出作业支援信息，操作员基于该作业支援信息进行操作。作为这样的功能的一个例子，能够列举对操作员提示施工对象的目标地形信息的机械指导功能。设想到在利用机械指导功能的作业过程中，操作员的视线在进行实际作业的作业装置的前端部及其周边(具体地说铲斗和地形等)与驾驶室内的显示装置的画面上所显示的目标地形信息之间反复来回。此时，可以想到进行视线移动的距离越长，则目标地形信息的视觉确认所需的时间越会增加，从而会导致作业效率降低。
作为与作业支援信息的显示相关的技术，在专利文献1中，公开有如下技术：在设置于驾驶室前表面的透明显示器上显示作业支援信息，使显示装置中的作业支援信息的显示位置追从于铲斗的移动，并且在铲斗相对于驾驶室沿前后方向移动的情况下，基于铲斗的位置改变显示装置中的作业支援信息的显示方式。铲斗越接近驾驶室，则在从操作员观察时作业支援信息和铲斗重叠的可能性越高，但该技术谋求的是防止因作业支援信息与铲斗的重叠导致的作业车辆的操作性降低。
现有技术文献
专利文献
专利文献1：日本特开2017-115492号公报
发明内容
但是，在专利文献1的方法中，作业支援信息的显示位置也会以追从于铲斗的位置的方式移动。即，由于在铲斗的移动中作业支援信息的显示位置也会始终移动，所以该作业支援信息的移动使作业过程中的操作员感到厌烦的可能性高。另外，在专利文献1的方法中，在显示在透明显示器上的作业支援信息的量增加等而其显示面积增加的情况下，会因该作业支援信息而有损铲斗附近的视觉确认性，反而有作业支援信息的显示使作业效率降低的隐忧。
本发明是着眼于上述问题点而做出的，其目的在于提供一种在显示装置上显示作业支援信息时能够防止使操作员感到厌烦、在信息量增加的情况下能够防止作业效率降低的作业机械。
本申请包含解决上述课题的多个方案，列举其一个例子，提供一种作业机械，具备：安装于作业机械主体的作业装置；检测上述作业装置的姿势的姿势传感器；能够使提供给操作员的作业支援信息与上述作业装置的实际的像重合地显示的显示装置；和决定示出上述作业支援信息的显示图像在上述显示装置中的显示位置、并在该显示位置处显示上述显示图像的显示控制装置，在上述作业机械中，上述显示控制装置基于由上述姿势传感器检测到的上述作业装置的姿势来推定操作员的视线方向，将上述推定出的操作员的视线方向作为基准在上述显示装置的画面上设定多个显示区域，以上述显示图像位于上述多个显示区域中的与上述显示图像的种类相对应的显示区域的方式运算上述显示图像的显示位置，在根据上述操作员的视线方向的变化而上述多个显示区域在上述显示装置的画面上的位置发生了变化的情况下，在该变化后上述显示图像仍位于与上述显示图像的种类相对应的显示区域内时保持上述显示图像的显示位置，在该变化后上述显示图像从与上述显示图像的种类相对应的显示区域脱离时运算上述显示图像的新的显示位置以使得上述显示图像收于与上述显示图像的种类相对应的显示区域内。
发明效果
根据本发明，在显示装置上显示作业支援信息时，能够防止使操作员感到厌烦，在信息量增加的情况下能够防止作业效率降低。
附图说明
图1是表示作为作业机械的一个例子的液压挖掘机的外观的图。
图2是表示本实施方式的驾驶室的内观的图。
图3是表示本实施方式的液压挖掘机的整体结构的图。
图4是表示透明显示器C/U的功能框的图。
图5是表示显示图像的例子的图。
图6是表示视线推定部的处理的图。
图7是表示视线矢量的例子的图。
图8是表示视野范围列表(显示范围列表)的例子的图。
图9是表示视野范围外显示区域运算部的处理的图。
图10是表示显示位置运算部的处理的图。
图11是表示显示控制部的处理的图。
图12是表示初始姿势下的透明显示器的显示状态的图。
图13是表示进行了微操作时的透明显示器的显示状态的图。
图14是表示进行了一定量以上的操作时的透明显示器的显示状态的图。
图15是表示在监视器上显示有关联信息时的透明显示器的显示状态的图。
图16是表示在使铲斗位置向铅垂上方移动了一定以上的距离时的透明显示器的显示状态的图。
具体实施方式
以下，使用附图说明本发明的实施方式。
此外，以下作为作业机械，例示具备铲斗作为作业装置的前端的作业工具(附属装置)的液压挖掘机，但也可以对具备铲斗以外的附属装置的作业机械适用本发明。另外，只要是具有将多个连接部件(附属装置、动臂、斗杆等)连结而构成的多关节型的作业装置的作业机械，则也能够适用于液压挖掘机以外的作业机械。
在图1中示出作为本发明的实施方式的作业机械的一个例子的液压挖掘机的侧视图。该图所示的液压挖掘机1由多关节型的前作业装置1A和车身1B构成，其中该多关节型的前作业装置1A是将分别沿垂直方向转动的多个前部件(动臂1a、斗杆1b及铲斗1c)连结而构成的，该车身1B是由上部旋转体1d及下部行驶体1e构成的。前作业装置1A安装于车身1B(作业机主体)，在上部旋转体1d具备驾驶室1f。
前作业装置1A的动臂1a的基端在上部旋转体1d的前部经由动臂销能够转动地被支承。在动臂1a的前端经由斗杆销能够转动地连结斗杆1b的基端，在斗杆1b的前端经由铲斗销能够转动地连结铲斗1c的基端。动臂1a由动臂缸2a驱动，斗杆1b由斗杆缸2b驱动，铲斗1c由铲斗缸2c驱动。
上部旋转体1d通过旋转马达3d(参照图3)而被驱动，下部行驶体1e通过左右的行驶马达3e、3f(参照图3)而被驱动。在上部旋转体1d具备用于使液压挖掘机1动作的发动机4、泵5、阀(控制阀)6(参照图3)，泵5通过发动机4而被旋转驱动，向各执行机构2a、2b、2c、3d、3e、3f排出工作油(参照图3)。另外，阀6根据来自驾驶室1f内所具备的操作杆7a、7b、7c、7d(参照图2)的操作输入使工作油的流量及流通方向发生变化，由此控制各执行机构2a、2b、2c、3d、3e、3f的动作。
图2示出了驾驶室1f的内观。在驾驶室1f中，设置有对包含各液压执行机构2a、2b、2c、3d、3e、3f的动作在内的车身的动作进行指示的作为操作装置的四根操作杆7a、7b、7c、7d、和用于显示提供给操作员的作业支援信息的作为显示装置的透明显示器11及监视器12。透明显示器11被设置于驾驶室前表面。透明显示器11的液晶画面是透射性的，能够使液晶画面上的作业支援信息与前作业装置1A的实际的像重合地显示。
操作杆7a(操作左杆)用于对斗杆缸2b(斗杆1b)及上部旋转体1d(旋转液压马达3d)进行操作，操作杆7b(操作右杆)用于对动臂缸2a(动臂1a)及铲斗缸2c(铲斗1c)进行操作。另外，操作杆7c(行驶左杆)用于对下部行驶体1e(左行驶液压马达3e(参照图3))进行操作，操作杆7d(行驶右杆)用于对下部行驶体1e(右行驶液压马达3f)进行操作。
图3是本发明的实施方式的液压挖掘机的系统结构图。本实施方式的液压挖掘机作为控制装置而搭载了主控制单元(以下有时将控制单元略为“C/U”)20、用于对GNSS信号进行处理的GNSSC/U10、和用作显示控制装置的透明显示器C/U30及监视器C/U50。这些C/U10、20、30、50分别是具备运算处理装置(例如CPU等)和存储装置(例如ROM、RAM等半导体存储器)的控制装置(控制器)，构成为能够通过由运算处理装置执行存储于存储装置的程序而执行该程序所规定的各种处理。
在前作业装置1A所具备的动臂销、斗杆销、铲斗销上设有检测动臂1a、斗杆1b、铲斗1c的转动角的角度传感器8a、8b、8c。能够根据角度传感器8a、8b、8c的检测角度检测前作业装置1A的姿势，角度传感器8a、8b、8c作为前作业装置1A的姿势传感器而发挥功能。在上部旋转体1d上安装有接收用于运算液压挖掘机1的位置的导航信号(卫星信号)的两根GNSS(Global Navigation Satellite System/全球测位卫星系统)天线9。
在主C/U20中，进行发动机控制和泵控制等作为液压挖掘机的基础的系统的控制，并且基于来自各种传感器(例如角度传感器8a、8b、8c)的输入而生成作业支援信息，将其向透明显示器C/U30、监视器C/U50输出。
GNSSC/U20基于由GNSS天线9接收到的导航信号对世界坐标系下的上部旋转体1d的位置(坐标值)进行运算，并将该运算结果输出到主C/U20。
各显示控制装置(透明显示器C/U及监视器C/U)30、50基于从主C/U20输入的信息进行包含作业支援信息在内的显示图像及其关联信息的生成、以及透明显示器11和监视器12的画面上的该显示图像和该关联信息的显示位置的决定，对各显示装置11、12输出信号(显示控制信号)。并且，各显示装置11、12基于来自各显示控制装置30、50的信号，进行针对操作员的作业支援信息(显示图像及其关联信息)的显示。此外，本实施方式的液压挖掘机1搭载机械指导功能，例如能够将目标地形面与铲斗1c顶端部(例如齿尖)的距离信息、铲斗1c的底面与目标地形面所成的角度(角度信息)作为作业支援信息(显示图像)显示到显示装置11、12。
(透明显示器C/U30)
图4是透明显示器C/U30的功能框图，示出了透明显示器C/U30内的处理的流程。透明显示器C/U30输入来自角度传感器8a、8b、8c、主C/U20及监视器C/U50的信息，并将基于这些信息生成的显示控制信号输出到透明显示器10。
透明显示器C/U30具备：显示图像生成部31，其作为作业支援信息而生成显示于透明显示器(显示装置)11的显示图像；视线推定部32，其基于由角度传感器8a、8b、8c检测到的前作业装置1A的姿势来推定操作员的视线方向；视野范围设定部33，其设定在操作员的视线方向周围规定的嵌套构造的多个视野范围、以及分别显示于与该多个视野范围相对应的多个显示区域的显示图像的种类；动作范围存储部34，其存储前作业装置1A能够动作的范围；视野范围外显示区域运算部35，其将在透明显示器11的画面上多个显示区域(视野范围)能够移动的范围从透明显示器11的画面上除去的区域运算为视野范围外显示区域；监视器位置存储部36，其存储透明显示器11上的显示图像的关联信息在监视器12上所显示的位置(代表点位置)；第1当前显示位置存储部37，其存储作为多个显示区域中的一个的第1显示区域上所显示的显示图像(第1显示图像)的显示位置；第2当前显示位置存储部38，其存储作为多个显示区域中的一个的第2显示区域上所显示的显示图像(第2显示图像)的显示位置；显示位置运算部39，其基于操作员的视线方向和显示图像的种类对显示该显示图像的显示区域中的该显示图像的显示位置进行运算；和显示控制部40，其在由显示位置运算部39运算出的显示位置处显示该显示图像。以下，说明透明显示器C/U30中的各部分的功能(处理)。
(显示图像生成部31)
在显示图像生成部31中，基于从主C/U20输入的信息生成显示到透明显示器11的图像(显示图像)来作为作业支援信息，并将该生成的图像输出到显示位置运算部39及显示控制部40。
图5是表示显示图像生成部31所生成的显示图像(作业支援信息)的例子的图。图5作为显示图像的例子，示出了表示目标地形面与铲斗1c顶端部的距离所成的角的距离·角度图像51、在主C/U20检测到发动机4的异常的情况下所显示的发动机异常警告图像52、和表示液压挖掘机的燃料余量的燃料余量图像53。
例如关于距离·角度图像51的生成，主C/U20能够基于角度传感器8a、8b、8c的检测值、从动臂1a的基端侧的转动轴(动臂销)到前端侧的转动轴(斗杆销)为止的尺寸Lbm、从斗杆1b的基端侧的转动轴(斗杆销)到前端侧的转动轴(铲斗销)为止的尺寸Lam、和从铲斗1c的基端侧的转动轴(铲斗销)到顶端部(铲斗齿尖)为止的尺寸Lbk，对车身坐标系下的铲斗1c的顶端部的坐标进行运算。另外，在主C/U20的存储装置中，存储有液压挖掘机周边的目标地形面的三维数据，主C/U20基于该三维数据和铲斗1c顶端部的坐标，对目标地形面与铲斗1c顶端部的距离·角度信息进行运算，并将其输出到透明显示器C/U30。透明显示器C/U30的显示图像生成部31基于由主C/U20运算出的该距离·角度信息生成距离·角度图像51。
(视线推定部32)
图6示出了视线推定部32的处理流程。首先，视线推定部32先基于来自角度传感器8a、8b、8c的输出获取前作业装置1A的各前部件1a、1b、1c的角度(步骤32a)，基于该角度和各前部件1a、1b、1c的尺寸(具体地说上述的尺寸Lbm、Lam、Lbk)对铲斗1c顶端部中的车宽方向的中心点的位置坐标进行运算(步骤32b)。此外，此时的位置坐标以将上部旋转体1d的特定点(例如动臂销的中心轴的中点)作为基准的车身坐标系表现。
接着，视线推定部32在步骤32c中，对操作员落座于驾驶室1f内的驾驶席(座席)时的头部的位置坐标(头部位置)进行运算。作为头部位置的运算方法而能够利用公知的方法。例如，关于头部位置，能够在假定了特定的座席位置及特定的作业姿势时对标准体型的操作员的头部所在的坐标进行运算，并将该值设定为头部位置的初始值。此外，此时也可以通过使用对座席位置从基准位置的位移进行计测的传感器(例如行程传感器)的检测值对该初始值进行修正，而更加准确地进行头部位置的推定。另外，也能够通过将记号这样的有特征的多个印记标于操作员的头盔、并通过动作捕捉系统等获取各记号的位置坐标，而进行更高精度的头部位置的检测。
在步骤32d中，视线推定部32根据步骤S32b中运算出的车身坐标系下的铲斗1c顶端部的位置坐标、和步骤S32c中运算出的车身坐标系下的操作员的头部位置坐标，计算出图7所示的操作员的视线矢量71并将其输出到显示位置运算部39(步骤32e)。图7示出了步骤32d中运算的视线矢量71的一个例子。在如液压挖掘机1那样具备前作业装置1A的作业机械中，设想的是操作员一边注视前作业装置1A的前端即铲斗1c顶端部一边进行操作，因此通过对从步骤S32c中运算出的头部位置朝向步骤S32b中运算出的铲斗1c顶端部的矢量进行运算，而能够推定作业时的操作员的视线矢量71。
(视野范围设定部33)
在视野范围设定部33中，设定如下：在操作员的视线方向周围规定的嵌套构造的多个视野范围(例如有效视野(第1视野范围)、引导视野(第2视野范围)、视野范围外)、和在分别与该多个视野范围相对应地设定在透明显示器(显示装置)11的显示画面上的多个显示区域(图像显示区域)上分别显示的显示图像的种类。此外，多个视野范围的设定和分别显示于多个显示区域的显示图像的种类的设定也可以相对于显示图像的显示位置的运算处理另行预先进行，并事先存储于透明显示器C/U30的存储装置。
显示图像(作业支援信息)根据其种类而供操作员参照的次数不同。例如，如与机械指导功能相关的显示图像(例如距离·角度图像51)那样供操作员频繁地视觉确认所显示的信息的显示图像优选分类为显示于不伴随头部动作而仅通过移动视线就能够视觉确认对象的视野范围即有效视野的图像。另一方面，与警告显示相关的显示图像(例如发动机异常警告图像52)虽然相较于与机械指导功能相关的显示图像并不是供操作员频繁地进行视觉确认的显示图像，但在被显示的情况下，需要操作员立即察觉其存在并根据状态进行恰当的应对。因此，这些显示图像显示于位于操作员注视点附近的有效视野的必要性低，优选分类为显示于即使在作业中也能够察觉其存在的引导视野的图像。另外，与车身状态和时刻相关的显示图像(例如燃料余量图像53)与上述两种显示图像相比操作员进行视觉确认的频度低，设想的是在如作业开始时或作业间歇那样受限的条件下进行视觉确认。因此，为了在通常的作业中减少进入视野的厌烦，而优选分类为向不进入操作员的视野(有效视野及引导视野)的位置(视野范围外)显示的图像。基于这些方面，在本实施方式中，考虑操作员视觉确认各显示图像的频度等，而以显示于与各显示图像所示的信息的特性相应的视野范围(显示区域)的方式进行设定。接下来使用图8说明本实施方式中的视野范围分类和各视野范围所显示的显示图像的种类。
图8是表示通过本实施方式的视野范围设定部33设定的视野范围、各视野范围的大小(水平角度、垂直角度)、与各视野范围相对应地被设定在透明显示器11的显示画面上的多个显示区域、以及各显示区域所显示的显示图像的种类(显示图像名)之间的关系的列表。在本实施方式中，作为视野范围，设定了第1视野范围、第2视野范围、视野范围外这三个范围。第1视野范围、第2视野范围及视野范围外成为嵌套构造，视野范围外包着第2视野范围，第2视野范围包着第1视野范围。但是，各范围以不存在重叠区域的方式进行设定，包于某个范围的范围为从该某个范围除去的范围。例如，在第2视野范围显示有显示图像的区域为第2视野范围内的区域中的除去了第1视野范围的区域。被设定在透明显示器11的显示画面上的多个显示区域与第1视野范围、第2视野范围及视野范围外相对应，将与第1视野范围相对应的显示区域称为第1显示区域，将与第2视野范围相对应的显示区域称为第2显示区域，将与视野范围外相对应的显示区域称为视野范围外显示区域。
第1视野范围是以操作员的视线方向为中心的最窄的视野范围，其大小是考虑有效视野而决定的。具体地说，将以操作员的视线方向为基准(0度)、在水平面上从-10度的位置和+10度的位置通过且在垂直面上从-5度的位置和+5度的位置通过的椭圆的内部设为第1视野范围。在与第1视野范围相对应的第1显示区域，显示有距离·角度图像51，该距离·角度图像51显示目标地形面与铲斗1c顶端部的距离、和目标地形面与铲斗1c顶端部所成的角度。
第2视野范围是包着第1视野范围的视野范围，是与第1视野范围同样地以操作员的视线方向为中心的视野范围。但是，从第2视野范围将第1视野范围除去。第2视野范围的大小(外侧的轮廓线)是考虑引导视野而决定的，具体地说，将从以操作员的视线方向为基准(0度)、在水平面上从-40度的位置和+40度的位置通过且在垂直面上从-30度的位置和+30度的位置通过的椭圆内部除去了第1视野范围的区域设为第2视野范围。在与第2视野范围相对应的第2显示区域，显示有与警告显示相关的显示图像，例如显示有发动机异常警告图像52、车身异常警告图标、周围作业者接近警告图像等。
视野范围外是被设定在第2视野范围的外侧的视野范围，是不属于第1视野范围及第2视野范围中的任一个的视野范围。例如，在透明显示器11的画面上基于操作员的视线方向决定了第1视野范围和第2视野范围的情况下，不属于第1视野范围和第2视野范围中的任一个的画面上的区域成为视野范围外。在与视野范围外相对应的视野范围外显示区域，显示有与车身状态和/或时刻相关的显示图像，例如显示有包含燃料余量图像53在内示出各种与车身相关的状态的车身状态图标、示出当前时刻的时刻图像、示出液压挖掘机的运转时间的累计值的计时器图像、示出发动机冷却水的温度的水温(水温计)图像、示出工作油的温度的油温(油温计)图像等。
此外，在本实施方式中，示出了设定两个视野范围的方法，但也能够基于信息的特性，设定三个以上的视野范围。在该情况下各视野范围也为嵌套构造，设定成在多个视野范围中越是各视野范围的外缘(外侧的轮廓)所规定的面积窄的视野范围则越是显示作业中供操作员参照的次数(频度)多的显示图像的显示区域。即，以越是接近操作员的视线方向的显示区域(视野范围)则越显示参照频度多的显示图像的方式进行设定。另外，在操作员集中注意力于作业的情况下，存在即使是向引导视野内显示也难以察觉显示图像的情形。因此，视野范围的大小设定也并不限于本实施方式，期望也考虑显示图像所示的信息的重要度等，而设为恰当的大小。
(动作范围存储部34)
动作范围存储部34存储前作业装置1A能够动作的范围(动作范围)。在液压挖掘机1中，成为通过动臂1a、斗杆1b、铲斗1c分别进行转动而前作业装置1A进行动作的结构。另外，动臂1a、斗杆1b、铲斗1c分别受机械约束，转动的范围被事先确定，因此能够计算出前作业装置1A的动作范围。在动作范围存储部34中，存储表示动臂1a、斗杆1b、铲斗1c的转动范围的角度，将该值向视野范围外显示区域运算部35输出。
(视野范围外显示区域运算部35)
视野范围外显示区域运算部35基于存储在动作范围存储部34中的前作业装置1A的动作范围对落座于驾驶席的操作员的视线方向71可能变化的范围进行运算，并基于该操作员的视线方向可能变化的范围、和在多个视野范围(第1视野范围、第2视野范围)中面积最大的视野范围(第2视野范围)对在透明显示器11的画面上该视野范围(第2视野范围)能够移动的范围进行运算，将从透明显示器11的画面上除去了在该画面上该视野范围(第2视野范围)能够移动的范围的区域运算为视野范围外显示区域。
在本实施方式的视野范围外显示区域运算部35中，基于前作业装置1A的动作范围对成为操作员的视野范围外的显示位置(视野范围外显示区域)进行运算，并将其输出到显示位置运算部39。接下来使用图9说明基于视野范围外显示区域运算部35进行的具体处理。
图9示出了基于视野范围外显示区域运算部35进行的具体处理。首先，在步骤35a中，视野范围外显示区域运算部35基于从动作范围存储部34输出的前作业装置1A的动作范围的信息，对在该动作范围内仰角成为最小的情况(换言之铲斗1c的顶端部(齿尖)位于最下方的情况)下的操作员的视线矢量71进行运算。此外，在视线矢量71朝向比水平面靠下的情况下(即成为俯角的情况下)定义为负仰角，将仰角的符号设为负。此时，视线矢量71的运算基于图6所示的由视线推定部32实施的步骤32b～32d的处理来进行，将铲斗1c顶端部设定成在前作业装置1A的动作范围内仰角成为最小的位置并对视线矢量71的仰角进行运算。
接着在步骤35b中，视野范围外显示区域运算部35基于来自视野范围设定部33的信息，选择通过视野范围设定部33设定的视野范围中最大的视野范围(在本实施方式中为第2视野范围)，进入步骤35c。此外，在步骤35b中所选择的视野范围能够换言为通过视野范围设定部33设定的视野范围中位于最外侧的视野范围。
在步骤35c中，视野范围外显示区域运算部35将包含透明显示器11的显示画面的平面与视线矢量71的交点计算为注视点，并且基于步骤S35b中所选择的视野范围的大小，求出在包含显示画面的平面上以注视点为中心的表示该视野范围的椭圆。即，该椭圆相当于当前的视线矢量71中的第2显示范围的轮廓线。此外，该椭圆以车身坐标系进行定义。
在步骤35d中，视野范围外显示区域运算部35使用透明显示器11的位置和像素尺寸，将步骤S35c中求出的车身坐标系的椭圆向画面坐标系转换。画面坐标系是为了在透明显示器11上进行描画而使用的坐标系，在普通的显示器中使用示出像素的位置的坐标值。此时得到的椭圆内的区域(第2显示区域)能够成为操作员的视野范围，因此视野范围外显示区域运算部35在步骤35e中将该区域存储为视野内显示区域。
在步骤35f中，视野范围外显示区域运算部35判定在步骤35c～35e的处理中所使用的视线矢量71的仰角(首次的视线矢量71的仰角是步骤S35a中运算出的最小值)是否是前作业装置1A的动作范围内的最大值。此外，前作业装置1A的动作范围内的视线矢量71的仰角的最大值可以在流程开始后到达了步骤S35f时才进行运算，也可以在到达步骤35f之前的任意步骤或图9的流程开始前进行运算。
在步骤35f中判定成视线矢量71的仰角不是最大值的情况下，在步骤35g中运算对仰角加上1[deg]时的视线矢量71，再次实施步骤35c～35e。此时，在步骤35e中，以仍旧保持此前所存储的视野内显示区域且加上新运算出的视野内显示区域的方式进行存储。此外，在步骤35g中进行加法运算的单位角度并不限于1[deg]，能够考虑因处理导致的负荷等而适当地设定其他值。
另一方面，在步骤35f中判定成视线矢量71的仰角是最大值的情况下，在步骤35h中，运算视野范围外显示区域。视野范围外显示区域能够通过从透明显示器11的显示画面的整个区域减去视野内显示区域而得到。
在步骤35i中，视野范围外显示区域运算部35将通过到步骤35h为止的处理得到的视野范围外显示区域输出到显示位置运算部39，结束一系列的处理。
此外，在本实施方式中，针对设想液压挖掘机1且将铲斗1c顶端部的移动方向限定成垂直方向的处理进行了说明，但在具备具有朝向水平方向的可动区域的前作业装置1A的作业机械中，进行考虑了朝向水平方向的动作的反复处理。另外，只要通过视野范围设定部33设定的视野范围的设定值不变更，则视野范围外显示区域就不会变化，因此也可以构成为事先将上述处理的结果存储于透明显示器C/U内的存储装置或外部的存储装置，并在需要时参照该存储结果，而不是按照透明显示器C/U30的每个处理周期进行运算。
(监视器位置存储部36)
监视器位置存储部36以车身坐标系的坐标对显示于透明显示器11的显示图像的详情和/或关联的信息(关联信息)在监视器12上进行显示的点(有时称为“代表点”)的位置(代表点位置)进行存储。在本实施方式中监视器12被用作与显示有显示图像的透明显示器11(第1显示装置)一起将该关联信息作为作业支援信息显示的第2显示装置(其他显示装置)。此外，监视器12上的代表点并不限于一点，也可以在监视器12上显示多个关联信息的情况下以与各关联信息相对应的方式设置多个代表点。另外，也可以是监视器12上的代表点不设为固定值而是例如与来自监视器C/U50的输出相应地适当进行变更。
(第1当前显示位置存储部37、第2当前显示位置存储部38)
第1当前显示位置存储部37及第2当前显示位置存储部38是存储后述的显示位置运算部39运算出的第1显示区域(第1视野范围)及第2显示区域(第2视野范围)中的所有显示图像的显示位置的部分，在透明显示器C/U30的存储装置内确保有该存储区域。显示图像的显示位置以被设定在透明显示器11的显示画面上的画面坐标系中的坐标值进行存储。在由显示位置运算部39运算的各显示图像的显示位置发生了变化的情况下，通过以变化后的坐标值对变化前的坐标值进行更新，而将存储于存储部37、38的各显示图像的坐标值始终保持为最新的值。
(显示位置运算部39)
显示位置运算部39基于通过视线推定部32推定出的操作员的视线矢量(视线方向)71，将与视野范围设定部33所设定的多个视野范围相对应的多个显示区域设定到透明显示器11的画面上，并以显示图像位于被设定在透明显示器11的画面上的该多个显示区域中的与显示图像的种类相对应的显示区域的方式对显示图像的显示位置进行运算。由显示位置运算部39运算出的显示图像的显示位置被输出到显示控制部40。接下来使用图10说明本实施方式的显示位置运算部39所执行的处理。
图10是表示基于本实施方式的显示位置运算部39实施的处理的流程图。首先在步骤39a中，显示位置运算部39从要显示于透明显示器11的一个以上的显示图像中选择一个显示图像，并判定该选择的显示图像(以下有时称为“选择显示图像”)的种类是否是显示于第1显示区域(第1视野范围)、第2显示区域(第2视野范围)、视野范围外显示区域(视野范围外)中的某一个显示区域的图像。此外，在透明显示器11上显示多个显示图像的情况下，通过图10的流程图决定该所有显示图像的显示位置。
在步骤39b中，显示位置运算部39判定步骤39a的选择显示图像是否是显示于视野范围外区域的显示图像。在此在判定成是向视野范围外显示区域显示的显示图像的情况下进入步骤39c，决定该显示图像在视野范围外显示区域内的显示位置(画面坐标系的坐标值)(步骤39c)。此外，此时的视野范围外显示区域中的显示位置可以是始终相同的坐标值，也可以是与注视点的位置等相应地每次进行运算的坐标值。步骤39c中所决定的坐标值在步骤39d中，作为该选择显示图像的显示位置被向显示控制部40输出。
另一方面，在步骤39b中判定成不是向视野范围外显示区域显示的显示图像的情况下(即在判定成是显示于第1显示区域和第2显示区域中的某一个的显示图像的情况下)，进入步骤39e。
在步骤39e及步骤39f中，显示位置运算部39与先前所述的视野范围外显示区域运算部35的步骤35c及步骤35d(参照图9)同样地，运算针对当前的视线矢量71的、透明显示器11的显示画面上的显示区域。即，在操作员的视线矢量71的方向发生了变化的情况下，与步骤39a的判定结果所涉及的显示区域相对应的显示区域在透明显示器11的显示画面上的位置会根据视线矢量71的变化而变更。此外，虽然在图9的例子中仅第2显示区域(第2视野范围)为运算对象，但在此是根据步骤39a中的判定结果而第1显示区域(第1视野范围)及第2显示区域(第2视野范围)中的某一方的显示区域成为运算对象。
然后，在步骤39g中，显示位置运算部39判定选择显示图像的当前的显示位置(前次的运算显示位置时的显示位置)是否处于与步骤39f中运算出的选择显示图像的种类相对应的显示区域外。在此在判定成在相对应的显示区域内的情况下，在步骤39h中，仍旧输出当前的显示位置。即，在基于视线矢量71的方向移动产生视野范围变化后，该选择显示图像仍位于与选择显示图像的种类相对应的显示区域内时，显示位置运算部39保持该选择显示图像的显示位置。
另一方面，在步骤39g的判定中判定成在相对应的显示区域外的情况下，进入步骤39i，进行选择显示图像的详情和/或关联的信息(称为“选择显示图像的关联信息”)是否显示在监视器12上的判定。
在步骤39i中，在选择显示图像的关联信息没有显示于监视器12的情况下，在步骤39j中，显示位置运算部39以显示位置成为与选择显示图像相对应的显示区域内的方式决定新的显示位置，并将其向显示控制部40输出(步骤39k)。即，在基于视线矢量71的方向移动产生显示区域的位置变化后，该选择显示图像从与选择显示图像的种类相对应的显示区域脱离时，显示位置运算部39运算该选择显示图像的新的显示位置以使得显示位置收于与该选择显示图像的种类相对应的显示区域内。此外，作为新的显示位置的运算方法，例如具有如下方法：事先将向相对应的显示区域内显示的那样的初始显示位置设定为以注视点位置为基准的相对位置，并通过根据当前的注视点位置运算初始显示位置而对新的显示位置进行运算。另外，也可以是事先将铲斗1c的大小存储于透明显示器C/U30内的存储装置，并利用根据铲斗1c的当前位置和大小以在相对应的显示区域内选择显示图像和铲斗1c的现实的像不重叠的方式运算新的显示位置的算法。
另一方面，在步骤39i中，在选择显示图像的关联信息显示于监视器12的情况下，进入步骤39l。在步骤39l中，显示位置运算部39从监视器位置存储部36调出在监视器12上选择显示图像的关联信息所显示的代表点位置(设定在监视器12上的坐标系下的坐标值)，并将该代表点位置相对于包含透明显示器11的显示画面的平面上投影(正射影)。而且在步骤39m中，显示位置运算部39在画面坐标系中，求出将步骤39l中投影的代表点与注视点(视线矢量71与投影了代表点的平面的交点)连结的直线。然后，显示位置运算部39以选择显示图像的新的显示位置在与选择显示图像的种类相对应的显示区域内且在步骤39m中得到的直线上的方式决定该选择显示图像的新的显示位置(步骤39n)，并将该新的显示位置输出到显示控制部40(步骤39o)。像这样，在监视器12上显示有显示图像的详情和/或关联的信息的情况下，通过将显示图像配置在将注视点和监视器12上的代表点位置连结的直线上而能够缩短从显示图像向监视器12的视线移动时间。
在如以上说明那样步骤39d、39o、39k、39h完成后，显示位置运算部39结束图10所示的一系列的处理，对于适合的选择显示图像的显示位置运算，待机直至下一个控制周期。但是，会将步骤39o、39k、39h中输出到显示控制部40的选择显示图像的显示位置存储到第1当前显示位置存储部37及第2当前显示位置存储部38中的相对应的存储部。该显示位置的存储时刻只要是显示位置运算时之后且向显示控制部40输出时之前则任何时刻均可。此外，在透明显示器11上显示多个显示图像的情况下，也可以对所有的显示图像的显示位置的运算进行并行处理。
(显示控制部40)
显示控制部40生成将由显示图像生成部31生成的显示图像基于由显示位置运算部39运算出的该显示图像的显示位置向透明显示器11输出的信号。由此显示图像显示在透明显示器11上的确定出的显示位置。
图11是本实施方式的显示控制部40所执行的处理的流程图。首先，显示控制部40在步骤40a中，获取由显示图像生成部31生成的显示图像、和作为该显示图像的显示位置而由显示位置运算部39运算出的坐标值。
在步骤40b中，显示控制部40判定步骤40a中获取到的显示位置是否从前次的位置变更。此时，在判定成显示位置没有变更的情况下，在步骤40c中，仍旧在当前显示位置(前次的显示位置)输出显示图像。另一方面，在判定成显示位置有变更的情况下，进入步骤40d。
在步骤40d中，显示控制部40基于透明显示器11的析像度进行显示图像的新的显示位置是否是能够显示在透明显示器11上的位置的判定。在此，在判定成能够显示的情况下向新的显示位置输出显示图像，在判定成无法显示的情况下仍旧在当前显示位置(前次的显示位置)输出显示图像(步骤40e)，结束一系列的处理。
此外，在本实施方式中，说明了通过显示控制部40执行显示位置有无变更的判定处理(步骤40b)、和新的显示位置能否显示的判定处理(步骤40d)的情况，但这些处理也可以通过显示位置运算部39进行。在该情况下，显示控制部40仅执行在由显示位置运算部39运算出的显示位置处显示对象的显示图像的处理。
(作用、效果)
一边参照附图一边说明如上述那样构成的本实施方式的液压挖掘机的作用、效果。在此作为一个例子，说明将图5所示的目标地形面-铲斗1c顶端部的距离·角度图像51(以下有时略为“距离·角度图像51”)、发动机异常警告图像52及燃料余量图像53设为显示图像的情况下的动作。如已说明那样，距离·角度图像51是显示于第1显示区域的显示图像，发动机异常警告图像52是显示于第2显示区域的显示图像，燃料余量图像53是显示于视野范围外显示区域的显示图像。
1.初始姿势
图12示出了动臂1a、斗杆1b、铲斗1c的转动角在某个状态下静止(以下称为“初始姿势”)时的透明显示器11的显示状态。距离·角度图像51及发动机异常警告图像52在显示位置运算部39中，以各自成为通过视野范围设定部33设定的与各显示图像相对应的视野范围(以将注视点121作为中心的椭圆规定的第1显示区域122及第2显示区域123)内的方式决定显示位置并进行显示。另一方面，燃料余量图像53的显示位置被设定在成为通过视野范围外显示区域运算部35运算出的视野范围外显示区域内的位置(视野范围外显示区域是从透明显示器11的显示画面除去了第1显示区域122、第2显示区域123的区域)。此外，此时关于距离·角度图像51和发动机异常警告图像52，由于它们的详情或关联的信息没有显示在监视器12上，所以能够在各自的显示区域122、123内任意决定显示位置(即不受基于监视器12上的关联信息的显示位置对显示位置的约束)。
2.在从初始姿势将铲斗下降了0.25[m]时
图13示出了从图12的初始姿势状态将铲斗1c的位置沿铅垂方向下降了0.25[m]时的透明显示器11的显示状态。在该情况下，若将初始姿势下的注视点131的位置作为基准，则由于铲斗1c顶端部(注视点)从该位置131的移动位移小，所以距离·角度图像51和发动机异常警告图像52的显示位置均依然显示在各自的显示区域(第1显示区域122及第2显示区域123)内，显示位置不会被变更。像这样，在本实施方式中由于相对于铲斗1c位置的微小位移不会进行显示图像的显示位置的变更，所以能够防止因显示图像频繁变更显示位置而导致操作员感到厌烦。
3.在从初始姿势将铲斗下降了1.45[m]时
图14示出了从图12的初始姿势状态将铲斗1c的位置沿铅垂方向下降了1.45[m]时的透明显示器11的显示状态。在该情况下，从初始姿势下的注视点131的位置发生的位移大，初始姿势下的距离·角度图像51的显示位置141会从作为相对应的显示区域的第1显示区域122脱离。因此，显示位置运算部39以距离·角度图像51配置在将最新的注视点(铲斗1c)121的位置作为基准的第1显示区域122内的方式运算距离·角度图像51的新的显示位置。另一方面，由于发动机异常警告图像52在注视点121移动后也收于第2显示区域123内，所以显示位置不会变更。像这样，通过仅在显示图像从根据其种类设定的显示区域脱离的情况下，进行其显示位置的变更，而能够维持与显示图像的种类相应的恰当的显示位置地进行作业。
4.在初始姿势下监视器12上显示有关联信息时
图15示出了在图12的初始姿势状态下在监视器12上显示有示出发动机异常警告图像52的关联信息即发动机异常警告的详情的信息的情况下的显示状态。此时，设想操作员在透明显示器11上认知到处于发动机异常状态从而在监视器12上确认更加详细的信息。因此，遵照显示位置运算部39的步骤39l～39o的处理，在将注视点121和监视器12上的代表点连结的直线152上且在第2显示区域123内显示发动机异常警告图像52。由此能够缩短在通过透明显示器11识别到发动机异常警告图像52后确认监视器12上的关联信息时的视线移动的时间。
5.在新的显示位置为透明显示器11的显示画面外时
图16示出了从图12的初始姿势状态沿铅垂上方使铲斗1c的位置移动了一定以上的距离时的显示状态。此时，由于距离·角度图像51从第1显示区域122脱离，所以遵照上述的处理，显示位置运算部39运算第1显示区域122内的初始显示位置来作为距离·角度图像51的新的显示位置161。但是，由于该新的显示位置161位于透明显示器11的显示画面外，所以遵照显示控制部40的步骤40c的处理，距离·角度图像51维持初始姿势时的显示位置。像这样，在由于注视点121的移动而显示图像的新的显示位置161成为透明显示器11的显示画面外的情况下，例如若在成为显示画面内的范围中逐次运算新的显示位置161(例如将在透明显示器11的显示画面内、且与铲斗1c顶端部的距离成为最小的显示位置运算为新的显示位置等)，则透明显示器11上的显示位置会与铲斗1c的动作相应地频繁切换，而有招致厌烦的隐忧。但是，在本实施方式中，由于在新的显示位置161成为相对应的显示区域内、且透明显示器11的显示画面内之前的期间，继续保持最近的显示位置，所以在铲斗1c的位置位于透明显示器11的上方这样的作业中也能够防止频繁地发生显示位置的切换，从而能够防止因显示位置的频繁切换导致操作员感到厌烦，因此能够提高作业效率。
6.总结
如以上说明那样，在本实施方式的液压挖掘机中，将与铲斗1c顶端部(操作员的视线方向)的移动一起变化的显示区域设定到透明显示器11上，仅在由于铲斗1c顶端部的移动而作业支援信息(显示图像)的显示位置从相对应的显示区域脱离的情况下，将该显示位置向相对应的显示区域内变更。由此，能够缩短作业支援信息的视觉确认所需的视线移动的时间，并且减少因频繁地变更显示位置而产生的厌烦。另外，通过设定多个视野范围(显示区域)，并选择适于所显示的作业支援信息的特性的视野范围(显示区域)，而能够将显示在铲斗附近的作业支援信息的数量限定在最小限度，从而能够缓和伴随着所显示的信息的增加产生的铲斗附近的视觉确认性降低。而且，通过将透明显示器11中的特定的显示图像显示在注视点121与监视器12的直线上，而能够缩短从透明显示器11向监视器12的视线移动时间，提高作业效率。
此外，本发明并不限定于上述实施方式，包含不脱离其要旨的范围内的各种变形例。例如，本发明并不限定于具备在上述实施方式中说明的所有结构的发明，也包含删除了其结构的一部分的发明。另外，能够将某个实施方式的结构的一部分追加或置换到其他实施方式的结构中。
另外，上述控制装置(C/U10、20、30、50)所涉及的各结构和该各结构的功能及执行处理等也可以通过硬件(例如以集成电路设计执行各功能的逻辑等)实现它们的一部分或全部。另外，上述控制装置所涉及的结构也可以设为通过由运算处理装置(例如CPU)读出并执行而实现该控制装置的结构所涉及的各功能的程序(软件)。该程序所涉及的信息能够存储于例如半导体存储器(闪存、SSD等)、磁存储装置(硬盘驱动器等)及记录介质(磁盘、光盘等)等。
另外，在上述各实施方式的说明中，示出了控制线和信息线被解释成该实施方式的说明所需，但并不限于示出产品所涉及的所有控制线和信息线。实际上也可以认为是几乎所有的结构相互连接。
附图标记说明
1A…前作业装置，1B…车身，1a…动臂，1b…斗杆，1c…铲斗，1d…上部旋转体，1e…下部行驶体，1f…驾驶室，8a、8b、8c…角度传感器(姿势传感器)，11…透明显示器(显示装置(第1显示装置))，12…监视器(其他显示装置(第2显示装置))，20…主C/U，30…透明显示器C/U(显示控制装置)，31…显示图像生成部，32…视线推定部，33…视野范围设定部，34…动作范围存储部，35…视野范围外显示区域运算部，36…监视器位置存储部，37…第1当前显示位置存储部，38…第2当前显示位置存储部，39…显示位置运算部，40…显示控制部，50…监视器C/U，71…视线矢量，81…视野范围列表，121…注视点，122…第1显示区域，123…第2显示区域，121…当前的铲斗顶端部(注视点)的位置，131…初始姿势时的铲斗顶端部(注视点)的位置，141…初始姿势时的目标地形面-铲斗顶端部的距离·角度的显示位置。

Claims (5)

1.一种作业机械，具备：
安装于作业机械主体的作业装置；
检测所述作业装置的姿势的姿势传感器；
能够使提供给操作员的作业支援信息与所述作业装置的实际的像重合地显示的显示装置；和
决定示出所述作业支援信息的显示图像在所述显示装置中的显示位置、并在该显示位置处显示所述显示图像的显示控制装置，所述作业机械的特征在于，
所述显示控制装置基于由所述姿势传感器检测到的所述作业装置的姿势来推定操作员的视线方向，
所述显示控制装置将推定出的所述操作员的视线方向作为基准在所述显示装置的画面上设定多个显示区域，以所述显示图像位于所述多个显示区域中的与所述显示图像的种类相对应的显示区域的方式运算所述显示图像的显示位置，
所述显示控制装置在根据所述操作员的视线方向的变化而所述多个显示区域在所述显示装置的画面上的位置发生了变化的情况下，在该变化后所述显示图像仍位于与所述显示图像的种类相对应的显示区域内时保持所述显示图像的显示位置，在该变化后所述显示图像从与所述显示图像的种类相对应的显示区域脱离时运算所述显示图像的新的显示位置以使得所述显示图像收于与所述显示图像的种类相对应的显示区域内。
2.如权利要求1所述的作业机械，其特征在于，
在所述多个显示区域中，包含与在所述操作员的视线方向的周围规定的第1视野范围相对应的第1显示区域、和与包着所述第1视野范围的第2视野范围相对应的第2显示区域，
在所述第1显示区域显示第1种类的显示图像，在所述第2显示区域内的区域中的除去了所述第1显示区域的区域显示第2种类的显示图像。
3.如权利要求1所述的作业机械，其特征在于，
所述显示控制装置基于所述作业装置能够动作的范围和所述多个显示区域，对所述多个显示区域能够在所述显示装置的画面上移动的范围进行运算，将从所述显示装置的画面上除去了所述多个显示区域能够在所述显示装置的画面上移动的范围的区域运算为视野范围外显示区域，
以在所述视野范围外显示区域显示第3种类的显示图像的方式进行设定，
所述显示控制装置以所述第3种类的显示图像位于所述视野范围外显示区域内的方式运算所述第3种类的显示图像的显示位置。
4.如权利要求1所述的作业机械，其特征在于，
按所述多个显示区域的每个显示区域预先决定所述显示图像的显示位置，
所述显示控制装置在根据所述操作员的视线方向的变化而在所述显示装置的显示画面上所述多个显示区域的位置发生了变化的情况下，在所述显示画面从与所述显示图像的种类相对应的显示区域脱离时，且被运算为所述显示图像的所述新的显示位置的、预先决定的所述显示位置在所述显示画面的显示区域外时，保持所述显示图像的显示位置。
5.如权利要求1所述的作业机械，其特征在于，
还具备显示所述显示图像的关联信息的其他显示装置，
所述显示控制装置以所述显示图像位于将在所述其他显示装置上显示所述关联信息的位置和所述操作员的视线方向与所述显示装置的显示画面的交点连结的直线上的方式运算所述显示图像的显示位置。
CN202080004721.3A 2019-03-13 2020-02-04 作业机械 Active CN112601867B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019046516A JP7201486B2 (ja) 2019-03-13 2019-03-13 作業機械
JP2019-046516 2019-03-13
PCT/JP2020/004168 WO2020183987A1 (ja) 2019-03-13 2020-02-04 作業機械

Publications (2)

Publication Number Publication Date
CN112601867A CN112601867A (zh) 2021-04-02
CN112601867B true CN112601867B (zh) 2022-02-25

Family

ID=72426216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004721.3A Active CN112601867B (zh) 2019-03-13 2020-02-04 作业机械

Country Status (6)

Country Link
US (1) US11447934B2 (zh)
EP (1) EP3940156A4 (zh)
JP (1) JP7201486B2 (zh)
KR (1) KR102505529B1 (zh)
CN (1) CN112601867B (zh)
WO (1) WO2020183987A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220136214A1 (en) * 2020-11-05 2022-05-05 Trimble Inc. High-accuracy augmented reality display for construction machines
KR20220129323A (ko) 2021-03-16 2022-09-23 주식회사 엘지에너지솔루션 전지 모듈 및 이를 포함하는 전지팩

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1640512A2 (en) * 2004-09-28 2006-03-29 Agco SA Implement damping and control systems
CN104114826A (zh) * 2014-02-26 2014-10-22 株式会社小松制作所 作业车辆
JP2017115492A (ja) * 2015-12-25 2017-06-29 株式会社小松製作所 作業車両および表示制御方法
CN107542122A (zh) * 2016-06-27 2018-01-05 住友建机株式会社 挖土机的显示装置
WO2018110045A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法及び制御プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58109329A (ja) * 1981-12-24 1983-06-29 Matsushita Electric Ind Co Ltd 頭付棒材供給装置
JP3455369B2 (ja) * 1996-06-26 2003-10-14 日立建機株式会社 建設機械のフロント制御装置
JP3923747B2 (ja) 2001-04-03 2007-06-06 スズキ株式会社 二輪車用ヘルメットマウントディスプレイシステム及びその表示制御方法
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP6253417B2 (ja) 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
US9297145B2 (en) * 2014-05-01 2016-03-29 Caterpillar Inc. Excavation system providing linkage placement training
US9508137B2 (en) * 2014-05-02 2016-11-29 Cisco Technology, Inc. Automated patron guidance
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
JP6590691B2 (ja) * 2015-12-25 2019-10-16 株式会社小松製作所 作業車両および表示制御方法
CN110115029B (zh) * 2017-01-10 2021-07-16 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、记录介质
AU2018227862B9 (en) * 2017-03-03 2022-11-24 Caterpillar Trimble Control Technologies Llc Augmented reality display for material moving machines
JP2018150017A (ja) * 2017-03-15 2018-09-27 三菱電機株式会社 ヘッドアップディスプレイ装置を制御する表示制御装置
JP6581139B2 (ja) 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
SE541180C2 (en) * 2017-04-03 2019-04-23 Cargotec Patenter Ab Driver assistance system for a vehicle provided with a crane using 3D representations
US10521020B2 (en) * 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
US20190161942A1 (en) * 2017-11-24 2019-05-30 Novatron Oy Controlling earthmoving machines
US10544567B2 (en) * 2017-12-22 2020-01-28 Caterpillar Inc. Method and system for monitoring a rotatable implement of a machine
FR3077900B1 (fr) * 2018-02-12 2020-01-17 Thales Vision peripherique dans une interface homme-machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1640512A2 (en) * 2004-09-28 2006-03-29 Agco SA Implement damping and control systems
CN104114826A (zh) * 2014-02-26 2014-10-22 株式会社小松制作所 作业车辆
JP2017115492A (ja) * 2015-12-25 2017-06-29 株式会社小松製作所 作業車両および表示制御方法
CN107542122A (zh) * 2016-06-27 2018-01-05 住友建机株式会社 挖土机的显示装置
WO2018110045A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法及び制御プログラム

Also Published As

Publication number Publication date
WO2020183987A1 (ja) 2020-09-17
KR102505529B1 (ko) 2023-03-03
JP7201486B2 (ja) 2023-01-10
EP3940156A4 (en) 2022-12-21
CN112601867A (zh) 2021-04-02
US20220049476A1 (en) 2022-02-17
KR20210034064A (ko) 2021-03-29
US11447934B2 (en) 2022-09-20
JP2020148005A (ja) 2020-09-17
EP3940156A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
KR101815268B1 (ko) 건설 기계의 표시 시스템 및 그 제어 방법
US10036141B2 (en) Control system for work vehicle, control method and work vehicle
US9435106B2 (en) Display system in an excavator and method for controlling same
JP6068730B2 (ja) 作業機械、及び作業機械の作業機パラメータ補正方法
JP6392097B2 (ja) ショベルの支援装置及びショベルの支援方法
JP7151392B2 (ja) 建設機械の遠隔操作装置
KR102244934B1 (ko) 건설 기계
CN108368694B (zh) 作业车辆以及显示控制方法
US20210079625A1 (en) Work machine
CN112601867B (zh) 作业机械
US20220317842A1 (en) Control device, work machine, and control method
CN108291391B (zh) 作业车辆以及显示控制方法
KR20190034648A (ko) 작업 기계
JP2017186901A (ja) 建設機械の表示システムおよびその制御方法
US11891783B2 (en) Calibration work support system
US20210395982A1 (en) System and method for work machine
CN113396257B (zh) 工程机械的目标位置推定装置
AU2021354304A1 (en) Display control device and display method
US20230267895A1 (en) Display control device and display control method
JP2023150952A (ja) 作業機械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant