CN115698438A - 实机状态监视系统以及实机状态监视方法 - Google Patents

实机状态监视系统以及实机状态监视方法 Download PDF

Info

Publication number
CN115698438A
CN115698438A CN202180040200.8A CN202180040200A CN115698438A CN 115698438 A CN115698438 A CN 115698438A CN 202180040200 A CN202180040200 A CN 202180040200A CN 115698438 A CN115698438 A CN 115698438A
Authority
CN
China
Prior art keywords
instability
base
output device
information
machine state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180040200.8A
Other languages
English (en)
Inventor
伊藤卓
栗田雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Hiroshima University NUC
Original Assignee
Kobelco Construction Machinery Co Ltd
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd, Hiroshima University NUC filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN115698438A publication Critical patent/CN115698438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本发明提供一种实机状态监视系统及实机状态监视方法。该实机状态监视系统等能够实现提高提供给挖土机等作业机械的操作员的与该作业机械的不稳定度相关的信息的准确度。不稳定度信息的输出方式以对应于不稳定度(I s1，I s2)的连续性变化而连续地变化的方式被输出到远程图像输出装置(221)(信息输出装置)上，其中，上述不稳定度信息表示数值作为连续变量而被评价的基体(下部行驶体410及上部回转体420)的不稳定度(I s1，I s2)。因此，能够让作业机械(40)的操作员高精度地识别到当前的基体的不稳定度相对于表示基体会变得不稳定的阈值的接近程度、进而能够避免基体出现不稳定的同时让该操作员高精度地识别到使作业机构等动作的允许范围。

Description

实机状态监视系统以及实机状态监视方法
技术领域
本发明涉及对作业机械(实机)的状态进行监视的系统。
背景技术
被提出有以下一种挖土机的技术方案：通过将挖土机的不稳定度提示给操作员，能够高精度地判定非操作员意图的动作(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2019-112783号公报
发明内容
发明要解决的课题
然而，由于不稳定度例如作为由3个区域表示的离散变量而被提示，因此即使操作员参考了该不稳定度，也难以高精度地掌握在使动臂、斗杆及铲斗分别移动了何种程度的情况下，挖土机的下部行驶体会产生浮起。因此，即使是在发生下部行驶体浮起的可能性低、即挖土机变为不稳定的可能性低的状况下，操作员也会停止进一步对动臂等的动作，存在作业效率降低的可能性。
因此，本发明的目的在于提供一种能够实现提高提供给挖土机等作业机械的操作员的与该作业机械的不稳定度相关的信息的准确度的系统等。
用于解决课题的手段
本发明的实机状态监视系统是用于向作业机械的操作员传递该作业机械的状态并将该作业机械的状态输出至信息输出装置的实机状态监视系统，所述作业机械具有基体、从所述基体延伸的作业机构以及安装于所述作业机构的顶端部的作业部，
所述实机状态监视系统具备：
实机状态识别元件，其用于识别所述基体的姿势以及作用于所述作业部的外力；
不稳定度评价元件，其基于由所述实机状态识别元件识别出的所述基体的姿势以及作用于所述作业部的外力，将所述基体的不稳定度作为连续变量进行评价；以及，
输出控制元件，其使不稳定度信息以该不稳定度信息的输出方式对应于所述不稳定度的连续性变化而连续地变化的方式输出至所述信息输出装置，所述不稳定度信息是由所述不稳定度评价元件评价出的表示所述基体的不稳定度的信息。
根据具有该构成的实机状态监视系统，表示数值以连续变量的方式被评价的基体的不稳定度的不稳定度信息以其输出方式对应于不稳定度的连续性变化而连续地变化的方式输出至信息输出装置。
因此，能够让作业机械的操作员高精度地识别到当前的基体的不稳定度相对于表示基体会变得不稳定的阈值的接近程度、进而能够避免基体出现不稳定的同时让该操作员高精度地识别到使作业机构等动作的允许范围。
为了让操作员通过其视觉来识别不稳定度，可以通过以下方式输出简图：所述输出控制元件使表示所述基体的不稳定度的简图按照该简图的形态以所述不稳定度的阈值为基准而连续地变化的方式输出到构成所述信息输出装置的图像输出装置上。为了让操作员通过其听觉来识别不稳定度，也可以通过以下方式输出声音：所述输出控制元件使表示所述基体的不稳定度的声音以该声音的音量、频率或者音量及频率的组合连续地变化的方式输出到构成所述信息输出装置的声音输出装置上。为了让操作员通过其触觉来识别不稳定度，也可以通过以下方式输出振动：所述输出控制元件使表示所述基体的不稳定度的振动以该振动的振幅、振动频率或者振幅及振动频率的组合连续地变化的方式输出到构成所述信息输出装置的振动输出装置上。
本发明的实机状态监视系统也可以由以下远程操作辅助服务器构成：该远程操作辅助服务器基于与所述作业机械以及用于对该作业机械进行远程操作的远程操作装置各自的通信，辅助所述远程操作装置对所述作业机械进行远程操作。所述信息输出装置也可以由用于对所述作业机械进行远程操作的远程操作装置构成。
附图的简单说明
图1是关于作为本发明的一个实施方式的实机状态监视系统的构成的说明图。
图2是关于远程操作装置的结构的说明图。
图3是涉及作业机械的结构的说明图。
图4是涉及远程操作系统的功能的说明图。
图5是涉及实机状态监视系统的功能的说明图。
图6是涉及作业环境图像的说明图。
图7是涉及地面平坦的情况下的第一不稳定度的评价方法的说明图。
图8是涉及地面倾斜的情况下的第一不稳定度的评价方法的说明图。
图9是涉及地面平坦的情况下的第二不稳定度的评价方法的说明图。
图10是涉及地面倾斜的情况下的第二不稳定度的评价方法的说明图。
图11是涉及地面平坦的情况下的第三不稳定度的评价方法的说明图。
图12是涉及地面倾斜的情况下的第三不稳定度的评价方法的说明图。
图13是涉及不稳定度信息的输出方式的说明图。
具体实施方式
(远程操作系统的构成)
图1所示的作为本发明的一个实施方式的实机状态监视系统110由用于辅助远程操作装置20对作业机械40的远程操作的远程操作辅助服务器10构成。远程操作辅助服务器10和远程操作装置20构成为可相互经由第一网络进行通信。远程操作辅助服务器10和作业机械40构成为可相互经由第二网络进行通信。第一网络和第二网络可以是通信标准等共通的网络，也可以是通信标准等相互不同的网络。
(远程操作辅助服务器的构成)
远程操作辅助服务器10具备数据库102、实机状态监视系统110、第一辅助处理元件121和第二辅助处理元件122。数据库102存储并保存拍摄图像数据等。数据库102也可以由相对于远程操作辅助服务器10是独立的数据库服务器构成。各辅助处理元件由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依照该软件的后述的运算处理。
(实机状态监视系统的结构)
实机状态监视系统110具备实机状态识别元件111、不稳定度评价元件112和输出控制元件114。各元件由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据及软件，以该数据为对象，执行依照该软件的后述的运算处理。
(远程操作装置的结构)
远程操作装置20具备远程控制装置200、远程输入接口210和远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的运算处理。
远程输入接口210具备远程操作机构211。远程输出接口220具备远程图像输出装置221、声音输出装置222、振动输出装置223和远程无线通信设备224。远程图像输出装置221、声音输出装置222及振动输出装置223分别构成“信息输出装置”。也可以省略远程图像输出装置221、声音输出装置222以及振动输出装置223中的一部分的装置。
远程操作机构211中包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410移动而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置固定于行驶杆的基部或下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转马达动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆)。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
如图2所示，构成远程操作机构211的各操作杆例如配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高靠背椅这样的形态，也可以是没有头枕的低靠背椅这样的形态、或者是没有靠背的椅子那样的形态等操作员能够就座的任意形态的就座部。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多个操作杆。例如，在对图2所示的设置于座椅St的左侧框架的前方的左侧操作杆2111沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，在对图2所示的设置于座椅St的右侧框架的前方的右侧操作杆2112沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
例如，如图2所示，远程图像输出装置221由分别配置在座椅St的前方、左斜前方以及右斜前方的具有大致矩形状的画面的中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212构成。中央远程图像输出装置2210、左侧远程图像输出装置2211和右侧远程图像输出装置2212各自的画面(图像显示区域)的形状和尺寸可以相同也可以不同。
如图2所示，以中央远程图像输出装置2210的画面与左侧远程图像输出装置2211的画面的倾斜角度成为θ1(例如120°≤θ1≤150°)的方式，左侧远程图像输出装置2211的右缘与中央远程图像输出装置2210的左缘相邻。如图2所示，以中央远程图像输出装置2210的画面与右侧远程图像输出装置2212的画面的倾斜角度成为θ2(例如120°≤θ2≤150°)的方式，右侧远程图像输出装置2212的左缘与中央远程图像输出装置2210的右缘相邻。该倾斜角度θ1和θ2可以是相同的角度也可以是不同的角度。
中央远程图像输出装置2210、左侧远程图像输出装置2211和右侧远程图像输出装置2212各自的画面可以相对于铅直方向平行，也可以相对于铅直方向成倾斜。中央远程图像输出装置2210、左侧远程图像输出装置2211以及右侧远程图像输出装置2212中的至少1个图像输出装置也可以由被分割为多个的图像输出装置构成。例如，中央远程图像输出装置2210也可以由具有大致矩形形状的画面的上下相邻的一对图像输出装置构成。
声音输出装置222由一个或多个扬声器构成，例如，如图2所示，声音输出装置222由配置在座椅St的后方的中央声音输出装置2220、配置在左扶手后部的左侧声音输出装置2221以及配置在右扶手后部的右侧声音输出装置2222构成。中央声音输出装置2220、左侧声音输出装置2221及右侧声音输出装置2222各自的规格可以相同也可以不同。
振动输出装置223由压电元件构成，配设或埋设于座椅St的一个或多个部位。通过振动输出装置223振动，就座于座椅St的操作员能够通过该触觉识别该振动形态。振动输出装置223也可以设置在构成远程操作机构211的远程操作杆等、操作员可通过触摸而识别的所有部位上。
(作业机械的结构)
作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42以及作业机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。
作业机械40例如是液压式、电动式或者液压式和电动式组合而成的混合动力驱动式的履带式挖掘机(工程机械)，如图3所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体420的前方中央部设置有作业机构440。
实机输入接口41具备实机操作机构411、实机拍摄装置412以及实机状态传感器组414。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部所配置的座椅的周围的多个操作杆。在驾驶室424设置有驱动机构或机器人，接收与远程操作杆的操作形态对应的信号，基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置于驾驶室424的内部，透过前窗和左右一对侧窗拍摄包含作业机构440的至少一部分的环境。也可以省略前窗(或车窗框架)以及侧窗中的一部分或全部的窗。实机状态传感器组414由角度传感器、回转角度传感器、外力传感器和3轴加速度传感器等构成，其中，
角度传感器用于测定动臂441相对于上部回转体420的转动角度(起落角度)、斗杆443相对于动臂441的转动角度以及铲斗445相对于斗杆443的转动角度；回转角度传感器用于测定上部回转体420相对于下部行驶体410的回转角度；外力传感器用于测定作用于铲斗445的外力；3轴加速度传感器用于测定作用于上部回转体420的3轴加速度。
实机输出接口42具备实机图像输出装置421和实机无线通信设备422。实机图像输出装置421例如配置于驾驶室424的内部且前窗的附近(参照图6及图9)。也可以省略实机图像输出装置421。
作为工作机构的作业机构440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的顶端；铲斗445，可转动地连结于斗杆443的顶端。在作业机构440安装有由可伸缩的液压缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。作为作业部，除了铲斗445之外，也可使用液压剪(n ibb l er)、切割器、磁石器等各种附件。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(第一功能)
使用图4所示的流程图对由具有上述构成的远程操作辅助服务器10、远程操作装置20以及作业机械40构成的远程操作辅助系统的第一功能进行说明。在该流程图中，“C●”这一区块是为了简化记载而使用的表述，是指数据的发送及/或接收，以该数据的发送及/或接收为条件而执行分支方向的处理的条件分支。
在远程操作装置20中，判定有无操作员经由远程输入接口210进行的指定操作(图4/步骤(STEP)210)。“指定操作”例如是指操作员为了指定意图进行远程操作的作业机械40而在远程输入接口210上进行的点击等操作。在该判定结果为否定的情况下(图4/步骤(STEP)210…否(NO))，结束一系列的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤(STEP)210…是(YES))，通过远程无线通信设备224对远程操作辅助服务器10发送环境确认请求(图4/步骤(STEP)212)。
在远程操作辅助服务器10中，在接收到环境确认请求的情况下，通过第一辅助处理元件121向相应的作业机械40发送该环境确认请求(图4/C10)。
在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图4/C40)，实机控制装置400通过实机拍摄装置412取得拍摄图像(图4/步骤(STEP)410)。由实机控制装置400通过实机无线通信设备422向远程操作辅助服务器10发送表示该拍摄图像的拍摄图像数据(图4/步骤(STEP)412)。
在远程操作辅助服务器10中，当第一辅助处理元件121接收到摄像图像数据时(图4/C11)，第二辅助处理元件122对远程操作装置20发送与摄像图像对应的环境图像数据(图4/步骤(STEP)110)。环境图像数据除了拍摄图像数据本身之外，还包括表示基于拍摄图像生成的模拟的环境图像的图像数据。
在远程操作装置20中，在通过远程无线通信设备224接收到环境图像数据的情况下(图4/C21)，通过远程控制装置200将与环境图像数据对应的环境图像输出到远程图像输出装置221(图4/步骤(STEP)214)。
由此，例如，如图6所示，映入有作为作业机构440的一部分机构的动臂441、斗杆443以及铲斗445的环境图像被输出到远程图像输出装置221。
在远程操作装置20中，由远程控制装置200识别远程操作机构211的操作方式(图4/步骤(STEP)216)，并且，通过远程无线通信设备224对远程操作辅助服务器10发送与该操作方式对应的远程操作指令(图4/步骤(STEP)218)。
在远程操作辅助服务器10中，在第二辅助处理元件122接收到该远程操作指令的情况下，由第一辅助处理元件121对作业机械40发送该远程操作指令(图4/C12)。
在作业机械40中，在由实机控制装置400通过实机无线通信设备422接收到操作指令的情况下(图4/C41)，控制作业机构440等的动作(图4/步骤(STEP)414)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
使用图5所示的流程图对具有上述构成的远程操作辅助系统的第二功能(主要是由远程操作辅助服务器10构成的实机状态监视系统110的功能)进行说明。在该流程图中，“C●”这一区块是为了简化记载而使用的表述，是指数据的发送及/或接收，以该数据的发送及/或接收为条件而执行分支方向的处理的条件分支。
在作业机械40中，由实机控制装置400基于实机状态传感器组414的输出信号，取得表示该作业机械40的动作状态的实机状态数据(图5/步骤(STEP)420)。作业机械40的动作状态中包括：动臂441相对于上部回转体410的转动角度(起落角度)；斗杆443相对于动臂441的转动角度；铲斗445相对于斗杆443的转动角度；上部回转体420相对于下部行驶体410的回转角度；以及，作用于铲斗445的外力F等。
由实机控制装置400通过实机无线通信设备422对远程操作辅助服务器10发送实机状态数据(图5/步骤(STEP)422)。
在远程操作辅助服务器10中，在接收到实机状态数据的情况下(图5/C14)，由实机状态识别元件111基于该实机状态数据来识别作业机械40的状态(图5/步骤(STEP)120)。
具体而言，识别作用于铲斗445的外力F的时间序列。外力F也可以根据动臂油缸442、斗杆油缸444以及铲斗油缸446中的至少1个液压工序来进行识别。
进一步地，识别实机坐标系中的由下部行驶体410和上部回转体420构成的基体的重心P0、浮起支点P1以及外力作用点P2(铲斗445的顶端点)各自的坐标值，其中，实机坐标系的位置及姿势相对于作业机械40固定。实机坐标系中的基体的重心P0的坐标值按照作业机械40的种类和/或规格进行区分地预先登记于数据库102。基于上部回转体420相对于下部行驶体410的回转角度来识别浮起支点P1在实机坐标系中的坐标值(参照专利文献1的浮起支点T1 f)。基于动臂441相对于上部回转体410的转动角度(起落角度)、斗杆443相对于动臂441的转动角度以及铲斗445相对于斗杆443的转动角度的各个转动角度和动臂441、斗杆443以及铲斗445各自的连杆长度，以几何学的方式识别实机坐标系中的外力作用点P2。动臂441的连杆长度(从上部回转体420一侧的关节机构到斗杆443一侧的关节机构的间隔)、斗杆443的连杆长度(从动臂441一侧的关节机构到铲斗445一侧的关节机构的间隔)以及铲斗445的连杆长度(从斗杆443一侧的关节机构到铲斗445的顶端部的间隔)分别按照作业机械40的种类和/或规格区分地预先登记于数据库102。
实机状态识别元件111判定作业机械40是否使用铲斗445(作业部)执行指定作业(图5/步骤(STEP)121)。例如，在指定作业为挖掘作业的情况下，根据作用于铲斗445的外力F是否反复增减，来识别作业机械40是否执行指定作业。
在该判定结果为否定的情况下(图5/步骤(STEP)121…否(NO))，结束本次控制周期中的一系列的处理。另一方面，在该判定结果为肯定的情况下(图5/步骤(STEP)121…是(YES))，基于实机状态识别元件111识别出的实机状态，通过不稳定度评价元件112来评价作业机械40的上部回转体420(基体)的第一不稳定度I s1、第二不稳定度I s2及第三不稳定度I s3(图5/步骤(STEP)122)。
第一不稳定度I s1是从因作业机械40的下部行驶体410(基体)从地面浮起而导致该基体变得不稳定的观点来进行定义的不稳定度。基于图7所示的外力F、外力矢量与水平面所成的角度θf、基体的重心P0与位于比该重心P0靠后方的浮起支点P1的距离lg、浮起支点P1与外力作用点P2的距离lt、线段P0-P1(或者包含该线段的平面)与水平面所成的角度θg、线段P1-P2(或者包含该线段的平面)与水平面所成的角度θt、基体的重量m以及重力加速度g，并根据关系式(11)求出第一不稳定度I s1。即，将连续变量lt、F、θf、θt、lg以及θg作为主变量，定义作为连续函数或者连续从变量的第一不稳定度I s1。
I s1＝lt·Fs in(θt+θf)/lg·mgcosθg… (11)。
如图8所示，在地面的倾斜角度是θm的情况下，第一不稳定度I s1通过关系式(21)定义。地面的倾斜角度θm可基于构成实机状态传感器组414的用于测定作用于上部回转体420的3轴加速度的3轴加速度传感器的输出信号来进行测定。
I s1＝lt·Fs in(θt+θf)/lg·mgcos(θg+θm) … (21)。
第二不稳定度I s2是从因作业机械40的下部行驶体410(基体)从地面浮起而导致该基体变得不稳定的观点来进行定义的不稳定度。基于图9所示的外力F、外力矢量与水平面所成的角度θf、基体的重心P0与位于比该重心P0靠前方的浮起支点P1的距离lfg、浮起支点P1与外力作用点P2的距离lft、线段P0-P1(或者包含该线段的平面)与水平面所成的角度θfg、线段P1-P2(或者包含该线段的平面)与水平面所成的角度θft、基体的重量m以及重力加速度g，并根据关系式(12)求出第二不稳定度I s2。即，定义以连续变量lft、F、θf、θft、lfg及θfg为主变量的作为连续函数或连续从变量的第二不稳定度I s2。
I s2＝lft·Fs in(θf-θft)/lfg·mgcosθfg… (12)。
如图10所示，在地面的倾斜角度为θm的情况下，第二不稳定度I s2通过关系式(22)来进行定义。
I s2＝lft·Fs in(θf-θft)/lfg·mgcos(θfg+θm) … (22)。
第三不稳定度I s3是从因作业机械40的下部行驶体410(基体)相对于地面滑动而导致该基体变得不稳定的观点来定义的不稳定度。基于图11所示的外力F、外力矢量与水平面所成的角度θf、基体的重量m、重力加速度g以及基体与地面的静摩擦系数μ(或者动摩擦系数)，并根据关系式(13)求出第三不稳定度I s3。即，定义以连续变量F及θf为主变量的作为连续函数或者连续从变量的第三不稳定度I s3。需要说明的是，摩擦系数μ使用作业现场的标准的值，但也可以根据不同的气象条件(降水量、温度、湿度等)和/或土质条件·地基条件(砂土、粘土、砂砾、砂、瓦砾等)而使用与上述标准的值不同的数值。
I s3＝Fcosθf/μmg… (13)。
如图12所示，在地面的倾斜角度为θm的情况下，第三不稳定度I s3通过关系式(23)来定义。
I s3＝Fcosθf/(μmgcosθm-mgs i nθm) … (23)。
由输出控制元件114判定第一不稳定度I s1、第二不稳定度I s2及第三不稳定度Is3中哪一个不稳定度的值为最大(图5/步骤(STEP)124)。
在判定第一不稳定度I s1为最大不稳定度I smax的情况下(图5/步骤(STEP)124…1)，由输出控制元件114生成表示第一不稳定度I s1的第一不稳定度信息(图5/步骤(STEP)125)。在判定第二不稳定度I s2为最大不稳定度I smax的情况下(图5/步骤(STEP)124…2)，由输出控制元件114生成表示第二不稳定度I s2的第二不稳定度信息(图5/步骤(STEP)126)。在判定第三不稳定度I s3为最大不稳定度I smax的情况下(图5/步骤(STEP)124…3)，由输出控制元件114生成表示第三不稳定度I s3的第三不稳定度信息(图5/步骤(STEP)127)。然后，由输出控制元件114对远程操作装置20发送第一不稳定度信息、第二不稳定度信息或者第三不稳定度信息(图5/步骤(STEP)128)。
在远程操作装置20中，在通过远程无线通信设备224接收到第一不稳定度信息、第二不稳定度信息或者第三不稳定度信息的情况下(图5/C22)，通过远程控制装置200向远程图像输出装置221输出该不稳定度信息(图5/步骤(STEP)224)。
由此，例如，如图13所示，在远程图像输出装置221中将根据在窗口f中的不稳定度的高低不同而从窗口f的下端缘的长短变化的简图(d iagram)f(x)或柱状图与环境图像重叠地输出。简图f(x)的尺寸通过以不稳定度为变量的线性函数、指数函数、对数函数等的增加函数来进行定义。窗口f的上端缘或比上端缘更低的位置的刻度是表示预测出现下述情况的阈值fth：在第一不稳定度I s1、第二不稳定度I s2或第三不稳定度I s3达到该阈值fth的情况下，基体从地面浮起或者基体相对于地面滑动。
简图f(x)的形状除了采用矩形以外，也可以是圆形、扇形、菱形等各种形状。也可以通过下述方式进行输出：使简图f(x)的尺寸、形状、颜色(明度、彩度及色相)或花纹、或者它们的任意组合对应于不稳定度I s1、I s2、I s3的连续性变化而连续地变化。
(效果)
根据构成具有上述构成的远程操作辅助系统的实机状态监视系统110，不稳定度信息的输出方式以对应于不稳定度I s1、I s2、I s3的连续性变化而连续地变化的方式被输出到远程图像输出装置221(信息输出装置)上(参照图5/步骤(STEP)122→…→STEP224、图9)。其中，不稳定度信息表示数值作为连续变量而被评价的基体(下部行驶体410及上部回转体420)的不稳定度I s1、I s2、I s3。
因此，能够让作业机械40的操作员高精度地识别基体当前的不稳定度相对于表示基体变得不稳定的阈值的接近程度、进而在避免基体出现不稳定的同时识别使作业机构等动作的允许范围。
通过确认信息输出装置输出的表示第一不稳定度的不稳定度信息(第一不稳定度信息)，能够让作业机械的操作员高精度地识别到基体的第一不稳定度相对于阈值(第一阈值)的接近程度、进而在避免基体因以比重心P0靠后方的浮起支点P1为原点而从地面浮起从而导致变得不稳定的情况的同时，能够让作业机械的操作员高精度地识别使作业机构等动作的允许范围(参照图7、图8和图13)。同样地，通过确认信息输出装置输出的表示第二不稳定度的不稳定度信息(第二不稳定度信息)，能够让作业机械的操作员高精度地识别到基体的第二不稳定度相对于阈值(第二阈值)的接近程度、进而在避免基体因以比重心P0靠前方的浮起支点P1为原点而从地面浮起从而变得不稳定的情况的同时，能够让作业机械的操作员高精度地识别使作业机构等动作的允许范围(参照图9、图10和图13)。通过确认信息输出装置输出的表示第三不稳定度的不稳定度信息(第三不稳定度信息)，能够让作业机械的操作员高精度地识别到基体的不稳定度相对于阈值(第三阈值)的接近程度、进而在避免基体因相对于地面滑动而变得不稳定的情况的同时，能够让作业机械的操作员高精度地识别使作业机构等动作的允许范围(参照图11、图12和图13)。
另外，仅在作业机械40一边利用铲斗445(作业部)将力作用于作业物体(砂土、瓦砾等)一边执行作为指定作业的挖掘作业的状况、即基体有可能变得不稳定的状况下，通过信息输出装置将不稳定度信息传递给操作员(参照图5/STEP121…YES→…→STEP224)。由此，实现了提高不稳定度信息的有用性。
(本发明的其他实施方式)
在上述实施方式中，由远程操作辅助服务器10构成了实机状态监视系统110，但作为其他实施方式，也可以由远程操作装置20和/或作业机械40来构成实机状态监视系统110。即，远程操作装置20和/或作业机械40也可具有作为实机状态识别元件111、不稳定度评价元件112及输出控制元件114的功能。
在上述实施方式中，通过远程图像输出装置221输出了不稳定度信息，但也可以附加性地或者代替远程图像输出装置221而通过声音输出装置222和/或振动输出装置223来输出不稳定度信息。也可以通过声音输出装置222以使声音的音量、频率或者音量及频率的组合连续地变化的方式输出表示基体的不稳定度的该声音。也可以通过振动输出装置223以振动的振幅、振动频率或者振幅及振动频率的组合连续地变化的方式输出表示基体的不稳定度的该振动。
在上述实施方式中，对第一不稳定度I s1、第二不稳定度I s2及第三不稳定度Is3进行了评价(参照图5/步骤(STEP)122、图7～图12)，但作为其他实施方式，也可以仅对第一不稳定度I s1、第二不稳定度I s2及第三不稳定度I s3中的1个不稳定度进行评价，并将表示该1个不稳定度的不稳定度信息输出到信息输出装置上。也可以将第一不稳定度I s1、第二不稳定度I s2及第三不稳定度I s3当中的至少2个不稳定度的平均值或者加权和作为单个的不稳定度进行评价。
在上述实施方式中，仅将表示第一不稳定度I s1、第二不稳定度I s2及第三不稳定度I s3当中的一个不稳定度的不稳定度信息输出到信息输出装置上(参照图5/步骤124…1→步骤125→步骤128→…→步骤224，图5/步骤124…2→步骤126→步骤128→…→步骤224，图5/步骤124…3→步骤126→步骤127→…→步骤224)，但也可以将表示第一不稳定度I s1、第二不稳定度I s2及第三不稳定度I s3中的全部不稳定度或者2个不稳定度的3个不稳定度信息或者2个不稳定度信息输出到信息输出装置上。在该情况下，也可以输出用于分别表示第一不稳定度I s1、第二不稳定度I s2及第三不稳定度I s3的2个简图f(x)。省略最大不稳定度I smax的确定处理(参照图5/步骤(STEP)124)。
在上述实施方式中，仅在作业机械40使用铲斗445(作业部)执行指定作业(例如，挖掘作业)的状况下，通过信息输出装置将不稳定度信息传递给操作员(参照图5/步骤(STEP)121…是→…→STEP224)，但作为其他的实施方式，也可以与作业机械40是否执行指定作业无关地通过信息输出装置将不稳定度信息传递给操作员。
在本发明的实机状态监视系统中，优选的是，所述不稳定度评价元件将以所述基体不从地面浮起为基准的第一不稳定度、以及以所述基体相对于地面不滑动为基准的第二不稳定度当中的至少一方不稳定度作为所述不稳定度进行评价。
根据该结构的实机状态监视系统，通过确认由信息输出装置输出的表示第一不稳定度的不稳定度信息(第一不稳定度信息)，能够让作业机械的操作员高精度地识别基体的第一不稳定度相对于阈值(第一阈值)的接近程度，进而能够在避免基体从地面浮起而变得不稳定的同时，让作业机械的操作员高精度地识别使作业机构等动作的允许范围。同样地，通过确认由信息输出装置输出的表示第二不稳定度的不稳定度信息(第二不稳定度信息)，能够使作业机械的操作员高精度地识别基体的不稳定度相对于阈值(第二阈值)的接近程度，进而能够在避免基体因相对于地面滑动而变得不稳定的同时，能够让作业机械的操作员高精度地识别使作业机构等动作的允许范围。
在本发明的实机状态监视系统中，优选的是，所述实机状态识别元件识别所述作业机械是否一边使所述作业部将力作用于作业物体一边执行指定作业，所述输出控制元件以所述实机状态识别元件识别出所述作业机械在执行所述指定作业为必要条件，将所述不稳定度信息输出于所述信息输出装置。
根据具有该构成的实机状态监视系统，仅在作业机械一边使作业部将力作用于作业物体一边执行指定作业的状况、即基体可能变得不稳定的状况下，才通过信息输出装置将不稳定度信息传递给操作员。由此，实现提高不稳定度信息的有用性。
符号说明
10…远程操作辅助服务器，20…远程操作装置，200…远程控制装置，40…作业机械，210…远程输入接口，211…远程操作机构，220…远程输出接口，221…远程图像输出装置(信息输出装置)，222…声音输出装置(信息输出装置)，223…振动输出装置(信息输出装置)，224…远程无线通信设备，41…实机输入接口，412…实机拍摄装置，414…实机状态传感器组，42…实机输出接口，421…实机图像输出装置(信息输出装置)，422…实机无线通信设备，440…作业机构(作业附件)，445…铲斗(作业部)，110…实机状态监视系统，111…实机状态识别元件，112…不稳定度评价元件，114…输出控制元件，410…下部行驶体(基体)，I s1…第一不稳定度，I s2…第二不稳定度，I s3…第三不稳定度。

Claims (9)

1.一种实机状态监视系统，其用于向作业机械的操作员传递该作业机械的状态并将该作业机械的状态输出至信息输出装置，所述作业机械具有基体、从所述基体延伸的作业机构以及安装于所述作业机构的顶端部的作业部，
所述实机状态监视系统的特征在于，具备：
实机状态识别元件，其用于识别所述基体的姿势以及作用于所述作业部的外力；
不稳定度评价元件，其基于由所述实机状态识别元件识别出的所述基体的姿势以及作用于所述作业部的外力，将所述基体的不稳定度作为连续变量进行评价；以及，
输出控制元件，其使不稳定度信息以该不稳定度信息的输出方式对应于所述不稳定度的连续性变化而连续地变化的方式输出至所述信息输出装置，所述不稳定度信息是由所述不稳定度评价元件评价出的表示所述基体的不稳定度的信息。
2.根据权利要求1所述的实机状态监视系统，其特征在于，
所述不稳定度评价元件将以所述基体不从地面浮起为基准的第一不稳定度、以及以所述基体相对于地面不滑动为基准的第二不稳定度当中的至少一方不稳定度作为所述不稳定度进行评价。
3.根据权利要求1或2所述的实机状态监视系统，其特征在于，
所述输出控制元件使表示所述基体的不稳定度的简图按照所述简图的形态以所述不稳定度的阈值为基准而连续地变化的方式输出到构成所述信息输出装置的图像输出装置上。
4.根据权利要求1至3中任一项所述的实机状态监视系统，其特征在于，
所述输出控制元件使表示所述基体的不稳定度的声音以该声音的音量、频率或者音量及频率的组合连续地变化的方式输出到构成所述信息输出装置的声音输出装置上。
5.根据权利要求1至4中任一项所述的实机状态监视系统，其特征在于，
所述输出控制元件使表示所述基体的不稳定度的振动以该振动的振幅、振动频率或者振幅及振动频率的组合连续地变化的方式输出到构成所述信息输出装置的振动输出装置上。
6.根据权利要求1至5中任一项所述的实机状态监视系统，其特征在于，
所述实机状态识别元件识别所述作业机械是否一边使所述作业部将力作用于作业物体一边执行指定作业，
所述输出控制元件以所述实机状态识别元件识别出所述作业机械在执行所述指定作业为必要条件，将所述不稳定度信息输出于所述信息输出装置。
7.根据权利要求1至6中任一项所述的实机状态监视系统，其特征在于，
由以下远程操作辅助服务器构成：该远程操作辅助服务器基于与所述作业机械以及用于对该作业机械进行远程操作的远程操作装置各自的通信，辅助所述远程操作装置对所述作业机械进行远程操作。
8.根据权利要求1至7中任一项所述的实机状态监视系统，其特征在于，
所述信息输出装置由用于对所述作业机械进行远程操作的远程操作装置构成。
9.一种实机状态监视方法，其用于向作业机械的操作员传递该作业机械的状态并将该作业机械的状态输出至信息输出装置，所述作业机械具有基体、从所述基体延伸的作业机构以及安装于所述作业机构的顶端部的作业部，
所述实机状态监视方法的特征在于，具备以下各工序：
实机状态识别工序，识别所述基体的姿势以及作用于所述作业部的外力；
不稳定度评价工序，基于在所述实机状态识别工序中识别出的所述基体的姿势以及作用于所述作业部的外力，将所述基体的不稳定度作为连续变量进行评价；以及，
输出控制工序，使不稳定度信息以该不稳定度信息的输出方式对应于所述不稳定度的连续性变化而连续地变化的方式输出至所述信息输出装置，所述不稳定度信息是在所述不稳定度评价工序中评价出的表示所述基体的不稳定度的信息。
CN202180040200.8A 2020-06-04 2021-05-20 实机状态监视系统以及实机状态监视方法 Pending CN115698438A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-097595 2020-06-04
JP2020097595A JP7441733B2 (ja) 2020-06-04 2020-06-04 実機状態監視システムおよび実機状態監視方法
PCT/JP2021/019270 WO2021246190A1 (ja) 2020-06-04 2021-05-20 実機状態監視システムおよび実機状態監視方法

Publications (1)

Publication Number Publication Date
CN115698438A true CN115698438A (zh) 2023-02-03

Family

ID=78830954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180040200.8A Pending CN115698438A (zh) 2020-06-04 2021-05-20 实机状态监视系统以及实机状态监视方法

Country Status (5)

Country Link
US (1) US20230228064A1 (zh)
EP (1) EP4141176A4 (zh)
JP (1) JP7441733B2 (zh)
CN (1) CN115698438A (zh)
WO (1) WO2021246190A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075157A1 (en) * 2000-12-18 2002-06-20 Muller Thomas P. Apparatus and method for a machine stability system for an articulated work machine
CN102906347A (zh) * 2010-05-24 2013-01-30 日立建机株式会社 作业机械的安全装置
US20190017248A1 (en) * 2016-03-31 2019-01-17 Sumitomo Heavy Industries, Ltd. Excavator
WO2019182042A1 (ja) * 2018-03-20 2019-09-26 住友重機械工業株式会社 ショベル、情報処理装置、情報処理方法、プログラム
WO2019244574A1 (ja) * 2018-06-19 2019-12-26 住友建機株式会社 掘削機、情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3572563B2 (ja) * 1997-04-18 2004-10-06 国土交通省関東地方整備局長 クレーンの転倒防止装置および方法
JP5969379B2 (ja) 2012-12-21 2016-08-17 住友建機株式会社 ショベル及びショベル制御方法
JP6808377B2 (ja) 2016-06-27 2021-01-06 住友建機株式会社 ショベルの表示装置
JP6991056B2 (ja) 2017-12-21 2022-01-12 住友重機械工業株式会社 ショベル

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075157A1 (en) * 2000-12-18 2002-06-20 Muller Thomas P. Apparatus and method for a machine stability system for an articulated work machine
CN102906347A (zh) * 2010-05-24 2013-01-30 日立建机株式会社 作业机械的安全装置
US20190017248A1 (en) * 2016-03-31 2019-01-17 Sumitomo Heavy Industries, Ltd. Excavator
WO2019182042A1 (ja) * 2018-03-20 2019-09-26 住友重機械工業株式会社 ショベル、情報処理装置、情報処理方法、プログラム
WO2019244574A1 (ja) * 2018-06-19 2019-12-26 住友建機株式会社 掘削機、情報処理装置

Also Published As

Publication number Publication date
US20230228064A1 (en) 2023-07-20
JP2021188469A (ja) 2021-12-13
EP4141176A4 (en) 2023-10-25
JP7441733B2 (ja) 2024-03-01
EP4141176A1 (en) 2023-03-01
WO2021246190A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
CN113167054B (zh) 包括作业机械的系统、由计算机执行的方法及学习用数据
CN110300827B (zh) 工程机械
EP3951094B1 (en) Remote operation system and remote operation server
CN113631779A (zh) 挖土机及施工系统
CN110344467B (zh) 挖掘机测量和控制逻辑电路
WO2021010258A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2021019951A1 (ja) 建設機械の作業情報生成システム及び作業情報生成方法
JP2024052764A (ja) 表示制御装置及び表示方法
CN111936705B (zh) 尺寸确定装置以及尺寸确定方法
CN115698438A (zh) 实机状态监视系统以及实机状态监视方法
US11952747B2 (en) Teleoperation device for construction machinery
JP7296713B2 (ja) 表示制御システム、表示制御方法および遠隔操作システム
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2021166480A1 (ja) 災害対策支援サーバ、災害対策支援システムおよび災害対策支援方法
US20230128501A1 (en) Remote operation assistance device and remote operation assistance method
CN114787453B (zh) 远程操作装置及远程操作系统
WO2021215198A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
EP4368781A2 (en) Work machine and information processing device
JP2024068678A (ja) 作業機械及び情報処理装置
US20220398512A1 (en) Work assist server, work assist method, and work assist system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination