CN114729521B - 作业机械的远程操作辅助系统 - Google Patents

作业机械的远程操作辅助系统 Download PDF

Info

Publication number
CN114729521B
CN114729521B CN202080083150.7A CN202080083150A CN114729521B CN 114729521 B CN114729521 B CN 114729521B CN 202080083150 A CN202080083150 A CN 202080083150A CN 114729521 B CN114729521 B CN 114729521B
Authority
CN
China
Prior art keywords
remote operation
obstacle
operator
attribute
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080083150.7A
Other languages
English (en)
Other versions
CN114729521A (zh
Inventor
广濑龙一
佐佐木均
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN114729521A publication Critical patent/CN114729521A/zh
Application granted granted Critical
Publication of CN114729521B publication Critical patent/CN114729521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种远程操作辅助系统。该远程操作辅助系统用于辅助操作员(OP)对作业机械进行远程操作。为了达到上述目的，本发明的远程操作辅助系统具有：距离取得部(201)，其取得与操作员(OP)距移动体(M)的距离相关的信息；属性取得部(202)，其取得移动体(M)所属的属性；障碍判定部(203)，其根据距离取得部(201)取得的距离以及属性取得部(202)取得的属性，判定对远程操作造成障碍的可能性的高低；辅助控制部(204)，其进行控制，该控制用于辅助与障碍判定部(203)的判定结果对应的远程操作。

Description

作业机械的远程操作辅助系统
技术领域
本发明涉及对作业机械的远程操作进行辅助的远程操作辅助系统。
背景技术
已被公开有以下一种装置：对侵入到供远程操作的工程机械的作业范围等规定范围内的侵入移动体进行检测的装置(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开平10-72851号公报
发明内容
发明要解决的课题
在专利文献1中公开有一种侵入移动体检测装置，其检测侵入到被远程操作的工程机械的作业范围等规定范围内的移动体M。
然而，还存在第三者会对在对作业机械进行远程操作的操作员发生干扰的情况。在该第三者对操作员发生干扰的情况下，要求操作员中断操作。
因此，本发明的目的在于提供一种用于辅助操作员对作业机械进行远程操作的远程操作辅助系统。
用于解决课题的手段
本发明涉及用于辅助操作员使用远程操作装置对作业机械进行远程操作的远程操作辅助系统。
本发明的特征在于，具有：距离取得部，其设置在所述远程操作装置的规定部位，取得与距移动体的距离相关的信息；属性取得部，其取得所述移动体所属的属性；障碍判定部，其根据所述距离取得部取得的与距离相关的信息以及所述属性取得部取得的属性，判定对所述远程操作造成障碍的可能性高低；以及，辅助控制部，其进行控制，该控制用于辅助与所述障碍判定部的判定结果对应的远程操作。
本发明的远程操作辅助系统用于对远程操作作业机械的操作员进行辅助。根据本发明，障碍判定部基于距离取得部检测到的与距离相关的信息以及属性取得部取得的属性，判定对远程操作造成障碍的可能性的高低。并且，辅助控制部进行与上述判定结果相应的控制，因此，操作员能够接受到对作业机械进行远程操作的辅助。
附图的简单说明
图1是作为本发明的一个实施方式的远程操作辅助系统的框图。
图2是作为本发明的一个实施方式的远程控制装置的图。
图3是作为本发明的一个实施方式的作业机械的图。
图4是作为本发明的一个实施方式的远程操作辅助系统的流程图。
图5是作为本发明的其他实施方式的远程操作辅助系统的框图。
具体实施方式
图1所示的作为本发明的一个实施方式的远程操作辅助系统S至少由远程操作装置20、远程操作装置20所具备的远程控制装置200构成。需要说明的是，关于远程操作装置20以及远程控制装置200的详细内容，在后面叙述。
另外，也可以在云(Cloud)上的服务器30上具备远程控制装置200。需要说明的是，关于服务器30的详细内容，在后面叙述。另外，远程操作辅助系统S还可以是包含了供远程操作装置20远程操作的作业机械40的概念。
这里，远程操作是指操作员OP不搭乘于作业机械40而从与作业机械40分离的位置对作业机械进行操作的概念。在本发明中，操作员OP能够使用远程操作装置20从与作业机械40分离的位置操作该作业机械40。
远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220、距离检测装置230、远程操作拍摄装置240、属性数据库250。
远程控制装置200具备距离取得部201、属性取得部202、障碍判定部203以及辅助控制部204。另外，远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成这些处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。
距离取得部201获取与操作员OP距位于操作员OP的周边的移动体M的距离相关的信息。由距离检测装置230检测操作员OP距移动体M的距离。需要说明的是，关于距离检测装置230的详细内容，在后面叙述。
属性取得部202从属性数据库250中取得移动体M所属的属性。例如，属性取得部202能够通过使用公知的技术对远程操作拍摄装置240拍摄到的拍摄图像进行图像解析，识别该拍摄图像中所包含的移动体M的大小、形状。另外，属性取得部202从预先存储在属性数据库250中的移动体M的候选中提取出具有与该移动体M最类似的属性(例如，形状)的移动体M候选。另外，属性取得部202参照提取出的移动体M的候选所具有的属性，获取该移动体M所属的属性。需要说明的是，关于远程操作摄像装置240以及属性数据库250的详细内容，在后面叙述。
属性是指至少包含与移动体M的活性度相关的信息的概念。另外，作为属性的概念，可以包含表示移动体M的种类、姓名、年龄、性别以及移动体M的特征的信息。与移动体M的活性度相关的信息是指：因该移动体M是动物而活性度高的信息、因该移动体M是人类而活性度比动物低的信息、因该移动体M是儿童而活性度比成人高的信息、因该移动体M是动物且多个存在而比单个存在的情况的活性度高的信息等。当然，属性也可以包含移动体M的图像数据。例如，属性包含移动体M的脸部照片的图像数据。
另外，与移动体M的活性度相关的信息包含与该移动体M的性格相关的信息。
当然，表示移动体M的特征的信息也可以是以下信息：因该移动体M是狗，因而不清楚何时会扑向操作者，所以会对作业机械40的远程操作造成障碍的可能性高的信息。
障碍判定部203基于由距离取得部201获取的与操作员OP距移动体M的距离有关的信息以及由属性取得部202获取的与移动体M的属性相关的信息，参照存储在属性数据库250中的表格(table)，判定移动体M对操作员OP在进行的远程操作造成障碍的可能性的高低。
另外，作为障碍判定部203进行判定的其他例子，也可举出基于与移动体M的时间序列有关的信息进行判定的例子。
例如，在该情况下，获取与规定的时刻相关的时刻信息以及与该时刻的移动体的位置相关的位置信息，在移动体接近操作员OP的情况下，障碍判定部203判定为移动体M对操作员OP在进行的远程操作造成障碍的可能性高。
另一方面，获取与规定的时刻相关的时刻信息以及与在该时刻的移动体的位置相关的位置信息，在移动体离开操作员OP的情况下，障碍判定部203判定为移动体M对操作员OP在进行的远程操作造成障碍的可能性低。
当然，障碍判定部203也可以基于由距离取得部201获取的与操作员OP距移动体M的距离相关的信息以及由属性取得部202取得的与移动体M的属性相关的信息，使用保存在属性数据库250中的函数，算出移动体M对操作员OP在进行的远程操作造成障碍的可能性的高低，并由此进行判定。需要说明的是，在该情况下使用以X为自变量、Y为因变量的函数，该函数是Y基于被输入的X值而被输出的函数。当然，该函数只是用于进行判定的函数中的一个例子。
另外，上述表格等保存在后述的属性数据库250中。
例如，障碍判定部203进行以下判定：操作员OP距移动体M的距离越短，移动体M对操作员OP在进行的远程操作造成障碍的可能性越高。
另一方面，障碍判定部203进行以下判定：操作员OP距移动体M的距离越远，移动体M对操作员OP在进行的远程操作造成障碍的可能性越低。
另外，例如，障碍判定部203进行以下判定：移动体M接近操作员OP的速度越快，移动体M对操作员OP在进行的远程操作造成障碍的可能性越高。
另外，例如，障碍判定部203进行以下判定：移动体M接近操作员OP的速度越慢，移动体M对操作员OP在进行的远程操作造成障碍的可能性越低。当然，障碍判定部203也可以进行以下判定：移动体M越远离操作员OP，移动体M对操作员OP在进行的远程操作造成障碍的可能性越低。
另外，障碍判定部203例如进行以下判定：移动体M的活性度越高，移动体M对操作员OP在进行的远程操作造成障碍的可能性越高。
另一方面，障碍判定部203也可以进行以下判定：移动体M的活性度越低，移动体M对操作员OP在进行的远程操作造成障碍的可能性越低。
具体而言，障碍判定部203将用于判定移动体M对操作员进行的远程操作造成障碍的可能性高的危险阈值设定为10，在该危险指标值为10以上的情况下，障碍判定部203判定为移动体M对操作员OP在进行的远程操作造成障碍的可能性高。需要说明的是，使用表格或函数来预先设定危险阈值。
这里，对操作者的宠物(狗)位于操作者的后方1米的情况进行说明。在该情况下，由距离取得部201取得的操作员OP距移动体M的距离为1米，因此对照预先设定的表格，判定危险指标值为5。另外，属性取得部202取得的移动体M是宠物狗，由于其活性度高于人，因此对照预先设定的表格，判定危险指标值为5。需要说明的是，使用表格或函数来预先设定危险指标值。
这样，由于危险指标值合计为10，达到了危险阈值的10，障碍判定部203判定该狗对操作员OP在进行的远程操作造成障碍的可能性高。
另一方面，针对在对操作员进行操作指导的指导员位于操作员的后方1米的情况进行说明。在该情况下，由距离取得部201取得的操作员OP距移动体M的距离为1米，因此对照预先设定的表格，判定危险指标值为5。另外，由属性取得部202取得的移动体M是操作员OP的指导员，活性度低，对照预先设定的表格，判定危险指标值为0。
这样，由于危险指标值合计只有5，因此，障碍判定部203判定该指导员对操作员OP在进行的远程操作造成障碍的可能性低。
作为障碍判定部203所进行的判定的另一个例子，可举出下述例子。例如，在移动体M是未被预先保存在属性数据库250中的可疑人员的情况下，在属性取得部202对照保存在属性数据库250中的表格却无法获取移动体M(可疑人员)所属的属性的情况下，判定该移动体M(可疑人员)的危险指标值为10。另外，对属性数据库250进行后述。
这样，与操作员OP距该移动体M(可疑人员)的距离无关地将危险指标值设定成10，因而达到了危险阈值的10，因此，障碍判定部203判定该移动体M(可疑人员)对操作员OP在进行的远程操作造成障碍的可能性高。
远程输入接口210具备后述的远程操作机构211。
远程操作机构211中包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体450移动而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可兼作行驶踏板。例如，也可以设置固定于行驶杆的基部或下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。
如图2所示，构成远程操作机构211的各操作杆例如配置在用于供操作员就座的座椅St的周围。在座椅St的前方左右并排地配置有与左右履带对应的左右一对行驶杆2110。在沿前后方向操作右侧操作杆2111的情况下，右侧操作杆2111作为动臂杆发挥功能，并且在沿左右方向操作右侧操作杆2111的情况下，右侧操作杆2111作为铲斗杆发挥功能。在沿前后方向操作左侧操作杆2112的情况下，左侧操作杆2112作为回转杆发挥功能。需要说明的是，杆模式也可以根据操作员的操作指示任意地变更。
辅助控制部204由具备CPU、RAM、ROM、闪存的计算机单元等构成。
在辅助控制部204的ROM中存储有用于使该计算机单元作为辅助控制部204发挥功能的程序。即，由CPU执行存储于ROM的程序，由此，该计算机单元作为辅助控制部204发挥功能。
例如，辅助控制部204具有根据障碍判定部203的判定结果来控制作业机械40的动作的功能。更具体而言，在障碍判定部203判定对操作员在进行的远程操作造成障碍的可能性高的情况下(例如，在危险指标值为10以上的情况下)，辅助控制部204通过控制作业机械40的发动机的转矩、操作杆以及制动器等，来执行对作业机械40的动作的停止、减速等。
在判定为移动体M对操作员在进行的远程操作造成障碍的可能性高的情况下，辅助控制部204例如执行下述控制：停止由操作员OP的操作而被输入于远程操作机构211的行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置等的操作量向作业机械40的传递，并且使作业机械40动作中的致动器自动停止。
另外，在判定为移动体M对操作员在进行的远程操作造成障碍的可能性低的情况下，辅助控制部204例如执行下述控制：以对由操作员OP的操作而被输入于远程操作机构211的行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置等的操作量加以限制(限制到操作量的最大值)的方式传递给作业机械40，由此使作业机械40动作中的致动器自动减速。
另外，辅助控制部204与对操作者在进行的远程操作造成障碍的可能性的高低无关地执行将检测出的与移动体M有关的信息通知给操作员OP的控制。通知控制例如是以下一种控制：在远程输出接口220的图像输出装置221上进行与检测到了移动体M的情况相关的显示。既可以与该显示同时地显示保存在属性数据库250中的信息，也可以伴随着警报声鸣响。另外，也可以根据移动体M的属性、距离来变更通知内容。需要说明的是，对作业机械40进行后述。
远程输出接口220具备后述的图像输出装置221以及远程无线通信设备222。
例如，如图2所示，图像输出装置221由设置在远程操作装置20上的右斜前方图像输出装置2211、前方图像输出装置2212以及左斜前方图像输出装置2213构成，其中，右斜前方图像输出装置2211配置在供操作员OP就座的座椅St的右斜前方；前方图像输出装置2212配置在该座椅St的前方；左斜前方图像输出装置2213配置在该座椅St的左斜前方。该图像输出装置2211～图像输出装置2213也可以具备扬声器(声音输出装置)(未图示)。
远程无线通信设备222具有下述功能：在作业机械40和远程操作装置20的通信确立的状态下，使用公知的技术与作业机械40以及远程操作装置20相互进行无线通信。
距离检测装置230只要是能够检测到从距离检测装置230被输出的操作员OP距移动体M的距离的装置即可。例如，距离检测装置230是TOF(Time Of Flight)传感器。该例只是一个例子，距离检测装置230既可以是接近传感器，也可以是立体摄像机。
另外，距离检测装置230可以适当地设定作为检测距离检测装置230距移动体M的距离的区域的检测区域(检测距离、检测宽度)。
另外，距离检测装置230设置在远程操作装置20的规定部位。当然，距离检测装置230可以在远程操作装置20上仅设置一个，也可以设置多个。
例如，可以通过下述方式设置距离检测装置230：在座椅St上设置距离检测装置230，距离检测装置230朝向操作员OP的后方。并且，距离检测装置230检测就座于座椅St的操作员OP的背后距正在接近该操作员OP的移动体M(可疑人员)的距离。当然，只要能够检测到该操作员OP距移动体M的距离，距离检测装置230的朝向可以朝向任何方向。
即，距离检测装置230以座椅St的位置为基准检测操作员OP距移动体M的距离。
需要说明的是，在操作员OP距设置有远程操作装置20的远程操作室(未图示)的壁面的距离比较短的情况下，无需使距离检测装置230朝向该壁面。
例如，在座椅St的靠背到位于座椅St的右向的壁面为止的距离为10cm的情况下，可排除操作员的该右向距离地设定距离检测装置230的检测区域。
即，在座椅St距壁面的距离较短，移动体M无法从操作员OP的右向接近操作员OP的情况下，距离检测装置230从该检测区域中预先排除了操作员OP的右向区域。
换言之，距离检测装置230对于从操作员OP的右向接近操作员OP的移动体M，不检测到操作员OP为止的距离。
远程操作拍摄装置240具有拍摄操作员OP的周围的功能。特别是，远程操作拍摄装置240优选具有拍摄操作员OP的后方以及左右向的功能。例如，在可疑人员从操作员OP的背后接近该操作员OP的情况下，远程操作拍摄装置240对该可疑人员进行拍摄。当然，在远程操作装置20设置于远程操作室的室内的情况下，远程操作拍摄装置240也可以是始终对远程操作室的门进行拍摄来监视是否有可疑人员进入的相机。需要说明的是，远程操作拍摄装置240并不一定要拍摄到操作员OP，例如，将除去了座椅St的区域设定成检测区域。
例如，远程操作拍摄装置240是摄像机，设置在图像输出装置221的上方，拍摄操作员OP的后方。当然，远程操作拍摄装置240也可以是顶部相机。在该情况下，远程操作拍摄装置240设置在远程操作室的天花板上，360°拍摄操作员OP的周围。当然，远程操作拍摄装置240也可以是立体相机。在该情况下，远程操作拍摄装置240能够检测操作员OP距移动体M(可疑人员)的距离，因此，能够兼具作为距离检测装置230的功能。
属性数据库250只要是能够保存移动体M的候选以及该移动体M的属性(信息)的存储装置即可。例如，存储装置是HDD(Hard Disk Drive)。另外，存储装置也可以是SD(注册商标)存储卡(Secure Digital存储卡)、CF(Compact Flash)、NAND闪存、软盘、光盘、紧致磁盘、蓝光(注册商标)光盘、DVD(Digital Versatile Disk)这类便携式存储介质。
另外，属性数据库250存储有表格，在该表格中，与移动体的活性度相关的信息和关于该移动体的危险指标值建立有关联。在该表格中，预先设定有与各移动体的活性度相关的危险指标值。
当然，属性数据库250也可以保存有用于基于与移动体的活性度有关的信息计算出该移动体的危险指标值的函数。作为该函数的例子，可举出以X为自变量、Y为因变量的函数，该函数是Y基于被输入的X值而被输出的函数。当然，该函数只是用于进行判定的函数的一个例子。
作业机械40例如是在施工现场能够运转的作业机械。作业机械40包括可夯实砂土或挖掘砂土的工程机械、以及能够搬运砂土的搬运车辆中的至少一方。工程机械包括具有铲斗的液压挖掘机及具有推土铲的推土机中的至少一方。搬运车辆包括具有车斗的自卸卡车等。需要说明的是，工程机械也可以是解体机、起重机、轮式装载机、机动平地机等。
作业机械40作为构成要素具备实机控制装置400、实机输入接口410、实机输出接口420、回转机构430、动作机构(作业附件)440、下部行驶体450、上部回转体460、驾驶室470以及机械室480(图3)。当然，根据需要，无需具备上述全部的构成。
实机控制装置400由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。
例如，实机控制装置400进行上述运算处理，进行与作业机械40执行的动作(行驶、回转、起落、把持、破碎、切断、吸附、卷取、挖掘等)的停止以及减速中的至少一方相关的控制。
实机输入接口410具备实机操作机构411和作业现场拍摄装置412。
实机操作机构411在配置于驾驶室470内部的驾驶室内座椅的周围具备与远程操作机构211同样地配置的多个实机操作杆(未图示)。在驾驶室470中设置有驱动机构或者机器人，该驱动机构或者机器人接收与远程操作杆的操作方式对应的信号，并基于接收的该信号，使实机操作杆(未图示)动作。需要说明的是，对驾驶室470进行后述。
作业现场拍摄装置412例如设置于驾驶室470的内部，并透过驾驶室470的前窗对至少包含一部分动作机构440的环境进行拍摄。
实机输出接口420具备实机无线通信设备421。
实机无线通信设备421具有下述功能：在作业机械40与远程操作装置20的通信确立的状态下，使用公知的技术与作业机械40以及远程操作装置20相互进行无线通信。
回转机构430配置在下部行驶体450的下部框架451与上部回转体460的上部框架461之间。回转机构430连结上部框架461和下部框架451，以使上部框架461能以回转轴线a为轴线相对于下部框架451绕水平轴回转。
作为动作机构的作业附件440具备：以可起落的方式安装于上部回转体460的动臂441；以可转动的方式与动臂441的顶端连结的斗杆443；以可转动的方式与斗杆443的顶端连结的顶端附件445。例如，在作业机械40是进行挖掘作业的工程机械的情况下，顶端附件445是铲斗。另外，例如，在作业机械40是进行解体作业的工程机械的情况下，顶端附件445是破碎装置。在作业附件440上安装有由可伸缩的液压缸构成的动臂油缸442、斗杆油缸444以及顶端油缸446。
下部行驶体450具备下部框架451和设置于下部框架451两侧的一对履带452。履带452受作为液压致动器的行驶用液压电机(未图示)驱动。
需要说明的是，下部行驶体450并不限定于由下部框架451和履带452构成的行驶体，只要是能够搭载回转机构430以及作业附件440且能够行驶的行驶体均可。例如，行驶体也可以是利用车轮移动的行驶体、或者脚式的行驶体。另外，在作业机械为水上使用的工程机械的情况下，行驶体也可以是驳船等。
上部回转体460具备上部框架461，在上部框架461上设置有作业附件440、驾驶室470以及机械室480。
驾驶室470中设置有驱动机构或者机器人，该驱动机构或者机器人接收与远程操作杆的操作方式对应的信号，并基于接收的该信号使实机操作杆动作。另外，在驾驶室470中，也可以设置实机操作杆(未图示)等用于操作作业机械40的各种设备(例如，紧急停止开关、监视器等)，该实机操作杆用于供实际搭乘在作业机械40上的驾驶员操作作业机械40的动作(行驶、回转、起落、把持、破碎、吸附、卷取、挖掘等)、上部回转体460的回转以及下部行驶体450的移动。
在机械室480中收纳有油箱(未图示)以及液压回路装置(未图示)。
参照图4所示的流程图，对具有上述构成的远程操作辅助系统S的功能进行说明。
在步骤(STEP)1中，距离取得部201获取与规定位置(例如，供操作员OP就座的座椅St)距移动体M(可疑人员)的距离相关的信息。
在步骤(STEP)2中，判定在步骤1中取得的距离是否为基准值以下。
在步骤(STEP)3(步骤2中判定为“是(YES)”的情况下)中，属性取得部202从属性数据库250取得移动体M所属的属性。另外，在步骤2中判定为“否(NO)”的情况下，进入步骤(STEP)6。
在步骤(STEP)4中，障碍判定部203判定移动体M的属性是否对远程操作造成障碍。具体而言，基于距离取得部201所获取的距离和属性取得部202所获取的属性来对危险指标值进行运算，从而判定该障碍出现的可能性的高低。
在步骤(STEP)5(步骤4中判定为“是(YES)”的情况下)中，辅助控制部204进行用于使作业机械40的动作停止或减速的控制。特别是，在出现该障碍的可能性高的情况下使作业机械40的动作停止，在出现该障碍的可能性低的情况下使作业机械40的动作减速。另外，在不会出现该障碍的情况下(步骤2中判定为“否(NO)”的情况下)，进入步骤(STEP)6。
最后，在步骤6中，进行用于将移动体M的存在通知给操作员OP的控制。在操作员能够接受到与障碍判定部203的判定结果对应的远程操作的辅助的条件下，也可以对上述流程图的一部分流程进行变更。
(本发明的其他实施方式)
在上述实施方式中，说明了基于距离取得部201所获取的距离相关的信息和属性取得部202所获取的属性来判定对远程操作造成障碍的可能性高低的例子，但并不限定于这样的例子。
例如，首先，基于距离取得部201检测出的距离，判定对所述远程操作造成障碍的可能性的高低，然后，基于属性取得部202取得的属性，判定对所述远程操作造成障碍的可能性的大小，由此也能够进行用于辅助远程操作的控制。即，也可以具有2个以上判定对远程操作造成障碍的可能性的高低的判定部。在这样的情况下，也能够适用本发明的远程操作辅助系统。
在上述实施方式中，说明了属性取得部202从属性数据库250取得移动体M的属性的例子，但并不限定于这样的例子。例如，在移动体M为宠物(狗等)的情况下，也可以采用下述方式：给宠物的颈上带上项圈，在该项圈上标附用于识别该宠物的识别符，利用读取器读取该识别符，由此，属性取得部202取得移动体M的属性。例如，识别符是QR码(注册商标)，通过在该QR码(注册商标)中保存用于识别该宠物的信息，并利用读码器读取该QR码(注册商标)，由此，属性取得部202来获取移动体M的属性。
当然，在宠物的颈上带有项圈的情况下，也可以采用下述方式：在该项圈上标上IC标签(RFID)。也可以在该IC标签(RFID)中保存用于识别该宠物的信息，并用IC标签读取器(RFID读取器)读取该IC标签，由此，属性取得部202获取到宠物的属性。
需要说明的是，作为标识符的其他例子，可列举出：IC代码、条形码、矩阵条形码、数据矩阵代码、专用代码、三角形代码、数字条形码、字母数字条形码、2维条形码、符号、图形、手写文字、文字、数字、字母数字、象形文字、画文字、音节文字、表语文字以及由上述码或文字组合而成的群等。
需要说明的是，作为读取标识符的装置，可以举出读码器等。另外，在直接读取文字等(宠物名)的情况下，可使用公知的技术(OCR等)来读取该文字(宠物名)。
在上述实施方式中，对移动体M的存在数量为1个的情况下的障碍判定部203的例子进行了说明，但并不限定于这样的例子。
例如，在存在多个移动体M的情况下，障碍判定部203针对各移动体M判定造成障碍的可能性。
另外，例如，也可以将存在多个移动体M的情况下的危险阈值预先设定为10，障碍判定部203在取得了存在多个移动体M这一信息的时刻，判定各个移动体M会造成障碍的可能性高。这里，不管操作员OP与存在多个的移动体M各自的距离多少，均将上述情况判定成造成障碍的可能性高。
具体而言，障碍判定部203可以进行以下判定：在取得了在操作员OP的后方有2只宠物(狗)这一信息的时刻，判定各个狗会造成障碍的可能性高。这里，即使操作员OP与各个狗之间的距离是10米，但在操作员OP的后方有2只狗存在，因此，判定各个狗对操作员OP在进行的远程操作造成障碍的可能性高。
另外，例如，在移动体M一个都不存在的情况下，障碍判定部203不需要判定造成障碍的可能性。这里，因移动体M一个也不存在，危险指标值为0，可以判定不存在移动体M造成障碍的可能性。在该情况下，不会使作业机械的动作停止或减速。
在上述实施方式中，说明了移动体M是操作员OP的指导员，该指导员位于操作员OP的后方1米的情况下的障碍判定部203的判定的例子，但并不限定于这样的例子。
在上述实施方式中，示出了远程控制装置200包含于远程操作装置20的例子，但并不限定于这样的例子。例如，也可以使用云技术，在服务器30中具备远程控制装置200(图5)。在该情况下，远程操作装置20、服务器30和作业机械40经由网络连接，并可经由网络进行远程操作。在该情况下，属性数据库250既可以设置于服务器30，也可以设置于远程控制装置200。
在上述实施方式中，示出了远程控制装置200包含于远程操作装置20的例子，但并不限定于这样的例子。例如，远程控制装置200也可以安装在作业机械40(未图示)中。
在上述实施方式中，示出了属性数据库250包含于远程操作装置20的例子，但并不限定于这样的例子。例如，也可以使用云技术，在服务器30中具备属性数据库250。在该情况下，远程操作装置20、服务器30和作业机械40经由网络连接，并可经由网络进行远程操作。当然，也可以在与服务器30不同的其他服务器(未图示)中具备属性数据库250。
在上述实施方式中，示出了属性数据库250包含于远程操作装置20的例子，但并不限定于这样的例子。例如，属性数据库250也可以安装在作业机械40(未图示)中。
在本发明中，优选的是，在所述障碍判定部中判定对所述操作员在进行的远程操作造成障碍的可能性高的情况下，所述辅助控制部进行使所述作业机械的动作停止的控制。
根据本发明，在障碍判定部中判定对操作员在进行的远程操作造成障碍的可能性高的情况下，辅助控制部进行使作业机械的动作停止的控制。由此，能够在操作员中断远程操作之前使作业机械的动作停止。
在判定对远程操作造成障碍的可能性高的情况下，能够可靠地停止作业机械的动作，在不是判定成上述结果的情况下，则继续作业机械的动作，因此能够确保操作员的作业性。
在本发明中，优选的是，在所述障碍判定部中判定对所述操作员在进行的远程操作造成障碍的可能性低的情况下，所述辅助控制部进行使所述作业机械的动作减速的控制。
根据本发明，在障碍判定部中判定对操作员在进行的远程操作造成障碍的可能性低的情况下，辅助控制部进行使作业机械的动作减速的控制。由此，能够抑制操作员作出过度慎重的操作，从而能够防止作业性过度变差的情况。
符号说明
S…远程操作辅助系统，20…远程操作装置，30…服务器，40…作业机械，200…远程控制装置，201…距离取得部，202…属性取得部，203…障碍判定部，204…辅助控制部，250…属性数据库。

Claims (2)

1.一种远程操作辅助系统，其用于辅助操作员使用远程操作装置对作业机械进行远程操作，
该远程操作辅助系统的特征在于，具有：
距离取得部，其设置在所述远程操作装置的规定部位，取得与距移动体的距离相关的信息；
属性取得部，其取得所述移动体所属的属性；
障碍判定部，其根据所述距离取得部检测到的距离以及所述属性取得部取得的属性，判定对所述远程操作造成障碍的可能性高低；以及，
辅助控制部，其进行控制，该控制用于辅助与所述障碍判定部的判定结果对应的远程操作,
所述远程操作装置具备远程操作机构，该远程操作机构在所述远程操作中将由所述操作员输入的操作量向所述作业机械传递，
在所述障碍判定部判定对所述远程操作造成障碍的可能性高的情况下，所述辅助控制部停止所述操作量向所述作业机械的传递，
另一方面，在所述障碍判定部判定对所述远程操作造成障碍的可能性低的情况下，所述辅助控制部以对所述操作量加以限制的方式向所述作业机械传递。
2.根据权利要求1所述的远程操作辅助系统，其特征在于，
在所述障碍判定部中判定对所述操作员进行的远程操作造成障碍的可能性低的情况下，所述辅助控制部进行使所述作业机械的动作减速的控制。
CN202080083150.7A 2019-12-10 2020-07-20 作业机械的远程操作辅助系统 Active CN114729521B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-223255 2019-12-10
JP2019223255A JP7400425B2 (ja) 2019-12-10 2019-12-10 作業機械の遠隔操作支援システム
PCT/JP2020/028110 WO2021117285A1 (ja) 2019-12-10 2020-07-20 作業機械の遠隔操作支援システム

Publications (2)

Publication Number Publication Date
CN114729521A CN114729521A (zh) 2022-07-08
CN114729521B true CN114729521B (zh) 2023-10-17

Family

ID=76313054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083150.7A Active CN114729521B (zh) 2019-12-10 2020-07-20 作业机械的远程操作辅助系统

Country Status (5)

Country Link
US (1) US20220412055A1 (zh)
EP (1) EP4050162B1 (zh)
JP (1) JP7400425B2 (zh)
CN (1) CN114729521B (zh)
WO (1) WO2021117285A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017080845A (ja) * 2015-10-28 2017-05-18 株式会社デンソーウェーブ ロボット制御システム
CN109563693A (zh) * 2016-08-03 2019-04-02 神钢建机株式会社 障碍物检测装置
CN109844834A (zh) * 2017-02-27 2019-06-04 日立建机株式会社 自卸车及倒车辅助装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP5667638B2 (ja) * 2010-10-22 2015-02-12 日立建機株式会社 作業機械の周辺監視装置
JP2015226094A (ja) * 2014-05-26 2015-12-14 住友建機株式会社 作業機械用遠隔操作システム
SE539699C2 (en) * 2016-04-21 2017-10-31 Construction Tools Pc Ab Safety system, method and computer program for remotely controlled work vehicles
US10668854B2 (en) * 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP6866773B2 (ja) * 2017-06-01 2021-04-28 オムロン株式会社 安全制御装置、安全制御装置の制御方法、情報処理プログラム、および記録媒体
DE102017113245A1 (de) * 2017-06-16 2018-12-20 Pöttinger Landtechnik Gmbh Verfahren und Vorrichtung zum Erkennen von Tieren in der Fahrgasse einer landwirtschaftlichen Feldbearbeitungsmaschine
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
CN111902582B (zh) * 2018-03-23 2022-08-16 住友重机械工业株式会社 挖土机
KR20190108530A (ko) * 2019-09-04 2019-09-24 엘지전자 주식회사 이동 로봇 및 그의 구동 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017080845A (ja) * 2015-10-28 2017-05-18 株式会社デンソーウェーブ ロボット制御システム
CN109563693A (zh) * 2016-08-03 2019-04-02 神钢建机株式会社 障碍物检测装置
CN109844834A (zh) * 2017-02-27 2019-06-04 日立建机株式会社 自卸车及倒车辅助装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭芳乐等.地面远程操作沉箱挖掘机.《现代气压沉箱工法》.同济大学出版社,2011,52-53. *

Also Published As

Publication number Publication date
EP4050162A1 (en) 2022-08-31
US20220412055A1 (en) 2022-12-29
CN114729521A (zh) 2022-07-08
EP4050162B1 (en) 2023-11-15
WO2021117285A1 (ja) 2021-06-17
JP2021092071A (ja) 2021-06-17
EP4050162A4 (en) 2023-01-18
JP7400425B2 (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
US20220042286A1 (en) Shovel
EP3960543A1 (en) Display device, shovel, information processing device
JP7203640B2 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
JPWO2020095945A1 (ja) ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
EP3960937A1 (en) Shovel, and safety equipment confirmation system for worksite
CN115003888B (zh) 远程操作辅助的服务器、方法以及系统
KR20220041075A (ko) 쇼벨, 정보처리장치
CN112996963A (zh) 挖土机、挖土机支援系统
JP2019068236A (ja) 作業車両、表示装置、および障害判定方法
CN113557341B (zh) 信息处理装置、信息处理方法、程序、作业机械
US11643795B2 (en) Work machine information processing device, information management system, and work machine information processing program
US20220042283A1 (en) Shovel
WO2021200798A1 (ja) 検出システムおよび検出方法
CN114729521B (zh) 作业机械的远程操作辅助系统
WO2021010467A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2021215198A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
DE112021000693T5 (de) Arbeitsmaschine und informationsverarbeitungsvorrichtung
JP7349880B2 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2021025223A (ja) 作業機械
US20240242370A1 (en) Work machine management system and work machine
JP6671273B2 (ja) 作業装置を装備した作業車
CN114908824A (zh) 远程操作辅助系统、远程操作辅助方法以及远程操作辅助复合系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant