CN114731388A - 作业支援服务器、作业支援方法以及作业支援系统 - Google Patents

作业支援服务器、作业支援方法以及作业支援系统 Download PDF

Info

Publication number
CN114731388A
CN114731388A CN202080080788.5A CN202080080788A CN114731388A CN 114731388 A CN114731388 A CN 114731388A CN 202080080788 A CN202080080788 A CN 202080080788A CN 114731388 A CN114731388 A CN 114731388A
Authority
CN
China
Prior art keywords
target object
client
work
imaging device
actual spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080788.5A
Other languages
English (en)
Inventor
泽田祐介
佐佐木均
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN114731388A publication Critical patent/CN114731388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种服务器以及系统，能够使多个作业相关人员共享作业区域中与需要注意的物体相关的信息。使第2客户端(例如，远程操作装置(20))的输出接口(例如，远程输出接口(220))输出作业环境图像，该作业环境图像示出通过第1客户端(例如，作业员终端(60))的拍摄装置(例如，拍摄装置(612))获取的拍摄图像的一部分即对象物体图像区域(R)中对象物体的实际空间中的延伸形态以及对象物体关联信息。

Description

作业支援服务器、作业支援方法以及作业支援系统
技术领域
本发明涉及一种作业支援服务器，用于通过与对多个作业员分别分配的多个客户端的通信从而支援所述多个作业员之间的与作业现场相关的信息的共享。
背景技术
提出有一种远程监视支援系统用终端装置，用于在正在工厂内巡回维护中的作业员工与在该作业现场外待机的人之间以足够的精度实现信息的共享化(例如，参照专利文献1)。该终端装置具备：影像输入单元，输入现场的影像数据；输入操作选择单元，为笔或者鼠标类型；检测单元，检测有无获取新的影像；通信控制单元，通过无线与外部进行数据收发；输入输出画面显示单元，显示输入规定的数据的输入画面。
现有技术文献
专利文献
专利文献1：日本特开第2005-242830号公报
发明内容
发明要解决的技术问题
但是，优选为能够在多个作业相关人员之间共享该多个作业相关人员所参与的作业区域中与需要注意的物体相关的信息。
因此，本发明的目的在于提供一种服务器以及系统，能够对多个作业相关人员共享作业区域中与需要注意的物体相关的信息。
用于解决上述技术问题的方案
本发明涉及一种作业支援服务器，用于通过与对多个作业员分别分配的多个客户端的通信，支援在所述多个作业员之间与作业现场相关的信息的共享。
本发明的作业支援服务器具备：第1支援处理元件，基于与所述多个客户端中的第1客户端的通信，识别通过拍摄装置获取的拍摄图像的一部分即对象物体图像区域中对象物体的存在以及与该对象物体相关的对象物体关联信息、和所述拍摄装置的实际空间位置以及实际空间姿势，基于所述拍摄装置的实际空间位置以及实际空间姿势，推定所述对象物体的实际空间中的延伸形态；第2支援处理元件，基于与所述多个客户端中的所述第2客户端的通信，使所述第2客户端的输出接口输出作业环境图像，该作业环境图像示出通过所述第1支援处理元件推定的所述对象物体的延伸形态以及对象物体关联信息。
本发明的作业支援系统由本发明的作业支援服务器和所述多个客户端构成。
根据本发明的作业支援服务器以及作业支援系统(以下，适当地称为“作业支援服务器等”)，向第2客户端的输出接口输出作业环境图像，该作业环境图像示出通过第1客户端的拍摄装置获取的拍摄图像的一部分即对象物体图像区域中对象物体的实际空间中的延伸形态以及对象物体关联信息。
因此，例如，各作业员在识别出其周围存在对象物体时，能够使用客户端作为第1客户端而迅速地获取该对象物体的拍摄图像。然后，其他的作业员能够使用客户端作为第2客户端，通过在该输出接口输出的作业环境图像迅速地识别该对象物体的实际空间中的延伸形态以及对象物体关联信息。进而，例如，由于位于共同的现场的多个作业员各自使用客户端作为第1客户端，能够在该多个作业员之间共享与各种对象物体相关的信息量丰富的地图。由此，例如，作业员在使用作业机械进行作业时，能够在意识到对象物体的延伸形态的同时顺利地执行作业。
附图说明
图1是关于作为本发明的一实施方式的作业支援系统的构成的说明图。
图2是关于远程操作装置的构成的说明图。
图3是关于作业机械的构成的说明图。
图4是关于作业支援系统的第1功能的说明图。
图5是关于作业支援系统的第2功能的说明图。
图6是关于拍摄图像以及对象物体图像区域的说明图。
图7是关于第1环境图像的说明图。
图8是关于作业环境图像的说明图。
图9是关于第2环境图像的说明图。
具体实施方式
(作业支援系统的构成)
图1所示的作为本发明的一实施方式的作业支援系统由作业支援服务器10、用于远程操作作业机械40的远程操作装置20和作业员终端60构成。“多个客户端”可以由一个或者多个远程操作装置20以及一个或者多个作业员终端60构成，也可以由多个远程操作装置20或者多个作业员终端60构成。作业支援服务器10、远程操作装置20、作业机械40和作业员终端60构成为可以相互网络通信。
(作业支援服务器的构成)
作业支援服务器10具备数据库102、第1支援处理元件121和第2支援处理元件122。数据库102存储保持有“拍摄图像”、“拍摄装置612的实际空间位置以及实际空间姿势”、“该拍摄图像中对象物体图像区域的延伸形态”以及“与存在于该对象物体图像区域的对象物体相关的对象物体关联信息”等。数据库102可以由独立于作业支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行根据该软件的后述的运算处理。
(远程操作装置的构成)
构成一个客户端的远程操作装置20具备远程控制装置200、远程输入接口210和远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依据该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221和远程无线通信机器222。
该一个客户端可以由与远程操作装置20协作的或者具有相互通信功能的移动终端构成。该移动终端具有与后述的作业员终端60同样的构成。
在远程操作机构211包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(armlever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的方式，也可以是没有头枕的低背椅那样的方式、或者是没有靠背的椅子那样的方式等远程操作员OP2能够就座的任意的方式。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多种操作杆。例如，在对图3所示的设置于座椅St的右侧框体的前方的右侧操作杆2111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，在对图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
例如，如图2所示，图像输出装置221由分别配置在座椅St的右斜前方、前方以及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212以及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(声音输出装置)。
(作业机械的构成)
作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420和工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依据该软件的运算处理。
作业机械40例如是履带式挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)424。在上部回转体220的前方中央部设有作业附件440。
实机输入接口410具备实机操作机构411和实机拍摄装置412。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部所配置的座椅的周围的多个操作杆。在驾驶室424设置有驱动机构或者机器人，接收与远程操作杆的操作形态对应的信号，基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分工作机构440的环境进行拍摄。
实机输出接口420具备实机无线通信机器422。
作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(作业员终端的构成)
构成其他的客户端的作业员终端60是智能手机或者平板终端等终端装置，具备控制装置600、输入接口610和输出接口620。控制装置600由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依据该软件的运算处理。
输入接口610具备拍摄装置612。输入接口610由触摸屏方式的按钮以及开关等构成。输出接口620具备图像输出装置621(以及必要情况下为声音输出装置)和无线通信机器622。
(功能)
(第1功能(作业环境图像的输出))
使用图4以及图5所示的流程图对所述构成的作业支援系统的功能进行说明。在该流程图中，为了记载的简略而使用“C·”这样的框，是指数据的发送以及/或者接收，是指以该数据的发送以及/或者接收作为条件执行分支方向的处理的条件分支。在图4中示出作业员终端60构成“第1客户端”、远程操作装置20构成“第2客户端”的情况的流程图，反之，也可以为作业员终端60构成“第2客户端”，远程操作装置20构成“第1客户端”。
本发明的各构成元件(运算处理资源或者硬件资源)“识别”信息的概念包含：接收该信息；从存储装置等读取或者检索该信息；向存储装置等写入(将其存储保持)或者登记该信息；通过依据规定的算法对来自传感器的输出信号以及/或者经过接收或者检索等的基础信息执行运算处理从而进行用于在对该信息进行推定、判定、鉴定、测量、预测等后续的处理中以可以利用的所有方式准备该信息。
4在远程操作装置20中，由操作员OP判定有无通过了远程输入接口210的第1指定操作(图4/步骤202)。例如，第1指定操作是远程输入接口210中规定部位的点击(tap)等操作。在该判定结果为肯定的情况下(图/步骤202‥是)，通过远程无线通信机器222对作业支援服务器10发送第1环境确认请求(图4/步骤204)。
在作业支援服务器10中，在接收到第1环境确认请求的情况下(图4/C10)，通过第1支援处理元件121对该远程操作装置20发送表示作业现场的全局情况的第1环境图像数据(图4/步骤102)。
在远程操作装置20中，在通过远程无线通信机器222接收到第1环境图像数据的情况下(图4/C20)，向图像输出装置221输出与第1环境图像数据对应的第1环境图像(图5/步骤212)。由此，例如如图7所示，在构成输出接口620的图像输出装置221中输出示出作业现场的全局情况的俯瞰地图或者俯瞰拍摄图像。俯瞰地图中的位置能够通过纬度以及经度来确定。在俯瞰拍摄图像中包含有示出第1作业机械40的所在的图像或者图标Q1以及示出第2作业机械40的所在的图像或者图标Q2、及示出第1作业员的所在的图像OP1。俯瞰拍摄图像例如可以通过搭载于无人飞行机的拍摄装置或者设置于作业现场的杆等结构物的拍摄装置来获取。可以分别任意变更作为第1环境图像的拍摄图像的拍摄部位以及视角。也可以以俯瞰拍摄图像为基础生成俯瞰地图。
在作业员终端60中，由第1作业员通过输入接口610而有拍摄操作，与此对应地，通过拍摄装置612获取拍摄图像(图4/步骤602)。此外，向构成输出接口620的图像输出装置621中输出该拍摄图像(图4/步骤604)。由此，例如，如图6所示，向图像输出装置621输出拍摄图像，该拍摄图像示出作业机械40通过的痕迹已变为洼地的作业现场的情况。在远程操作装置20相当于“第1客户端”的情况下，在构成远程输出接口220的图像输出装置221中输出通过搭载于作业机械40的实机拍摄装置412获取的、示出该作业机械40的周围的情况的拍摄图像(第2拍摄图像)(参照图9)。
通过控制装置600测量获取拍摄图像时的拍摄装置612的实际空间位置以及实际空间姿势(图4/步骤606)。基于GPS等测位传感器的输出信号测量拍摄装置612的实际空间位置(纬度以及经度)。基于三轴方位传感器或者加速度传感器的输出信号测量拍摄装置612的实际空间姿势。
由控制装置600通过输入接口610中的操作，判定是否指定了对象物体图像区域R(图4/步骤606)。例如，在作业员终端60中，可以通过在构成输入接口610以及输出接口620这双方的触摸屏中识别第1作业员的指尖或者笔的轨迹，从而识别对象物体图像区域的延伸形态或者轮廓。由此，例如如图6所示，能够由第1作业员在拍摄图像中指定大致台形状的对象物体图像区域R。在远程操作装置20相当于“第1客户端”的情况下，在输出接口620中输出的、作为通过搭载于作业机械40的实机拍摄装置412获取的拍摄图像的第2环境图像(参照图9)中，通过输入接口610中的操作可以指定对象物体图像区域R以及输入对象物体关联信息(参照图4/步骤606)。
在该判定结果为肯定的情况下(图4/步骤606‥是)，由控制装置600通过输入接口610中的第1作业员的操作，判定是否输入了对象物体关联信息(图4/步骤612)。例如，可以通过在构成输入接口610以及输出接口620这双方的触摸式键盘中识别第1作业员的指尖或者笔的接触形态，来识别对象物体关联信息。由此，能够识别示出例如“沙砾”、“瓦砾”、“建材”、“沙地”、“洞”、“洼地”、“水坑”或者“岩石”等对象物体的种类或者性质等信息作为对象物体关联信息。
在该判定结果为肯定的情况下(图4/步骤612‥是)，通过构成输出接口602的无线通信机器622，对作业支援服务器10发送分别表示“拍摄图像”、“拍摄装置612的实际空间位置以及实际空间姿势”、“该拍摄图像中的对象物体图像区域R的延伸形态”以及“与存在于该对象物体图像区域的对象物体相关的对象物体关联信息”的数据。在远程操作装置20相当于“第1客户端”的情况下，通过构成远程输出接口220的远程无线通信机器222，对作业支援服务器10发送分别表示“拍摄图像”、“实机拍摄装置412的实际空间位置以及实际空间姿势”、“该拍摄图像中的对象物体图像区域R的延伸形态”以及“与存在于该对象物体图像区域的对象物体相关的对象物体关联信息”的数据。
在作业支援服务器10中，在接收到分别表示“拍摄图像数据”、“拍摄装置612的实际空间位置以及实际空间姿势”、“对象物体图像区域R的延伸形态”以及“对象物体关联信息”的数据的情况下(图4/C13)，通过第1支援处理元件121推定对象物体的实际空间中的延伸形态(图4/步骤108)。例如，假设以作业员所接触的地面为基准的拍摄装置612的高度位于从站在或者坐在该地面的人的标准腰部位置到头部位置的范围的规定的高度。此外，假设对象物体存在于与该地面为相同高度的水平面(二维空间)。即，在拍摄图像中指定的对象物体图像区域R被假设为对象物体具有与拍摄装置612的视角相应的广度并在投影于该水平面的区域中二维地延伸。
在这些假设的基础之上，除了拍摄图像坐标系中对象物体图像区域R的延伸形态以外，还基于拍摄装置612的实际空间位置以及实际空间姿势、及视角或者焦点距离，来推定对象物体的延伸形态(分别向纬度方向以及经度方向的扩展方式。)在对象物体为位于比地面更靠高的位置的结构物或者比地面凹陷的洼地等的情况下，虽然基于该过程的推定精度变低，但可以掌握对象物体的实际空间中的大致的延伸形态。
可以从该作业员终端60对作业支援服务器10发送以由搭载于作业员终端60的测距传感器(或者作为拍摄装置612的测距传感器)测量的到对象物体的距离作为像素值而分配的拍摄图像(或者作为拍摄图像的距离图像)。在该情况下，能够以更高精度推定以拍摄装置612的实际空间位置为基准的对象物体或者其表面的实际空间中的延伸形态。
接着，通过第2支援处理元件122，将第1环境图像作为基础生成作业环境图像，该作业环境图像示出通过第1支援处理元件121进行的对象物体的实际空间中的延伸形态的推定结果以及对象物体关联信息(图4/步骤110)。在此基础上，通过第2支援处理元件122，对远程操作装置20发送作业环境图像数据(图4/步骤112)。
在远程操作装置20中，在通过构成远程输出接口220的远程无线通信机器222接收到作业环境图像数据的情况下(图4/C21)，在构成远程输出接口220的图像输出装置221中输出作业环境图像(图4/步骤208)。由此，例如，如图8所示，向构成输出接口220的图像输出装置输出第1作业环境图像(参照图7)中表示对象物体的实际空间中对象物体R的延伸形态的图像以及与该对象物体R关联的“存在洼地”这样的对象物体关联信息。
在作业员终端60中，由控制装置600通过输入接口610中的第1作业员的操作，判定未输入对象物体关联信息的情况下(图4/步骤612‥否)，通过构成输出接口620的无线通信机器622，对作业支援服务器10发送分别表示“拍摄图像”、“拍摄装置612的实际空间位置以及实际空间姿势”以及“该拍摄图像中对象物体图像区域R的延伸形态”的数据(图4/步骤614)。
在作业支援服务器10中，在接收到分别表示“拍摄图像数据”、“拍摄装置612的实际空间位置以及实际空间姿势”以及“对象物体图像区域R的延伸形态”的数据的情况下(图4/C12)，通过第1支援处理元件121判定是否可以识别对象物体关联信息(图4/步骤106)。例如，能够通过对象物体图像区域R的纹理解析处理，识别存在于该对象物体图像区域R的物体的种类或者性质作为对象物体关联信息。在该判定结果为肯定的情况下(图4/步骤106‥是)，执行所述对象物体的实际空间中延伸形态的推定(图4/步骤108)以后的处理。在该判定结果为否定的情况下(图4/步骤106‥否)，不对远程操作装置20发送作业环境图像数据，进而不在远程操作装置20中输出作业环境图像(参照图8)，而结束图4所示的一系列处理。
在作业员终端60中，由控制装置600通过输入接口610中的第1作业员的操作，判定为未指定对象物体图像区域R的情况下(图4/步骤606‥否)，通过构成输出接口620的无线通信机器622，对作业支援服务器10发送分别表示“拍摄图像”以及“拍摄装置612的实际空间位置以及实际空间姿势”的数据(图4/步骤610)。
在作业支援服务器10中接收到分别表示“拍摄图像”以及“拍摄装置612的实际空间位置以及实际空间姿势”的数据的情况下(图4/C11)，通过第1支援处理元件121，判定是否可以识别对象物体图像区域(图4/步骤104)。例如，能够通过以拍摄图像为对象的图案匹配等的图像解析处理，识别该拍摄图像的一部分作为对象物体图像区域。在该判定结果为肯定的情况下(图4/步骤104‥是)，执行判定是否可以识别所述对象物体关联信息(图4/步骤106)以后的处理。在该判定结果为否定的情况下(图4/步骤104‥否)，不对远程操作装置20发送作业环境图像数据，进而不在远程操作装置20中输出作业环境图像(参照图8)，而结束图4所示的一系列处理。
(第2功能(作业机械的远程操作))
在远程操作装置20中，由操作员OP判定有无通过了远程输入接口210的第2指定操作(图5/步骤220)。例如，在作业环境图像(参照图7)中，“第2指定操作”是操作员用于指定想要远程操作的作业机械40的远程输入接口210的图像Q1或者Q2的点击(tap)等操作。第2指定操作与第1指定操作可以是不同形态的操作，也可以是相同形态的操作。在该判定结果为否定的情况下(图5/步骤220‥否)，结束一系列处理。另一方面，在该判定结果为肯定的情况下(图5/步骤220‥是)，通过远程无线通信机器222对作业支援服务器10发送第2环境确认请求(图4/步骤222)。
在作业支援服务器10中，在接收到第2环境确认请求的情况下，通过第1支援处理元件121对该作业机械40发送该第2环境确认请求(图5/C14)。
在作业机械40中，在通过实机无线通信机器422接收到环境确认请求的情况下(图5/C41)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图5/步骤402)。由实机控制装置400通过实机无线通信机器422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图5/步骤404)。
在作业支援服务器10中，在接收到拍摄图像数据的情况下(图5/C15)，对远程操作装置20发送与拍摄图像数据对应的第2环境图像数据(表示拍摄图像本身的全部或一部分或者基于此生成的模拟环境图像的数据)(图5/步骤112)。
在远程操作装置20中，在通过远程无线通信机器222接收到第2环境图像数据的情况下(图5/C22)，向图像输出装置221输出与第2环境图像数据对应的第2环境图像(图5/步骤224)。由此，例如，如图9所示，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境图像显示于图像输出装置221。
在远程操作装置20中，由远程控制装置200识别远程操作机构211的操作形态(图5/步骤226)，并且通过远程无线通信机器222对作业支援服务器10发送与该操作形态对应的远程操作指令(图5/步骤228)。
在作业支援服务器10中，在接收到该远程操作指令的情况下，通过第1支援处理元件121对作业机械40发送该远程操作指令(图5/C16)。
在作业机械40中，在通过实机无线通信机器422接收到操作指令的情况下(图5/C42)，由实机控制装置400控制作业附件440等的动作(图5/步骤406)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
(效果)
根据该构成的作业支援系统以及构成其的作业支援服务器10，向第2客户端(例如，远程操作装置20)的输出接口(例如，远程输出接口220)输出作业环境图像，该作业环境图像示出通过第1客户端(例如，作业员终端60)的拍摄装置(例如，拍摄装置612)获取的拍摄图像的一部分即对象物体图像区域R中对象物体的实际空间中的延伸形态以及对象物体关联信息(参照图4/步骤602‥是→步骤610、步骤614、步骤616→‥→步骤112→步骤208、图8)。
因此，例如，各作业员在识别出其周围存在对象物体时，能够使用客户端作为第1客户端迅速地获取该对象物体的拍摄图像(参照图4/步骤602以及图6)。并且，其他的作业员能够使用客户端作为第2客户端，通过在该输出接口输出的作业环境图像迅速地识别该对象物体的实际空间中的延伸形态以及对象物体关联信息(参照图4/步骤208以及图8)。此外，例如，由于位于共同的现场的多个作业员分别使用客户端作为第1客户端，能够在该多个作业员之间共享与各种对象物体相关的信息量丰富的地图。由此，例如，在作业员使用作业机械进行作业时，能够在意识到对象物体的延伸形态的同时顺利地执行作业。
(本发明的其他的实施方式)
在所述实施方式中，作业支援服务器10由与远程操作装置20、作业机械40以及作业员终端60各自独立的一个或者多个服务器构成(参照图1)，作为其他的实施方式，作业支援服务器10也可以是远程操作装置20、作业机械40或者作业员终端60的构成元件。作业支援服务器10的各构成元件110、121以及122分别可以是远程操作装置20、作业机械40作业员终端60中可以相互通信的2个以上的各自的构成元件。
在所述实施方式中，设为可以在第1客户端(例如，作业员终端60或者远程操作装置20)中指定对象物体图像区域R以及输入对象物体关联信息，作为其他的实施方式，以未在第1客户端中指定对象物体图像区域R以及输入对象物体关联信息为前提，可以将通过拍摄装置获取的拍摄图像与表示该拍摄装置的实际空间位置以及实际空间姿势的数据一起发送至作业支援服务器10(参照图4/步骤610)。
此外，以未在第1客户端中输入对象物体关联信息为前提，也可以将通过拍摄装置获取的拍摄图像与对象物体图像区域R及表示该拍摄装置的实际空间位置以及实际空间姿势的数据一起发送至作业支援服务器10(参照图4/步骤614)。进而，以未在第1客户端中指定对象物体图像区域R为前提，还可以将通过拍摄装置获取的拍摄图像与对象物体关联信息及表示该拍摄装置的实际空间位置以及实际空间姿势的数据一起发送至作业支援服务器10。
第1支援处理元件121基于与第1客户端(例如，作业员终端60或者远程操作装置20)的通信，在第1客户端的输出接口(220、620)输出的拍摄图像中识别通过第1客户端的输入接口(210、610)指定的对象物体图像区域中对象物体的延伸形态以及与该对象物体相关的对象物体关联信息。
由此，例如，如前述那样，各作业员在识别出其周围存在对象物体时，能够使用客户端作为第1客户端迅速地获取该对象物体的拍摄图像。此外，各作业员能够通过输入接口将在第1客户端的输出接口输出的该对象物体的拍摄图像中存在对象物体的一部分图像区域指定为对象物体图像区域，并且输入对象物体关联信息。因此，能够通过其他的作业员以更高的精度传递各作业员注意到的对象物体的存在以及对象物体关联信息。
第1支援处理元件121基于与用于远程操作作业机械40的、作为第1客户端的远程操作装置20的通信，识别通过搭载于作业机械40的实机拍摄装置412获取的拍摄图像的一部分即对象物体图像区域中对象物体的存在以及与该对象物体相关的对象物体关联信息、和实机拍摄装置412的实际空间位置以及实际空间姿势。
由此，能够基于通过搭载于作业机械40的实机拍摄装置412获取的拍摄图像，使多个作业员共享该作业机械40的周边的对象物体的延伸形态以及对象物体关联信息。
附图标记说明
10 作业支援服务器
20 远程操作装置
40 作业机械
60 作业员终端
102 数据库
121 第1支援处理元件
122 第2支援处理元件
210 远程输入接口
220 远程输出接口
410 实机输入接口
412 实机拍摄装置
420 实机输出接口
440 作业附件(工作机构)
610 输入接口
612 拍摄装置
620 输出接口。

Claims (5)

1.一种作业支援服务器，用于通过与对多个作业员分别分配的多个客户端的通信，支援在所述多个作业员之间与作业现场相关的信息的共享，其特征在于，具备：
第1支援处理元件，基于与所述多个客户端中的第1客户端的通信，识别通过拍摄装置获取的拍摄图像的一部分即对象物体图像区域中对象物体的存在以及与该对象物体相关的对象物体关联信息、和所述拍摄装置的实际空间位置以及实际空间姿势，基于所述拍摄装置的实际空间位置以及实际空间姿势，推定所述对象物体的实际空间中的延伸形态；
第2支援处理元件，基于与所述多个客户端中的所述第2客户端的通信，使所述第2客户端的输出接口输出作业环境图像，该作业环境图像示出通过所述第1支援处理元件推定的所述对象物体的延伸形态以及对象物体关联信息。
2.如权利要求1所述的作业支援服务器，其特征在于，
所述第1支援处理元件基于与所述第1客户端的通信，在所述第1客户端的输出接口输出的拍摄图像中，识别通过所述第1客户端的输入接口指定的对象物体图像区域中对象物体的延伸形态以及与该对象物体相关的对象物体关联信息。
3.如权利要求1或2所述的作业支援服务器，其特征在于，
所述第1支援处理元件基于与用于远程操作作业机械的、作为所述第1客户端的远程操作装置的通信，识别通过搭载于所述作业机械的拍摄装置获取的拍摄图像的一部分即所述对象物体图像区域中的所述对象物体的存在以及与该对象物体相关的对象物体关联信息、和所述拍摄装置的实际空间位置以及实际空间姿势。
4.一种作业支援系统，其特征在于，
由权利要求1～3中任一项所述的作业支援服务器和所述多个客户端构成。
5.一种作业支援方法，用于通过与对多个作业员分别分配的多个客户端的通信，支援在所述多个作业员之间与作业现场相关的信息的共享，其特征在于，具备：
第1支援处理，基于与所述多个客户端中的第1客户端的通信，识别通过拍摄装置获取的拍摄图像的一部分即对象物体图像区域中对象物体的存在以及与该对象物体相关的对象物体关联信息、和所述拍摄装置的实际空间位置以及实际空间姿势，基于所述拍摄装置的实际空间位置以及实际空间姿势，推定所述对象物体的实际空间中的延伸形态；
第2支援处理，基于与所述多个客户端中的所述第2客户端的通信，使所述第2客户端的输出接口输出作业环境图像，该作业环境图像示出通过所述第1支援处理元件推定的所述对象物体的延伸形态以及对象物体关联信息。
CN202080080788.5A 2019-11-25 2020-08-12 作业支援服务器、作业支援方法以及作业支援系统 Pending CN114731388A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019212619A JP7490948B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム
JP2019-212619 2019-11-25
PCT/JP2020/030682 WO2021106280A1 (ja) 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム

Publications (1)

Publication Number Publication Date
CN114731388A true CN114731388A (zh) 2022-07-08

Family

ID=76087663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080788.5A Pending CN114731388A (zh) 2019-11-25 2020-08-12 作业支援服务器、作业支援方法以及作业支援系统

Country Status (5)

Country Link
US (1) US20220398512A1 (zh)
EP (1) EP4044591A4 (zh)
JP (1) JP7490948B2 (zh)
CN (1) CN114731388A (zh)
WO (1) WO2021106280A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
CN114640827A (zh) * 2016-01-29 2022-06-17 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
WO2016125915A1 (ja) * 2016-03-01 2016-08-11 株式会社小松製作所 評価装置及び評価方法
JP6807781B2 (ja) * 2017-03-13 2021-01-06 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
JP6677684B2 (ja) 2017-08-01 2020-04-08 株式会社リアルグローブ 映像配信システム
EP3722519B1 (en) * 2017-12-04 2022-05-11 Sumitomo Heavy Industries, Ltd. Surrounding-area monitoring device
CN111148878B (zh) 2018-01-10 2023-08-04 住友建机株式会社 挖土机及挖土机的管理系统
JP2019148926A (ja) 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法
EP3763885A4 (en) * 2018-03-08 2021-10-27 Sumitomo Heavy Industries, Ltd. WORKING MACHINE, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS AND PROGRAM
US11402823B2 (en) * 2019-11-15 2022-08-02 Caterpillar Inc. System for validating worksites

Also Published As

Publication number Publication date
EP4044591A4 (en) 2022-11-09
JP7490948B2 (ja) 2024-05-28
US20220398512A1 (en) 2022-12-15
JP2021086226A (ja) 2021-06-03
EP4044591A1 (en) 2022-08-17
WO2021106280A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
JP5390813B2 (ja) 空間情報表示装置及び支援装置
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021019948A1 (ja) 建設機械の位置特定システム
CN108432234B (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
CN113615164B (zh) 远程操作系统以及远程操作服务器
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
CN115210434A (zh) 作业辅助服务器、作业辅助方法
JP2021103840A (ja) 作業支援サーバ、撮像装置の選択方法
CN114731388A (zh) 作业支援服务器、作业支援方法以及作业支援系统
EP4044101A1 (en) Work assistance server, work assistance method, and work assistance system
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US11989674B2 (en) Work assist server, work assist method, and work assist system
JP2022152338A (ja) 作業支援システムおよび作業支援複合システム
JP2024057362A (ja) 作業支援システム、遠隔操作支援システム、作業支援方法および表示装置
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2021143541A (ja) 作業支援サーバ、作業支援方法
JP2021130932A (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2017169598A1 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
CN115552449A (zh) 远程操作支援服务器、远程操作支援系统及远程操作支援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination