CN110574078A - 显示控制装置、显示控制方法、程序以及显示系统 - Google Patents

显示控制装置、显示控制方法、程序以及显示系统 Download PDF

Info

Publication number
CN110574078A
CN110574078A CN201880025430.5A CN201880025430A CN110574078A CN 110574078 A CN110574078 A CN 110574078A CN 201880025430 A CN201880025430 A CN 201880025430A CN 110574078 A CN110574078 A CN 110574078A
Authority
CN
China
Prior art keywords
data
machine
display control
orientation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880025430.5A
Other languages
English (en)
Other versions
CN110574078B (zh
Inventor
大西喜之
栗原正博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN110574078A publication Critical patent/CN110574078A/zh
Application granted granted Critical
Publication of CN110574078B publication Critical patent/CN110574078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

位置/姿势取得部取得现实空间中的视点的位置以及姿势。现场数据配置部基于视点的位置以及姿势，在虚拟空间中配置作为表示施工现场的形状的三维数据的现场数据。机械数据配置部将作为表示作业机械的形状的三维数据的机械数据配置在虚拟空间中与现场数据对应的位置。描绘部对配置的机械数据进行描绘。

Description

显示控制装置、显示控制方法、程序以及显示系统
技术领域
本发明涉及一种显示控制装置、显示控制方法、程序以及显示系统。
本申请主张于2017年7月14日向日本提出申请的特愿2017-138418号的优先权，并将其内容引用于此。
背景技术
专利文献1中公开了如下技术：
为了使作业机械的操作者识别在周围作业的其他作业者，在显示单元所显示的拍摄图像中，在针对作业者佩戴的安全帽画出的标记的部分，对表示存在作业者的图像进行合成。
在先技术文献
专利文献
专利文献1：日本特开2013-9267号公报
发明内容
发明要解决的课题
在施工现场的安排等时，存在如下要求：希望不在图面上，而是面对施工现场来确认来对作业机械如何配置、动作。通过面对施工现场进行确认，例如能够容易地确认在施工现场作业机械有无可动作的空间、由于作业机械的行驶而使履带不会损伤施工现场的、应铺设于施工现场的铁板的量。另一方面，在安排时，实际上在施工现场配置作业机械而使其动作并不容易。
本发明的方式的目的在于，提供一种能够面对施工现场而容易地确认作业机械的动作的显示控制装置、显示控制方法、程序以及显示系统。
解决课题的手段
根据本发明的第一方式，显示控制装置具备：位置/姿势取得部，取得现实空间中的视点的位置和姿势；
现场数据配置部，基于所述视点的位置和姿势，在虚拟空间中配置作为表示施工现场的形状的三维数据的现场数据；
机械数据配置部，将作为表示作业机械的形状的三维数据的机械数据配置在所述虚拟空间中与所述现场数据对应的位置；以及
描绘部，对配置的所述机械数据进行描绘。
发明效果
根据上述方式中的至少一种方式，显示控制装置能够使利用者面对施工现场而容易地确认作业机械的动作。
附图说明
图1是表示第一实施方式所涉及的便携终端的结构的概略框图。
图2是表示描绘部所生成的显示图像的例子的图。
图3是表示第一实施方式所涉及的便携终端的显示控制方法的流程图。
图4是表示第一实施方式所涉及的作业机械描绘处理的流程图。
图5是表示追加作业机械时显示于显示装置的图像的例子的图。
图6是表示在第一定时显示于显示装置的显示图像的例子的图。
图7是表示在第二定时显示于显示装置的显示图像的第一例的图。
图8是表示在第二定时显示于显示装置的显示图像的第二例的图。
图9是表示第一实施方式所涉及的测量处理的流程图。
图10是表示另一实施方式所涉及的显示图像的例子的图。
图11是表示具有另一实施方式所涉及的显示控制装置的液压挖掘机的外观的立体图。
具体实施方式
<第一实施方式>
在第一实施方式中，在便携终端所摄像的施工现场的图像中，对作业机械的图像进行合成来显示。作为便携终端的例子，列举了：智能手机、平板电脑终端、数码相机等。由此，利用者能够面对施工现场来视觉辨认作业机械如何被配置而进行动作。作为作业机械的例子，列举了：进行挖掘作业以及填土作业的液压挖掘机、进行挖掘作业以及搬运作业的推土机以及轮式装载机、进行压实作业的压路机、进行整形作业的机动平路机、进行搬运作业的自卸卡车等。
《便携终端的硬件》
图1是表示第一实施方式所涉及的便携终端的结构的概略框图。
便携终端1内置有具备处理器100、主存储器200、贮存器300、接口400的计算机。此外，便携终端1还具备相机410、输入装置420、显示装置430、位置检测器440、IMU450(Inertial Measuring Unit，惯性测量单元)，并经由接口400连接到计算机。此外，便携终端1经由接口400连接到网络。该计算机是显示控制装置的一例。
相机410设置于便携终端1的壳体中的配置有显示装置430的面的背面。相机410具备RGB(红黄蓝)相机和深度相机，生成可视图像与距离图像。所谓距离图像是指，各像素的值表示相机410与摄像对象的距离的图像。距离图像能够通过TOF(Time of Flight，飞行时间)计算而得到。
输入装置420以及显示装置430例如通过触控面板来实现。位置检测器440接收GNSS(Global Navigation Satellite System，全球导航卫星系统)的信号，来检测便携终端1的位置。IMU450检测便携终端1的角速度、方位、以及斜率。IMU450例如具备加速度传感器、电子罗盘、以及陀螺仪。位置检测器440以及IMU450是对现实空间中的视点的位置以及姿势进行测量的位置/姿势测量部的一例。
贮存器300存储：合成显示程序P、设计数据D1、点群数据D2、机械数据D3、模式(pattern)数据D4。
合成显示程序P是用于由处理器100从贮存器300读出并在主存储器200中展开，由此使处理器100执行预定处理的数据。
设计数据D1是表示施工现场的目标形状的三维数据。设计数据D1例如通过CAD(Computer-Aided Design，计算机辅助设计)来生成，并通过TIN界面来表示。设计数据D1是表示施工现场的形状的三维数据即现场数据。
点群数据D2是表示施工现场的过去的形状的三维数据。点群数据D2例如能够通过对多个航拍图像、立体相机所摄像的立体图像进行立体处理而得到。点群数据D2是表示施工现场的形状的三维数据即现场数据。
机械数据D3是表示作业机械的形状的三维数据。在机械数据D3中，设定有通过铰链而彼此连接的多个骨架。例如，对于表示液压挖掘机的机械数据D3，通过分别对下部行驶体、上部旋转体、悬臂(boom)、摇臂(arm)、吊桶设定有骨架，能够从一个机械数据D3再现多个姿势所涉及的液压挖掘机。
模式数据D4存储各机械数据D3的骨架的操作模式。也就是说，处理器100通过按照模式数据D4来操作机械数据D3的骨架，能够对机械数据D3赋予使预定动作再现的运动。
作为贮存器300的例子，列举了：HDD(Hard Disk Drive，硬盘驱动器)、SSD(SolidState Drive，固态硬盘驱动器)、磁盘、光磁盘、CD-ROM(Compact Disc Read only Memory，压缩光盘只读存储器)、DVD-ROM(Digital Versatile Disc Read only Memory，数字多功能光盘只读存储器)、半导体存储器等。贮存器300可以是便携终端1的与总线直接连接的内部介质，也可以是经由接口400连接到便携终端1的外部介质。贮存器300是非易失性的有形的存储媒介。
《便携终端的软件》
处理器100通过执行合成显示程序P而具备：图像取得部101、位置/姿势取得部102、现场设定部103、现场数据取得部104、现场数据配置部105、机械数据取得部106、机械数据配置部107、动态设定部108、描绘部109、显示控制部110、距离计算部111。
图像取得部101取得相机410所拍摄到的可视图像以及距离图像。
位置/姿势取得部102取得位置检测器440所检测到的位置数据、以及由IMU450测量出的角速度、方位以及斜率。以下，将便携终端1的角速度、方位以及斜率也称为便携终端1的姿势数据。
现场设定部103基于经由输入装置420的利用者的操作，将显示装置430中显示的施工现场的形状设定为现状形状、过去形状、目标形状中的任一者。
现场数据取得部104取得用于对显示装置430中显示的图像进行描绘的、应当配置于虚拟空间的现场数据。现场数据取得部104在通过现场设定部103显示的形状设定为了现状形状的情况下，基于图像取得部101所取得的距离图像以及位置/姿势取得部102所取得的位置数据以及姿势数据，来生成表示现状形状的三维数据即现场数据(现状数据)。例如，现场数据取得部104基于距离图像生成三维形状，并使用位置数据以及姿势数据将该三维形状映像(mapping)到虚拟空间，由此，能够生成现状数据。现场数据取得部104在通过现场设定部103显示的形状设定为过去形状的情况下，从贮存器300读出点群数据D2。现场数据取得部104在通过现场设定部103显示的形状设定为目标形状的情况下，从贮存器300读出设计数据D1。
现场数据配置部105在主存储器200中确保虚拟空间用的存储区域。现场数据配置部105在虚拟空间中配置现场数据。此时，现场数据配置部105配置现场数据，以使虚拟空间中的视点与现场数据的相对的位置以及朝向对应于现实空间中的相机410的视点与施工现场的相对的位置以及朝向。
机械数据取得部106从贮存器300读出应当在虚拟空间中配置的机械数据D3。具体地，机械数据取得部106在存在由利用者做出的向虚拟空间配置作业机械的指示的情况下，从贮存器300读出与由利用者设定的车型相关的机械数据D3。
机械数据配置部107在虚拟空间中配置机械数据D3。具体地，机械数据配置部107在将机械数据D3从虚拟空间的铅垂方向上侧落下时，在与行驶体相当的部分在铅垂方向上与现场数据相接的最低的高度的点处配置机械数据D3。机械数据配置部107按照通过动态设定部108设定的动态，来决定机械数据D3的位置以及姿势。
动态设定部108基于经由输入装置420的利用者的操作，来设定由机械数据D3表示的作业机械的动态。作业机械的动态包含作业机械的行驶、旋转、作业机的驱动等。此外，作业机械的旋转以及作业机的驱动所涉及的动态，作为模式数据D4而被存储于贮存器300。动态设定部108在设定行驶所涉及的动态的情况下，经由输入装置420受理作业机械的行驶路径的输入。动态设定部108在设定作业机械的旋转以及作业机的驱动所涉及的动态的情况下，经由输入装置420受理模式数据D4的选择。
描绘部109基于虚拟空间的视点来描绘配置于虚拟空间的机械数据D3。所谓“描绘”是指生成二维图像。描绘部109将描绘的机械数据D3合成到图像取得部101所取得的可视图像中，由此来生成合成现场图像I1。在通过现场设定部103显示的形状设定为过去形状或目标形状的情况下，描绘部109通过描绘机械数据D3以及现场数据，并将描绘的机械数据D3和现场数据合成到可视图像中，由此生成合成现场图像I1。此外，描绘部109通过将操作面板图像I2合成到合成现场图像I1中，从而生成显示图像I。
显示控制部110将由描绘部109生成的图像输出到显示装置430。
距离计算部111经由输入装置420受理虚拟空间中的两个点的输入，并演算该两个点间的距离。
《显示图像》
图2是表示描绘部所生成的显示图像的例子的图。
描绘部109通过在合成现场图像I1中合成操作面板图像I2，来生成显示图像I。在操作面板图像I2中包含：地图区域I21、挖掘/填土按钮I22、完成图按钮I23、点群按钮I24、作业机械按钮I25、测量按钮I26。
地图区域I21中显示有施工现场的俯视图。
挖掘/填土按钮I22通过按压来切换打开/关闭的状态。当挖掘/填土按钮I22变为打开状态时，现场设定部103将显示装置430中显示的施工现场的形状设定为目标形状。在挖掘/填土按钮I22为打开状态的情况下，作为合成现场图像I1显示可视图像与设计数据D1被合成而得的图像。对于此时的设计数据D1而言，在比现状地形低洼的部位即应当挖掘的部位、以及比现状地形突出的部位即应当填土的部位，以不同的形态(例如颜色)来显示。由此，利用者能够面对施工现场而视觉辨认应当挖掘的部位和应当填土的部位。
完成图按钮I23通过按压来切换打开/关闭的状态。当完成图按钮I23变为打开状态时，现场设定部103将显示装置430中显示的施工现场的形状设定为目标形状。在完成图按钮I23为打开状态的情况下，作为合成现场图像I1，显示可视图像与设计数据D1被合成而得的图像。此时的设计数据D1，以不区分与现状地形的差别的形态来显示。
点群按钮I24通过按压来切换打开/关闭的状态。当点群按钮I24变为打开状态时，现场设定部103将显示装置430中显示的施工现场的形状设定为过去形状。在点群按钮I24为打开状态的情况下，作为合成现场图像I1，显示可视图像与点群数据D2被合成而得的图像。
挖掘/填土按钮I22、完成图按钮I23、以及点群按钮I24不会同时变为打开状态。例如，若当挖掘/填土按钮I22为打开状态时按压完成图按钮I23，则随着完成图按钮I23切换为打开状态挖掘/填土按钮I22会切换为关闭状态。另一方面，当挖掘/填土按钮I22、完成图按钮I23和点群按钮I24均变为关闭状态时，现场设定部103将显示装置430中显示的施工现场的形状设定为现状形状。该情况下，不在合成现场图像I1中合成现场数据，而在合成现场图像I1中显示通过可视图像表示的现状的地形。
作业机械按钮I25通过按压来切换打开/关闭的状态。作业机械按钮I25的打开/关闭状态，独立于挖掘/填土按钮I22、完成图按钮I23和点群按钮I24地切换。也就是说，并不通过挖掘/填土按钮I22、完成图按钮I23和点群按钮I24的按压来切换作业机械按钮I25的打开/关闭状态。在作业机械按钮I25为打开状态的情况下，合成现场图像I1中包含机械数据D3。另一方面，在作业机械按钮I25为关闭状态的情况下，如图3所示，在合成现场图像I1中不再包含机械数据D3。
测量按钮I26通过按压来切换打开/关闭的状态。在测量按钮为打开状态的情况下，通过选择合成现场图像I1上的两点，来显示该两点间在现实空间中的距离。
此外，各按钮的打开/关闭状态由现场设定部103设定，并存储于主存储器200。
《显示控制方法》
图3是表示第一实施方式所涉及的便携终端的显示控制方法的流程图。
当利用者操作便携终端1并执行合成显示程序P时，便携终端1按相机410的帧率所涉及的每个定时来重复执行以下所示的显示控制处理。
首先，图像取得部101从相机410取得所摄像的可视图像和距离图像(步骤S1)。此外，位置/姿势取得部102从位置检测器440以及IMU450取得位置数据以及姿势数据(步骤S2)。接着，现场数据取得部104基于所取得的距离图像、位置数据以及姿势数据，生成表示施工现场的现状的现状数据(步骤S3)。现场数据取得部104例如能够通过使用Tango等技术来生成现状数据。
接着，现场数据配置部105参照主存储器200，判定挖掘/填土按钮I22是否为打开状态(步骤S4)。在挖掘/填土按钮I22为打开状态的情况下(步骤S4：“是”)，现场数据取得部104从贮存器300读出设计数据D1(步骤S5)。接着，现场数据配置部105基于步骤S2中取得的位置数据以及姿势数据，在虚拟空间中配置现状数据和设计数据D1(步骤S6)。接着，描绘部109针对设计数据D1上的多个点，计算在铅垂方向上与现状数据的差(步骤S7)。此时，在现状数据位于比设计数据D1更靠铅垂方向的上方的情况下，差为正数；在现状数据位于比设计数据D1更靠铅垂方向的下方的情况下，差为负数。接着，描绘部109基于计算出的差，对设计数据D1进行着色(步骤S8)。例如，描绘部109在设计数据D1中差为正数的区域和差为负数的区域使其色调不同。具体地，描绘部109对不存在与设计数据D1的差的区域着色为绿色；针对差为正数的区域，差的绝对值越小则着色为越接近绿色的颜色，差的绝对值越大则着色为越接近红色的颜色；针对差为负数的区域，差的绝对值越小则着色为越接近绿色的颜色，差的绝对值越大则着色为越接近蓝色的颜色。描绘部109对着色后的设计数据D1进行描绘(步骤S9)。
在挖掘/填土按钮I22为关闭状态的情况下(步骤S4：“否”)，现场数据配置部105参照主存储器200，来判定完成图按钮I23是否为打开状态(步骤S10)。在完成图按钮I23为打开状态的情况下(步骤S10：“是”)，现场数据取得部104从贮存器300读出设计数据D1(步骤S11)。接着，现场数据配置部105基于步骤S2中取得的位置数据和姿势数据，在虚拟空间中配置设计数据D1(步骤S12)。描绘部109对设计数据D1进行描绘(步骤S13)。
在完成图按钮I23为关闭状态的情况下(步骤S10：“否”)，现场数据配置部105参照主存储器200，判定点群按钮I24是否为打开状态(步骤S14)。在点群按钮I24为打开状态的情况下(步骤S14：“是”)，现场数据取得部104从贮存器300读出点群数据D2(步骤S15)。接着，现场数据配置部105基于步骤S2中取得的位置数据和姿势数据，在虚拟空间中配置点群数据D2(步骤S16)。描绘部109对点群数据进行描绘(步骤S17)。
当挖掘/填土按钮I22、完成图按钮I23以及点群按钮I24均为关闭状态的情况下(步骤S14：“否”)，现场数据配置部105基于步骤S2中取得的位置数据和姿势数据，将步骤S3中生成的现状数据配置到虚拟空间(步骤S18)。此外，描绘部109并不描绘现状数据。
当在虚拟空间中配置现场数据时，机械数据配置部107参照主存储器200，判定作业机械按钮I25是否为打开状态(步骤S19)。在作业机械按钮I25为打开状态的情况下(步骤S19：“是”)，便携终端1执行作业机械描绘处理(步骤S20)。
图4是表示第一实施方式所涉及的作业机械描绘处理的流程图。
当便携终端1开始作业机械描绘处理时，机械数据取得部106判定是否通过经由输入装置420的利用者的操作进行了作业机械的追加指示(步骤S51)。此外，在作业机械按钮I25首次从关闭状态切换为打开状态的情况下，机械数据取得部106视为进行了作业机械的追加指示。
在进行了作业机械的追加指示的情况下(步骤S51：“是”)，机械数据取得部106在显示装置430中一览地显示能够选择的作业机械的车型，并使利用者选择，由此来设定车型(步骤S52)。机械数据取得部106从贮存器300读出与设定的车型相关的机械数据D3(步骤S53)。
图5是表示追加作业机械时显示于显示装置的图像的例子的图。
接着，如图5所示，机械数据配置部107在显示装置430整体中放大地显示施工现场的俯视图，使利用者选择配置作业机械的地点(步骤S54)。接着，动态设定部108经由输入装置420受理作业机械的行驶路径和运动的设定的输入(步骤S55)。例如，如图5所示，利用者可以经由输入装置420以步骤S54中选择的地点为起点，通过拖放操作描绘线L，由此来设定行驶路径。此时，通过按压图5所示的前进按钮I31或后退按钮I32，能够对使作业机械前进(通常行驶)还是使其后退(向后行驶)进行切换。此外，利用者通过按压图5所示的多个运动图标I33中的一个，能够设定作业机械的动作的种类。运动图标I33按贮存器300中存储的每种模式数据D4来准备。利用者通过按压图5所示的决定按钮I34，来确认作业机械的追加。
在确认了作业机械的追加的情况下，或者无作业机械的追加指示的情况下(步骤S51：“否”)，机械数据配置部107基于机械数据D3的位置以及设定的行驶路径，来确定虚拟空间中配置机械数据D3的平面坐标(步骤S56)。具体地，机械数据配置部107在通过步骤S52到步骤S55新追加了作业机械的情况下，确定与步骤S54中设定的配置位置相当的虚拟空间上的平面坐标。另一方面，在虚拟空间中已经配置有作业机械的情况下，确定从已经配置的虚拟空间上的平面坐标起，按照设定的行驶路径移动了预定距离(在与帧率相关的时间期间作业机械前进的距离)后的平面坐标。此时，机械数据配置部107基于步骤S52中设定的车型所涉及的目录值等，确定弯曲行驶时的内圈差。此外，机械数据配置部107将机械数据D3的朝向决定为表示在步骤S55中设定的行驶路径的线L的切线(接矢量)方向。
接着，机械数据配置部107在虚拟空间的确定的平面坐标上，将机械数据D3从铅垂方向的上侧落下，确定机械数据D3的与行驶体相当的部分在铅垂方向上与现场数据相接的最低的高度(步骤S57)。然后，机械数据配置部107在虚拟空间中确定的平面坐标中的确定的高度的点处，配置机械数据D3(步骤S58)。即，机械数据配置部107按照重力将机械数据D3配置在现场数据上。此外，步骤S57中确定的位置是机械数据D3的相当于行驶体的部分不会与现场数据发生干扰的位置，因此，并不妨碍行驶体以外的部分与现场数据发生干扰这一情况。例如，在与现场数据的建筑物相当的位置配置机械数据D3的情况下，即使通过将机械数据D3配置在建筑物内使建筑物的一部分与作业机发生干扰，也能够确定与建筑物的地面相当的高度，而不确定与建筑物的屋顶相当的高度。此外，在另一实施方式中，机械数据配置部107将机械数据D3配置在与现场数据对应的位置即可，可以不必配置成在铅垂方向上与现场数据相接。例如，另一实施方式所涉及的机械数据配置部107也可以在机械数据D3的初始配置中，将机械数据D3配置成在铅垂方向上与现场数据相接，之后，一边改变平面坐标一边将机械数据D3配置在相同高度的位置。此外，在另一实施方式中，现场数据与机械数据D3可以在铅垂方向上发生微小干扰，也可以在现场数据与机械数据D3之间存在微小间隙。
接着，机械数据配置部107从贮存器300读出与所设定的运动相关的模式数据D4，并按照该模式数据D4来决定作业机械的姿势(步骤S59)。然后，描绘部109对机械数据D3进行描绘(步骤S60)。此时，描绘部109可以将机械数据D3中会与现场数据干扰的部分以预定颜色进行着色。此外，描绘部109也可以将现场数据中会与机械数据D3干扰的部分以预定颜色进行着色。
返回图3，在步骤S20的作业机械描绘处理结束了的情况下，当作业机械按钮I25为关闭状态时(步骤S19：“否”)，描绘部109通过将步骤S1中取得的可视图像与描绘的现场数据或机械数据D3进行合成，来生成合成现场图像I1。
具体地，在挖掘/填土按钮I22为打开并且作业机械按钮I25为打开的情况下，描绘部109通过在可视图像中对设计数据D1和机械数据D3进行合成，来生成合成现场图像I1。在挖掘/填土按钮I22为打开并且作业机械按钮I25为关闭的情况下，描绘部109通过在可视图像中合成设计数据D1，来生成合成现场图像I1。在完成图按钮I23为打开并且作业机械按钮I25为打开的情况下，描绘部109通过在可视图像中对设计数据D1以及机械数据D3进行合成，来生成合成现场图像I1。在完成图按钮I23为打开并且作业机械按钮I25为关闭的情况下，描绘部109通过在可视图像中合成设计数据D1，来生成合成现场图像I1。在点群按钮I24为打开并且作业机械按钮I25为打开的情况下，描绘部109通过在可视图像中对点群数据D2和机械数据D3进行合成，来生成合成现场图像I1。在点群按钮I24为打开并且作业机械按钮I25为关闭的情况下，描绘部109通过在可视图像中合成点群数据D2，来生成合成现场图像I1。在挖掘/填土按钮I22、完成图按钮I23和点群按钮I24全部为关闭并且作业机械按钮I25为打开的情况下，描绘部109通过在可视图像中合成机械数据D3，来生成合成现场图像I1。在挖掘/填土按钮I22、完成图按钮I23和点群按钮I24全部为关闭并且作业机械按钮I25为关闭的情况下，描绘部109将可视图像直接作为合成现场图像I1。
描绘部109通过在生成的合成现场图像I1中合成操作面板图像I2，来生成显示图像I(步骤S21)。然后，显示控制部110将生成的显示图像I输出到显示装置430(步骤S22)。
通过上述处理，在便携终端1的显示装置430中，按与相机410的帧率相关的每个定时，按照便携终端1的姿势实时地显示施工现场的现状形状、过去形状或目标形状。此外，在按压了作业机械按钮I25的情况下，显示装置430中实时显示在施工现场活动的作业机械。即，显示装置430中显示的作业机械的位置或姿势随时间变化而发生变化。
图6是表示在第一定时显示于显示装置的显示图像的例子的图。图7是表示在第二定时显示于显示装置的显示图像的第一例的图。图8是表示在第二定时显示于显示装置的显示图像的第二例的图。
当按压作业机械按钮I25并在虚拟空间中配置表示液压挖掘机的机械数据D3和表示自卸卡车的机械数据D3时，在第一定时，在显示装置430中如图6所示那样显示在施工现场配置有液压挖掘机M1和自卸卡车M2的图像。
这里，当利用者在步骤S54中设定表示自卸卡车M2的机械数据D3的行驶路径时，在比第一定时靠后的定时即第二定时，在显示装置430如图7所示那样显示自卸卡车M2的位置发生了变化的显示图像I。由此，利用者能够面对施工现场对自卸卡车M2的行驶路径的宽度、在施工现场应当铺设的铁板的量等进行确认。
另一方面，当利用者在步骤S54中设定表示液压挖掘机M1的机械数据D3的运动时，在比第一定时靠后的定时即第二定时，在显示装置430如图8所示那样显示液压挖掘机M1的姿势发生了变化的显示图像I。由此，利用者能够面对施工现场来确认是否存在液压挖掘机M1可动作的空间。
《测量处理》
此外，在图2等所示的显示图像I中，当按压测量按钮I26时，距离计算部111执行表示虚拟空间中的两点间的距离的测量处理。
图9是表示第一实施方式所涉及的测量处理的流程图。
当按压测量按钮I26时，距离计算部111经由输入装置420受理将显示图像I上的坐标指定为距离测量的始点的指定(步骤S101)。例如，利用者通过对显示图像I上的一点进行点击或敲击，来指定坐标。距离计算部111在虚拟空间上配置与指定的始点相当的直线，并确定该直线与现场数据交叉的点(步骤S102)。在指定坐标中配置有机械数据D3的情况下，距离计算部111确定直线与机械数据D3交叉的点。
此外，距离计算部111经由输入装置420受理将显示图像I上的坐标指定为距离测量的终点的指定(步骤S103)。距离计算部111在虚拟空间上配置与指定的终点相当的直线，并确定该直线与现场数据交叉的点(步骤S104)。在指定坐标中配置有机械数据D3的情况下，距离计算部111确定直线与机械数据D3交叉的点。
距离计算部111对将确定的始点与终点连接的距离进行计算(步骤S105)。即，距离计算部111通过将步骤S102和步骤S104中确定的两点在虚拟空间中的长度乘以预定增益，来计算现实空间中的长度。然后，描绘部109绘制将步骤S102和步骤S104中确定的两点连接的直线，并将该直线与步骤S105中计算出距离在显示图像I上进行合成(步骤S106)。由此，在显示装置430中显示指定的两点间的距离。
由此，利用者能够一边观察便携终端1一边容易地测量施工现场中的长度。例如，利用者能够测量合成现场图像I1中显示的从作业机械的侧面到施工现场的行驶通路的墙面之间的距离。
《作用/效果》
这样，第一实施方式所涉及的便携终端1取得现实空间中的视点的位置以及姿势，基于该位置以及姿势将现场数据配置于虚拟空间，并将机械数据D3配置于虚拟空间，以使在铅垂方向上与现场数据相接。由此，便携终端1能够虚拟地将作业机械配置于施工现场并显示。因此，便携终端1的利用者能够面对施工现场而容易地确认作业机械的动作。此外，“取得”是指取得在处理中使用的值。例如，“取得”包含：接收值、测量值、受理值的输入、从表格中读出值、计算值。
此外，第一实施方式所涉及的便携终端1随时间变化而改变位置或姿势地进行描绘机械数据D3。由此，便携终端1的利用者能够面对施工现场而实时地确认作业机械的动态。此外，第一实施方式所涉及的便携终端1设定机械数据D3的动态，并按照所设定的动态随时间变化而改变机械数据的位置或姿势来进行描绘。由此，利用者能够通过简易的设定来确认作业机械的动态。
<另一实施方式>
以上，参照附图对一实施方式进行了详细地说明，然而，具体的结构并不受限于上述内容，可以进行各种设计变更等。
图10是表示另一实施方式所涉及的显示图像的例子的图。
例如，第一实施方式所涉及的便携终端1随时间变化而改变位置或姿势地描绘机械数据D3，但是并不限于此。例如，另一实施方式所涉及的便携终端1可以是，预先存储机械数据D3的多个不同姿势来描绘其中一个，当利用者按压了图10所示的姿势切替按钮I41时，改变描绘的姿势。
此外，在第一实施方式所涉及的便携终端1中，通过在图5所示的画面上引出线L来决定作业机械的行驶路径，然而并不限于此。例如，另一实施方式所涉及的动态设定部108在经由输入装置420受理行驶路径的记录的开始指示时，将位置/姿势取得部102所取得的位置数据以及姿势数据蓄积到主存储器200。然后，动态设定部108可以在经由输入装置420受理行驶路径的记录的结束指示时，将主存储器200中记录的位置数据以及姿势数据的时间序列设定为行驶路径。此外，另一实施方式所涉及的便携终端1可以使显示装置430显示作业机械的控制器图像(例如，与作业机操作杆(lever)对应的图像)，并按照对该控制器图像的操作来改变机械数据D3的位置和姿势。
此外，在第一实施方式所涉及的机械数据D3中设定有骨架，便携终端1通过改变该骨架的角度来改变机械数据D3的姿势，然而并不限于此。例如，对于另一实施方式所涉及的机械数据D3，可以是，机械数据D3由不具有可动部的三维数据构成，便携终端1能够仅对作业机械的行驶进行模拟。
此外，在第一实施方式中，由智能手机、平板电脑终端等便携终端1来显示显示图像，然而并不限于此。例如，在另一实施方式中，可以由投影型HMD(Head Mounted Display，头戴式显示器)、透过型HMD来显示显示图像。此外，在由HMD显示显示图像的情况下，位置/姿势取得部102可以取得利用者的位置以及姿势，而不是相机的视点的位置以及姿势。此外，在由透過型HMD显示显示图像的情况下，显示图像中可以不包含可视图像。在该情况下，通过由透过型HMD仅显示机械数据D3，在利用者以肉眼视觉辨认的施工现场重叠地显示机械数据D3。
图11是表示具备另一实施方式所涉及的显示控制装置的液压挖掘机的外观的立体图。
此外，在另一实施方式中，也可以在如图11所示那样的液压挖掘机中具备显示控制装置。
液压挖掘机1000具备：作业机1100、对作业机1100进行支撑的旋转体1200、以及对旋转体1200进行支撑的行驶体1300。旋转体1200中具备操作员所搭乘的运转室1210。在运转室1210的内部设置有显示装置1211。在运转室1210的上部设置有立体相机1212。立体相机1212通过运转室1210前面的挡风玻璃，对运转室1210的前方进行摄像。立体相机1212至少具备一对相机。通过使用立体相机1212的至少一对相机所摄像的一对图像，能够计算立体相机1212与摄像对象的距离。
液压挖掘机1000具备：位置方位演算器1230、倾斜检测器1240以及显示控制装置1250。位置方位演算器1230对旋转体1200的位置以及旋转体1200朝向的方位进行演算。位置方位演算器1230使用第1接收器1231所接收到的定位信号与第2接收器1232所接收到的定位信号，来演算旋转体1200的方位。倾斜检测器1240测量旋转体1200的加速度和角速度，并基于测量结果来检测旋转体1200的斜率。倾斜检测器1240例如设置在运转室1210的下表面。对于倾斜检测器1240，例如能够使用IMU。
显示控制装置1250根据立体相机1212所摄像的图像，来取得现状数据。此时，显示控制装置1250基于从位置方位演算器1230和倾斜检测器1240得到的信息，取得立体相机1212的位置数据和姿势数据。由此，显示控制装置1250生成显示图像，并使显示装置1211进行显示。
此外，在另一实施方式中，也可以是显示控制装置不具备相机410的计算机，从可携带的相机410以有线或无线接收可视图像以及距离图像。此外，在另一实施方式中，显示装置和显示控制装置可以作为单独的装置来构成。例如，在显示系统具备显示控制装置即服务器以及便携终端1的情况下，可以进行如下那样的处理。便携终端1将利用相机410摄像的图像、位置检测器440所检测到的位置数据、以及IMU450所检测到的姿势数据，经由通信线路而发送给服务器。服务器通过上述处理，基于接收到的数据，来生成显示图像。服务器将生成的显示图像发送给便携终端1。便携终端1的显示装置430显示所接收的显示图像。
此外，第一实施方式所涉及的便携终端1从距离图像来取得现状数据，然而并不限于此。例如，另一实施方式所涉及的便携终端1可以将最近测量出的点群数据D2处理为现状数据。
此外，第一实施方式所涉及的便携终端1在施工现场所反映的图像中描绘了机械数据D3，然而并不限于此。例如，另一实施方式所涉及的便携终端1可以利用相机410来摄像对施工现场进行了再现的比例模型(scale model)，并在该比例模型所反映的图像中描绘机械数据D3。在比例模型中与基准点相当的位置附带有标记(例如二维码)的情况下，现场数据配置部105配置现场数据，以使与基准点所相当的位置与该标记的位置相吻合。
比例模型是改变比例尺来再现施工现场的形状的模型。因此，根据比例模型所反映的图像而生成的现状数据是表示施工现场的形状的三维数据。便携终端1基于比例模型的比例尺来改变机械数据D3的大小。比例模型的比例尺可以由利用者来指定，也可以通过现状数据与施工现场的设计数据的比较来确定，也可以读取在比例模型中所记载的值。在该情况下，距离计算部111可以将在步骤S105中计算出的距离乘以比例模型的比例尺的倒数，由此来计算施工现场中的距离。此外，当存在按照与施工现场的比例模型相同的比例尺再现了作业机械的比例模型时，利用者可以使用便携终端1来测量施工现场的比例模型与作业机械的比例模型之间的距离。在该情况下，便携终端1可以不必描绘机械数据。
在第一实施方式所涉及的便携终端1中，说明了将合成显示程序P存储于贮存器300的情况，然而并不限于此。例如，在另一实施方式中，合成显示程序P可以通过通信线路而被发布给便携终端1。在该情况下，接收发布的便携终端1将当該合成显示程序P在主存储器200中展开，并执行上述处理。
此外，合成显示程序P可以用于实现上述功能的一部分。例如，合成显示程序P可以通过与贮存器300中已经存储的其他合成显示程序P的组合、或者与其他装置中安装的其他合成显示程序P的组合，来实现上述的功能。
此外，便携终端1除了上述结构之外还可以具有或代替上述结构地具有PLD(Programmable Logic Device，可编程逻辑器件)。作为PLD的例子，列举了：PAL(Programmable Array Logic，可编程阵列逻辑)、GAL(Generic Array Logic，通用阵列逻辑)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)。在该情况下，通过处理器100实现的功能的一部分可以通过该PLD来实现。
产业上的可利用性
根据上述显示控制装置，能够使利用者面对施工现场来容易地确认作业机械的动作。
符号说明
1 便携终端；
100 处理器；
200 主存储器；
300 存储器；
400 接口；
410 相机；
420 输入装置；
430 显示装置；
440 位置检测器；
450 IMU；
101 图像取得部；
102 位置/姿势取得部；
103 现场设定部；
104 现场数据取得部；
105 现场数据配置部；
106 机械数据取得部；
107 机械数据配置部；
108 动态设定部；
109 描绘部；
110 显示控制部；
111 距离计算部；
I 显示图像；
I1 合成现场图像；
I2 操作面板图像；
I21 地图区域；
I22 挖掘/填土按钮；
I23 完成图按钮；
I24 点群按钮；
I25 作业机械按钮；
I26 测量按钮。

Claims (13)

1.一种显示控制装置，其特征在于，该显示控制装置具备：
位置/姿势取得部，取得现实空间中的视点的位置以及姿势；
现场数据配置部，基于所述视点的位置以及姿势，在虚拟空间中配置作为表示施工现场的形状的三维数据的现场数据；
机械数据配置部，将作为表示作业机械的形状的三维数据的机械数据配置在所述虚拟空间中与所述现场数据对应的位置；以及
描绘部，对配置的所述机械数据进行描绘。
2.根据权利要求1所述的显示控制装置，其特征在于，
所述描绘部随时间变化而改变所述机械数据的位置或姿势，来描绘所配置的所述机械数据。
3.根据权利要求2所述的显示控制装置，其特征在于，
所述显示控制装置具备：动态设定部，设定所述机械数据的动态，
所述描绘部按照由所述动态设定部设定的所述动态，随时间变化而改变所配置的所述机械数据的位置或姿势地进行描绘。
4.根据权利要求1所述的显示控制装置，其特征在于，
所述描绘部对所配置的所述机械数据的多个位置或多个姿势中的一个进行描绘。
5.根据权利要求1至4中任一项所述的显示控制装置，其特征在于，
所述机械数据具有可动部，
所述描绘部改变所配置的所述机械数据的所述可动部的姿势而对所述机械数据进行描绘。
6.根据权利要求1至5中任一项所述的显示控制装置，其特征在于，
所述显示控制装置具备：图像取得部，取得摄像装置所拍摄的图像，
所述位置/姿势取得部取得所述摄像装置的视点的位置以及姿势。
7.根据权利要求6所述的显示控制装置，其特征在于，
所述描绘部将所描绘的所述机械数据合成到所述图像中。
8.根据权利要求6或7所述的显示控制装置，其特征在于，
所述显示控制装置具备：现场数据取得部，根据所述图像来取得所述现场数据。
9.根据权利要求1至5中任一项所述的显示控制装置，其特征在于，
所述位置/姿势取得部取得所述显示控制装置的位置以及姿势。
10.根据权利要求1至5中任一项所述的显示控制装置，其特征在于，
所述位置/姿势取得部取得对描绘的所述机械数据进行显示的HMD的位置以及姿势。
11.一种显示控制方法，其特征在于，
所述显示控制方法具有如下步骤：
取得现实空间中的视点的位置以及姿势；
基于所述视点的位置以及姿势，在虚拟空间中配置作为表示施工现场的形状的三维数据的现场数据；
将作为表示作业机械的形状的三维数据的机械数据配置在所述虚拟空间中与所述现场数据对应的位置；并且
对配置的所述机械数据进行描绘。
12.一种程序，其特征在于，使计算机执行如下处理：
取得现实空间中的视点的位置以及姿势；
基于所述视点的位置以及姿势，在虚拟空间中配置作为表示施工现场的形状的三维数据的现场数据；
将作为表示作业机械的形状的三维数据的机械数据配置在所述虚拟空间中与所述现场数据对应的位置；并且
对配置的所述机械数据进行描绘。
13.一种显示系统，其特征在于，具备：
位置/姿势测量部，测量现实空间中的视点的位置以及姿势；
现场数据配置部，基于所述视点的位置以及姿势，在虚拟空间中配置作为表示施工现场的形状的三维数据的现场数据；
机械数据配置部，将作为表示作业机械的形状的三维数据的机械数据配置在所述虚拟空间中与所述现场数据对应的位置；
描绘部，对配置的所述机械数据进行描绘；以及
显示部，对描绘的所述机械数据进行显示。
CN201880025430.5A 2017-07-14 2018-06-27 显示控制装置、显示控制方法、记录介质以及显示系统 Active CN110574078B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-138418 2017-07-14
JP2017138418 2017-07-14
PCT/JP2018/024361 WO2019012992A1 (ja) 2017-07-14 2018-06-27 表示制御装置、表示制御方法、プログラムおよび表示システム

Publications (2)

Publication Number Publication Date
CN110574078A true CN110574078A (zh) 2019-12-13
CN110574078B CN110574078B (zh) 2023-03-28

Family

ID=65002542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880025430.5A Active CN110574078B (zh) 2017-07-14 2018-06-27 显示控制装置、显示控制方法、记录介质以及显示系统

Country Status (6)

Country Link
US (1) US10997889B2 (zh)
JP (1) JP6803471B2 (zh)
CN (1) CN110574078B (zh)
AU (1) AU2018299288B2 (zh)
DE (1) DE112018001446T5 (zh)
WO (1) WO2019012992A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6803471B2 (ja) * 2017-07-14 2020-12-23 株式会社小松製作所 表示制御装置、表示制御方法、プログラムおよび表示システム
JP7202193B2 (ja) * 2019-01-18 2023-01-11 株式会社小松製作所 作業機械の制御装置、作業機械、及び作業機械の制御方法
JP7099358B2 (ja) * 2019-02-20 2022-07-12 コベルコ建機株式会社 作業機械用表示システム
JP7281955B2 (ja) * 2019-04-24 2023-05-26 鹿島建設株式会社 安全支援装置及び安全監視方法
US20230154099A1 (en) * 2020-03-31 2023-05-18 Pioneer Corporation Information processing device, computer program, recording medium, and display data creation method
CN118435585A (zh) * 2021-12-22 2024-08-02 住友建机株式会社 信息处理系统、程序及信息处理方法
US11949845B2 (en) 2022-08-31 2024-04-02 Caterpillar Inc. Dynamic visual overlay for enhanced terrain perception on remote control construction equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014129676A (ja) * 2012-12-28 2014-07-10 Komatsu Ltd 建設機械の表示システムおよびその制御方法
US20150116495A1 (en) * 2012-06-08 2015-04-30 Hitachi Construction Machinery Co., Ltd. Display device for self-propelled industrial machine
JP2015125641A (ja) * 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
JP2016102312A (ja) * 2014-11-27 2016-06-02 住友建機株式会社 ショベルの支援装置及びショベルの支援方法
WO2017042873A1 (ja) * 2015-09-08 2017-03-16 株式会社日立製作所 遠隔操作システムおよび操作支援システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA948824B (en) * 1993-12-08 1995-07-11 Caterpillar Inc Method and apparatus for operating geography altering machinery relative to a work site
US6191732B1 (en) * 1999-05-25 2001-02-20 Carlson Software Real-time surveying/earth moving system
US7409441B2 (en) * 2001-05-18 2008-08-05 Sony Computer Entertainment Inc. Display apparatus for accessing desired web site
JP4727068B2 (ja) * 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
SE526913C2 (sv) * 2003-01-02 2005-11-15 Arnex Navigation Systems Ab Förfarande i form av intelligenta funktioner för fordon och automatiska lastmaskiner gällande kartläggning av terräng och materialvolymer, hinderdetektering och styrning av fordon och arbetsredskap
EP1600564A1 (de) * 2004-05-24 2005-11-30 Leica Geosystems AG Verfahren zur Steuerung einer oberflächenverändernden Maschine
JP2013009267A (ja) 2011-06-27 2013-01-10 Kyushu Electric Power Co Inc 周囲監視装置
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
JP6236954B2 (ja) * 2013-07-23 2017-11-29 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
CN107923154B (zh) * 2015-08-10 2024-02-20 住友建机株式会社 挖土机
JP6616149B2 (ja) * 2015-10-05 2019-12-04 株式会社小松製作所 施工方法、作業機械の制御システム及び作業機械
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE112015000190B4 (de) * 2015-12-18 2021-06-17 Komatsu Ltd. Baukonstruktionsinformationsanzeigevorrichtung und Verfahren zum Anzeigen von Baukonstruktionsinformationen
JP2017138418A (ja) 2016-02-02 2017-08-10 キヤノン株式会社 画像形成装置
JP6807781B2 (ja) * 2017-03-13 2021-01-06 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
JP6803471B2 (ja) * 2017-07-14 2020-12-23 株式会社小松製作所 表示制御装置、表示制御方法、プログラムおよび表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150116495A1 (en) * 2012-06-08 2015-04-30 Hitachi Construction Machinery Co., Ltd. Display device for self-propelled industrial machine
JP2014129676A (ja) * 2012-12-28 2014-07-10 Komatsu Ltd 建設機械の表示システムおよびその制御方法
JP2015125641A (ja) * 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
JP2016102312A (ja) * 2014-11-27 2016-06-02 住友建機株式会社 ショベルの支援装置及びショベルの支援方法
WO2017042873A1 (ja) * 2015-09-08 2017-03-16 株式会社日立製作所 遠隔操作システムおよび操作支援システム

Also Published As

Publication number Publication date
US20200126464A1 (en) 2020-04-23
WO2019012992A1 (ja) 2019-01-17
JP6803471B2 (ja) 2020-12-23
DE112018001446T5 (de) 2019-12-12
US10997889B2 (en) 2021-05-04
JPWO2019012992A1 (ja) 2019-11-07
CN110574078B (zh) 2023-03-28
AU2018299288A1 (en) 2019-10-31
AU2018299288B2 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
CN110574078B (zh) 显示控制装置、显示控制方法、记录介质以及显示系统
AU2022209235B2 (en) Display control device and display control method
JP6096980B2 (ja) 施工情報表示装置および施工情報の表示方法
JP6370686B2 (ja) ショベル支援システム、ショベル支援装置及びショベル支援方法
JP6474905B2 (ja) 遠隔操作システムおよび操作支援システム
EP2799630B1 (en) Image display device for shovel
CA3053100C (en) A display system and method for remote operation using acquired three-dimensional data of an object and viewpoint position data of a worker
EP3335944B1 (en) Work vehicle
US10294635B2 (en) Display device and display system of work machine
AU2019292458B2 (en) Display control system, display control device, and display control method
WO2015162710A1 (ja) 掘削装置
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
AU2019292457B2 (en) Display control device, display control system, and display control method
JP6406967B2 (ja) 浅層地盤改良工事支援システム及び浅層地盤改良工事方法
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
KR20170119066A (ko) Ｇｐｓ 및 경사센서를 활용한 토공량 산출시스템
JP7366702B2 (ja) 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置
US20210312721A1 (en) Reproduction device, analysis assistance system, and reproduction method
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
US20210017733A1 (en) Dimension-specifying device and dimension-specifying method
WO2020090898A1 (ja) 表示制御システム、表示制御方法および遠隔操作システム
US11893694B2 (en) Reproduction apparatus, analysis assistance system, and reproduction method for synchronizing reproduction of a construction machine model
WO2024135603A1 (ja) ショベルの施工支援システム
WO2022209052A1 (ja) 出来形情報処理システム
JP2022150641A (ja) 物体認識システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant