CN110573834B - 施工管理装置及施工管理方法 - Google Patents

施工管理装置及施工管理方法 Download PDF

Info

Publication number
CN110573834B
CN110573834B CN201880027693.XA CN201880027693A CN110573834B CN 110573834 B CN110573834 B CN 110573834B CN 201880027693 A CN201880027693 A CN 201880027693A CN 110573834 B CN110573834 B CN 110573834B
Authority
CN
China
Prior art keywords
pair
construction management
unit
dimensional data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027693.XA
Other languages
English (en)
Other versions
CN110573834A (zh
Inventor
根本雄一
青木充广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN110573834A publication Critical patent/CN110573834A/zh
Application granted granted Critical
Publication of CN110573834B publication Critical patent/CN110573834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Operation Control Of Excavators (AREA)
  • Image Processing (AREA)

Abstract

选择部从通过在作业机械设置的摄像装置拍摄的多个图像对中选择作为处理对象的对象图像对。立体测量部使用与拍摄了所选择的所述对象图像对的所述摄像装置相关的相机参数，从所选择的所述对象图像对生成表示地形的三维数据。

Description

施工管理装置及施工管理方法
技术领域
本发明涉及施工管理装置及施工管理方法。
本申请基于2017年9月8日在日本申请的特愿2017-173237号主张优先权，并将其内容应用在本申请中。
背景技术
如专利文献1所公开，已知有下述技术：在作业机械上安装的摄像装置拍摄一对图像，该作业机械具有的计算机基于该一对图像生成表示地形的三维数据。
在先技术文献
专利文献
专利文献1：日本特开2017-071915号公报
发明内容
发明要解决的课题
存在希望基于摄像装置拍摄的图像计算在规定的期间内(例如从施工开始时刻到某个过去时刻)施工的土方量的需求。为了计算土方量，需要根据过去拍摄的多个图像对计算作为测量对象的时刻及地点的地形的三维数据。
本发明的方案的目的在于提供一种能够计算任意时刻或地点的地形的三维数据的施工管理装置及施工管理方法。
用于解决课题的方案
根据本发明的第一方案，施工管理装置使用在施工现场配置的具有摄像装置的多个作业机械生成所述施工现场的三维数据，该施工管理装置包括：相机参数存储部，其存储与所述多个作业机械中的各摄像装置建立了关联的多个相机参数；选择部，其基于来自使用者的输入从通过在所述多个作业机械设置的摄像装置拍摄的多个图像对中，选择作为处理对象的对象图像对；以及立体测量部，其使用所述相机参数存储部存储的多个相机参数中的、与作业机械中的拍摄了所选择的所述对象图像对的所述摄像装置相关的相机参数，从所选择的所述对象图像对生成表示拍摄了所述对象图像对的作业机械的周边的地形的三维数据。
发明效果
根据上述方案，施工管理装置能够计算任意时刻或地点的地形的三维数据。
附图说明
图1是第一实施方式的施工管理系统的结构图。
图2是示出第一实施方式的液压挖掘机的外观的立体图。
图3是示出第一实施方式的液压挖掘机的控制装置的结构的概要图。
图4是示出第一实施方式的施工管理装置的结构的概要图。
图5是表示图像存储部的图像对的管理方式的例子。
图6是示出第一实施方式的施工管理装置的动作的流程图。
图7是示出第二实施方式的施工管理装置的动作的流程图。
图8是示出第三实施方式的施工管理装置的结构的概要图。
图9是示出第四实施方式的施工管理装置的结构的概要图。
具体实施方式
〈第一实施方式〉
《施工管理系统的结构》
图1是第一实施方式的施工管理系统的结构图。
施工管理系统1包括多个液压挖掘机100和施工管理装置200。施工管理系统1是对液压挖掘机100的施工现场的施工状态进行管理的系统。液压挖掘机100与施工管理装置200经由网络连接。
液压挖掘机100在施工现场进行挖掘或填土等作业。另外，液压挖掘机100具有由至少一个摄像装置对构成的立体相机，拍摄具有视差的至少一对图像。以下也将立体相机拍摄的图像的对称为图像对。图像对被向施工管理装置200发送。液压挖掘机100是作业机械的一例。在其他实施方式中，也可以是非液压挖掘机100的作业机械具有立体相机。
施工管理装置200从液压挖掘机100接收拍摄施工现场的图像对，与液压挖掘机100的ID及拍摄的时刻建立关联，对图像对进行管理。施工管理装置200通过对图像对进行立体测量，从而生成表示施工现场地形的点群数据。施工管理装置200使用点群数据计算施工现场的土方量(完成工程量)。点群数据是三维数据的一例。在其他实施方式中，作为三维数据，也可以生成TIN(Triangulated Irregular Network：不规则三角网)数据、DEM(Digital Elevation Model：数值高程模型)数据、多边形数据、体素数据。
《液压挖掘机的结构》
图2是示出第一实施方式的液压挖掘机的外观的立体图。
作为作业机械的液压挖掘机100包括通过液压而工作的作业机110、支承作业机110的回旋体120、支承回旋体120的行驶体130。
《液压挖掘机的车身》
回旋体120具有操作者搭乘的驾驶室121。在驾驶室121的上部设有立体相机122。立体相机122设置在驾驶室121内的前方且在上方。立体相机122经由驾驶室121前面的前部玻璃对驾驶室121的前方进行拍摄。立体相机122具有至少一对相机。在第一实施方式中，立体相机122具有两对摄像装置。即，立体相机122具有4个摄像装置。具体来说，立体相机122从右侧起依次具有第一相机1221、第二相机1222、第三相机1223及第四相机1224。作为各摄像装置的例子，能够举出使用例如CCD(Charge Coupled Device：电器耦合器件)传感器及CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器的摄像装置。
第一相机1221与第三相机1223是摄像装置对。第一相机1221与第三相机1223分别以光轴相对于驾驶室121的地板面大致平行的方式，沿左右方向隔开间隔设置。
第二相机1222与第四相机1224是摄像装置对。第二相机1222与第四相机1224分别以光轴大致平行且其光轴相对于驾驶室121的地板面从驾驶室121前方向下倾斜的方式，沿左右方向隔开间隔设置。
能够使用立体相机122中的至少一个摄像装置对拍摄的一对图像(图像对)，来计算立体相机122与摄像对象的距离。需要说明的是，在其他实施方式中，立体相机122可以由一对相机构成，也可以由3对以上的相机构成。
《液压挖掘机的控制系统》
液压挖掘机100具有立体相机122、位置方位运算器123、倾斜检测器124、控制装置125。
位置方位运算器123运算回旋体120的位置及回旋体120朝向的方位。位置方位运算器123具有从构成GNSS(Global Navigation Satellite System：全球导航卫星系统)的人工卫星接收测位信号的第一接收器1231及第二接收器1232。第一接收器1231及第二接收器1232分别设置在回旋体120的不同位置。位置方位运算器123基于第一接收器1231接收到的测位信号，检测现场坐标系中的回旋体120的代表点(车身坐标系的原点)的位置。作为GNSS的例子，能够举出GPS(Global Positioning System：全球定位系统)。
位置方位运算器123使用第一接收器1231接收到的测位信号和第二接收器1232接收到的测位信号，运算回旋体120朝向的方位，作为第二接收器1232的设置位置相对于检测到的第一接收器1231的设置位置的关系。
倾斜检测器124测量回旋体120的加速度及角速度，基于测量结果检测回旋体120的姿态(例如侧倾角、俯仰角、偏航角)。倾斜检测器124例如设置在驾驶室121的下表面。倾斜检测器124例如能够使用惯性测量装置(IMU：Inertial Measurement Unit)。
图3是示出第一实施方式的液压挖掘机的控制装置的结构的概要图。
控制装置125是具有处理器310、主存储器320、存储器330、接口340的计算机。存储器330存储程序。处理器310从存储器330读取程序并在主存储器320中展开，执行依照程序的处理。控制装置125经由接口340与网络连接。
存储器330具有作为相机参数存储部331的存储区域。作为存储器330的例子，能够举出HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)、磁盘、光磁盘、CD-ROM(Compact Disc Read Only Memory：只读光盘驱动器)、DVD-ROM(DigitalVersatile Disc Read Only Memory：高密度只读光盘)、半导体存储器等。存储器330可以是与控制装置125的总线直接连接的内部介质，也可以是经由接口340与控制装置125连接的外部介质。存储器330是非暂时性的有形存储介质。
相机参数存储部331存储立体相机122的相机参数。相机参数是基于图像对的立体测量使用的参数。相机参数例如包含内部参数、外部参数及车身参数。内部参数是表示各摄像装置的特性的参数。作为内部参数的例子，能够举出摄像装置的光学系统的焦距、摄像装置的光学系统的光轴与图像传感器的摄像面的交点位置、摄像装置镜头的半径方向的失真系数等。外部参数是表示一对摄像装置间的位置关系的参数。作为外部参数的例子，能够举出一对摄像装置间的相对位置、相对姿态(侧倾角、俯仰角、偏航角)。车身参数包含车身坐标系中的相机位置。车身参数是对车身坐标系与相机坐标系进行变换的参数。
处理器310通过执行程序而具有图像取得部311、图像发送部312、相机参数更新部313、相机参数发送部314。
图像取得部311取得立体相机122拍摄到的图像对、位置方位运算器123测量到的回旋体120的位置及方位、以及倾斜检测器124测量到的回旋体120的姿态。
图像发送部312将液压挖掘机100的ID、立体相机122拍摄到的图像对、图像对的摄像时刻、位置方位运算器123测量到的回旋体120的位置及方位、以及倾斜检测器124测量到的回旋体120的姿态建立关联并向施工管理装置200发送。
相机参数更新部313每当实施了立体相机122的校正时对相机参数存储部331存储的相机参数进行更新。
相机参数发送部314每当由相机参数更新部313对相机参数存储部331存储的相机参数进行更新时，将液压挖掘机的ID、该相机参数及其更新时刻向施工管理装置200发送。
需要说明的是，控制装置125也可以与施工管理装置200独立，进行使用立体相机122拍摄到的图像对和相机参数存储部331存储的相机参数的立体测量。
《施工管理装置200》
图4是示出第一实施方式的施工管理装置的结构的概要图。
施工管理装置200是具有处理器210、主存储器220、存储器230、接口240的计算机。存储器230存储施工管理程序P。处理器210从存储器230读取施工管理程序P并在主存储器220中展开，执行按照施工管理程序P的处理。施工管理装置200经由接口240与网络连接。另外，施工管理装置200经由接口240与未图示的输入输出装置连接。
存储器230具有作为相机参数存储部231、机型数据存储部232及图像存储部233的存储区域。作为存储器230的例子，能够举出HDD(Hard Disk Drive)、SSD(Solid StateDrive)、磁盘、光磁盘、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(DigitalVersatile Disc Read Only Memory)、半导体存储器等。存储器230可以是与施工管理装置200的总线直接连接的内部介质，也可以是经由接口240与施工管理装置200连接的外部介质。存储器230是非暂时性的有形存储介质。
相机参数存储部231与液压挖掘机100的ID、该液压挖掘机100具有的立体相机122的相机参数的更新时刻建立关联并存储相机参数。也就是说，相机参数存储部231分别与多个时刻建立关联，存储与该时刻的摄像装置对相关的相机参数。相机参数针对各液压挖掘机100设置的各立体相机122而不同。另外，即使是同一立体相机122，每当实施校正作业时，相机参数也被更新。相机参数存储部331针对液压挖掘机100的每个ID以及校正作业的每次实施(每个更新时刻)分别存储相机参数。相机参数存储部331能够使用具有目录构造的文件系统存储相机参数。例如，相机参数存储部331存储按施工现场分开的现场目录。相机参数存储部331在各现场目录的下一级存储按在该施工现场配备的液压挖掘机100分开的机械目录。相机参数存储部331在各机械目录的下一级按更新时刻存储该液压挖掘机100的相机参数。
机型数据存储部232与液压挖掘机100的机型建立关联，存储该机型中的第一接收器1231及第二接收器1232的设置位置等机型固有数据。如上所述，第一接收器1231的位置是现场坐标系中的回旋体120的代表点(车身坐标系的原点)。也就是说，机型固有数据能够设为用于对现场坐标系与车身坐标系进行变换的参数。由此，施工管理装置200能够根据液压挖掘机100的机型，补偿各机型的GNSS的接收天线的设置位置不同等差异。
图像存储部233与液压挖掘机100的ID及摄像时刻建立关联，存储该液压挖掘机100具有的立体相机122在相应摄像时刻拍摄的图像对。另外，图像对将相应摄像时刻的液压挖掘机100的位置方位运算器123测量到的回旋体120的位置及方位、以及倾斜检测器124测量到的回旋体120的姿态建立关联并保存。
图5是表示图像存储部的图像对的管理方式的例子。
图像存储部233如图5所示，能够使用具有目录构造的文件系统存储图像对。例如，图像存储部233存储按施工现场分开的现场目录。图像存储部233在各现场目录的下一级存储按该施工现场配备的作业机械分开的机械目录。图像存储部233在各机械目录的下一级存储相应作业机械拍摄的图像对。各图像对作为属性信息保存时刻、位置、方位及姿态。另一方面，图像存储部233也可以使用数据库存储图像对。在该情况下，图像存储部233将施工现场的ID、液压挖掘机100的ID、摄像时刻、图像对、位置、方位及姿态建立关联并保存。
处理器210通过施工管理程序P的执行而具有作业前数据输入部211、列表指示部212、选择部213、相机参数取得部214、立体测量部215、整合部216、土方量计算部217。
作业前数据输入部211从使用者接受表示作业前的施工现场形状的三维数据即作业前数据的输入。作为作业前数据的例子，能够举出动工时通过无人机进行的照片测量生成的表示施工现场形状的点群数据、动工时通过激光扫描生成的表示施工现场形状的点群数据。作业前数据不限于点群数据，例如也可以是TIN数据等面数据。作业前数据可以预先存储在存储器230中，也可以从其他计算机经由网络传送。作业前可以是开始施工现场的施工前的时刻(动工时)，也可以是施工中途的某个时刻。
列表指示部212从使用者接受土方量计算使用的图像对的选择指示。使用者例如使用经由接口240连接的输入装置、经由网络连接的其他计算机输入指示。列表指示部212向使用者提示图像存储部233存储的多个图像对的列表。此时，列表指示部212也可以从使用者接受作为土方量计算对象的期间结束日的输入，向使用者提示从动工日到所输入的结束日拍摄的多个图像对的列表。使用者从所提示的列表中确定土方量计算使用的图像对。例如，使用者从图像存储部233存储的多个图像对中选择作业后的施工现场拍摄的多个图像对。列表指示部212从使用者接受所确定的图像对的选择指示。作业后可以是施工中途的某个时刻，也可以是施工现场的施工达到与设计数据相同形状的时刻(完工时)。
选择部213按照列表指示部212接受的选择指示，从图像存储部233存储的多个图像对中选择土方量计算使用的图像对。以下将选择部213选择的图像对称为对象图像对或一个对象图像对。另外，将拍摄作业后施工现场的对象图像对称为作业后图像对。
也就是说，选择部213从通过在液压挖掘机100设置的立体相机122拍摄的多个图像对中选择作为处理对象的至少一个对象图像对。处理对象是指立体测量使用的图像对。对象图像对是指作为处理对象被选择的图像对。
相机参数取得部214确定拍摄所选择的对象图像对的液压挖掘机100，从相机参数存储部231取得与该液压挖掘机100相关的最新相机参数。相机参数取得部214从图像存储部233读取与各对象图像对建立了关联的液压挖掘机100的ID，从相机参数存储部231取得与该ID建立关联且与最新更新时刻建立了关联的相机参数。
也就是说，相机参数取得部214从相机参数存储部231取得与对象图像对关联的相机参数。需要说明的是，所谓“取得”，是指新获得值。例如，“取得”包含接收值、接受值的输入、从表格读取值、根据某个值计算其他值。
立体测量部215关于选择部213选择的对象图像对，使用相机参数取得部214取得的相机参数进行立体测量，从而计算表示地形的点群数据。点群数据是由例如现场坐标系的表示三维位置的多个点构成的三维数据。也就是说，立体测量部215使用与拍摄了所选择的对象图像对的立体相机122相关的相机参数，根据所选择的对象图像对计算表示地形的三维数据。
立体测量部215关于选择部213选择的作业后图像对进行立体测量，从而计算点群数据。以下将根据作业后图像对求出的点群数据称为作业后点群数据。
整合部216在选择部213选择了多个对象图像对的情况下，将立体测量部215生成的多个点群数据整合为一个点群数据。以下将整合部216整合了的点群数据称为整合点群数据。整合点群数据是整合三维数据的一例。也就是说，整合部216基于多个三维数据计算整合三维数据。整合部216对多个作业后点群数据进行整合，生成作业后整合点群数据。
整合部216将整合点群数据的密度减少至规定密度。例如，整合部216分别关于以规定宽度将二维平面分割得到的多个区间，抽取该区间中存在的多个点中的与高度中央值相当的点作为代表点，从而减少整合点群数据的密度。需要说明的是，其他实施方式的整合部216也可以关于多个区间使用分别抽取该区间中存在的多个点中的最低点作为代表点等其他方法抽取代表点。
整合部216针对例如整合点群数据配置TIN(Triangulated Irregular Network：不规则三角网)，从而生成表示地形的面数据。面数据是整合三维数据的一例。整合部216针对作业后整合点群数据配置TIN，生成作业后数据。
土方量计算部217计算通过作业前数据输入部211输入的作业前数据和通过整合部216生成的作业后数据的差值作为土方量。此时，土方量计算部217计算作业后数据相比于作业前数据位于上方的部分的体积作为填土量。土方量计算部217计算作业后数据相比于作业前数据位于下方的部分的体积作为挖掘量。作为土方量计算方法的例子，能够举出方格网法、三棱柱法、棱台(prismoid)法、平均断面法等。
《施工管理方法》
图6是示出第一实施方式的施工管理装置的动作的流程图。
作业前数据输入部211从使用者接受表示作业前的施工现场形状的三维数据即作业前数据的输入(步骤S1)。例如，使用者预先通过无人机进行的照片测量取得作业前数据，将该作业前数据从其他计算机上传到施工管理装置200。在作业前数据非TIN数据的情况(例如是点群数据的情况)下，作业前数据输入部211也可以针对所输入的作业前数据配置TIN。
另外，列表指示部212从使用者接受作为土方量计算对象的期间的输入(步骤S2)。接下来，列表指示部212生成与图像存储部233存储的多个图像对中的作为计算对象的期间内的时刻建立了关联的图像对的列表(例如缩略图列表)，将该列表向使用者提示(步骤S3)。接下来，列表指示部212从向使用者提示的列表中接受拍摄作业后施工现场的一个或多个图像对的指定(步骤S4)。选择部213基于来自使用者的指定，从图像存储部233存储的多个图像对中选择一个或多个作业后图像对(步骤S5)。
相机参数取得部214从图像存储部233取得与所选择的作业后图像对建立了关联的液压挖掘机100的ID(步骤S6)。相机参数取得部214分别从相机参数存储部231取得与所读取的各ID建立关联且在最新更新时刻创建的相机参数(步骤S7)。
立体测量部215关于选择部213选择的作业后图像对，使用与该作业后图像对关联的相机参数、与该作业后图像对建立关联且在图像存储部233中存储的液压挖掘机100的位置、方位及姿态、与该液压挖掘机100的机型相关的机型固有数据，进行立体测量，从而计算作业后点群数据(步骤S8)。
在通过选择部213选择了多个作业后图像对的情况下，整合部216对多个作业后点群数据进行整合，生成由构成多个作业后点群数据的多个点构成的作业后整合点群数据(步骤S9)。整合部216关于以规定宽度将二维平面分割得到的多个区间，分别抽取构成作业后整合点群数据的点且与该区间中存在的多个点中的高度中央值相当的点作为代表点，从而减少作业后整合点群数据的密度(步骤S10)。整合部216针对使密度减少了的作业后整合点群数据配置TIN，生成作业后数据(步骤S11)。
然后，土方量计算部217计算作业前数据与作业后数据的差值作为土方量(步骤S12)。
《应用例》
在此，说明第一实施方式的施工管理装置200的使用情形。施工管理装置200进行的土方量计算，在例如施工现场施工中途的阶段执行，以判断动工以来的施工进度。以下，按施工方式说明施工管理装置200的使用方法。
(施工方式A)
在施工现场的施工中，在分阶段进行挖掘或填土的情况下，施工现场的地形每天变化，即，若是挖掘则地形下挖，若是填土则地形隆起。在该施工方式的情况下，液压挖掘机100的操作者定期(例如每天)使用立体相机122拍摄施工现场的现状地形，每隔一定期间在图像存储部233中存储表示最新现状地形的图像对。此时，施工管理装置200每隔一定期间分别对拍摄的图像对进行立体测量，从而将每一定期间的现状地形的三维数据(作业后数据)存储在例如存储器230内。在该施工方式中，管理者在步骤S4中指定与列表中的计算对象的期间的结束日相关的图像对，施工管理装置200能够确定计算对象的期间的结束日的地形。
(施工方式B)
在施工现场的施工按施工现场的区域依次完成的情况下，例如在规定距离的坡面成形中，在从施工对象区域的一端依次成形坡面的情况下，每天完成的区域扩展。在该施工方式的情况下，每当对象区域的施工完成时，操作者使用立体相机122对该区域进行拍摄。由此，在图像存储部233中按区域存储表示最新现状地形的图像对。此时，各图像对的摄像日不同。在该施工方式中，在步骤S4中，管理者从列表中的计算对象的期间内的图像对仅指定与计算土方量的区域对应的图像对，从而施工管理装置200能够确定计算对象的期间的结束日的地形。
《作用/效果》
按照上述方式，第一实施方式的施工管理装置200从通过立体相机122拍摄到的多个图像对中选择作为处理对象的对象图像对，使用与拍摄了所选择的对象图像对的立体相机122相关的相机参数计算表示地形的三维数据。由此，施工管理装置200能够计算任意时刻或地点的地形的三维数据。
另外，第一实施方式的施工管理装置200向使用者提示多个图像对的列表，从该列表接受作为处理对象的对象图像对的选择。由此，在涉及上述类型B的使用情形中，能够仅选择完成施工对象时刻的图像对。因此，第一实施方式的施工管理装置200能够基于适当的测量结果计算土方量。
另外，第一实施方式的施工管理装置200基于从多个对象图像对计算出的多个点群数据生成整合点群数据。由此，施工管理装置200能够生成表示比1台立体相机122的摄像范围宽的范围的地形的点群数据。此时，施工管理装置200基于多个点群数据，抽取将二维平面分割得到的多个分区各自的代表点，从而能够减少整合点群数据的密度。特别是，第一实施方式的施工管理装置200关于各分区，抽取构成多个点群数据的多个点且在相应分区中存在的点中的与高度中央值相当的点作为所述代表点，从而计算整合点群数据。由此，施工管理装置200无需变更构成整合点群数据的点的坐标值，能够适当地减少整合点群数据的密度。
另外，第一实施方式的施工管理装置200根据整合点群数据生成面数据，基于不同时刻的面数据的差计算土方量。由此，施工管理装置200能够计算任意期间、任意地点的土方量。需要说明的是，在其他实施方式中，也可以基于整合点群数据彼此的差、从整合点群数据生成的其他整合三维数据(例如DEM、多边形数据、体素数据)彼此的差计算土方量。
《变形例》
需要说明的是，第一实施方式的相机参数存储部231与液压挖掘机100的ID及更新时刻建立关联，并存储相应液压挖掘机100具有的立体相机122在相应更新时刻的相机参数，但不限于此。例如，其他实施方式的相机参数存储部231也可以关于多个液压挖掘机100仅存储最新的相机参数。
另外，第一实施方式的列表指示部212提示图像对的列表并从相应列表接受图像对的选择指示，但不限于此。例如，其他实施方式的列表指示部212也可以提示位置信息或时刻信息的列表，从相应列表接受位置信息或时刻信息的指示，从而接受与位置信息或时刻信息建立了关联的图像对的选择指示。
另外，第一实施方式的列表指示部212接受土方量计算对象的期间的输入，提示相应期间的图像对的列表，但不限于此。例如，其他实施方式的列表指示部212也可以不接受土方量计算对象的期间的输入，而提示图像存储部233存储的全部图像对的列表。
〈第二实施方式〉
第一实施方式的施工管理装置200使用在相机参数存储部231中存储的与液压挖掘机100的立体相机122相关的多个相机参数中的最新相机参数进行立体测量。例如在定期对相机参数进行更新的情况下，若在图像对的摄像后实施了相机参数校正，则能够使用校正后的参数生成点群数据，因此能够使用测量誤差小的测量结果计算土方量。另一方面，存在图像对的摄像后立体相机122由于某种理由移动，为了应对该偏移而实施相机参数校正的可能性。在该情况下，若使用最新相机参数进行立体测量，则基于立体相机偏移后的相机参数，使用立体相机偏移前拍摄的图像对进行立体测量，因此存在无法适当求算点群数据的可能性。因此，第二实施方式的施工管理装置200使用图像对的摄像时刻的相机参数进行立体测量。
第二实施方式的施工管理装置200的相机参数取得部214的动作与第一实施方式不同。第二实施方式的相机参数取得部214确定对所选择的对象图像对进行了拍摄的液压挖掘机100，从相机参数存储部231取得与该液压挖掘机100相关的对象图像对的摄像时刻的相机参数。相机参数取得部214从图像存储部233读取与各对象图像对建立了关联的液压挖掘机100的ID和摄像时刻，从相机参数存储部231取得与该ID建立关联且与紧邻该摄像时刻的在前更新时刻建立了关联的相机参数。
《施工管理方法》
图7是示出第二实施方式的施工管理装置的动作流程图。
作业前数据输入部211从使用者接受表示作业前施工现场形状的三维数据即作业前数据的输入(步骤S21)。另外，列表指示部212从使用者接受作为土方量计算对象的期间的输入(步骤S22)。接下来，列表指示部212生成图像存储部233存储的多个图像对中的与作为计算对象的期间内的时刻建立了关联的图像对的列表，并向使用者提示该列表(步骤S23)。接下来，列表指示部212从使用者接受作业后施工现场拍摄的一个或多个图像对的指定(步骤S24)。选择部213基于来自使用者的指定，从图像存储部233存储的多个图像对中选择一个或多个作业后图像对(步骤S25)。
相机参数取得部214从图像存储部233读取与各作业后图像对建立了关联的液压挖掘机100的ID及摄像时刻(步骤S26)。相机参数取得部214从相机参数存储部231取得与所读取的各ID建立关联且与紧邻所读取的摄像时刻的在前更新时刻建立了关联的相机参数(步骤S27)。
然后，施工管理装置执行步骤S28到步骤S32的处理。步骤S28到步骤S32的处理分别与第一实施方式的步骤S8至步骤S12的处理相同。
《作用/效果》
按照上述方式，第二实施方式的施工管理装置200从相机参数存储部231取得与紧邻对象图像对的摄像时刻的在前更新时刻相关的相机参数即摄像时刻的相机参数，基于该参数求算点群数据。由此，施工管理装置200在例如图像对的摄像后立体相机122移动了的情况下，也能够适当地求算点群数据。
《变形例》
需要说明的是，其他实施方式的施工管理装置200也可以取得与最接近摄像时刻的更新时刻相关的相机参数，并基于该参数求算点群数据。例如也可以是，将更新时刻为1月1日的相机参数A和更新时刻为2月1日的相机参数B存储在相机参数存储部231中，在图像对的摄像时刻为1月31日的情况下，施工管理装置200基于相机参数B求算点群数据。另外，其他实施方式的施工管理装置200也可以基于通过与摄像时刻前后的更新时刻相关的多个相机参数求出的相机参数来求算点群数据。另外，其他实施方式的施工管理装置200也可以基于与紧邻摄像时刻的在后更新时刻相关的相机参数求算点群数据。
根据与紧邻摄像时刻的在前更新时刻相关的相机参数、与紧邻摄像时刻的在后更新时刻相关的相机参数、与最接近摄像时刻的更新时刻相关的相机参数及与摄像时刻前后的更新时刻相关的多个相机参数求出的相机参数，均为与对象图像对的摄像时刻关联的相机参数的一例。
〈其他实施方式〉
以上参照附图对一实施方式进行了详细说明，但具体构成不限于以上所述，能够实施多种设计变更等。
在上述实施方式中，液压挖掘机100的控制装置125向施工管理装置200发送图像对，基于施工管理装置200接收到的图像对计算点群数据，但不限于此。例如，其他实施方式中，液压挖掘机100的控制装置125也可以使用立体相机122拍摄到的图像对和相机参数存储部331存储的相机参数计算点群数据，控制装置125将该点群数据向施工管理装置200发送。在该情况下，存储器230具有发挥与图像存储部233相同作用的存储部，相机参数存储部331针对相机参数的每次更新而与更新日期时间一起存储多个相机参数。但是，图像对与点群数据相比数据量小，因此通过像上述实施方式这样向施工管理装置200发送图像对，能够减少通信负荷及存储容量。
另外，上述实施方式的施工管理装置200在使整合点群数据的密度减少后计算土方量，但不限于此。例如，施工管理装置200也可以不使整合点群数据的密度减少，而使用整合点群数据的全部点计算土方量。
另外，上述实施方式的施工管理装置200是独立于液压挖掘机100的计算机，但不限于此。例如，其他实施方式的施工管理装置200也可以安装在液压挖掘机100的控制装置125中。也就是说，在其他实施方式中，也可以由液压挖掘机100的控制装置125进行点群数据的整合或土方量计算。
另外，上述实施方式的施工管理装置仅使用基于图像对生成的多个点群数据生成整合点群数据，但不限于此。例如，其他实施方式的施工管理装置200也可以在基于图像对生成的点群数据的基础上，还使用基于使用无人航空机(无人机)的空中照片测量、由激光扫描进行的测量、作业机110的刀尖位置的测量结果、作业机械的履带位置的测量结果等其他手段生成的点群数据来生成整合点群数据。
另外，上述实施方式的施工管理装置200准备与作业前数据和作业后数据这样不同时刻相关的两个三维数据(整合三维数据)，基于这两个三维数据的差计算土方量，但不限于此。例如，作业前数据也可以是是通过对图像对进行立体测量而计算出的三维数据。也就是说，两个三维数据双方也可以是根据图像对计算出的数据。另外，作业后数据也可以是不依赖于作业后图像对计算出的数据。例如，作业后数据也可以是通过CAD(ComputerAided Design)生成的三维数据、或基于空中照片测量、由激光扫描进行的测量、作业机110的刀尖位置的测量结果、作业机械的履带位置的测量结果等其他手段生成的三维数据。
图8是示出第三实施方式的施工管理装置的结构的概要图。
上述实施方式的施工管理装置200向使用者提示多个图像对的列表，从该列表接受作为处理对象的对象图像对的选择，但不限于该实施方式。例如，第三实施方式的施工管理装置200如图8所示，也可以取代列表指示部212或在列表指示部212的基础上具有日期时间指示部218。另外，第三实施方式的施工管理装置200将三维数据存储部234的存储区域保存在存储器230上。
第三实施方式的立体测量部215按照上述施工方式A的方式每隔一定期间(例如每天)从拍摄的图像对生成点群数据，整合部216对所生成的点群数据进行整合，生成三维数据。整合部216将所生成的三维数据与日期时间建立关联，存储在三维数据存储部234中。
日期时间指示部218从使用者接受日期时间的输入，并从三维数据存储部234读取与所输入的日期时间建立了关联的三维数据。例如，日期时间指示部218接受作业前的日期时间和作业后的日期时间的输入，读取作业前的三维数据和作业后的三维数据。日期时间指示部218也可以从使用者接受日期的输入。在该情况下，日期是日期时间的一例。
土方量计算部217基于日期时间指示部218读取的作业前的三维数据和作业后的三维数据计算土方量。
根据第三实施方式的施工管理装置200，能够在上述施工方式A的情况下容易地进行土方量计算。
图9是示出第四实施方式的施工管理装置的结构的概要图。其他实施方式的施工管理装置200如图9所示，也可以取代列表指示部212或在列表指示部212的基础上具有区域指示部219。
区域指示部219从使用者接受施工对象的区域的输入。例如，区域指示部219通过在施工现场中输入多个坐标而接受以该坐标封闭的区域的输入。
在该情况下，选择部213能够选择图像存储部233存储的多个图像对中的与区域指示部219指定的区域关联的位置建立了关联的图像对。作为与所指定区域关联的位置的例子，能够举出所指定的区域中包含的位置。根据第四实施方式的施工管理装置200，在上述施工方式B的情况下，使用者无需逐个选择各坡面完成时拍摄的图像对，而能够基于图像对的位置信息选择坡面的图像对。
另外，在其他实施方式中，施工管理装置200也可以具有列表指示部212、日期时间指示部218及区域指示部219中的至少一个。在该情况下，选择部213能够选择满足所指示的全部条件的图像对或满足所指示的条件中的至少一个条件的图像对。
上述实施方式的土方量计算部217计算TIN数据即作业前数据与作业后数据的差值作为土方量，但不限于此。例如，其他实施方式的土方量计算部217也可以通过点群数据彼此的对比计算土方量。
上述实施方式的液压挖掘机100使用具有摄像装置对的立体相机122拍摄图像对，但不限于此。例如，其他实施方式的立体相机122也可以由一个能够立体摄影的摄像装置构成。在该情况下，立体相机122通过使用一个摄像装置从不同的两个位置在不同的定时拍摄对象，从而能够拍摄图像对。即，液压挖掘机100可以使用摄像装置对拍摄图像对，但也可以使用一个摄像装置拍摄图像对。也就是说，图像对可以是通过一对摄像装置同时拍摄到的图像对，也可以是由一个摄像装置在不同定时立体拍摄到的图像对。需要说明的是，在立体相机122由一个能够立体摄影的摄像装置构成的情况下，相机参数包含内部参数和车身参数，而不包含外部参数。也就是说，“摄像装置”包含摄像装置对和一个能够立体摄影的摄像装置。
在上述实施方式的施工管理装置200中，对施工管理程序P保存在存储器230中的情况进行了说明，但不限于此。例如，在其他实施方式中，也可以是通过通信线路向施工管理装置200分配施工管理程序P。在该情况下，接受分配的施工管理装置200将该施工管理程序P在主存储器220中展开，并执行上述处理。
另外，施工管理程序P也可以实现上述功能的一部分。例如，施工管理程序P也可以通过与已将上述功能存储在存储器230中的其他施工管理程序P的组合、或已经安装在其他装置中的其他施工管理程序P的组合来实现。
另外，施工管理装置200也可以在上述结构的基础上或取代上述结构具有PLD(Programmable Logic Device)。作为PLD的例子，能够举出PAL(Programmable ArrayLogic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)。在该情况下，通过处理器210实现的功能的一部分或全部可以通过该PLD实现。
产业上的可利用性
根据上述方案，施工管理装置能够计算任意时刻或地点的地形的三维数据。
附图标记说明：
1…施工管理系统 100…液压挖掘机 122…立体相机 123…位置方位运算器124…倾斜检测器 125…控制装置 200…施工管理装置210…处理器 220…主存储器230…存储器 240…接口 211…作业前数据输入部 212…列表指示部 213…选择部 214…相机参数取得部215…立体测量部 216…整合部 217…土方量计算部 日期时间指示部218区域指示部 219 231…相机参数存储部 232…机型数据存储部233…图像存储部 234…三维数据存储部。

Claims (6)

1.一种施工管理装置，其使用在施工现场配置的、具有至少一个由一对摄像装置构成的摄像装置对的多个作业机械，生成所述施工现场的三维数据，其中，
所述施工管理装置包括：
相机参数存储部，其存储与所述多个作业机械中的各摄像装置对及时刻建立了关联、包含所述作业机械中的所述摄像装置对的所述时刻的位置、且通过校正进行更新的更新前的多个相机参数和更新后的多个相机参数；
选择部，其基于来自使用者的输入从通过在所述多个作业机械设置的摄像装置对拍摄的、与摄像时的所述作业机械的位置、方位及姿态建立了关联的多个图像对中，选择作为处理对象的对象图像对；以及
立体测量部，其使用所述相机参数存储部存储的多个相机参数中的、与作业机械中的拍摄了所选择的所述对象图像对的所述摄像装置对及所述对象图像对的摄像时刻建立了关联的相机参数以及与所述选择的所述对象图像对建立了关联的所述作业机械的位置、方位及姿态，从所选择的所述对象图像对生成表示拍摄了所述对象图像对的作业机械的周边的地形的三维数据，
所述立体测量部基于用于生成所述三维数据的所述对象图像对的在紧邻摄像时刻的在前时刻更新的所述相机参数来生成三维数据。
2.根据权利要求1所述的施工管理装置，其中，
所述施工管理装置还具有整合部，该整合部对所述立体测量部生成的三维数据进行整合，
所述选择部选择基于来自使用者的输入的多个图像对，
所述整合部对从所选择的多个图像对获得的多个三维数据进行整合。
3.根据权利要求1或2所述的施工管理装置，其包括：
日期时间指定部，其接受日期时间的输入；以及
三维数据存储部，其与多个日期时间建立关联并存储三维数据，
所述选择部从所述三维数据存储部存储的多个三维数据中，选择与输入至所述日期时间指定部的日期时间建立了关联的所述三维数据。
4.根据权利要求1或2所述的施工管理装置，其中，
所述施工管理装置具有接受施工对象的区域的输入的区域指示部，
所述选择部从所述图像对中选择在与输入至所述区域指示部的区域关联的位置拍摄到的所述对象图像对。
5.一种施工管理方法，其使用在施工现场配置的、具有至少一个由一对摄像装置构成的摄像装置对的多个作业机械，生成所述施工现场的三维数据，
在该施工管理方法中，包括以下步骤：
存储与所述多个作业机械中的各摄像装置对及时刻建立了关联、包含所述作业机械中的所述摄像装置对的所述时刻的位置、且通过校正进行更新的更新前的多个相机参数和更新后的多个相机参数；
基于来自使用者的输入从通过设置于所述作业机械的摄像装置对拍摄的、与摄像时的所述作业机械的位置、方位及姿态建立了关联的图像对中，选择作为处理对象的对象图像对；以及
使用所存储的多个相机参数中的、与作业机械中的拍摄了所选择的所述对象图像对的所述摄像装置对及所述对象图像对的摄像时刻建立了关联的相机参数以及与所述选择的所述对象图像对建立了关联的所述作业机械的位置、方位及姿态，从所选择的所述对象图像对生成表示拍摄了所述对象图像对的作业机械的周边的地形的三维数据，
所述三维数据基于用于生成所述三维数据的所述对象图像对的在紧邻摄像时刻的在前时刻更新的所述相机参数来生成。
6.根据权利要求5所述的施工管理方法，其中，
在选择所述对象图像对的步骤中，选择基于来自使用者的输入的多个图像对，
所述施工管理方法还包括对所生成的多个三维数据进行整合的步骤。
CN201880027693.XA 2017-09-08 2018-06-27 施工管理装置及施工管理方法 Active CN110573834B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017173237A JP6840645B2 (ja) 2017-09-08 2017-09-08 施工管理装置および施工管理方法
JP2017-173237 2017-09-08
PCT/JP2018/024382 WO2019049475A1 (ja) 2017-09-08 2018-06-27 施工管理装置および施工管理方法

Publications (2)

Publication Number Publication Date
CN110573834A CN110573834A (zh) 2019-12-13
CN110573834B true CN110573834B (zh) 2022-05-17

Family

ID=65633910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027693.XA Active CN110573834B (zh) 2017-09-08 2018-06-27 施工管理装置及施工管理方法

Country Status (6)

Country Link
US (1) US11100663B2 (zh)
JP (1) JP6840645B2 (zh)
CN (1) CN110573834B (zh)
AU (1) AU2018327449B9 (zh)
DE (1) DE112018001834T5 (zh)
WO (1) WO2019049475A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6974217B2 (ja) * 2018-02-28 2021-12-01 株式会社小松製作所 施工管理装置
JP2021021245A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の作業内容判定システム及び作業判定方法
JP6996012B1 (ja) * 2021-01-14 2022-01-17 オリエンタル白石株式会社 三次元形状推定システム
US11531943B1 (en) * 2021-11-18 2022-12-20 Slate Technologies Inc. Intelligence driven method and system for multi-factor optimization of schedules and resource recommendations for smart construction
US11906981B2 (en) 2022-02-08 2024-02-20 Caterpillar Inc. System and method for updating virtual worksite
US11907885B1 (en) 2022-03-29 2024-02-20 Slate Technologies Inc. System and method for computational simulation and augmented/virtual reality in a construction environment
US11748675B1 (en) * 2022-04-14 2023-09-05 Haul Hub Inc. Construction site automatic telematic data to project specification requirements reconciliation system
US11461716B1 (en) 2022-04-14 2022-10-04 Haul Hub Inc. Construction source record and project reconciliation system with life cycle chain of custody capability
WO2024053315A1 (ja) * 2022-09-08 2024-03-14 日立建機株式会社 施工履歴演算システム及び地形データ生成システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131099A (zh) * 2010-01-18 2011-07-20 索尼公司 图像处理装置、图像处理方法和程序
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
WO2017038680A1 (ja) * 2015-08-31 2017-03-09 日本ユニシス株式会社 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1314623C (en) 1988-09-20 1993-03-16 Naoshi Suzuki Image pickup system capable of obtaining a plurality of stereo images with different base height ratios
JP3486461B2 (ja) * 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
JP3720972B2 (ja) * 1998-01-22 2005-11-30 株式会社小松製作所 地形形状計測装置
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
US6789039B1 (en) * 2000-04-05 2004-09-07 Microsoft Corporation Relative range camera calibration
JP2003075148A (ja) * 2001-09-03 2003-03-12 Techno Vanguard:Kk デジタルスチルカメラを用いた変位計測装置
US7860276B2 (en) 2005-12-08 2010-12-28 Topcon Corporation Image processing device and method
JP2008204318A (ja) * 2007-02-22 2008-09-04 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
JP4985241B2 (ja) * 2007-08-31 2012-07-25 オムロン株式会社 画像処理装置
JP2010166302A (ja) * 2009-01-15 2010-07-29 Konica Minolta Holdings Inc 画像記録装置
CN101576382B (zh) 2009-02-27 2010-12-08 泰瑞数创科技(北京)有限公司 一种基于三维展示平台的水利监测方法
CN101915569B (zh) 2010-07-07 2012-09-26 南京信息工程大学 风浪要素数值实景监测系统及其监测方法
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
JP5759798B2 (ja) * 2011-06-08 2015-08-05 株式会社トプコン 建設機械制御システム
WO2013062557A1 (en) 2011-10-27 2013-05-02 The Boeing Company Stereo video movies
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
JP5735455B2 (ja) * 2012-05-22 2015-06-17 日本電信電話株式会社 移動物体ポーズ算出装置、移動物体ポーズ算出方法、及びプログラム
WO2014046213A1 (ja) 2012-09-21 2014-03-27 株式会社タダノ 作業車の周囲情報取得装置
US9659237B2 (en) * 2012-10-05 2017-05-23 Micro Usa, Inc. Imaging through aerosol obscurants
US20150094953A1 (en) * 2013-10-02 2015-04-02 Deere & Company System for locating and characterizing a topographic feature from a work vehicle
CN104580920B (zh) * 2013-10-21 2018-03-13 华为技术有限公司 一种成像处理的方法及用户终端
JP6425405B2 (ja) * 2014-04-16 2018-11-21 キヤノン株式会社 情報処理装置、方法、プログラム
CN105225265B (zh) 2014-05-28 2019-08-06 深圳超多维科技有限公司 三维图像自动合成方法及装置
CN106462961B (zh) 2014-06-03 2021-04-09 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
JP6433200B2 (ja) * 2014-08-28 2018-12-05 株式会社トプコン 演算装置、演算方法、およびプログラム
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
JP6552192B2 (ja) * 2014-12-18 2019-07-31 京セラ株式会社 ステレオカメラ装置、移動体、制御方法及び較正装置
US10007998B2 (en) * 2015-03-20 2018-06-26 Ricoh Company, Ltd. Image processor, apparatus, and control system for correction of stereo images
CN104778740A (zh) 2015-04-16 2015-07-15 成都中科合迅科技有限公司 一种大坝施工进度三维仿真方法
EP3086196B1 (en) 2015-04-21 2017-04-05 Hexagon Technology Center GmbH Method and control system for surveying and mapping a terrain while operating a bulldozer
US20160312432A1 (en) * 2015-04-23 2016-10-27 Caterpillar Inc. Computer Vision Assisted Work Tool Recognition and Installation
CN108307654A (zh) * 2015-06-17 2018-07-20 索尼公司 图像处理装置和图像处理方法
CN105046426B (zh) 2015-07-08 2018-08-31 安徽立卓智能电网科技有限公司 一种基于数据库多张历史数据表的工况信息断面重现方法
DE112015000108T5 (de) * 2015-09-30 2016-06-16 Komatsu Ltd. Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung
JP6925775B2 (ja) 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
WO2017061515A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 建設機械及び施工管理システム
JP6558289B2 (ja) 2016-03-25 2019-08-14 セイコーエプソン株式会社 電子時計および電子時計の制御方法
DE112016000038B4 (de) 2016-03-29 2020-10-01 Komatsu Ltd. Kalibrierungssystem, Arbeitsmaschine und Kalibrierungsverfahren
CN105867404A (zh) * 2016-05-20 2016-08-17 张爱军 一种无人机测量土石方的设备及方法
CN106354869A (zh) 2016-09-13 2017-01-25 四川研宝科技有限公司 基于位置信息与时间段的实景图像处理方法及其服务器
US10399325B2 (en) * 2016-12-13 2019-09-03 Caterpillar Inc. Systems and methods for preparing a worksite for additive construction
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
US10733752B2 (en) * 2017-07-24 2020-08-04 Deere & Company Estimating a volume of contents in a container of a work vehicle
JP7365122B2 (ja) * 2019-02-01 2023-10-19 株式会社小松製作所 画像処理システムおよび画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131099A (zh) * 2010-01-18 2011-07-20 索尼公司 图像处理装置、图像处理方法和程序
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
WO2017038680A1 (ja) * 2015-08-31 2017-03-09 日本ユニシス株式会社 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Also Published As

Publication number Publication date
DE112018001834T5 (de) 2020-01-16
AU2018327449B2 (en) 2021-06-10
AU2018327449B9 (en) 2021-10-21
WO2019049475A1 (ja) 2019-03-14
US11100663B2 (en) 2021-08-24
CN110573834A (zh) 2019-12-13
AU2018327449A1 (en) 2019-12-05
US20200388043A1 (en) 2020-12-10
JP2019049121A (ja) 2019-03-28
JP6840645B2 (ja) 2021-03-10

Similar Documents

Publication Publication Date Title
CN110573834B (zh) 施工管理装置及施工管理方法
AU2022209235B2 (en) Display control device and display control method
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
EP3186685B1 (en) Three-dimensional elevation modeling for use in operating agricultural vehicles
EP1584895B1 (en) Survey data processing system
CN113607135B (zh) 一种用于路桥施工领域的无人机倾斜摄影测量方法
JP7365122B2 (ja) 画像処理システムおよび画像処理方法
KR100800554B1 (ko) 이동형 사진측량 시스템에서의 레이저 스캐너와 카메라영상정보를 이용한 3차원 모델링 방법
CN112469869A (zh) 图像处理系统、显示装置、图像处理方法、学习完毕模型的生成方法以及学习用数据集
JP4181800B2 (ja) ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
JP6631206B2 (ja) 土工管理方法
AU2019292458B2 (en) Display control system, display control device, and display control method
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
CN112334733B (zh) 拍摄装置的校正装置、监视装置、作业机械及校正方法
AU2019292457B2 (en) Display control device, display control system, and display control method
KR20120099952A (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
JP3808833B2 (ja) 空中写真測量方法
JP2021117047A (ja) 無人飛行体を用いた写真測量方法および無人飛行体を用いた写真測量システム
CN110780313A (zh) 一种无人机可见光立体测量采集建模方法
KR101409802B1 (ko) 3차원 3ｄ 스캐너를 활용한 최적의 공간정보 분석 시스템
CN116339336A (zh) 电动农机集群协同作业方法、装置及系统
CN107146281B (zh) 一种月球表面高分辨率dem提取方法
Silvestrou et al. Multi-parametric Performance Evaluation of Drone-based Surveying for Disaster Risk Management.
Lim et al. Evaluation of Possibility of Large-scale Digital Map through Precision Sensor Modeling of UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant