CN108432234A - 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法 - Google Patents

终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法 Download PDF

Info

Publication number
CN108432234A
CN108432234A CN201780005627.8A CN201780005627A CN108432234A CN 108432234 A CN108432234 A CN 108432234A CN 201780005627 A CN201780005627 A CN 201780005627A CN 108432234 A CN108432234 A CN 108432234A
Authority
CN
China
Prior art keywords
data
photographed
dimensional data
dimensional
terminal installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780005627.8A
Other languages
English (en)
Other versions
CN108432234B (zh
Inventor
赤沼浩树
根本雄
根本雄一
制野将登
山口博义
川本骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority claimed from PCT/JP2017/009287 external-priority patent/WO2017169598A1/ja
Publication of CN108432234A publication Critical patent/CN108432234A/zh
Application granted granted Critical
Publication of CN108432234B publication Critical patent/CN108432234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Operation Control Of Excavators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的终端装置具备：拍摄数据接收部，其接收由设置于作业车辆且能够生成三维数据的拍摄装置拍摄到的第一拍摄数据；显示部，其显示拍摄数据接收部接收到的第一拍摄数据；以及获取指示发送部，其发送使作业车辆获取第二拍摄数据的获取指示，该第二拍摄数据是由拍摄装置拍摄的、用于生成三维数据的拍摄数据。

Description

终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及 拍摄方法
技术领域
本发明涉及终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法。
本申请基于2016年03月30日在日本申请的特愿2016-069691号以及2016年10月31日在日本申请的特愿2016-213793号而主张优先权，在此援引其内容。
背景技术
如专利文献1所公开的那样，已知有使用设置于建设机械的立体相机来获取施工现场的图像数据的技术。
在先技术文献
专利文献
专利文献1：日本特开2013-036243号公报
发明内容
发明要解决的课题
作为能够生成三维数据的拍摄装置，已知有立体相机。已知有使用立体相机拍摄到的拍摄数据来生成三维数据的技术。通过在建设机械搭载立体相机来拍摄施工现场的地形，使用得到的拍摄数据来生成施工现场的地形的三维数据，从而能够实现施工现场的进度管理。此时，建设机械的驾驶员的视线与拍摄装置的视线未必一致。另外，拍摄者想象的拍摄范围与拍摄装置的拍摄范围也可能会产生偏差。拍摄者例如是搭载有立体相机的建设机械的驾驶员。因此，根据驾驶员的指示而拍摄到的拍摄数据可能不是对所希望的地点拍摄而得到的数据。
本发明的方式的目的在于，提供能够生成所希望的地点处的三维数据的终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法。
用于解决课题的方案
根据本发明的第一方式，终端装置具备：拍摄数据接收部，其接收第一拍摄数据，该第一拍摄数据是由设置于作业车辆且能够生成三维数据的拍摄装置拍摄到的拍摄数据；显示部，其显示所述拍摄数据接收部接收到的所述第一拍摄数据；以及获取指示发送部，其发送使所述作业车辆获取第二拍摄数据的获取指示，该第二拍摄数据是由所述拍摄装置拍摄的、用于生成三维数据的拍摄数据。
根据本发明的第二方式，拍摄系统具备作业车辆和终端装置，所述作业车辆具备：车身；拍摄装置，其设置于所述车身，且能够获取进深方向的信息；拍摄数据发送部，其将所述拍摄装置拍摄到的第一拍摄数据向所述终端装置发送；获取指示接收部，其接收用于生成三维数据的第二拍摄数据的获取指示；以及拍摄数据获取部，其按照所述获取指示，从所述拍摄装置获取所述第二拍摄数据，所述终端装置具备：拍摄数据接收部，其从所述作业车辆接收所述第一拍摄数据；显示部，其显示所述拍摄数据接收部接收到的所述第一拍摄数据；以及获取指示发送部，其发送使所述作业车辆获取所述第二拍摄数据的获取指示。
根据本发明的第三方式，拍摄方法包括：接收第一拍摄数据，该第一拍摄数据是由设置于作业车辆且能够获取进深方向的信息的拍摄装置拍摄到的拍摄数据；使接收到的所述第一拍摄数据显示于终端装置；以及发送使所述作业车辆获取第二拍摄数据的获取指示，该第二拍摄数据是由所述拍摄装置拍摄的、用于生成三维数据的拍摄数据。
根据本发明的第四方式，控制装置具备：拍摄数据发送部，其向终端装置发送第一拍摄数据，该第一拍摄数据是由设置于作业车辆且能够获取进深方向的信息的拍摄装置拍摄到的拍摄数据；获取指示接收部，其接收用于生成三维数据的第二拍摄数据的获取指示；以及拍摄数据获取部，其按照所述获取指示，从所述拍摄装置获取所述第二拍摄数据。
根据本发明的第五方式，数据统合装置具备：
三维数据获取部，其获取基于拍摄数据而生成的多个三维数据，该拍摄数据是设置于作业车辆且能够获取进深方向的信息的拍摄装置拍摄施工现场而得到的数据；以及三维数据统合部，其对所述三维数据获取部获取到的所述多个三维数据进行统合而生成统合三维数据。
根据本发明的第六方式，作业车辆具备：车身；拍摄装置，其设置于所述车身；三维数据生成部，其基于所述拍摄装置拍摄到的多个拍摄数据的各个拍摄数据而生成多个三维数据；以及三维数据统合部，其对所述三维数据生成部生成的多个三维数据进行统合而生成统合三维数据。
根据本发明的第七方式，拍摄系统具备作业车辆和数据统合装置，所述作业车辆具备：车身；拍摄装置，其设置于所述车身；三维数据生成部，其基于所述拍摄装置拍摄到的多个拍摄数据的各个拍摄数据而生成多个三维数据；以及数据发送部，其将所述多个三维数据向所述数据统合装置发送，所述数据统合装置具备：数据接收部，其从所述作业车辆接收所述多个三维数据；三维数据统合部，其对所述数据接收部接收到的所述多个三维数据进行统合而生成统合三维数据。
发明效果
根据上述方式中的至少一个方式，提供能够生成所希望的地点处的三维数据的终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法。
附图说明
图1是示出第一实施方式的施工管理系统的结构的概要图。
图2是示出第一实施方式的建设机械的结构的立体图。
图3是示出第一实施方式的建设机械的控制装置的结构的框图。
图4是示出第一实施方式的终端装置的结构的框图。
图5是示出第一实施方式的服务器装置的结构的框图。
图6是示出第一实施方式的终端装置的动作的流程图。
图7是示出第一实施方式的终端装置所显示的处理选择画面的例子的图。
图8是示出第一实施方式的三维数据的生成控制处理的第一时序图。
图9是示出第一实施方式的终端装置所显示的拍摄范围确认画面的例子的图。
图10是示出第一实施方式的三维数据的生成控制处理的第二时序图。
图11是示出第一实施方式的三维数据的管理处理的时序图。
图12是示出根据三维数据来生成统合三维数据的处理的图。
图13是示出第一实施方式的统合处理的流程图。
图14是示出第二实施方式的施工管理系统的结构的概要图。
图15是示出第二实施方式的终端装置的结构的概要框图。
图16是示出第二实施方式的终端装置的动作的流程图。
图17是示出第三实施方式的三维数据的生成控制处理的第一时序图。
图18是示出第三实施方式的三维数据的生成控制处理的第二时序图。
图19是示出第五实施方式的建设机械的控制装置的结构的概要框图。
图20是示出第五实施方式的三维数据的生成控制处理的第一时序图。
图21是示出第五实施方式的三维数据的生成控制处理的第二时序图。
图22是示出至少一个实施方式的计算机的结构的概要框图。
具体实施方式
<第一实施方式>
《施工管理系统》
图1是示出第一实施方式的施工管理系统的结构的概要图。
施工管理系统1具备多个建设机械100、多个终端装置200以及服务器装置300。图1示出具备多个建设机械100和多个终端装置200的施工管理系统1，但施工管理系统1也可以具备一台建设机械100和多个终端装置200，还可以具备多个终端装置200和一台终端装置200。另外，施工管理系统1也可以具备一台建设机械100和一台终端装置200。施工管理系统1是对基于建设机械100或人工而实现的施工的进度状况进行管理的系统。具体而言，施工管理系统1根据由设置于建设机械100的立体相机拍摄到的拍摄数据来生成施工现场的三维数据。施工管理系统1是拍摄系统的一例。建设机械100的驾驶员D是能够操作终端装置200的拍摄者。
设置于建设机械100的后述控制装置126从终端装置200接收指示，并按照指示来进行基于立体相机的拍摄。建设机械100的控制装置126根据立体相机拍摄到的拍摄数据而生成三维数据。作为三维数据的例子，举出点组数据、多边形数据和体素数据。第一实施方式的建设机械100是作为作业车辆的液压挖掘机。
作为终端装置200，例如能够使用便携电话、智能手机、便携型计算机。终端装置200显示由设置于建设机械100的立体相机125中的后述的第一相机1251拍摄到的拍摄数据(第一拍摄数据)。终端装置200按照驾驶员的输入而向建设机械100发送用于三维数据的生成的拍摄数据(第二拍摄数据)的获取指示。第二拍摄数据是由后述的立体相机125的全部相机(第一相机1251、第二相机1252、第三相机1253、第四相机1254)拍摄到的拍摄数据。第二拍摄数据可以包含过去获取到的第一拍摄数据，也可以不包含过去获取到的第一拍摄数据。即，在第二拍摄数据包含过去获取到的第一拍摄数据的情况下，也可以使在相同时机获取到的第二拍摄数据即包含第一拍摄数据的第二拍摄数据存储于后述的控制装置126的未图示的存储部，使用这些拍摄数据来生成三维数据。另外，在第二拍摄数据不包含过去获取到的第一拍摄数据的情况下，也可以根据包含与如后述那样用于供拍摄者确认立体相机125的摄影范围和摄影内容的第一拍摄数据不同的第一拍摄数据在内的第二拍摄数据，来生成三维数据。
服务器装置300从建设机械100接收拍摄数据以及三维数据。
服务器装置300能够将多个三维数据统合而生成表示施工现场整体的统合三维数据。
建设机械100、终端装置200以及服务器装置300相互经由网络N而连接。需要说明的是，网络N包含便携通信网或卫星通信网。
《建设机械》
图2是示出第一实施方式的建设机械的结构的立体图。
建设机械100具备：利用液压进行工作的工作装置110；对工作装置110进行支承的作为上部回转体的车身120；以及对车身120进行支承的作为下部行驶体的行驶装置130。
车身120具备：供驾驶员D搭乘的驾驶室121；对车身120的位置进行检测的位置检测器122；对车身120所朝向的方位进行检测的方位检测器123；对车身120的姿势进行检测的姿势检测器124；拍摄车身120的前方(+Y方向)的立体相机125；以及对建设机械100进行控制的控制装置126。需要说明的是，方位检测器123也作为对车身120的位置进行检测的位置检测器的一部分而发挥功能。驾驶室121设置在车身120的前方(+Y方向)且工作装置110的左侧(-X侧)。
位置检测器122具备从构成GNSS(Global Navigation Satellite System)的人工卫星接收测位信号的第一接收器1221。位置检测器122基于第一接收器1221经由作为天线的第二接收器1231以及第三接收器1232而接收到的测位信号，来检测例如第一接收器1221的设置位置。作为NSS的例子，举出GPS(Global Positioning System)。
方位检测器123具备从构成NSS的人工卫星接收测位信号的第二接收器1231以及第三接收器1232。第二接收器1231以及第三接收器1232分别设置在车身120的不同位置。方位检测器123基于第二接收器1231接收到的测位信号，来检测第二接收器1231的设置位置。方位检测器123基于第三接收器1232接收到的测位信号，来检测第三接收器1232的设置位置。方位检测器123基于检测到的第二接收器1231的设置位置与检测到的第三接收器1232的设置位置的关系，来检测车身120所朝向的方位。
姿势检测器124对车身120的加速度以及角速度进行计测，基于计测结果来检测车身120的姿势(例如，俯仰、横摆以及侧倾)。姿势检测器124设置在例如驾驶室121的下表面。姿势检测器124例如能够使用作为惯性计测装置的IMU(Inertial Measurement Unit)。
当未图示的按键开关打开时，搭载于建设机械100的未图示的发动机开始动作，包含立体相机125的控制装置126等设备由未图示的蓄电池供给电源而起动。立体相机125设置在驾驶室121内的前方(+Y方向)且上方(+Z方向)。即，立体相机125的视点高于驾驶员D的视点。立体相机125通过驾驶室121前面的挡风玻璃而拍摄驾驶室121的前方。立体相机125具备两对相机。即，立体相机125具备四个相机。具体而言，立体相机125从右侧(+X侧)起依次具备第一相机1251、第二相机1252、第三相机1253以及第四相机1254。第一相机1251与第三相机1253是成对的相机。第一相机1251与第三相机1253分别以光轴与驾驶室121的地面大致平行的方式在车宽方向上隔开间隔而设置。第二相机1252与第四相机1254是成对的相机。第二相机1252与第四相机1254分别以光轴大致平行、且它们的光轴相对于驾驶室121的地面朝驾驶室121前方(+Y方向)的下方向(-Z方向)倾斜的方式在车宽方向上隔开间隔而设置。立体相机125是能够生成三维数据的拍摄装置的一例。即，控制装置126能够根据立体相机125中的至少一对相机拍摄到的一对拍摄数据来生成三维数据。需要说明的是，“能够生成三维数据的拍摄装置”只要是对用于生成三维数据的拍摄数据进行拍摄的拍摄装置即可，也可以不是拍摄装置自身生成三维数据。
《建设机械的控制装置》
图3是示出第一实施方式的建设机械的控制装置的结构的框图。
控制装置126具备信标发出部1261、指示接收部1262、拍摄数据获取部1263、车辆信息获取部1264、三维数据生成部1265、数据发送部1266。
信标发出部1261发出包含作为识别建设机械100的车辆识别信息的车辆ID在内的信标信号。信标信号的到达距离例如约为50米。需要说明的是，作为发出车辆ID的方法，能够使用可进行近距离无线通信的通信方式。因此，代替信标信号，例如也可以使用基于BLE(Bluetooth Low Energy，Bluetooth为注册商标)的信号。
指示接收部1262从服务器装置300接收拍摄指示。拍摄指示被从终端装置200向服务器装置300发送，并由服务器装置300向控制装置126转送。拍摄指示中包含作为用于识别发送源的终端装置200的终端识别信息的终端ID。作为终端ID的例子，举出终端装置200的IP地址。指示接收部1262从服务器装置300接收用于生成三维数据的拍摄数据(第二拍摄数据)的获取指示。指示接收部1262是拍摄指示接收部以及获取指示接收部的一例。
拍摄数据获取部1263在指示接收部1262接收到拍摄指示时，开始进行从立体相机125以一定周期获取第一相机1251拍摄到的拍摄数据(第一拍摄数据)的处理。例如，拍摄数据获取部1263在接收到拍摄指示以后，每隔5秒获取第一拍摄数据。拍摄数据获取部1263在指示接收部1262接收到获取指示时，获取立体相机125(第一相机1251、第二相机1252、第三相机1253、第四相机1254)各自拍摄到的拍摄数据(第二拍摄数据)。
车辆信息获取部1264从位置检测器122、方位检测器123以及姿势检测器124分别获取位置信息、方位信息以及姿势信息这样的车辆信息。
三维数据生成部1265基于拍摄数据获取部1263获取到的第二拍摄数据和车辆信息获取部1264获取到的信息，生成表示立体相机125拍摄到的范围的三维数据。具体而言，三维数据生成部1265按照以下的步骤来生成三维数据。三维数据生成部1265根据车辆信息获取部1264获取到的位置信息、方位信息以及姿势信息，来确定立体相机125在全局坐标系中的位置以及视线方向。三维数据生成部1265通过三角测量，根据第一相机1251和第三相机1253拍摄到的拍摄数据对，生成以立体相机125的位置为基准的局部坐标系中的三维数据。三维数据生成部1265通过三角测量，根据第二相机1252和第四相机1254拍摄到的拍摄数据对，生成以立体相机125的位置为基准的局部坐标系中的三维数据。局部坐标系中的三维数据成为表示在拍摄数据对中重叠的范围的三维数据。三维数据生成部1265通过对立体相机125在全局坐标系中的位置以及视线方向应用局部坐标系中的三维数据，从而生成表示立体相机125拍摄到的范围的三维数据。
数据发送部1266将拍摄数据获取部1263获取到的第一拍摄数据向服务器装置300发送。第一拍摄数据由服务器装置300向终端装置200转送。另外，数据发送部1266将三维数据生成部1265生成的三维数据以及第二拍摄数据向服务器装置300发送。三维数据以及第二拍摄数据被存储于服务器装置300。数据发送部1266是拍摄数据发送部的一例。
《终端装置》
图4是示出第一实施方式的终端装置的结构的框图。
终端装置200具备信标接收部201、数据接收部202、显示控制部203、输入受理部204、对象车辆存储部205、指示发送部206、显示部RP。
信标接收部201接收从建设机械100发出的信标信号。信标接收部201根据信标信号所包含的车辆ID来确定建设机械100。
数据接收部202从服务器装置300接收由建设机械100的立体相机125拍摄到的拍摄数据或者表示施工现场的三维数据。数据接收部202是拍摄数据接收部以及三维数据接收部的一例。
显示控制部203使接收到的数据显示于显示部RP即显示器。
作为终端装置200的显示器的例子，举出触摸面板、液晶显示器、有机EL(E1ectroluminescence)显示器。具体而言，显示控制部203使信标接收部201接收到的车辆ID所表示的车辆的一览、由立体相机125拍摄到的拍摄数据、或者表示施工现场的三维数据显示于显示器。
输入受理部204从驾驶员D经由输入装置来受理与显示控制部203的显示内容相应的输入操作。作为终端装置200的输入装置的例子，举出触摸面板、按钮、键盘。具体而言，输入受理部204受理拍摄指示、获取指示、发送指示、统合指示以及反映指示的发送触发的输入。输入受理部204是获取指示受理部的一例。拍摄指示是使建设机械100的控制装置126获取拍摄数据的指示。获取指示是使建设机械100的控制装置126获取用于生成三维数据的拍摄数据的指示。发送指示是使终端装置200向服务器装置300发送拍摄数据以及三维数据的指示。统合指示使服务器装置300将多个三维数据统合为一个统合三维数据的指示。反映指示是对一个或多个三维数据与完成形状的三维数据进行比较并基于比较结果使表示施工经过的信息(施工经过信息)反映至服务器装置300的指示。完成形状的三维数据是表示施工现场的施工完成后的地形的信息。
对象车辆存储部205存储成为拍摄指示以及获取指示的目的地的建设机械100的车辆ID。
指示发送部206按照驾驶员D的输入，将针对对象车辆存储部205存储的车辆ID所表示的建设机械100而言的拍摄指示或获取指示向服务器装置300发送。拍摄指示以及获取指示由服务器装置300向建设机械100转送。即，指示发送部206经由服务器装置300，向对象车辆存储部205存储的车辆ID所表示的建设机械100发送拍摄指示以及获取指示。指示发送部206按照驾驶员D的输入，将三维数据或拍摄数据的发送指示向服务器装置300发送。指示发送部206是拍摄指示发送部以及获取指示发送部的一例。
显示部RP是设置于终端装置200的显示器。作为显示部RP，能够使用LCD(LiquidCrystal Display)。
《服务器装置》
图5是示出第一实施方式的服务器装置的结构的框图。
服务器装置300具备指示转送部301、连接关系存储部302、数据转送部303、数据接收部304、数据存储部305、三维数据统合部306、指示接收部307、数据发送部308、现场信息存储部309。
指示转送部301将从终端装置200接收到的拍摄指示或获取指示向该指示所包含的车辆ID所表示的建设机械100转送。指示转送部301使拍摄指示所包含的车辆ID与拍摄指示所包含的终端ID建立关联地存储于连接关系存储部302。
数据转送部303将从建设机械100接收到的拍摄数据向在连接关系存储部302中与该建设机械100的车辆ID建立了关联的终端ID所表示的终端装置200转送。
数据接收部304从建设机械100接收三维数据以及拍摄数据。
数据存储部305存储数据接收部304接收到的三维数据及拍摄数据、以及表示完成形状的三维数据。数据存储部305将三维数据以及拍摄数据与用于识别这些数据的生成源的建设机械100的车辆ID建立关联地进行存储。
三维数据统合部306将数据存储部305存储的两个以上的三维数据统合为一个三维数据。三维数据统合部306使统合后的三维数据存储于数据存储部305。服务器装置300是数据统合装置的一例。
指示接收部307从终端装置200接收三维数据或拍摄数据的发送指不。
数据发送部308基于指示接收部307接收到的发送指示，将数据存储部305存储的三维数据或拍摄数据向发送指示的发送源的终端装置200发送。
现场信息存储部309与用于识别施工现场的现场ID建立关联地对用于识别在该施工现场中进行作业的建设机械100的车辆ID进行存储。
《动作》
在此，对第一实施方式的施工管理系统1的拍摄方法进行说明。
图6是示出第一实施方式的终端装置的动作的流程图。
驾驶员D对终端装置200进行操作，使终端装置200执行用于进行第一实施方式的拍摄方法的拍摄控制程序。当终端装置200开始执行拍摄控制程序时，信标接收部201开始进行信标信号的接收处理(步骤S101)。在终端装置200存在于建设机械100的信标信号的到达距离内的情况下，信标接收部201能够接收该建设机械100发出的信标信号。即，信标接收部201从附近的建设机械100接收信标信号。信标接收部201确定接收到的信标信号中的接收强度最强的信标信号所包含的车辆ID(步骤S102)。信标接收部201使确定出的车辆ID存储于对象车辆存储部205(步骤S103)。终端装置200通过被驾驶员D带入建设机械100的驾驶室121，从而该终端装置200接收的信标信号中的、该建设机械100发出的信标信号的强度最高。由此，终端装置200能够将驾驶员D驾驶的建设机械100确定为对象车辆。通过确定对象车辆，从而通过终端装置200的操作而输出的拍摄指示以及获取指示被发送至对象车辆存储部205所存储的车辆ID所表示的建设机械100。需要说明的是，拍摄指示与获取指示可以同时向对象车辆发送，也可以在拍摄指示发送至对象车辆的情况下将获取指示自动地向对象车辆发送。
图7是示出第一实施方式的终端装置所显示的处理选择画面的例子的图。即，图7是示出显示部RP即显示器所显示的画面的一例的图。
当在对象车辆存储部205存储有车辆ID时，显示控制部203使显示部RP即显示器显示包含三维数据的生成控制处理的执行按钮B1以及三维数据的管理处理的执行按钮B2在内的处理选择画面(步骤S104)。输入受理部204受理所显示的生成控制处理的执行按钮B1或管理处理的执行按钮B2的被按下的输入(步骤S105)。在生成控制处理的执行按钮B1被按下的情况下(步骤S105：生成控制处理)，终端装置200执行三维数据的生成控制处理(步骤S106)。另一方面，在管理处理的执行按钮B2被按下的情况下(步骤S105：管理处理)，终端装置200执行三维数据的管理处理(步骤S107)。
图8是示出第一实施方式的三维数据的生成控制处理的第一时序图。第一时序图示出从终端装置200发送拍摄指示的步骤到终端装置200显示拍摄数据的步骤为止的处理。
当终端装置200在步骤S106中开始三维数据的生成控制处理时，指示发送部206将包含对象车辆存储部205所存储的车辆ID在内的拍摄指示向服务器装置300发送(步骤S211)。当服务器装置300的指示转送部301从终端装置200接收到拍摄指示时，使该拍摄指示所包含的车辆ID与该表示拍摄指示的发送源的终端装置200的终端ID建立关联地存储于连接关系存储部302(步骤S221)。连接关系存储部302所存储的车辆ID与终端ID的关系被保持到至少终端装置200与服务器装置300的连接被切断为止。接着，指示转送部301将接收到的拍摄指示向该拍摄指示所包含的车辆ID所表示的建设机械100转送(步骤S222)。
当建设机械100的指示接收部1262从服务器装置300接收到拍摄指示时，拍摄数据获取部1263从第一相机1251获取拍摄数据(第一拍摄数据)(步骤S231)。第一相机1251设置为，设置于构成立体相机125的相机中的最靠近工作装置110的位置，且光轴与驾驶室121的地面大致平行。因此，第一相机1251拍摄到的拍摄数据映现出工作装置110的前方地形。数据发送部308将拍摄数据获取部1263获取到的第一拍摄数据向服务器装置300发送(步骤S232)。以下，建设机械100以一定周期(例如每隔5秒)执行第一拍摄数据的获取以及发送，直至终端装置200与服务器装置300的连接被切断为止。建设机械100通过从服务器装置300接收切断通知，从而能够检测终端装置200与服务器装置300的连接的切断。
当服务器装置300的数据转送部303从建设机械100接收到第一拍摄数据时，确定在连接关系存储部302中与该第一拍摄数据的发送源的建设机械100的车辆ID建立了关联的终端ID(步骤S223)。数据转送部303向确定出的终端ID所表示的终端装置200转送第一拍摄数据(步骤S224)。当终端装置200的数据接收部202接收到第一拍摄数据时，显示控制部203使包含用于生成三维数据的第二拍摄数据的获取指示的发送按钮与接收到的第一拍摄数据在内的拍摄范围确认画面显示于显示部RP即显示器(步骤S212)。此时，服务器装置300的数据转送部303将从建设机械100以一定周期(例如每隔5秒)接收到的第一拍摄数据向终端装置200以一定周期转送。终端装置200的数据接收部202从服务器装置300的数据转送部303以一定周期接收第一拍摄数据，显示控制部203对接收到的第一拍摄数据以一定周期进行切换并使其显示于显示器。需要说明的是，也可以是，数据转送部303仅将从建设机械100最初发送的第一拍摄数据向终端装置200发送，显示控制部203将该第一拍摄数据显示于显示器。获取指示的发送按钮的按下是获取指示的发送触发的一例。即，输入受理部204在接收到第一拍摄数据之后，开始进行获取指示的发送触发的输入的受理。
图9是示出第一实施方式的终端装置所显示的拍摄范围确认画面的例子的图。即，图9是示出显示部RP即显示器所显示的画面的一例的图。
如图9所示，拍摄范围确认画面包含第一拍摄数据的显示区域R和获取指示的发送按钮B3。在第一拍摄数据的显示区域R显示表示用于生成三维数据的范围的框F。用于生成三维数据的范围是指成对的相机的拍摄范围重叠的部分，是对地形进行计测的范围。即，显示控制部203使表示第一相机1251的拍摄范围中的与第三相机1253的拍摄范围重叠的部分的框F作为计测范围信息而显示于显示器。框F的大小是基于已知的拍摄范围而得到的，作为图形数据存储于例如显示控制部203。在图9所示的例子中，框F由虚线表示，但在其他实施方式中，作为计测范围信息，代替虚线，框F也可以由例如红色的实线等来强调显示。另外，显示控制部203也可以将表示拍摄范围的文字与框F一起作为计测范围信息来表示。由此，作为拍摄者的驾驶员D能够在确认出在用于生成三维数据的范围内映现出所希望的地形(拍摄范围、拍摄内容)之后，按下用于生成三维数据的拍摄数据的获取指示的发送按钮。
图10是示出第一实施方式的三维数据的生成控制处理的第二时序图。第二时序图示出从终端装置200发送拍摄数据的获取指示的步骤到使服务器装置300执行各种处理(三维数据的发送、统合或反映)的步骤为止的处理。
在终端装置200显示获取指示的发送按钮之后，当驾驶员D按下发送按钮时，指示发送部206将用于生成三维数据的拍摄数据的获取指示向服务器装置300发送(步骤S213)。在获取指示中包含有对象车辆存储部205所存储的车辆ID。服务器装置300的指示转送部301将接收到的获取指示向该获取指示所包含的车辆ID所表示的建设机械100转送(步骤S225)。
在建设机械100的指示接收部1262接收到获取指示时，拍摄数据获取部1263从立体相机125的全部的相机(第一相机1251、第二相机1252、第三相机1253以及第四相机1254)获取拍摄数据(第二拍摄数据)(步骤S233)。此时，拍摄数据包含表示拍摄时刻的时间戳。需要说明的是，在其他实施方式中，时间戳也可以不包含于拍摄数据，而作为与拍摄数据建立了关联的独立的数据来获取。
车辆信息获取部1264从位置检测器122、方位检测器123以及姿势检测器124分别获取位置信息、方位信息以及姿势信息这样的车辆信息(步骤S234)。三维数据生成部1265基于获取到的第二拍摄数据、以及位置信息、方位信息及姿势信息，生成立体相机125的拍摄范围的三维数据(步骤S235)。在生成的三维数据中与拍摄数据同样地包含时间戳。时间戳的值可以是用于生成三维数据的拍摄数据的拍摄时刻，也可以是三维数据的生成时刻。
数据发送部1266将生成的三维数据、第二拍摄数据、位置信息、现场ID、建设机械100的车辆ID向服务器装置300发送(步骤S236)。在时间戳作为与拍摄数据以及三维数据独立的数据而被获取的情况下，数据发送部1266也将时间戳向服务器装置300发送。在此发送的位置信息可以是根据GNSS而确定的位置信息，也可以是由施工现场的住所表示的位置信息。服务器装置300的数据接收部304在接收到三维数据和第二拍摄数据时，使三维数据、第二拍摄数据、车辆ID、位置信息以及现场ID存储于数据存储部305(步骤S226)。在时间戳作为与拍摄数据以及三维数据独立的数据而被获取的情况下，数据接收部304也将时间戳记录于数据存储部305。
由此，终端装置200能够在使驾驶员D确认出用于生成三维数据的拍摄范围、拍摄内容之后，将用于生成三维数据的拍摄数据的获取指示向建设机械100发送。
图11是示出第一实施方式的三维数据的管理处理(图6，步骤S107)的时序图。
当终端装置200在步骤S107中对三维数据的管理处理进行指示时，指示发送部206向服务器装置300发送三维数据以及拍摄数据的列表的发送指示(步骤S311)。发送指示包含对象车辆存储部205所存储的车辆ID。当服务器装置300的指示接收部307接收到发送指示时，数据发送部308生成数据存储部305所存储的三维数据以及拍摄数据的列表，并向终端装置200发送(步骤S321)。此时，数据发送部308从数据存储部305提取出数据存储部305所存储的数据中的、与发送指示所包含的车辆ID建立了关联的数据，由此生成列表。该列表将三维数据与用于生成该三维数据的拍摄数据的组合作为一个结构单位。当终端装置200的数据接收部202接收到列表时，显示控制部203使接收到的列表显示于显示部RP即显示器(步骤S312)。
输入受理部204受理接收到的列表所包含的三维数据以及拍摄数据的组合的选择(步骤S313)。此时，也可以选择多个组合。输入受理部204在受理三维数据以及拍摄数据的组合的选择后，受理针对选择出的组合的操作的选择(步骤S314)。作为操作的选择项，举出数据的阅览、数据的统合、向施工经过信息的反映。
在选择了数据的阅览的情况下(步骤S314：阅览)，指示发送部206将选择出的数据的发送指示向服务器装置300发送(步骤S315)。发送指示包含成为发送对象的数据的识别信息。当服务器装置300的指示接收部307接收到发送指示时，数据发送部308从数据存储部305读出发送指示所表示的三维数据以及拍摄数据，并向终端装置200发送(步骤S322)。当终端装置200的数据接收部202接收到三维数据以及拍摄数据时，显示控制部203使接收到的三维数据以及拍摄数据显示于显示器(步骤S316)。需要说明的是，数据接收部304接收到的三维数据中包含统合三维数据。由此，驾驶员D能够通过建设机械100的控制装置126来确认是否生成了表示适当范围的三维数据。需要说明的是，显示控制部203也可以与三维数据以及拍摄数据一起显示与这些数据建立了关联的时间戳。
在步骤S314中选择了数据的统合的情况下(步骤S314：统合)，指示发送部206将选择出的数据(三维数据以及拍摄数据的组合)的统合指示向服务器装置300发送(步骤S317)。需要说明的是，在选择数据的统合的情况下，需要选择多个数据。统合指示包含成为统合对象的多个数据的识别信息。当服务器装置300的指示接收部307接收到统合指示时，三维数据统合部306读出统合指示所包含的识别信息所表示的多个三维数据。三维数据统合部306将读出的多个三维数据统合为一个统合三维数据(步骤S323)。图12是示出从三维数据生成统合三维数据的处理的图。如图12的上段所示，成为统合对象的三维数据是由以共用的基准位置为原点的绝对坐标系表示的三维数据。三维数据统合部306通过以原点作为共用来对三维数据进行统合，从而生成如图12的下段所示的统合三维数据。之后详述统合处理。三维数据统合部306使生成的统合三维数据存储于数据存储部305(步骤S324)。由此，向在步骤S321中生成的三维数据的列表追加新的统合三维数据。因此，然后，驾驶员D通过使终端装置200执行步骤S312-S316的处理，能够确认统合三维数据。即，驾驶员D使终端装置200从在步骤S312中显示的列表中选择统合三维数据，在步骤S314中选择数据的阅览，由此，将统合三维数据从服务器装置300向终端装置200发送，并在终端装置200显示统合三维数据。由此，驾驶员D能够确认统合三维数据。
在步骤S314中选择了向施工经过信息的反映的情况下(步骤S314：反映)，指示发送部206将选择出的数据的反映指示向服务器装置300发送(步骤S318)。反映指示包含成为反映对象的数据的识别信息。成为反映对象的数据也可以是统合三维数据。当服务器装置300的指示接收部307接收到反映指示时，三维数据统合部306读出反映指示所包含的识别信息所表示的三维数据(反映对象数据)和表示完成形状的三维数据。表示完成形状的三维数据是预先由施工者等作成的、表示施工现场的施工完成后的地形的信息。作为表示完成形状的三维数据，例如，能够使用由三角形这样的多边形等显示的数据。三维数据统合部306针对表示完成形状的三维数据中的反映对象数据与平面位置重叠的部分，例如作为表示施工途中的地形的数据(经过数据)、施工途中的切土量或填土量的数据(作业量数据)来获取(步骤S325)。具体而言，三维数据统合部306针对已存储的反映前的经过数据与反映对象的三维数据中的平面位置重叠的位置(x，y坐标相同的位置)，将经过数据的高度数据(z坐标)置换为反映对象的三维数据的高度数据，由此更新经过数据。另外，三维数据统合部306针对反映前的经过数据与反映对象的三维数据中的平面位置重叠的位置，基于反映前的经过数据与反映对象的三维数据中的高度数据的差值来获取作业量数据。需要说明的是，在作为成为反映对象的数据而选择了多个数据(三维数据、统合三维数据或其组合)的情况下，三维数据统合部306针对在数据间平面位置重叠的位置，使用最新的数据(时间戳最新的数据)的高度信息来生成经过数据。三维数据统合部306使更新后的经过数据存储于数据存储部305(步骤S326)。由此，向在步骤S321中生成的三维数据的列表追加新的经过数据。因此，然后，驾驶员D通过使终端装置200执行步骤S312-S316的处理，从而能够确认更新后的经过数据。即，驾驶员D使终端装置200从在步骤S312中显示的列表中选择经过数据，在步骤S314中选择数据的阅览，由此将经过数据从服务器装置300向终端装置200发送，在终端装置200显示经过数据。由此，驾驶员D能够确认经过数据。
《关于统合处理》
在此，详细说明步骤S323所示的统合处理。图13是示出第一实施方式的统合处理的流程图。
三维数据统合部306读出指示接收部307接收到的统合指示所包含的识别信息所表示的三维数据(步骤S401)。接着，三维数据统合部306算出与读出的三维数据建立了关联的时间戳所表示的时刻、时间戳的时间宽度(最旧的时刻与最新的时刻之差的时间)(步骤S402)。接着，三维数据统合部306判定算出的时间宽度是否小于规定时间(步骤S403)。在时间宽度为规定时间以上的情况下(步骤S403：否)，三维数据统合部306向终端装置200通知无法进行三维数据的统合这一意思(步骤S404)，结束统合处理。这是因为，在成为统合对象的三维数据彼此的生成时刻超过规定时间以上的情况下，在从旧的三维数据生成到新的三维数据生成为止的期间，有可能进行挖掘、填土等任意的施工而导致地形发生变化。
在时间宽度小于规定时间的情况下(步骤S403：是)，三维数据统合部306根据读出的各三维数据来确定高度数据所存在的平面坐标的和集合(步骤S405)。在此，以第一三维数据是由坐标(X1，Y1，Z1)、坐标(X2，Y2，Z2)、坐标(X3，Y3，Z3)构成的点组、且第二三维数据是由坐标(X3，Y3，Z1)、坐标(X4，Y4，Z4)、坐标(X5，Y5，Z5)构成的点组的情况为例进行说明。坐标(X，Y，Z)是由纬度X、经度Y、标高Z确定的坐标。即，平面坐标是由纬度X与经度Y的组合表示的坐标。在该情况下，第一三维数据与第二三维数据中的高度数据所存在的平面坐标的和集合是坐标(X1，Y1)、坐标(X2，Y2)、坐标(X3，Y3)、坐标(X4，Y4)、坐标(X5，Y5)。接着，三维数据统合部306生成空白的统合三维数据(步骤S406)。
接着，三维数据统合部306逐一地选择出在步骤S405中确定出的和集合所包含的平面坐标，执行以下所示的步骤S408至步骤S411的处理(步骤S407)。首先，三维数据统合部306判定在步骤S401中读出的三维数据中是否存在多个针对选择出的平面坐标而具有高度信息的三维数据(步骤S408)。即，三维数据统合部306判定不同的三维数据中是否包含与相同的平面坐标相关的高度信息。在与选择出的平面坐标相关的高度信息仅包含于一个三维数据的情况下(步骤S408：否)，向统合三维数据中的选择出的平面坐标反映该高度信息(步骤S409)。由此，向统合三维数据记录三维坐标。
另一方面，在与选择出的平面坐标相关的高度信息包含于多个三维数据的情况下(步骤S408：是)，三维数据统合部306根据各高度信息而算出高度的平均值(步骤S410)。然后，三维数据统合部306向统合三维数据中的选择出的平面坐标反映高度的平均值来作为高度信息(步骤S411)。由此，向统合三维数据记录三维坐标。
三维数据统合部306针对在步骤S407中确定出的和集合所包含的全部的平面坐标，而执行上述步骤S408至步骤S411的处理，由此能够生成统合三维数据。
《作用、效果》
这样，根据第一实施方式，终端装置200接收立体相机125拍摄到的拍摄数据，使接收到的拍摄数据显示于显示部RP，向建设机械100发送用于生成三维数据的拍摄数据的获取指示。由此，终端装置200在发送获取指示时，能够使作为拍摄者的驾驶员D确认由立体相机125拍摄到的范围、拍摄内容。因此，驾驶员D能够使控制装置126生成所希望的地点处的三维数据。
另外，根据第一实施方式，终端装置200在拍摄数据显示于显示部RP之后受理获取指示的发送触发的输入。由此，驾驶员D通过在可确认出立体相机125拍摄了所希望的摄影范围、所希望的拍摄内容时输入发送触发，从而能够使控制装置126生成所希望的地点处的三维数据。
另外，根据第一实施方式，终端装置200发送包含车辆ID的拍摄指示，从该车辆ID所表示的建设机械100接收拍摄数据。由此，终端装置200在施工现场存在多个建设机械100的情况下，也能够从所希望的建设机械100接收拍摄数据。
另外，根据第一实施方式，终端装置200从服务器装置300接收三维数据并显示该三维数据。由此，驾驶员D能够确认是否由建设机械100适当地生成了所希望的地点处的三维数据。
另外，根据第一实施方式，终端装置200使表示用于生成三维数据的范围的计测范围信息与拍摄数据一起显示于显示部RP。由此，驾驶员D能够确认由拍摄数据映现的所希望的地点是否包含用于生成三维数据的范围。
另外，根据第一实施方式，服务器装置300能够生成将多个三维数据统合而成的统合三维数据。由此，驾驶员D利用终端装置200对统合三维数据进行阅览，由此，能够容易地确认有无拍摄损坏的施工区域以及三维数据的生成失败的区域。即，在不存在统合三维数据的情况下，驾驶员D需要逐一地确认拍摄数据或三维数据，从而确认有无拍摄损坏的施工区域以及三维数据的生成失败的区域。另外，驾驶员D即便逐一地确认拍摄数据或三维数据，也存在误判断有无拍摄损坏的施工区域的可能性。另外，驾驶员D通过对统合三维数据进行阅览，能够容易地识别整体上在作业后的地形和自身的位置。
即，统合三维数据的目的在于，容易确认拍摄损坏的施工区域或三维数据的生成失败的区域，或者容易识别整体上在作业后的地形。
根据第一实施方式，服务器装置300在与成为统合对象的多个三维数据建立了关联的时刻的时间宽度小于规定时间的情况下，进行三维数据的统合。
由此，服务器装置300在从旧的三维数据生成到新的三维数据生成为止的期间，能够在进行挖掘或填土等任意的施工而导致地形发生变化的可能性低的状态下生成统合三维数据。
《变形例》
在第一实施方式中，当终端装置200在步骤S102中确定对象车辆时，确定接收强度最强的信标信号所包含的车辆ID，但在其他实施方式中不局限于此。例如，在其他实施方式中，信标接收部201也可以持续规定时间的期间，确定出接收强度为规定强度以上的信标信号中的接收强度最强的信标信号所包含的车辆ID。另外，例如在其他实施方式中，信标接收部201也可以使接收强度为规定强度以上的信标信号所包含的车辆ID的列表显示于终端装置200等，确定从中选择出的车辆ID。
在第一实施方式中，服务器装置300在统合处理中，在针对相同的平面坐标而存在多个高度信息的情况下，求出其平均值并反映到统合三维数据，但在其他实施方式中不局限于此。例如，在其他实施方式中，服务器装置300也可以将与多个三维数据中的时间戳所示的时刻为最新的三维数据(三维数据的生成时刻为最晚的三维数据)相关的高度信息反映到统合三维数据。在该情况下，服务器装置300的三维数据统合部306也可以代替步骤S407至步骤S411的处理，而按照从旧到新的顺序读出三维数据，依次改写高度信息，由此更新统合三维数据。另外，在其他实施方式中，也可以是，建设机械100具备三维数据统合部306，由建设机械100进行统合处理。
在该情况下，建设机械100的三维数据生成部1265在图18所示的步骤S2235中生成多个三维数据，建设机械100的三维数据统合部306利用图13所示的方法将多个三维数据统合之后，数据发送部1266在步骤S2236中发送第二拍摄数据、三维数据以及统合三维数据。在该情况下，建设机械100的控制装置126是数据统合装置的一例。
在第一实施方式中，在统合处理中，服务器装置300判定与成为统合对象的多个三维数据建立了关联的时刻的时间宽度是否小于规定时间，但在其他实施方式中不局限于此。例如，在其他实施方式中，服务器装置300也可以与成为统合对象的多个三维数据建立了关联的时刻无关地生成统合三维数据。另外，例如在其他实施方式中，也可以由终端装置200判定与成为统合对象的三维数据建立了关联的时刻的时间宽度是否小于规定时间。
在该情况下，终端装置200在与在步骤S313中选择出的三维数据建立了关联的时刻的时间宽度为规定时间以上的情况下，不发送统合指示。例如，终端装置200也可以在与在步骤S313中选择出的三维数据建立了关联的时刻的时间宽度为规定时间以上的情况下，在步骤S314中无法选择数据的统合。
<第二实施方式>
《施工管理系统》
图14是示出第二实施方式的施工管理系统的结构的概要图。
在第一实施方式的施工管理系统1中，驾驶员D对终端装置200进行操作，指示建设机械100进行拍摄以及生成三维数据。与此相对，在第二实施方式的施工管理系统1中，施工现场的管理者A成为拍摄者，管理者A对终端装置200进行操作而指示建设机械100进行拍摄以及生成三维数据。作为第二实施方式的终端装置200，能够使用例如智能手机、便携电话、便携型计算机。另外，终端装置200例如是设置在远离施工现场的事务所的、具备显示部的个人计算机(PC)。
在管理者A对终端装置200进行操作的情况下，存在如下可能性：由于对象车辆不具备信标发出部1261，或者即便对象车辆具备信标发出部1261，对象车辆的信标信号也无法到达终端装置200，因此，难以基于第一实施方式的信标信号来决定对象车辆。因此，第二实施方式的终端装置200与信标信号无关地来决定对象车辆。
图15是示出第二实施方式的终端装置的结构的概要框图。
第二实施方式的终端装置200代替第一实施方式的终端装置200的信标接收部201而具备车辆列表存储部207。车辆列表存储部207存储将识别施工现场的多个现场ID与在各施工现场中动作的建设机械100的车辆ID建立了管理的列表。
第二实施方式的建设机械100也可以不具备信标发出部1261。
《动作》
图16是示出第二实施方式的终端装置的动作的流程图。
驾驶员D对终端装置200进行操作，使终端装置200执行用于进行第二实施方式的拍摄方法的拍摄控制程序。当终端装置200开始执行拍摄控制程序时，显示控制部203使车辆列表存储部207所存储的施工现场的列表显示于显示器(步骤S1101)。在显示器中，例如显示通过施工现场的住所来表示施工现场的列表。输入受理部204从显示出的列表中受理一个现场ID的选择的输入(步骤S1102)。输入受理部204使与输入的现场ID建立了关联的建设机械100的列表显示于显示器(步骤S1103)。在显示器中，例如显示通过建设机械100的机种以及号机的组合来表示建设机械100的列表。输入受理部204从显示的列表中受理一个车辆ID的选择的输入(步骤S1104)。输入受理部204使输入的车辆ID存储于对象车辆存储部205(步骤S1105)。由此，终端装置200不接收信标信号而能够确定对象车辆。
当输入受理部204使车辆ID存储于对象车辆存储部205时，显示控制部203在显示器中显示三维数据的生成控制处理的执行按钮以及三维数据的管理处理的执行按钮(步骤S1106)。输入受理部204受理所显示的生成控制处理的执行按钮或管理处理的执行按钮的按下的输入(步骤S1107)。在生成控制处理的执行按钮被按下的情况下(步骤S1107：生成控制处理)，终端装置200执行三维数据的生成控制处理(步骤S1108)。另一方面，在管理处理的执行按钮被按下的情况下(步骤S1107：管理处理)，终端装置200与第一实施方式同样地，通过图11所示的步骤来执行数据的显示、数据的统合以及数据的反映(三维数据的管理处理)(步骤S1109)。即，管理者A使终端装置200从在步骤S312中显示的列表中选择应确认的数据，在步骤S314中选择数据的阅览，由此，将该数据从服务器装置300向终端装置200发送，在终端装置200显示该数据。由此，管理者A能够通过建设机械100的控制装置126来确认是否生成了表示适当的范围的三维数据。
《作用·效果》
这样，根据第二实施方式，终端装置200通过从预先存储的列表中受理车辆ID的选择的输入来确定对象车辆。由此，终端装置200能够不接收信标信号而确定对象车辆。因此，作为拍摄者的管理者A在确认出由立体相机125拍摄到的范围、拍摄内容的基础上，能够使控制装置126生成所希望的地点处的三维数据。
《变形例》
在第二实施方式中，终端装置200显示车辆列表存储部207所存储的列表，但在其他实施方式中不局限于此。例如，在其他实施方式中，也可以是，终端装置200向服务器装置300发送成为对象的施工现场的现场ID，服务器装置300从现场信息存储部309向终端装置200发送与该现场ID建立了关联的建设机械100的列表。即，其他实施方式的施工管理系统1也可以在使管理者A或驾驶员D从多个施工现场中选择出成为对象的施工现场之后选择建设机械100。
另外，其他实施方式的终端装置200也可以是，在能够接收信标信号的情况下，与第一实施方式同样地基于信标信号来确定建设机械100，在无法接收信标信号的情况下，与第二实施方式同样地基于列表来确定建设机械100。
<第三实施方式>
《施工管理系统》
第一实施方式的施工管理系统1中，建设机械100以及终端装置200经由服务器装置300而收发指示以及数据。与此相对，第三实施方式的施工管理系统1在三维数据的生成控制处理中，建设机械100与终端装置200不经由服务器装置300而直接通信，由此收发指示以及数据。终端装置200由管理者A或驾驶员D操作。
《动作》
图17是示出第三实施方式的三维数据的生成控制处理的第一时序图。
当终端装置200在步骤S106中开始进行三维数据的生成控制处理时，指示发送部206通过近距离无线通信，向对象车辆存储部205所存储的车辆ID所表示的建设机械100发送拍摄指示(步骤S2211)。作为近距离无线通信的例，举出驾驶员D或管理者A即便不具有特别的认证或许可也能够使用的无线LAN(Local Area Network)、Bluetooth(注册商标)、NFC(Near field radio communication)。当建设机械100的指示接收部1262从终端装置200接收到拍摄指示时，拍摄数据获取部1263从第一相机1251获取拍摄数据(第一拍摄数据)(步骤S2231)。数据发送部1266将拍摄数据获取部1263获取到的第一拍摄数据向拍摄指示的发送源的终端装置200发送(步骤S2232)。需要说明的是，在其他实施方式中，也可以是，在建设机械100的规定的存储装置预先存储有按照建设机械100而分配的车辆识别信息即车辆ID，数据发送部1266从该规定的存储装置读出车辆ID，将车辆ID与第一拍摄数据一起向终端装置200发送。在该情况下，终端装置200的对象车辆存储部205存储接收到的车辆ID。
然后，在上述的步骤S2211中发出要进行的拍摄指示时，能够从终端装置200的对象车辆存储部205选择过去得到的车辆ID，向与选择出的车辆ID对应的建设机械100发送拍摄指示。以下，建设机械100每经过一定时间(例如5秒)而执行第一拍摄数据的获取以及发送，直至与终端装置200的连接被切断为止。当终端装置200的数据接收部202接收到第一拍摄数据时，显示控制部203使包含获取指示的发送按钮与接收到的第一拍摄数据在内的拍摄范围确认画面显示于显示器(步骤S2212)。
图18是示出第三实施方式的三维数据的生成控制处理的第二时序图。
在终端装置200显示获取指示的发送按钮之后，当驾驶员D按下发送按钮时，指示发送部206向对象车辆存储部205所存储的车辆ID所表示的建设机械100发送获取指示(步骤S2213)。当建设机械100的指示接收部1262接收到获取指示时，拍摄数据获取部1263从立体相机125的全部的相机获取拍摄数据(第二拍摄数据)(步骤S2233)。车辆信息获取部1264从位置检测器122、方位检测器123以及姿势检测器124分别获取位置信息、方位信息以及姿势信息这样的车辆信息(步骤S2234)。三维数据生成部1265基于获取到的第二拍摄数据以及位置信息、方位信息及姿势信息，生成立体相机125的拍摄范围内的三维数据(步骤S2235)。
数据发送部1266将生成的三维数据和第二拍摄数据向服务器装置300发送(步骤S2236)。服务器装置300的数据接收部304在接收到三维数据与第二拍摄数据时，使三维数据与第二拍摄数据存储于数据存储部305(步骤S2226)。
需要说明的是，终端装置200能够与第一实施方式同样地，通过图11所示的步骤来执行数据的显示、数据的统合以及数据的反映(三维数据的管理处理)。即，管理者A或驾驶员D使终端装置200从在步骤S312中显示的列表中选择应确认的数据，在步骤S314中选择数据的阅览，由此将该数据从服务器装置300向终端装置200发送，在终端装置200中显示该数据。由此，管理者A或驾驶员D能够通过建设机械100的控制装置126来确认是否生成了表示适当的范围的三维数据。
《作用·效果》
这样，根据第三实施方式，终端装置200通过近距离无线通信来进行与建设机械100的通信。由此，与经由网络N以及服务器装置300进行通信的情况相比，能够缩短终端装置200与建设机械100之间的通信中的响应时间。另外，在第三实施方式中，作为拍摄者的管理者A或驾驶员D在确认出由立体相机125拍摄的范围、拍摄内容的基础上，能够使控制装置126生成所希望的地点处的三维数据。
(第四实施方式>
第三实施方式的终端装置200与建设机械100通过近距离无线通信而连接。与此相对，第四实施方式的建设机械100具备终端装置200，终端装置200与控制装置126通过有线而连接。终端装置200设置在驾驶室121内的座席的前方(+Y方向)。由此，驾驶员D能够在建设机械100的运转中确认终端装置200。
第四实施方式的控制装置126也可以不具备信标发出部1261。第四实施方式的终端装置200也可以不具备信标接收部201以及对象车辆存储部205。第四实施方式的终端装置200的对象车辆是始终搭载该终端装置200的建设机械100。
<第五实施方式>
第一实施方式的建设机械100在接收到获取指示时，从立体相机125获取第二拍摄数据。与此相对，第五实施方式的建设机械100从存储的多个第一拍摄数据中获取用作第二拍摄数据的数据。
图19是示出第五实施方式的建设机械的控制装置的结构的概要框图。
第五实施方式的建设机械100的控制装置126在第一实施方式的结构基础上，还具备拍摄数据记录部1267以及拍摄数据存储部1268。拍摄数据记录部1267将拍摄数据获取部1263从立体相机125获取到的第一拍摄数据、作为用于确定第一拍摄数据的图像识别信息的拍摄ID、以及车辆信息获取部1264获取到的车辆信息建立关联地存储于拍摄数据存储部1268。作为拍摄ID的例子，举出拍摄时间日期以及序列号。
图20是示出第五实施方式的三维数据的生成控制处理的第一时序图。
当终端装置200在图6所示的步骤S106中开始进行三维数据的生成控制处理时，指示发送部206将包含对象车辆存储部205所存储的车辆ID在内的拍摄指示向服务器装置300发送(步骤S3211)。当服务器装置300的指示转送部301从终端装置200接收到拍摄指示时，使该拍摄指示所包含的车辆ID与表示该拍摄指示的发送源的终端装置200的终端ID建立关联地存储于连接关系存储部302(步骤S3221)。接着，指示转送部301将接收到的拍摄指示向该拍摄指示所包含的车辆ID所表示的建设机械100转送(步骤S3222)。
当建设机械100的指示接收部1262从服务器装置300接收到拍摄指示时，拍摄数据获取部1263从立体相机125的全部的相机(第一相机1251、第二相机1252、第三相机1253以及第四相机1254)获取拍摄数据(步骤S3231)。车辆信息获取部1264从位置检测器122、方位检测器123以及姿势检测器124分别获取位置信息、方位信息以及姿势信息这样的车辆信息(步骤S3232)。拍摄数据记录部1267使获取到的拍摄数据以及车辆信息与拍摄ID建立关联地存储于拍摄数据存储部1268(步骤S3233)。数据发送部308将带有拍摄ID的拍摄数据中的由第一相机1251拍摄到的拍摄数据(第一拍摄数据)向服务器装置300发送(步骤S3234)。
当服务器装置300的数据转送部303从建设机械100接收到第一拍摄数据时，在图5所示的连接关系存储部302中确定与该第一拍摄数据的发送源的建设机械100的车辆ID建立了关联的终端ID(步骤S3223)。数据转送部303向确定出的终端ID所表示的终端装置200转送第一拍摄数据(步骤S3224)。当终端装置200的数据接收部202接收到第一拍摄数据时，显示控制部203使包含用于将获取指示向建设机械100发送的发送按钮B3和接收到的第一拍摄数据在内的拍摄范围确认画面显示于显示器(步骤S3212)。
图21是示出第五实施方式的三维数据的生成控制处理的第二时序图。
在终端装置200显示发送按钮B3之后，当驾驶员D按下发送按钮B3时，指示发送部206确定数据接收部202最后接收到的第一拍摄数据所带的拍摄ID(步骤S3213)。由此，能够在发送按钮B3被按下时确定显示器所显示的第一拍摄数据的拍摄ID。指示发送部206将第二拍摄数据的获取指示向服务器装置300发送(步骤S3214)。获取指示包含确定出的拍摄ID以及对象车辆存储部205所存储的车辆ID。服务器装置300的指示转送部301将接收到的获取指示向该获取指示所包含的车辆ID所表示的建设机械100转送(步骤S3225)。
当建设机械100的指示接收部1262接收到获取指示时，拍摄数据获取部1263将与获取指示所包含的拍摄ID建立了关联的第一拍摄数据、以及在与该第一拍摄数据相同的时机由第二相机1252、第三相机1253以及第四相机1254拍摄到的拍摄数据从拍摄数据存储部1268提取出并作为第二拍摄数据来获取(步骤S3235)。另外拍摄数据获取部1263从拍摄数据存储部1268获取与获取指示所包含的拍摄ID建立了关联的车辆信息。三维数据生成部1265基于获取到的第二拍摄数据以及车辆信息生成立体相机125的拍摄范围内的三维数据(步骤S3236)。
数据发送部1266将生成的三维数据与第二拍摄数据向服务器装置300发送(步骤S3237)。当服务器装置300的数据接收部304接收到三维数据与第二拍摄数据时，使三维数据与第二拍摄数据存储于数据存储部305(步骤S3226)。
由此，终端装置200能够将驾驶员D按下发送按钮B3时显示的拍摄数据的获取指示向建设机械100发送。
<其他实施方式>
以上，参照附图对一实施方式详细进行了说明，但具体的结构不局限于上述结构，能够进行各种设计变更等。
例如，在上述实施方式的终端装置200所发送的拍摄指示中包含发送源的终端ID，但不局限于此。例如，在其他实施方式的拍摄指示中也可以包含表示该终端装置200以外的装置的终端ID来作为拍摄数据的发送目的地的终端ID。即，发送拍摄指示的终端装置200与接收并显示拍摄数据的终端装置200也可以不同。
上述实施方式的建设机械100在接收到拍摄指示时，每经过规定时间而发送拍摄数据，但不局限于此。例如，其他实施方式的建设机械100也可以在接收到拍摄指示时，开始第一相机1251拍摄到的拍摄数据的流分配。即，其他实施方式的建设机械100也可以以动态图像的形式发送拍摄数据。
上述实施方式的建设机械100具备立体相机125来作为能获取进深方向的信息的拍摄装置，但不局限于此。例如，其他实施方式的建设机械100也可以具备3D扫描仪、深度传感器、或其他的拍摄装置来作为能够获取进深方向的信息的拍摄装置。
上述实施方式的建设机械100在接收到拍摄指示时，执行第一相机1251拍摄到的拍摄数据的发送，但不局限于此。例如，其他实施方式的建设机械100在接收到拍摄指示时，也可以发送第二相机1252拍摄到的拍摄数据、第三相机1253拍摄到的拍摄数据或第四相机1254拍摄到的拍摄数据。另外，例如其他实施方式的建设机械100在接收到拍摄指示时，也可以发送第一相机1251、第二相机1252、第三相机1253以及第四相机1254中的两个以上的相机拍摄到的拍摄数据。
上述实施方式的建设机械100的控制装置126在接收到获取指示时，从立体相机125获取拍摄数据而生成三维数据，但不局限于此。例如，其他实施方式的施工管理系统1也可以将建设机械100从立体相机125获取到的拍摄数据与车辆信息获取部1264获取到的车辆信息向服务器装置300发送，服务器装置300根据该拍摄数据而生成三维数据。即，其他实施方式的建设机械100也可以不具备三维数据生成部1265。
上述实施方式的建设机械100具备信标发出部1261来作为控制装置126的功能，但不局限于此。例如，其他实施方式的建设机械100也可以具备与控制装置126独立的发信器来作为信标发出部1261。
上述实施方式的建设机械100是作为作业车辆的液压挖掘机，但不局限于此。例如，其他实施方式的建设机械100也可以是作为作业车辆的轮式装载机、推土机、摩托车、自卸车、或其他的建设机械。
上述实施方式的终端装置200在显示拍摄数据的期间受理获取指示的发送按钮的按下的输入，但不局限于此。例如，其他实施方式的终端装置200也可以在从显示器消除了拍摄数据的显示之后，受理获取指示的发送按钮的按下的输入。在该情况下，驾驶员D也能够在确认拍摄范围之后发送获取指示。
上述实施方式的终端装置200在显示了拍摄数据之后受理获取指示的发送按钮的按下的输入，但不局限于此。例如，其他实施方式的终端装置200也可以在显示拍摄数据的期间，持续发送获取指示。
在该情况下，驾驶员D也能够确认用于生成三维数据的拍摄数据的拍摄范围。
上述实施方式的终端装置200接收三维数据并将其显示于显示器，但不局限于此。例如，在其他实施方式中，终端装置200也可以不具有三维数据的显示功能。在该情况下，使用其他装置来确认通过终端装置200的操作而生成的三维数据。
上述实施方式的终端装置200使表示用于生成三维数据的范围的框与拍摄数据一起作为计测范围信息而显示于显示器，但不局限于此。例如，其他实施方式的终端装置200也可以在用于生成三维数据的范围内对拍摄数据进行修整并使其显示于显示器。另外，例如在用于生成三维数据的范围的内外，也可以使拍摄数据的颜色不同。另外，在其他实施方式中，也可以在该框中显示“计测范围”这样的文字。另外，在其他实施方式中，终端装置200也可以不进行用于生成三维数据的范围的显示。
在上述实施方式的终端装置200中，拍摄指示、获取指示、发送指示、统合指示以及反映指示的发送触发采用发送按钮的按下，但不局限于此。例如，其他实施方式的发送触发也可以是规定的声音输入、一定值以上的加速度的检测、电波的接收、或其他的触发。另外，在其他实施方式中，获取指示的发送触发也可以不是针对终端装置200的处理，而是在建设机械100的驾驶室121内设置的拍摄按钮的按下。即，在其他实施方式中，驾驶员D也可以在视觉确认了显示于终端装置200的第一拍摄数据的基础上，通过按下建设机械100的按钮来获取第二拍摄数据。
上述实施方式的服务器装置300向与第一拍摄数据的发送源的车辆ID建立关联地存储于连接关系存储部302的终端ID所表示的终端装置200发送第一拍摄数据，但不局限于此。例如，其他实施方式的服务器装置300也可以向从建设机械100接收的第一拍摄数据中带有的终端ID所表示的终端装置200转送第一拍摄数据。在该情况下，服务器装置300将包含发送源的终端ID的拍摄指示向建设机械100转送。另外，在该情况下，建设机械100的控制装置126将包含于拍摄指示的终端ID追加到第一拍摄数据而向服务器装置300发送。
上述实施方式的服务器装置300发送与终端装置200建立了关联的建设机械100拍摄到的拍摄数据以及三维数据的列表，但不局限于此。例如，其他实施方式的服务器装置300也可以发送在与同终端装置200建立了关联的建设机械100相同的施工现场内的建设机械100所拍摄到的拍摄数据以及三维数据的列表。具体而言，服务器装置300也可以从现场信息存储部309中确定出与同从终端装置200接收到的发送指示所包含的车辆ID相同的现场ID建立了关联的车辆ID，与该车辆ID建立关联地将数据存储部305存储的数据的列表向终端装置200发送。在该情况下，施工管理系统1能够以施工现场为单位来进行数据的阅览、数据的统合、向施工经过信息的反映。
<计算机结构>
图22是示出至少一个实施方式的计算机的结构的概要框图。
计算机99具备处理器991、主存储器992、存储器993、接口994。
上述实施方式的控制装置126、终端装置200以及服务器装置300具备计算机99。上述各处理部的功能以程序的形式存储于存储器993。处理器991从存储器993中读出程序并在主存储器992中展开，按照该程序来执行上述处理。
处理器991按照程序，在主存储器992中确保与上述的各存储部对应的存储区域。存储器993是非暂时性的有形的介质的一例。作为非暂时性的有形的介质的其他例，举出经由接口994而连接的光盘、磁盘、光磁盘以及半导体存储器。
程序也可以经由网络而分配给计算机99。在该情况下，计算机99将被分配的程序在主存储器992中展开，执行上述处理。程序也可以用于实现上述功能的一部分。
例如，程序也可以通过与已存储于存储器993的其他程序的组合或者与安装于其他装置的其他程序的组合来实现上述的功能。另外上述的功能的一部分也可以通过经由网络而连接的其他装置来执行。即，上述的功能也可以通过云计算、服务计算、簇计算、或者其他的并行计算来实现。
计算机99也可以在上述结构的基础上或者代替上述结构而具备PLD(Programmable Logic Device)。作为PLD的例子，举出PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(FieldProgrammable Gate Array)。
工业实用性
根据上述方式中的至少一个方式，提供能够生成所希望的地点处的三维数据的终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法。
附图标记说明：
1…施工管理系统 100…建设机械 125…立体相机 126…控制装置 1261…信标发出部 1262…指示接收部 1263…拍摄数据获取部 1264…车辆信息获取部 1265…三维数据生成部 1266…数据发送部 200…终端装置 201…信标接收部 202…数据接收部203…显示控制部 204…输入受理部 205…对象车辆存储部 206…指示发送部。

Claims (17)

1.一种终端装置，其中，
所述终端装置具备：
拍摄数据接收部，其接收第一拍摄数据，该第一拍摄数据是由设置于作业车辆且能够生成三维数据的拍摄装置拍摄到的拍摄数据；
显示部，其显示所述拍摄数据接收部接收到的所述第一拍摄数据；以及
获取指示发送部，其发送使所述作业车辆获取第二拍摄数据的获取指示，该第二拍摄数据是由所述拍摄装置拍摄的、用于生成三维数据的拍摄数据。
2.根据权利要求1所述的终端装置，其中，
所述终端装置还具备输入受理部，该输入受理部在所述第一拍摄数据被显示之后，受理获取指示的发送触发的输入，
所述获取指示发送部在被输入了所述发送触发时，发送所述获取指示。
3.根据权利要求1或2所述的终端装置，其中，
所述终端装置还具备拍摄指示发送部，该拍摄指示发送部发送包含作业车辆的识别信息在内的拍摄指示，
所述拍摄数据接收部从所述拍摄指示所包含的所述识别信息所表示的所述作业车辆接收所述第一拍摄数据。
4.根据权利要求1至3中任一项所述的终端装置，其中，
所述终端装置还具备三维数据接收部，该三维数据接收部接收基于所述拍摄装置拍摄到的拍摄数据而生成的三维数据，
所述显示部显示所述三维数据接收部接收到的所述三维数据。
5.根据权利要求1至4中任一项所述的终端装置，其中，
所述显示部将表示用于生成三维数据的范围的计测范围信息与所述第一拍摄数据一起显示。
6.根据权利要求1至5中任一项所述的终端装置，其中，
所述拍摄装置是多个拍摄装置，
所述第一拍摄数据是所述多个拍摄装置中的一个拍摄装置拍摄到的拍摄数据。
7.一种拍摄系统，其中，
所述拍摄系统具备作业车辆和终端装置，
所述作业车辆具备：
车身；
拍摄装置，其设置于所述车身，且能够获取进深方向的信息；
拍摄数据发送部，其将所述拍摄装置拍摄到的第一拍摄数据向所述终端装置发送；
获取指示接收部，其接收用于生成三维数据的第二拍摄数据的获取指示；以及
拍摄数据获取部，其按照所述获取指示，从所述拍摄装置获取所述第二拍摄数据，
所述终端装置具备：
拍摄数据接收部，其从所述作业车辆接收所述第一拍摄数据；
显示部，其显示所述拍摄数据接收部接收到的所述第一拍摄数据；以及
获取指示发送部，其发送使所述作业车辆获取所述第二拍摄数据的获取指示。
8.根权利要求7所述的拍摄系统，其中，
所述作业车辆还具备三维数据生成部，该三维数据生成部使用所述第二拍摄数据来生成三维数据。
9.一种拍摄方法，其中，
所述拍摄方法包括如下步骤：
接收第一拍摄数据，该第一拍摄数据是由设置于作业车辆且能够获取进深方向的信息的拍摄装置拍摄到的拍摄数据；
使接收到的所述第一拍摄数据显示于终端装置；以及
发送使所述作业车辆获取第二拍摄数据的获取指示，该第二拍摄数据是由所述拍摄装置拍摄的、用于生成三维数据的拍摄数据。
10.一种控制装置，其中，
所述控制装置具备：
拍摄数据发送部，其向终端装置发送第一拍摄数据，该第一拍摄数据是由设置于作业车辆且能够获取进深方向的信息的拍摄装置拍摄到的拍摄数据；
获取指示接收部，其接收用于生成三维数据的第二拍摄数据的获取指示；以及
拍摄数据获取部，其按照所述获取指示，从所述拍摄装置获取所述第二拍摄数据。
11.一种数据统合装置，其中，
所述数据统合装置具备：
三维数据获取部，其获取基于拍摄数据而生成的多个三维数据，该拍摄数据是设置于作业车辆的拍摄装置拍摄施工现场而得到的数据；以及
三维数据统合部，其对所述三维数据获取部获取到的所述多个三维数据进行统合而生成统合三维数据。
12.根据权利要求11所述的数据统合装置，其中，
在所述多个三维数据中包含针对相同的平面坐标而具有高度信息的多个三维数据即多个共用三维数据的情况下，所述三维数据统合部算出所述共用三维数据中的与所述平面坐标相关的高度的平均值，使用该平均值来生成所述统合三维数据。
13.根据权利要求11所述的数据统合装置，其中，
在所述多个三维数据中包含针对相同的平面坐标而具有高度信息的多个三维数据即多个共用三维数据的情况下，所述三维数据统合部使用与所述共用三维数据中的最新的共用三维数据相关的高度来生成所述统合三维数据。
14.根据权利要求11至13中任一项所述的数据统合装置，其中，
所述三维数据统合部对基于由设置于多个作业车辆的所述拍摄装置拍摄到的所述拍摄数据而生成的所述多个三维数据进行统合，生成所述统合三维数据。
15.根据权利要求11至14中任一项所述的数据统合装置，其中，
所述三维数据统合部在与所述多个三维数据建立了关联的时刻的时间宽度小于规定时间的情况下，生成所述统合三维数据。
16.一种作业车辆，其中，
所述作业车辆具备：
车身；
拍摄装置，其设置于所述车身；
三维数据生成部，其基于所述拍摄装置拍摄到的多个拍摄数据的各个拍摄数据而生成多个三维数据；以及
三维数据统合部，其对所述三维数据生成部生成的多个三维数据进行统合而生成统合三维数据。
17.一种拍摄系统，其中，
所述拍摄系统具备作业车辆和数据统合装置，
所述作业车辆具备：
车身；
拍摄装置，其设置于所述车身；
三维数据生成部，其基于所述拍摄装置拍摄到的多个拍摄数据的各个拍摄数据而生成多个三维数据；以及
数据发送部，其将所述多个三维数据向所述数据统合装置发送，
所述数据统合装置具备：
数据接收部，其从所述作业车辆接收所述多个三维数据；
三维数据统合部，其对所述数据接收部接收到的所述多个三维数据进行统合而生成统合三维数据。
CN201780005627.8A 2016-03-30 2017-03-08 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法 Active CN108432234B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-069691 2016-03-30
JP2016069691 2016-03-30
JP2016-213793 2016-10-31
JP2016213793A JP6767241B2 (ja) 2016-03-30 2016-10-31 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
PCT/JP2017/009287 WO2017169598A1 (ja) 2016-03-30 2017-03-08 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法

Publications (2)

Publication Number Publication Date
CN108432234A true CN108432234A (zh) 2018-08-21
CN108432234B CN108432234B (zh) 2021-11-12

Family

ID=60046286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005627.8A Active CN108432234B (zh) 2016-03-30 2017-03-08 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法

Country Status (5)

Country Link
US (1) US10805597B2 (zh)
JP (1) JP6767241B2 (zh)
CN (1) CN108432234B (zh)
AU (1) AU2017242392B2 (zh)
DE (1) DE112017000244T5 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
KR102638317B1 (ko) * 2018-03-08 2024-02-16 스미도모쥬기가이고교 가부시키가이샤 작업기계, 작업기계용 주변감시시스템
CN109610545A (zh) * 2018-12-24 2019-04-12 上海新储集成电路有限公司 一种远程操作清淤协作设备系统
CN110798615A (zh) * 2019-10-14 2020-02-14 深圳酷派技术有限公司 一种拍摄方法、装置、存储介质以及终端
JP2021134482A (ja) * 2020-02-21 2021-09-13 株式会社小松製作所 作業機械及び作業機械の遠隔操作システム
JP2023170027A (ja) * 2022-05-18 2023-12-01 ソニーセミコンダクタソリューションズ株式会社 情報処理システム及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
CN203086581U (zh) * 2013-01-30 2013-07-24 海口欧科科技有限公司 带有gps定位的三维视频录制装置
CN103236160A (zh) * 2013-04-07 2013-08-07 水木路拓科技(北京)有限公司 基于视频图像处理技术的路网交通状态监测系统
US20150206016A1 (en) * 2014-01-17 2015-07-23 Primax Electronics Ltd. Driving image auxiliary system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP4712237B2 (ja) * 2001-07-26 2011-06-29 株式会社小松製作所 移動体の始動ロック装置
JP3799019B2 (ja) * 2002-01-16 2006-07-19 オリンパス株式会社 ステレオ撮影装置及びステレオ撮影装置の撮影方法
JP2006013851A (ja) * 2004-06-25 2006-01-12 Sharp Corp 撮像表示装置および撮像表示方法
JP4980606B2 (ja) * 2005-11-15 2012-07-18 株式会社岩根研究所 移動型自動監視装置
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP5375531B2 (ja) * 2009-11-06 2013-12-25 株式会社リコー 距離画像取得装置及び距離画像取得処理方法
JP2014123208A (ja) * 2012-12-20 2014-07-03 Mitsubishi Electric Corp ３次元復元装置
JP2015164847A (ja) * 2015-05-07 2015-09-17 株式会社小松製作所 建設機械管理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
CN203086581U (zh) * 2013-01-30 2013-07-24 海口欧科科技有限公司 带有gps定位的三维视频录制装置
CN103236160A (zh) * 2013-04-07 2013-08-07 水木路拓科技(北京)有限公司 基于视频图像处理技术的路网交通状态监测系统
US20150206016A1 (en) * 2014-01-17 2015-07-23 Primax Electronics Ltd. Driving image auxiliary system

Also Published As

Publication number Publication date
JP6767241B2 (ja) 2020-10-14
JP2017186870A (ja) 2017-10-12
US10805597B2 (en) 2020-10-13
AU2017242392A1 (en) 2018-07-26
US20190020867A1 (en) 2019-01-17
AU2017242392B2 (en) 2019-12-05
DE112017000244T5 (de) 2018-09-06
CN108432234B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN108432234A (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
CA3053100C (en) A display system and method for remote operation using acquired three-dimensional data of an object and viewpoint position data of a worker
CN106993181B (zh) 多vr/ar设备协同系统及协同方法
US8823855B2 (en) User equipment and method for providing augmented reality (AR) service
CN110249291A (zh) 用于在预捕获环境中的增强现实内容递送的系统和方法
CN107450088A (zh) 一种基于位置的服务lbs的增强现实定位方法及装置
US10521962B1 (en) Method and system for visualizing overlays in virtual environments
AU2018299288B2 (en) Display control device, display control method, program, and display system
US11668577B1 (en) Methods and systems for response vehicle deployment
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
JPWO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
EP3822923A1 (en) Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image
JP4197539B2 (ja) ３次元情報表示装置
JP7452038B2 (ja) 作業支援システム
CN112558008B (zh) 基于光通信装置的导航方法、系统、设备及介质
WO2017169598A1 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
CN114730440A (zh) 作业支援服务器、作业支援方法及作业支援系统
US20220012868A1 (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
US20220398512A1 (en) Work assist server, work assist method, and work assist system
US20220391811A1 (en) Work assist server, work assist method, and work assist system
JP2021047611A (ja) 画像表示システム
JP2022135239A (ja) 建設機械の動作制御システム
CN116823928A (zh) 控制装置的定位、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant