CN111149355A - 工作车辆的显示系统以及生成方法 - Google Patents

工作车辆的显示系统以及生成方法 Download PDF

Info

Publication number
CN111149355A
CN111149355A CN201980004602.5A CN201980004602A CN111149355A CN 111149355 A CN111149355 A CN 111149355A CN 201980004602 A CN201980004602 A CN 201980004602A CN 111149355 A CN111149355 A CN 111149355A
Authority
CN
China
Prior art keywords
work vehicle
image
shape
display system
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980004602.5A
Other languages
English (en)
Other versions
CN111149355B (zh
Inventor
山下淳
岩滝宗一郎
藤井浩光
渊田正隆
A.莫罗
浅间一
久礼一树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
University of Tokyo NUC
Original Assignee
Komatsu Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd, University of Tokyo NUC filed Critical Komatsu Ltd
Publication of CN111149355A publication Critical patent/CN111149355A/zh
Application granted granted Critical
Publication of CN111149355B publication Critical patent/CN111149355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7609—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers
    • E02F3/7618—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers with the scraper blade adjustable relative to the pivoting arms about a horizontal axis
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/61—Specially adapted for utility vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/411—Bulldozers, Graders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种工作车辆的显示系统以及生成方法。相机对工作车辆周围环境的图像进行拍摄，并输出表示图像的图像数据。形状传感器对周围环境的三维形状进行测定，并输出表示三维形状的3D形状数据。控制装置获取图像数据和3D形状数据。控制装置基于3D形状数据，生成三维投影模型。三维投影模型表现周围环境的三维形状。通过基于图像数据将图像投影在三维投影模型，生成表示车辆周围环境的显示图像的显示图像数据。

Description

工作车辆的显示系统以及生成方法
技术领域
本发明涉及工作车辆的显示系统以及生成方法。
背景技术
具有一种技术，由相机对工作车辆的周围进行拍摄，将从上方俯视工作车辆的周围的俯瞰图像在显示器进行显示。例如，在专利文献1所述的显示系统中，车载于工作车辆的多个相机获取工作车辆周围环境的图像数据。显示系统的控制装置通过将获取的图像映射至半球面形状的投影模型，生成俯瞰图像。
现有技术文献
专利文献
专利文献1：国际公开公报WO2016/031009号
发明内容
发明所要解决的技术问题
在上述显示系统中，投影模型的形状始终为半球面形状且恒定。因此，难以由俯瞰图像掌握工作车辆周围环境的实际形状。例如，投影模型的底面始终为平坦的平面。因此，即使在工作车辆周围的地表面具有倾斜或凹凸的情况下，将其拍摄后的图像也投影为平坦的投影面。因此，难以从俯瞰图像掌握倾斜或凹凸的地形。
本发明的目的在于生成能够容易地掌握工作车辆周围环境的形状的显示图像。
用于解决技术问题的技术方案
一个方式的工作车辆的显示系统包括：相机、形状传感器、以及控制装置。相机拍摄工作车辆周围环境的图像，并输出表示图像的图像数据。形状传感器对周围环境的三维形状进行测定，输出表示三维形状的3D形状数据。控制装置获取图像数据和3D形状数据。控制装置基于3D形状数据，生成三维投影模型。三维投影模型表现周围环境的三维形状。通过基于图像数据将图像投影于三维投影模型，生成表示工作车辆周围环境的显示图像的显示图像数据。
在本方式的工作车辆的显示系统中，利用形状传感器对工作车辆周围环境的三维形状进行测定，并基于测定的三维形状，生成三维投影模型。因此，三维投影模型具有与工作车辆周围环境的实际形状相同、或近似的形状。因此，通过将相机拍摄的图像投影于三维投影模型，能够生成容易掌握工作车辆周围环境的形状的显示图像。
其它方式的生成方法是为了生成表示工作车辆周围环境的显示图像的显示图像数据而由控制装置执行的生成方法，包括如下的处理。第一处理是获取表示工作车辆周围环境的图像的图像数据。第二处理是获取表示周围环境的三维形状的3D形状数据。第三处理是基于3D形状数据，生成表现周围环境的三维形状的三维投影模型。第四处理是通过基于图像数据将图像投影于三维投影模型，生成显示图像数据。
在本方式的生成方法中，利用形状传感器对工作车辆周围环境的三维形状进行测定，并基于测定的三维形状，生成三维投影模型。因此，三维投影模型具有与工作车辆周围环境的实际形状相同、或近似的形状。因此，通过将相机拍摄的图像投影于三维投影模型，能够生成容易掌握工作车辆周围环境的形状的显示图像。
发明的效果
根据本发明，能够生成容易掌握工作车辆周围环境的形状的显示图像。
附图说明
图1是表示实施方式的工作车辆的侧视图。
图2是表示第一实施方式的显示系统的结构的图。
图3是用于说明利用形状传感器获取的3D形状数据的图。
图4是表示第一实施方式的显示图像的一个例子的图。
图5是表示利用第二实施方式的显示系统的控制装置执行的处理的流程图。
图6是用于说明点群密度的警告条件的图。
图7是用于说明倾斜的警告条件的图。
图8是用于说明起伏的警告条件的图。
图9是表示第二实施方式的显示图像的一个例子的图。
图10是表示由显示系统评价的地形的例子的图。
图11是表示其它实施方式的工作车辆的侧视图。
具体实施方式
下面，参照附图，对实施方式的工作车辆的显示系统进行说明。本实施方式的显示系统为用于显示工作车辆及其周围环境的系统。图1是表示实施方式的工作车辆1的侧视图。在本实施方式中，工作车辆1为推土机。工作车辆1具有：车辆主体3、工作装置4、以及行驶装置5。
车辆主体3具有发动机室6。在发动机室6内配置有发动机7、以及液压泵8等驱动装置。在车辆主体3的后部安装有松土装置9。
行驶装置5是用于使工作车辆1行驶的装置。行驶装置5具有在工作车辆1的宽度方向的一方及另一方侧部配置的一对履带11。履带11为在工作车辆1的长度方向延伸的环状链条。通过驱动履带11，工作车辆1进行行驶。
工作装置4配置在车辆主体3的前方。工作装置4应用在挖掘、运土、或整地等作业中。工作装置4具有：刮板12、倾斜油缸13、提升油缸14、以及臂部15。刮板12经由臂部15，支承在车辆主体3。刮板12在上下方向上可摆动地设置。倾斜缸13和提升缸14由从液压泵8排出的工作油驱动，改变刮板12的姿势。
图2是表示第一实施方式的显示系统2的结构、以及利用显示系统2进行的处理的流程的方框图。如图2所示，显示系统2具有多个相机C1-C4。多个相机C1-C4安装在车辆主体3。多个相机C1-C4为鱼眼相机。多个相机C1-C4各自的视角为180度。但是，多个相机C1-C4各自的视角可以小于180度。或者多个相机C1-C4各自的视角也可以大于180度。多个相机C1-C4具有：前相机C1、第一侧相机C2、后相机C3、以及第二侧相机C4。
如图1所示，前相机C1安装在车辆主体3的前部。如图1所示，详细地说，车辆主体3具有前相机支承部16。前相机支承部16从车辆主体3的前部向上方、且前方延伸。前相机C1安装在前相机支承部16。后相机C3安装在车辆主体3的后部。
第一侧相机C2安装在车辆主体3的一侧部。第二侧相机C4安装在车辆主体3的另一侧部。在本实施方式中，第一侧相机C2安装在车辆主体3的左侧部，第二侧相机C4安装在车辆主体3的右侧部。但是，也可以，第一侧相机C2安装在车辆主体3的右侧部，第二侧相机C4安装在车辆主体3的左侧部。
前相机C1对车辆主体3的前方进行拍摄，获取包括工作车辆1周围环境的图像。后相机C3对车辆主体3的后方进行拍摄，获取包括工作车辆1周围环境的图像。第一侧相机C2对车辆主体3的左侧进行拍摄，获取包括工作车辆1周围环境的图像。第二侧相机C4对车辆主体3的右侧进行拍摄，获取包括工作车辆1周围环境的图像。相机C1-C4输出表示获取的图像的图像数据。
如图2所示，显示系统2包括：控制装置20、形状传感器21、姿势传感器22、位置传感器23、以及显示器24。形状传感器21对工作车辆1周围环境的三维形状进行测定，输出表示三维形状的3D形状数据D1。形状传感器21对工作车辆1周围环境上的多个点的位置进行测定。3D形状数据D1表示工作车辆1周围环境上的多个点的位置。工作车辆1的周围环境例如包括工作车辆1周围的地表面。即，3D形状数据D1包括工作车辆1周围的地表面上的多个点的位置。特别是3D形状数据D1包括工作车辆1的前方的地表面上的多个点的位置。
详细地说，形状传感器21测定周围环境上的多个点的位置距工作车辆1的距离。多个点的位置根据多个点距工作车辆1的距离求出。在本实施方式中，形状传感器21为光探测和测距(LIDAR：Laser Imaging Detection and Ranging，激光成像探测与测距)。形状传感器21通过照射激光，并对其反射光进行测量，而测定至测量点的距离。
形状传感器21例如包括在铅垂方向上排列的多个激光测距元件。形状传感器21使多个激光测距元件绕在铅垂方向上延伸的轴在宽度方向上旋转，并且以规定周期进行多个点的位置的测定。因此，形状传感器21每隔规定的旋转角测定至周围环境上的点的距离，获取三维点群的位置。
形状数据包括针对各点由何种元件进行测定之类的信息、以何种旋转角进行测定之类的信息、以及各元件的位置关系的信息。另外，控制装置20具有表示各元件与工作车辆1的位置关系的信息。因此，控制装置20能够根据形状数据获取周围环境上各点、以及工作车辆的位置关系。
姿势传感器22检测工作车辆1的姿势，输出表示姿势的姿势数据D2。姿势传感器22例如为IMU(惯性测量装置：Inertial Measurement Unit，惯性测量单元)。姿势数据D2包括车辆前后方向相对于水平的角度(俯仰角)、以及车辆宽度方向相对于水平的角度(横摇角)。IMU输出姿势数据D2。
位置传感器23例如为GNSS(Global Navigation Satellite System：全球导航卫星系统)接收器。GNSS接收器例如为GPS(Global Positioning System：全球定位系统)用接收机。GNSS接收器从卫星接收定位信号，通过定位信号获取表示工作车辆1的位置坐标的位置数据D3。GNSS接收器输出位置数据D3。
形状传感器21例如安装在前相机支承部16。或者形状传感器21也可以安装在车辆主体3的其它部分。姿势传感器22和位置传感器23安装在车辆主体3。或者位置传感器23也可以安装在工作装置4。
控制装置20与相机C1-C4通过有线、或无线可通信地连接。控制装置20从相机C1-C4接收图像数据。控制装置20与形状传感器21、姿势传感器22、以及位置传感器23通过有线、或无线可通信地连接。控制装置20从形状传感器21接收3D形状数据D1。控制装置20从姿势传感器22接收姿势数据D2。控制装置20从位置传感器23接收位置数据D3。
控制装置20进行编程，以基于上述图像数据、3D形状数据D1、姿势数据D2、以及位置数据D3，生成用于表示工作车辆1周围环境的显示图像Is。控制装置20可以配置在工作车辆1的外部。或者控制装置20也可以配置在工作车辆1的内部。控制装置20包括运算装置25和存储装置26。
运算装置25由CPU等处理器构成。运算装置25进行用于生成显示图像Is的处理。存储装置26由RAM或ROM等存储器、或硬盘等辅助存储装置26构成。存储装置26存储用于生成显示图像Is的数据以及程序。
显示器24例如为CRT、LCD或OELD。但是，显示器24不限于上述显示器，也可以为其它类型的显示器。显示器24基于来自控制装置20的输出信号，显示显示图像Is。
接着，对显示图像Is的生成详细地进行说明。首先，利用相机C1-C4进行拍摄。控制装置20从相机C1-C4获取前方图像Im1、左方图像Im2、后方图像Im3、以及右方图像Im4。前方图像Im1为车辆主体3的前方的图像。左方图像Im2为车辆主体3的左方的图像。后方图像Im3为车辆主体3的后方的图像。右方图像Im4为车辆主体3的右方的图像。
控制装置20基于从形状传感器21获取的3D形状数据D1，生成三维投影模型M1。如图3所示，控制装置20基于工作车辆1周围环境上的多个点的位置，生成表现周围环境的形状的多边形网格。三维投影模型M1包括将多个点之中邻接的点连结的多边形。
如图3所示，详细地说，控制装置20将通过基于形状传感器21的一次扫描而测定的多个点P(1，1)、P(2，1)、…、P(i，j)、…之中邻接的点进行连结，来生成网格。在此，P(i，j)表示在各铅垂方向上由第i个激光测距元件测定、且在宽度方向上以第j个旋转角得到的点。控制装置20针对点P(i，j)、P(i+1，j)、P(i，j+1)、P(i+1，j+1)，生成三角形(P(i，j)、P(i+1，j)、P(i，j+1))和三角形(P(i+1，j)、P(i，j+1)、P(i+1，j+1))。由此，控制装置20生成以三角形的多边形表示的三维投影模型M1。
需要说明的是，形状传感器21周期性地对周围环境的三维形状进行测定。控制装置20对3D形状数据D1进行更新，并基于更新后的3D形状数据D1，生成三维投影模型M1。
控制装置20根据相机C1-C4所获取的图像Im1-Im4，生成周围合成图像Is1。周围合成图像Is1为俯瞰性表示工作车辆1周围的图像。通过利用纹理映射(テクスチャマッピング，texture mapping)将相机C1-C4所获取的图像Im1-Im4投影在三维投影模型M1，而生成周围合成图像Is1。
另外，控制装置20将表示工作车辆1的车辆图像Is2合成于显示图像。车辆图像Is2为三维地表示工作车辆1自身的图像。控制装置20根据姿势数据D2确定显示图像Is上的车辆图像Is2的姿势。控制装置20根据位置数据D3确定显示图像Is上的车辆图像Is2的朝向。控制装置20以显示图像Is上的车辆图像Is2的姿势和朝向与工作车辆1的实际姿势及朝向一致的方式将车辆图像Is2合成于显示图像Is。
需要说明的是，控制装置20也可以根据相机C1-C4所获取的图像Im1-Im4，生成车辆图像Is2。例如，在相机C1-C4所获取的图像中分别包含有工作车辆1的部分，控制装置20也可以通过将图像中的各部分投影在车辆模型M2，来生成车辆图像Is2。车辆模型M2为具有工作车辆1的形状的投影模型，也可以保存在存储装置26中。或者车辆图像Is2可以为预先拍摄的既定图像、或预先作成的三维的计算机图形图像。
显示器24显示显示图像Is。图4是表示显示图像Is的一个例子的图。如图4所示，显示图像Is是三维地表示工作车辆1及其周围的图像。如图4所示，结合工作车辆1周围倾斜的实际地形，使用具有倾斜形状的三维投影模型M1，显示显示图像Is。另外，结合工作车辆1倾斜的实际姿势，车辆图像Is2以倾斜的状态显示于显示图像Is。
显示图像Is实时地进行更新，作为动态图像进行显示。因此，在工作车辆1行驶时，根据周围环境、工作车辆的姿势、朝向、位置的实际变化，显示图像Is中的周围合成图像IS1、车辆图像Is2的姿势、朝向、以及位置也实时变化地显示。
为了表现工作车辆1的姿势、朝向、以及位置的变化，依照表示从工作车辆1开始行驶时的姿势、朝向、以及位置起的变化的旋转矩阵，使三维投影模型M1及车辆模型M2旋转，并依照平移矢量使之平移。旋转矢量和平移矢量从上述姿势数据D2及位置数据D3获取。
针对用于图像合成的具体方法，例如可以使用在“Spatio-temporal bird’s-eyeview images using multiple fish-eye cameras，”(Proceedings of the 2013IEEE/SICE International Symposium on System Integration，pp.753-758，2013.)(使用多个鱼眼相机的时空鸟瞰图像，”(2013年IEEE/SICE系统集成国际研讨会论文集，pp.753-758，2013年))中表示的方法。也可以使用在“Visualization of the surroundingenvironment and operational part ina 3DCG model for the teleoperation ofconstruction machines，”(Proceedings of the 2015IEEE/SICE InternationalSymposium on System Integration，pp.81–87，2015.)(用于建筑机械远程操作的3DCG模型中的周围环境和操作部分的可视化，”(2015IEEE/SICE系统集成国际研讨会论文集，pp.81-87，2015年))中表示的方法。
需要说明的是，在图4中，显示图像Is是从左侧方来观察工作车辆1及其周围的图像。但是，控制装置20能够将显示图像Is切换为从前方、后方、右侧方、上方、或各方向的倾斜方向观察工作车辆1及其周围的图像。
在如上所述的本实施方式的显示系统2中，利用形状传感器21对工作车辆1周围环境的三维形状进行测定，并基于测定的三维形状生成三维投影模型M1。因此，三维投影模型M1具有与工作车辆1周围的实际地形相同、或近似的形状。因此，能够以反映了工作车辆1周围的实际地形的形状将周围环境的图像呈现在显示图像Is中。因此，在本实施方式的显示系统2中，能够生成能够容易掌握工作车辆1周围环境的形状的显示图像Is。
另外，利用姿势传感器22测定工作车辆1的实际姿势，结合测定的姿势，使车辆图像Is2显示在显示图像Is中。因此，能够以反映了工作车辆1的实际姿势的姿势，将车辆图像Is2呈现在显示图像Is中。由此，能够向操作人员明确地呈现工作车辆1已进入倾斜面、进行转弯操作的情况等工作车辆1的姿势变化。
接着，对第二实施方式的显示系统2进行说明。在第二实施方式的显示系统2中，控制装置20基于3D形状数据D1，对在周围环境中含有的多个区域进行评价。在本实施方式中，控制装置20将上述三维投影模型M1的三角形多边形定义为一个区域。需要说明的是，关于显示系统2的结构以及显示图像Is的生成方法，因为与第一实施方式相同，所以省略说明。
控制装置20将各区域分类为多个级别进行评价。在本实施方式中，控制装置20将各区域分类为第一级和第二级。第一级表示是允许工作车辆1进入的区域。第二级表示是禁止工作车辆1进入的区域。
图5是表示为了进行区域评价而由控制装置20进行的处理的流程图。在步骤S101中，控制装置20针对各区域判定是否已满足点群密度的警告条件。点群密度的警告条件由如下的式(1)表示。
max(L1(i),L2(i),L3(i))＞k×Lc (1)
L1(i)、L2(i)、L3(i)为将规定各区域的点连结的线段的长度。如图6所示，控制装置20计算表示各区域的三角形(Pi，Pi+1，Pi+2)各边的长度L1(i)、L2(i)、L3(i)，作为各区域线段的长度。
即，控制装置20将各区域(Pi，Pi+1，Pi+2)的线段的长度与规定的阈值k×Lc进行比较，判定各区域(Pi，Pi+1，Pi+2)是否包括比阈值k×Lc大的线段。在某区域(Pi，Pi+1，Pi+2)满足点群密度的警告条件时，即，在某区域(Pi，Pi+1，Pi+2)包括比阈值k×Lc大的线段时，在步骤S102中，控制装置20将该区域(Pi，Pi+1，Pi+2)判定为第二级。
如图1所示，“Lc”为履带11的长度。履带11的长度是放置在平坦面上的履带与平坦面相接的长度，称为接地长度。“k”为大于0、小于1的规定系数。因此，阈值k×Lc基于履带11的长度而被规定，例如系数“k”为1/2。但是，系数“k”也可以为1/2以外的值。系数“k”可以为固定值，或者也可以由操作人员任意地设定。履带11的长度Lc可以为与接地长度相关的某长度。例如可以为履带11的前后方向的全长。在该情况下，系数k的值可以适当改变。
点群密度的警告条件也可以还包括由如下的式(2)表示的条件。
max(L1(i),L2(i),L3(i))＞k′×Lc′ (2)
在此，Lc’为左右履带11的中心间距，称为履带轨距。系数k’大致为1。控制装置20也可以在式(1)与式(2)双方都满足时，判定为已满足警告条件。
在某区域(Pi，Pi+1，Pi+2)未满足点群密度的警告条件时，即，在某区域(Pi，Pi+1，Pi+2)不包括比阈值k×Lc大的线段时，处理进入步骤S103。
在步骤S103中，控制装置20针对未满足点群密度的警告条件的区域，判定是否满足倾斜的警告条件。倾斜的警告条件由如下的式(3)进行表示。
cos-1(Nav·ez)＞θmax (3)
在此，如图7所示，控制装置20求出成为目标的区域(Pi，Pi+1，Pi+2)、以及在其周围的规定范围A1(i)内含有的区域的法线矢量Ni，并计算这些区域的法线的平均值Nav。将法线的平均值Nav与重力方向所成的角确定为，成为该目标的区域(Pi，Pi+1，Pi+2)的倾斜角。上述倾斜的警告条件意味着成为目标的区域(Pi，Pi+1，Pi+2)的倾斜角超过阈值θmax。在式(3)中，ez为重力方向的单位矢量。
阈值θmax例如为允许工作车辆1进入的上限倾斜角。但是，阈值θmax也可以为其它的值。阈值θmax可以为固定值，或者也可以由操作人员任意地设定。规定范围A1(i)例如由以成为目标的区域(Pi，Pi+1，Pi+2)的图心为中心的半径R的圆进行表示。半径R可以为固定值。或者半径R也可以由操作人员任意地设定。
在某区域(Pi，Pi+1，Pi+2)满足倾斜的警告条件时，即，在某区域(Pi，Pi+1，Pi+2)的倾斜角比阈值θmax大时，在步骤S102中，控制装置20将该区域(Pi，Pi+1，Pi+2)判定为第二级。在某区域(Pi，Pi+1，Pi+2)未满足倾斜的警告条件时，即，在某区域(Pi，Pi+1，Pi+2)的倾斜角为阈值θmax以下时，处理进入步骤S104。
在步骤S104中，控制装置20针对未满足点群密度的警告条件的区域，判定是否满足起伏的警告条件。起伏的警告条件由如下的式(4)进行表示。
Figure BDA0002417408730000101
如图8所示，n是在成为目标的判定范围A2(i)内含有的点的数量。在此的判定范围A2(i)可以与步骤S103中的规定范围A1(i)相同，或者也可以不同。Zi为点Pi的重力方向上的高度。Zav为在判定范围A2(i)中含有的点的高度的平均值。σ2z表示判定范围A2(i)内的点的高度的方差。上述起伏的警告条件是指在成为目标的判定范围A2(i)中含有的点的高度的方差σ2z已超过阈值σ2max。即，起伏的警告条件是指判定范围A2(i)的起伏变化大。
阈值σ2max例如为允许工作车辆1进入的起伏的变化的上限。但是，阈值σ2max也可以为其它的值。阈值σ2max可以为固定值，或者也可以由操作人员任意地设定。
在某判定范围A2(i)满足起伏的警告条件时，在步骤S102中，控制装置20将在该判定范围A2(i)内含有的区域判定为第二级。在某判定范围A2(i)未满足起伏的警告条件时，处理进入步骤S105。
在步骤S105中，控制装置20针对未满足点群密度的警告条件、倾斜的警告条件、以及起伏的警告条件的所有条件的区域，判定为第一级。
接着，控制装置20将显示图像Is显示在显示器24。控制装置20在显示图像Is中，以对应于评价的方式，显示多个区域的各区域。详细地说，控制装置20以与第一级的区域不同的颜色显示第二级的区域。
图9是表示第二实施方式的显示图像Is的一个例子的图。在图9所示的显示图像Is中，在工作车辆1的右方存在一个陡峭的下坡斜面Sp2。在工作车辆1的左方存在一个陡峭的上坡斜面Sp3。
控制装置20将工作车辆1的正面区域Sp1判定为第一级。另外，控制装置20将右方的下坡斜面Sp2和左方的上坡斜面Sp3判定为第二级。控制装置20将右方的下坡斜面Sp2和左方的上坡斜面Sp3以与正面区域Sp1不同的颜色表现在显示图像Is中。
在如上所述的第二实施方式的显示系统2中，控制装置20基于3D形状数据D1，对在周围环境中含有的多个区域进行评价，以与第一级的区域不同的方式，将第二级的区域显示在显示图像Is上。因此，操作人员通过显示图像Is，能够容易地注意到第二级的区域的存在。另外，显示图像Is投影于反映了工作车辆1周围的实际地形的三维投影模型M1。因此，能够以与实际的地形接近的形状，将判定为第二级的区域表现在显示图像Is上。
控制装置20将满足点群密度的警告条件的区域判定为第二级，并以与第一级的区域不同的方式显示在显示图像Is上。在此，就各点之间的范围而言，由于是未由形状传感器21进行测量的部分，所以，意味着各区域的线段L1(i)、L2(i)、L3(i)的长度越长而未由形状传感器21进行测量的范围越大。因此，如图10(A)所示，即使在点Pi与点Pi+1之间存在陡峭的倾斜，也可能存在不能由形状传感器21进行测量的情况。
在本实施方式的显示系统2中，在某区域中，在线段的长度L1(i)、L2(i)、L3(i)之中至少一个长度比阈值k×Lc长时，将该区域判定为第二级。因此，能够将不能得到足够的点群密度的区域判定为第二级。因此，能够将因为与形状传感器21分离较远而不能得到足够的点群密度的区域判定为第二区域。或者可以将因为地形遮挡激光而不能测定准确的地形的区域判定为第二级。
阈值k×Lc由履带11的长度规定。在不能测量的区域比由履带11的长度规定的阈值k×Lc长的情况下，当在该区域存在凹陷地形时，存在工作车辆1的倾斜超过上限倾斜角θmax的可能性。在本实施方式的显示系统2中，将上述区域判定为第二级，可以以与第一级的区域不同的方式显示在显示图像Is上。
控制装置20将满足倾斜的警告条件的区域判定为第二级，以与第一级的区域不同的方式显示在显示图像Is上。因此，例如如图10(B)所示，可以将存在超过工作车辆1所允许的上限倾斜角θmax的陡峭倾斜的区域判定为第二级，以与第一级的区域不同的方式显示在显示图像Is上。
控制装置20根据将成为判定目标的区域的倾斜角、和在其周围的规定范围A1(i)中含有的其它区域的倾斜角组合后的平均值，对成为目标的区域进行评价。由此，能够缓和因距形状传感器21的距离及地形而使点群密度变化的影响，从而精度良好地进行评价。
控制装置20将满足起伏的警告条件的判定区域A2(i)判定为第二级，以与第一级的判定区域不同的方式显示在显示图像Is上。在起伏较大的地形上，在该地形中含有的点的高度的变化急剧。因此，控制装置20根据在某判定范围A2(i)内的各点的高度的方差，对判定范围A2(i)的起伏的急剧程度进行评价。由此，例如如图10(C)所示，能够将起伏较大的区域判定为第二级，以与第一级的区域不同的方式显示在显示图像Is上。
需要说明的是，图9所示的显示图像Is为在从工作车辆1的右前方观察的视点上生成的映像，但控制装置20也可以任意地改变视点，生成显示图像Is。控制装置20例如可以根据操作人员的操作，切换视点。由此，能够以看到工作车辆1的周围环境之中、操作人员特别希望确认的部分的方式生成显示图像Is，。
上面，对本发明的实施方式进行了说明，但本发明不限于此，在不脱离本发明主旨的范围内可以进行各种变更。
工作车辆1不限于推土机，也可以为轮式装载机、液压挖掘机、自卸卡车等其它类型的车辆。工作车辆1也可以为从在工作车辆1的外部配置的控制装置20进行远程操作的车辆。在该情况下，如图11所示的工作车辆100，驾驶室也可以从车辆主体3中省略。需要说明的是，在图11中，对于与图1所示的工作车辆1对应的部分，使用相同的标记。或者工作车辆1也可以为由在工作车辆1上搭载的驾驶室内的操作人员直接操作的车辆。
相机的数量不限于四个，也可以为三个以下、或五个以上。相机不限于鱼眼相机，也可以为其它类型的相机。相机的配置不限于上述实施方式的配置，也可以为不同的配置。
姿势传感器22不限于IMU，也可以为其它的传感器。位置传感器23不限于GNSS接收器，也可以为其它的传感器。形状传感器21不限于光探测和测距，也可以为雷达等其它的测定装置。
在第二实施方式中，也可以省略或改变警告条件的一部分。或者可以添加其它的警告条件。也可以改变警告条件的内容。区域的评价不限于第一级与第二级两个级别，也可以在更多的级别中进行评价。
工业实用性
根据本发明，能够生成能够容易地掌握工作车辆周围环境的形状的显示图像。
附图标记说明
1，100工作车辆；11履带；21形状传感器；20控制装置；22姿势传感器；C1-C4相机；Is显示图像；M1三维投影模型。

Claims (15)

1.一种工作车辆的显示系统，其特征在于，具有：
相机，其对工作车辆的周围环境的图像进行拍摄，并输出表示所述图像的图像数据；
形状传感器，其对所述周围环境的三维形状进行测定，并输出表示所述三维形状的3D形状数据；
控制装置，其获取所述图像数据和所述3D形状数据；
所述控制装置基于所述3D形状数据，生成表现所述周围环境的所述三维形状的三维投影模型，
通过基于所述图像数据将所述图像投影于所述三维投影模型，生成表示所述工作车辆周围环境的显示图像的显示图像数据。
2.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述形状传感器对所述周围环境上的多个点的位置进行测定，
所述3D形状数据表示多个所述点的位置。
3.如权利要求2所述的工作车辆的显示系统，其特征在于，
所述三维投影模型包括将多个所述点之中邻接的点连结的多边形。
4.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述形状传感器针对所述周围环境的三维形状，进行周期性的测定，
所述控制装置随着所述周期性的测定，对所述3D形状数据进行更新，
且基于更新后的所述3D形状数据，生成所述三维投影模型。
5.如权利要求1所述的工作车辆的显示系统，其特征在于，
还具有姿势传感器，其检测所述工作车辆的姿势，输出表示所述姿势的姿势数据，
所述控制装置获取所述姿势数据，
将表示所述工作车辆的车辆图像合成于所述显示图像，
且根据所述姿势数据，使所述显示图像上的所述车辆图像的姿势改变。
6.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述控制装置基于所述3D形状数据，对在所述周围环境中含有的多个区域进行评价，
在所述显示图像中，以对应于所述评价的方式，显示多个所述区域的各区域。
7.如权利要求6所述的工作车辆的显示系统，其特征在于，
所述控制装置获取多个所述区域各自的倾斜角，
基于所述倾斜角，对多个所述区域的各区域进行评价。
8.如权利要求7所述的工作车辆的显示系统，其特征在于，
所述控制装置将多个所述区域各自的倾斜角与规定的阈值进行比较，
将具有所述阈值以下的倾斜角的区域、以及具有比所述阈值大的倾斜角的区域以不同的方式显示在所述显示图像。
9.如权利要求7所述的工作车辆的显示系统，其特征在于，
所述控制装置计算多个所述区域之中成为目标的区域的倾斜角、和在成为所述目标的区域的周围的规定范围内含有的其它区域的倾斜角的平均值，基于所述倾斜角的平均值，对成为所述目标的区域进行评价。
10.如权利要求6所述的工作车辆的显示系统，其特征在于，
所述控制装置获取在多个所述区域的各区域中含有的多个点的高度，
计算多个所述点的高度的方差，
基于所述方差，对多个所述区域的各区域进行评价。
11.如权利要求10所述的工作车辆的显示系统，其特征在于，
所述控制装置将所述方差与规定的阈值进行比较，
将具有所述阈值以下的方差的区域、以及具有比所述阈值大的方差的区域以不同的方式显示在所述显示图像。
12.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述形状传感器对所述周围环境上多个点的位置进行测定，
所述3D形状数据表示多个所述点的位置，
所述控制装置基于所述3D形状数据，定义被连结多个所述点的线段包围的多个区域，
所述控制装置针对多个所述区域的各区域，计算所述线段的长度，
基于所述线段的长度，分别评价多个所述区域，
在所述显示图像中，以对应于所述评价的结果的方式，分别显示多个所述区域。
13.如权利要求1所述的工作车辆的显示系统，其特征在于，
所述控制装置将所述线段的长度与规定的阈值进行比较，
将含有比所述阈值大的线段的区域、以及不含有比所述阈值大的线段的区域以不同的方式显示在所述显示图像。
14.如权利要求13所述的工作车辆的显示系统，其特征在于，
所述工作车辆包括履带，
基于所述履带的长度而规定所述阈值。
15.一种生成方法，其为了生成表示工作车辆周围环境的显示图像的显示图像数据而由控制装置来执行，所述生成方法的特征在于，具有：
获取表示所述工作车辆周围环境的图像的图像数据的步骤；
获取表示所述周围环境的三维形状的3D形状数据步骤；
基于所述3D形状数据，生成表现所述周围环境的所述三维形状的三维投影模型的步骤；
通过基于所述图像数据将所述图像投影在所述三维投影模型而生成所述显示图像数据的步骤。
CN201980004602.5A 2018-02-19 2019-01-29 工作车辆的显示系统以及生成方法 Active CN111149355B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-027202 2018-02-19
JP2018027202A JP7232437B2 (ja) 2018-02-19 2018-02-19 作業車両の表示システム及び生成方法
PCT/JP2019/003013 WO2019159687A1 (ja) 2018-02-19 2019-01-29 作業車両の表示システム及び生成方法

Publications (2)

Publication Number Publication Date
CN111149355A true CN111149355A (zh) 2020-05-12
CN111149355B CN111149355B (zh) 2022-04-22

Family

ID=67619363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980004602.5A Active CN111149355B (zh) 2018-02-19 2019-01-29 工作车辆的显示系统以及生成方法

Country Status (6)

Country Link
US (1) US11377824B2 (zh)
JP (1) JP7232437B2 (zh)
CN (1) CN111149355B (zh)
AU (1) AU2019222009B2 (zh)
CA (1) CA3075426C (zh)
WO (1) WO2019159687A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7160004B2 (ja) * 2019-08-30 2022-10-25 トヨタ自動車株式会社 表示システム、車両、および、二次電池の状態表示方法
US11595618B2 (en) * 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
JP2022042420A (ja) * 2020-09-02 2022-03-14 株式会社Subaru 車両制御装置
US20220299318A1 (en) * 2021-03-19 2022-09-22 Topcon Corporation Surveying system, surveying method, and storage medium storing surveying program
JP7244036B2 (ja) * 2021-05-14 2023-03-22 学校法人 芝浦工業大学 作業支援システムおよび、作業支援方法
JP7076114B1 (ja) 2021-05-14 2022-05-27 学校法人 芝浦工業大学 作業支援システムおよび、作業支援方法
JP2023050332A (ja) * 2021-09-30 2023-04-11 株式会社トプコン 測量システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448681A (zh) * 2009-12-28 2012-05-09 松下电器产业株式会社 动作空间提示装置、动作空间提示方法以及程序
JP2012255286A (ja) * 2011-06-08 2012-12-27 Topcon Corp 建設機械制御システム
CN103080427A (zh) * 2011-03-24 2013-05-01 株式会社小松制作所 液压挖掘机的校正装置及液压挖掘机的校正方法
WO2016031009A1 (ja) * 2014-08-28 2016-03-03 国立大学法人東京大学 作業車両の表示システム、表示制御装置、作業車両、及び表示制御方法
CN105745122A (zh) * 2013-09-23 2016-07-06 大众汽车有限公司 用于显示车辆周围环境的驾驶员辅助系统
US20170350692A1 (en) * 2016-06-01 2017-12-07 Topcon Corporation Measuring Instrument And Surveying System
CN107655461A (zh) * 2014-05-05 2018-02-02 赫克斯冈技术中心 测量子系统和测量系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727068B2 (ja) * 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
US6782644B2 (en) * 2001-06-20 2004-08-31 Hitachi Construction Machinery Co., Ltd. Remote control system and remote setting system for construction machinery
KR100916638B1 (ko) * 2007-08-02 2009-09-08 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP5802476B2 (ja) * 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
EP3235773B8 (en) * 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
WO2014110502A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
US9639958B2 (en) * 2015-03-19 2017-05-02 Caterpillar Inc. Synthetic colorization of real-time immersive environments
JP6496182B2 (ja) * 2015-04-28 2019-04-03 株式会社小松製作所 施工計画システム
US9824490B1 (en) * 2015-06-08 2017-11-21 Bentley Systems, Incorporated Augmentation of a dynamic terrain surface
WO2018020954A1 (ja) * 2016-07-29 2018-02-01 株式会社日立製作所 機械学習用データベース作成システム
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
CN110573680A (zh) * 2017-04-26 2019-12-13 住友建机株式会社 挖土机、挖土机管理装置及挖土机管理辅助装置
JP7252137B2 (ja) * 2017-12-04 2023-04-04 住友重機械工業株式会社 周辺監視装置
CN111108248B (zh) * 2017-12-27 2023-10-13 住友建机株式会社 挖土机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448681A (zh) * 2009-12-28 2012-05-09 松下电器产业株式会社 动作空间提示装置、动作空间提示方法以及程序
CN103080427A (zh) * 2011-03-24 2013-05-01 株式会社小松制作所 液压挖掘机的校正装置及液压挖掘机的校正方法
JP2012255286A (ja) * 2011-06-08 2012-12-27 Topcon Corp 建設機械制御システム
CN105745122A (zh) * 2013-09-23 2016-07-06 大众汽车有限公司 用于显示车辆周围环境的驾驶员辅助系统
CN107655461A (zh) * 2014-05-05 2018-02-02 赫克斯冈技术中心 测量子系统和测量系统
WO2016031009A1 (ja) * 2014-08-28 2016-03-03 国立大学法人東京大学 作業車両の表示システム、表示制御装置、作業車両、及び表示制御方法
US20170350692A1 (en) * 2016-06-01 2017-12-07 Topcon Corporation Measuring Instrument And Surveying System

Also Published As

Publication number Publication date
JP7232437B2 (ja) 2023-03-03
CA3075426C (en) 2021-07-20
CN111149355B (zh) 2022-04-22
CA3075426A1 (en) 2019-08-22
JP2019145953A (ja) 2019-08-29
US11377824B2 (en) 2022-07-05
AU2019222009A1 (en) 2020-02-27
WO2019159687A1 (ja) 2019-08-22
AU2019222009B2 (en) 2020-12-24
US20210214922A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111149355B (zh) 工作车辆的显示系统以及生成方法
CN113329927B (zh) 基于激光雷达的挂车追踪
AU2015234395B2 (en) Real-time range map generation
US11120577B2 (en) Position measurement system, work machine, and position measurement method
US9449397B2 (en) Real-time visual odometry system for determining motion of a machine with a range detection unit
US9678210B2 (en) Error estimation in real-time visual odometry system
CA2998111C (en) Open terrain navigation systems and methods
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
US20220170243A1 (en) Working machine
US20240028042A1 (en) Visual overlays for providing perception of depth
US20210388580A1 (en) System and method for work machine
Borthwick Mining haul truck pose estimation and load profiling using stereo vision
US11908076B2 (en) Display system and display method
WO2022209052A1 (ja) 出来形情報処理システム
KR20240005918A (ko) 열 검출 시스템, 열 검출 시스템을 구비하는 농업 기계, 및 열 검출 방법
KR20240005917A (ko) 열 검출 시스템, 열 검출 시스템을 구비하는 농업 기계, 및 열 검출 방법
CN115164764A (zh) 测量系统、测量方法以及存储有测量程序的存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant