CN107250724B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN107250724B CN107250724B CN201580076995.2A CN201580076995A CN107250724B CN 107250724 B CN107250724 B CN 107250724B CN 201580076995 A CN201580076995 A CN 201580076995A CN 107250724 B CN107250724 B CN 107250724B
- Authority
- CN
- China
- Prior art keywords
- image pickup
- stereo camera
- pickup unit
- unit
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 390
- 230000003287 optical effect Effects 0.000 claims description 140
- 238000010586 diagram Methods 0.000 description 35
- 238000012876 topography Methods 0.000 description 27
- 238000010276 construction Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 14
- 230000006854 communication Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000008602 contraction Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 229910000746 Structural steel Inorganic materials 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/16—Cabins, platforms, or the like, for drivers
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D25/00—Superstructure or monocoque structure sub-units; Parts or details thereof not otherwise provided for
- B62D25/04—Door pillars ; windshield pillars
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mining & Mineral Resources (AREA)
- Structural Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Civil Engineering (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Component Parts Of Construction Machinery (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
第一立体相机(50)具有第一摄像部(51)和配置于比第一摄像部(51)靠车辆主体的左右方向上的右侧的第二摄像部(52)。第二立体相机(60)具有第三摄像部(61)和配置于比第三摄像部(61)靠车辆主体的左右方向上的右侧的第四摄像部(62)。第一摄像部(51)和第三摄像部(61)构成左摄像部组。第二摄像部(52)和第四摄像部(62)构成右摄像部组。左摄像部组和右摄像部组在车辆主体的左右方向上隔开间隔地配置。
Description
技术领域
本发明涉及摄像装置。
背景技术
在基于作业车辆进行的作业中,现况地形随着作业的进行而变化。因此,需要与作业的进行同步地获取现况地形数据。作为用于获取现况地形数据的方式之一,已知有利用立体相机进行的距离计测。
目前,提出有具备立体相机和能够改变立体相机的摄像方向的摄像方向变更机构的建筑机械,其中,立体相机具有第一摄像部及第二摄像部(例如,参照日本特开2013-36243号公报(专利文献1))。另外,提出有在车身安装多个立体相机、通过多个立体相机来获得立体图像的建筑机械(例如,日本特开2014-215039号公报(专利文献2))。
在专利文献2中,公开了如下技术:将多个具有彼此设为同步的两台相机而构成的立体相机隔开规定间隔地安装于车身,针对广阔的区域来计测障碍物的位置。
在先技术文献
专利文献
专利文献1:日本特开2013-36243号公报
专利文献2:日本特开2014-215039号公报
发明内容
发明要解决的课题
为了提高建筑工程中的施工工序的生产率,需要精度良好且高效地计测作业对象的现况地形,基于作业对象的目标形状即设计地形和现况地形这两方来对作业对象进行施工。
本发明的目的在于提供一种能够精度良好地拍摄作业对象的现况地形的摄像装置。
用于解决课题的方案
本发明者们基于如下见解而完成本发明:为了提高利用立体相机拍摄的摄像数据的精度,基于三角测量的原理,期望增大构成立体相机的两个摄像部的间隔。
即,本发明涉及的摄像装置设置于作业车辆。作业车辆具有车辆主体。摄像装置具备安装于车辆主体的第一立体相机以及安装于车辆主体的第二立体相机。第一立体相机具有第一摄像部和配置于比第一摄像部靠车辆主体的左右方向上的右侧的第二摄像部。第二立体相机具有第三摄像部和配置于比第三摄像部靠车辆主体的左右方向上的右侧的第四摄像部。第一摄像部和第三摄像部构成左摄像部组。第二摄像部和第四摄像部构成右摄像部组。左摄像部组和右摄像部组在车辆主体的左右方向上隔开间隔地配置。
在上述的摄像装置中,从车辆主体的左右方向上的左侧向右侧按顺序配置有第一摄像部、第三摄像部、第二摄像部及第四摄像部。
在上述的摄像装置中,车辆主体的左右方向上的第三摄像部与第二摄像部的间隔比车辆主体的左右方向上的第一摄像部与第三摄像部的间隔宽,并且,车辆主体的左右方向上的第三摄像部与第二摄像部的间隔比车辆主体的左右方向上的第二摄像部与第四摄像部的间隔宽。
在上述的摄像装置中,作业车辆还具有驾驶室。驾驶室具有一对前支柱。左摄像部组和右摄像部组配置为与车辆主体的左右方向上的驾驶室的中心相比靠近前支柱。
在上述的摄像装置中,作业车辆还具有驾驶室。驾驶室具有前窗。第一立体相机和第二立体相机在驾驶室内沿着前窗的上缘配置。
发明效果
根据本发明,能够精度良好地拍摄作业对象的现况地形。
附图说明
图1是简要表示本发明的一实施方式中的液压挖掘机的结构的立体图。
图2是适用于图1所示的液压挖掘机的液压回路图。
图3是简要表示图1所示的液压挖掘机的液压缸、位置传感器及控制器的关系的图。
图4是表示从后方仰视观察驾驶室内的前方上缘部分的状态的立体图。
图5是表示从后方仰视观察驾驶室内的前方上缘部分的状态的立体图。
图6是表示立体相机向基座部的安装状况的立体图。
图7是表示前窗的结构的概要的立体图。
图8是侧视观察下的第一立体相机的摄像部的示意图。
图9是侧视观察下的第二立体相机的摄像部的示意图。
图10是表示立体相机的摄像范围的示意图。
图11是表示立体相机的摄像范围的示意图。
图12是俯视观察下的立体相机的摄像部的示意图。
图13是表示立体图像数据合成系统的构成的功能框图。
图14是表示图像数据的合成的一例的图。
图15是表示拍摄的地形的一例的示意图。
图16是表示各摄像部拍摄的图像的示例的图。
图17是表示各摄像部拍摄的图像的示例的图。
图18是说明基于实施方式的图像数据生成方法的流程图。
图19是表示工作装置向立体相机的视角外的移动的示意图。
图20是表示各摄像部相对于基体部的配置的示意图。
图21是表示各摄像部相对于基体部的配置的示意图。
图22是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。
图23是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。
图24是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。
图25是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。
图26是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
首先,对本发明的一实施方式中的液压挖掘机的结构进行说明。
图1是简要表示本发明的一实施方式中的液压挖掘机1的结构的立体图。如图1所示,本实施方式的液压挖掘机1主要具有行驶体2、回转体3以及工作装置4。通过行驶体2和回转体3来构成液压挖掘机1的车辆主体。
行驶体2具有左右一对履带2a。通过驱动左右一对履带2a旋转,由此液压挖掘机1能够自行。
回转体3回转自如地设置于行驶体2。回转体3主要具有驾驶室5、发动机罩6以及平衡重7。
驾驶室5配置在回转体3的前方左侧(车辆前侧)。在驾驶室5的内部形成有运转室。运转室是供操作者对液压挖掘机1进行操作的空间。在运转室内配置有供操作者就座的驾驶员座8。在回转体3的上表面设置有天线9。
需要说明的是,在本实施方式中,以工作装置4为基准来对各部分的位置关系进行说明。
工作装置4的动臂4a相对于回转体3以动臂销为中心进行旋转移动。相对于回转体3转动的动臂4a的确定的部分、例如动臂4a的前端部进行移动的轨迹为圆弧状,包含该圆弧在内的平面是确定的。在俯视观察液压挖掘机1的情况下,该平面呈现为直线。该直线延伸的方向是车辆主体的前后方向或回转体3的前后方向,以下也简称作前后方向。车辆主体的左右方向(车宽方向)或回转体3的左右方向是指俯视观察下与前后方向正交的方向,以下也简称作左右方向。左右方向是指动臂销延伸的方向。车辆主体的上下方向或回转体3的上下方向是指与由前后方向及左右方向所确定的平面正交的方向,以下也简称作上下方向。
在前后方向上,工作装置4从车辆主体突出的一侧为前方,与前方相反的方向为后方。在看着前方的状态下,左右方向上的右侧、左侧分别为右方、左方。在上下方向上,地面所在的一侧为下侧,天空所在的一侧为上侧。
前后方向是指就座在驾驶室5内的驾驶员座8上的操作者的前后方向。左右方向是指就座在驾驶员座8上的操作者的左右方向。上下方向是指就座在驾驶员座8上的操作者的上下方向。就座在驾驶员座8上的操作者所正对的方向为前方,就座在驾驶员座8上的操作者的背后方向为后方。就座在驾驶员座8上的操作者面对正面时的右侧、左侧分别为右方、左方。就座在驾驶员座8上的操作者的脚下侧为下侧,头顶侧为上侧。
发动机罩6及平衡重7分别配置在回转体3的后方侧(车辆后侧)。发动机罩6以覆盖发动机室的至少上方的方式配置。在发动机室内收纳有发动机单元(发动机、废气处理单元等)。平衡重7为了在开采时等取得车辆主体的平衡,而配置在发动机室的后方。
工作装置4是用于进行砂土的挖掘等作业的装置。工作装置4安装在回转体3的前方侧。工作装置4例如具有动臂4a、斗杆4b、铲斗4c、液压缸4d、4e、4f等。动臂4a、斗杆4b及铲斗4c分别由液压缸4f、4e、4d驱动,由此能够驱动工作装置4。
动臂4a的基端部经由动臂销与回转体3连结。动臂4a设置成能够以动臂销为中心进行旋转。斗杆4b的基端部经由斗杆销与动臂4a的前端部连结。斗杆4b设置成能够以斗杆销为中心进行旋转。铲斗4c经由铲斗销与斗杆4b的前端部连结。铲斗4c设置成能够以铲斗销为中心进行旋转。
工作装置4相对于驾驶室5而言设置在右侧。需要说明的是,驾驶室5与工作装置4的配置并不局限于图1所示的示例,例如也可以在配置于回转体3的前方右侧的驾驶室5的左侧设置工作装置4。
在动臂4a安装有旋转编码器15。旋转编码器15将与斗杆4b相对于动臂4a的转动角度对应的脉冲信号输出。在车辆主体上也安装有旋转编码器。安装在车辆主体上的旋转编码器将与动臂4a相对于车辆主体的转动角度对应的脉冲信号输出。
驾驶室5包括以覆盖驾驶员座8的方式配置的顶部以及支承顶部的多个支柱。多个支柱具有前支柱40、后支柱46以及中间支柱44。前支柱40配置在相对于驾驶员座8而言为前方的、驾驶室5的角部。后支柱46配置在相对于驾驶员座8而言为后方的、驾驶室5的角部。中间支柱44配置在前支柱40与后支柱46之间。各支柱具有与驾驶室5的地板部连结的下端以及与驾驶室5的顶部连结的上端。
前支柱40具有右支柱41及左支柱42。右支柱41配置在驾驶室5的前方右角部。左支柱42配置在驾驶室5的前方左角部。工作装置4相对于驾驶室5而言配置在右方。右支柱41配置在接近工作装置4的一侧。左支柱42配置在远离工作装置4的一侧。
由右支柱41、左支柱42以及一对后支柱46围成的空间形成驾驶室5的室内空间。驾驶员座8收容在驾驶室5的室内空间。驾驶员座8配置在驾驶室5的地板部的大致中央部。在驾驶室5的左侧面设有用于供操作者进出驾驶室5的门。
在右支柱41与左支柱42之间配置有前窗47。前窗47相对于驾驶员座8而言配置在前方。前窗47由透明材料形成。就座在驾驶员座8上的操作者能够透过前窗47来视觉观察驾驶室5的外部。例如,就座在驾驶员座8上的操作者能够透过前窗47直接看到挖掘砂土的铲斗4c及施工对象的现况地形等。
图2是适用于图1所示的液压挖掘机1的液压回路图。发动机25搭载于回转体3的后方侧的发动机室内。如图2所示,在发动机25安装有PTO(Power Take Off的缩写)装置29。在PTO装置连结有多个液压泵31a、31b、32a、32b、33a、33b、34。
液压泵34向由操作杆13操作的先导压操作阀12供给先导压。其他的液压泵31a~33b向驱动工作装置4的各液压缸4d、4e、4f、驱动回转体3回转的回转电动机、以及设置于行驶体2的左右行驶电动机37a、37b等的各促动器供给压力油。
从液压泵31a、31b喷出的压力油分别经由右行驶电动机用切换阀14a、动臂用切换阀14b、铲斗用切换阀14c及斗杆用切换阀14d而向右行驶电动机37b、动臂缸4f、斗杆缸4e及铲斗缸4d供给。从先导压操作阀12向上述切换阀14a~14d的先导操作部供给分别与之对应的先导压。
在液压泵31a、31b及液压泵32a、32b的喷出管路上设有对各自的泵喷出压进行检测的压力传感器35a、35b。在液压泵33a、33b的喷出管路上设有对各自的泵喷出压进行检测的压力传感器36。
在将切换阀14a~14d与各促动器连接的管路上分别设有对各促动器的负载压进行检测的压力传感器16a、16b、17a、17b、18a、18b、19a、19b。关于回转电动机、左行驶电动机37a,也与上述同样地在其连接管路上设有对各负载压进行检测的压力传感器(未图示)。
这些压力传感器的检测信号被向控制器20输入。控制器20基于来自上述压力传感器的各促动器的负载压检测值,来求解各工作装置、行驶体2的行驶驱动部等的负载频率(每负载等级的发生频率,与负载量对应)。
从发动机控制器22向发动机25的燃料喷射泵26输入燃料喷射量指令。设置在发动机25的输出旋转轴上的发动机旋转数传感器27的检测信号被作为反馈信号向发动机控制器22输入。发动机控制器22基于该发动机旋转数的反馈信号,运算并输出燃料喷射量指令以使得用规定马力驱动发动机25,并且向控制器20输入发动机旋转数及输出的燃料喷射量指令值。
控制器20、发动机控制器22及监视器21经由双向的通信电缆23连接,而形成液压挖掘机1内的通信网络。监视器21、控制器20及发动机控制器22经由网络通信电缆23、23能够相互发送接收信息。监视器21、控制器20、发动机控制器22分别构成为将微型计算机等计算机装置作为主体。
在控制器20与外部的监视站76之间能够进行信息的发送接收。控制器20与监视站76经由卫星通信来进行通信。在控制器20连接有通信终端71。在通信终端71连接有搭载在图1所示的回转体3上的天线9。
通信地球站74与通信卫星73借助专用通信线路来进行通信。网络管制局75借助专用线路与通信地球站74连结。地上的监视站76经由互联网等与网络管制局75连接。由此,经由通信终端71、通信卫星73、通信地球站74及网络管制局75,而在控制器20与规定的监视站76之间发送接收数据。
由三维CAD(Computer Aided Design)制成的施工设计数据预先保存在控制器20中。监视器21配置在驾驶室5内。监视器21在画面上实时更新显示液压挖掘机1的现状位置及施工对象的现况地形,以便操作者能够总是确认液压挖掘机1的作业状态。
控制器20对施工设计数据、工作装置4的位置及姿势、以及现况地形实时进行比较。控制器20基于该比较结果来驱动液压回路,由此控制工作装置4。更具体而言,使应按照施工设计数据施工的位置与铲斗4c的位置对合,之后进行规定的挖掘或整地等施工。由此,能够基于施工设计数据来自动控制液压挖掘机1的工作装置4,因此能够提高施工效率及施工精度,从而容易进行高品质的建设施工。
图3是简要表示图1所示的液压挖掘机1的液压缸、位置传感器10及控制器20的关系的图。如图3所示,在液压缸(铲斗缸4d、斗杆缸4e、动臂缸4f)上分别安装有将液压缸的行程量作为旋转量来检测的位置传感器10。
位置传感器10与控制器20电连接。控制器20基于位置传感器10的检测信号来计测铲斗缸4d、斗杆缸4e、动臂缸4f的行程长。
液压缸具有缸体以及相对于缸体能够进行相对移动的活塞杆。位置传感器10具有按照活塞杆的直线运动来旋转的旋转辊。位置传感器10基于旋转辊的旋转速度及旋转数来计测活塞杆相对于缸体的变位量(行程长)。
图4是表示从后方仰视观察驾驶室5内的前方上缘部分的状态的立体图。右支柱41的上部与右顶梁48a相连。左支柱42的上部与左顶梁48b相连。右顶梁48a架设在右支柱41的上部与右侧的后支柱46的上部之间。左顶梁48b架设在左支柱42的上部与左侧的后支柱46的上部之间。在右顶梁48a与左顶梁48b之间安装有顶板49。顶板49构成驾驶室5的顶部。
沿着前窗47的上缘配置有基体部90。如之后详细叙述的那样,基体部90安装在前窗47的上框部分。基体部90在右支柱41与左支柱42之间沿着左右方向延伸。基体部90沿着顶板49的前缘配置。
在左支柱42的附近,在基体部90上安装有左壳体81。在右支柱41的附近,在基体部90上安装有右壳体82。左壳体81及右壳体82形成为中空。左壳体81及右壳体82以从基体部90向后方突出的方式配置。
沿着基体部90延伸的方向配置有电缆24。电缆24沿着前窗47的上缘向左右方向延伸,进而沿着右顶梁48a向前后方向延伸。电缆24与左壳体81的内部空间相连,且与右壳体82的内部空间相连。电缆24借助支承件98(图6)而由基体部90支承。
图5与图4同样是表示从后方仰视观察驾驶室5内的前方上缘部分的状态的立体图。在图5中,图示出了将图4所示的左壳体81及右壳体82从基体部90拆下后的状态。由于左壳体81及右壳体82被从基体部90拆下,因此在图5中图示出了收容在左壳体81内的第一摄像部51及第三摄像部61与收容在右壳体82内的第二摄像部52及第四摄像部62。
第一摄像部51和第二摄像部52能彼此同步地拍摄,而构成第一立体相机50。第一立体相机50包括第一摄像部51和第二摄像部52而构成。第一立体相机50是用于对比车辆主体靠前方的前方区域进行拍摄的摄像装置。第一立体相机50能够对例如工作装置4进行作业的作业区域进行拍摄。第一摄像部51配置得比第二摄像部52靠左右方向上的左侧。第二摄像部52配置得比第一摄像部51靠左右方向上的右侧。
第三摄像部61和第四摄像部62能彼此同步地拍摄,而构成第二立体相机60。第二立体相机60包括第三摄像部61和第四摄像部62而构成。第二立体相机60是用于对比车辆主体靠前方的前方区域进行拍摄的摄像装置。第二立体相机60能够对例如工作装置4进行作业的作业区域进行拍摄。第三摄像部61配置得比第四摄像部62靠左右方向上的左侧。第四摄像部62配置得比第三摄像部61靠左右方向上的右侧。
第一立体相机50和第二立体相机60在左右方向上排列配置。第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62在左右方向上排列配置。从左右方向上的左侧向右侧按顺序配置有第一摄像部51、第三摄像部61、第二摄像部52及第四摄像部62。第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62是相同的装置。
左右方向上的第三摄像部61与第二摄像部52的间隔比左右方向上的第一摄像部51与第三摄像部61的间隔宽。左右方向上的第三摄像部61与第二摄像部52的间隔比左右方向上的第二摄像部52与第四摄像部62的间隔宽。左右方向上的第一摄像部51与第二摄像部52的间隔等于左右方向上的第三摄像部61与第四摄像部62的间隔。
第一立体相机50和第二立体相机60在驾驶室5的内部沿着前窗47的上缘配置。第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62在驾驶室5的内部沿着前窗47的上缘配置。第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62面向前窗4配置。
第一立体相机50和第二立体相机60在沿着图5中所示的左右方向延伸的虚线上排列,在上下方向上位于相同位置。第一立体相机50的第一摄像部51和第二摄像部52配置在相同高度。第二立体相机60的第三摄像部61和第四摄像部62配置在相同高度。第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62在图5中所示的虚线上排列,在上下方向上位于相同位置。
第一摄像部51和第三摄像部61构成左摄像部组。第二摄像部52和第四摄像部62构成右摄像部组。左摄像部组收容在图4所示的左壳体81内。右摄像部组收容在图4所示的右壳体82内。左摄像部组与右摄像部组在左右方向上隔开间隔配置。
左摄像部组配置在左支柱42的附近。左右方向上的、驾驶室5的中心与左摄像部组的距离比左支柱42与左摄像部组的距离大。左摄像部组配置为与左右方向上的驾驶室5的中心相比靠近左支柱42。在将左右方向上的驾驶室5的中心与左支柱42之间的区域假想地在左右方向上分割成两个的情况下,在分割出的两个区域中的接近左支柱42的区域内配置左摄像部组。左摄像部组配置为靠近左支柱42。
右摄像部组配置在右支柱41的附近。左右方向上的、驾驶室5的中心与右摄像部组的距离比右支柱41与右摄像部组的距离大。右摄像部组配置为与左右方向上的驾驶室5的中心相比靠近右支柱41。在将左右方向上的驾驶室5的中心与右支柱41之间的区域假想地在左右方向上分割成两个的情况下,在分割出的两个区域中的接近右支柱41的区域内配置右摄像部组。右摄像部组配置为靠近右支柱41。
各摄像部具备光学处理部、受光处理部及图像处理部。光学处理部具有用于聚光的透镜。后述的摄像部的光轴是通过透镜面中央且与透镜面垂直的轴。受光处理部具有摄像元件。摄像元件例如为CMOS。摄像元件具有受光面。受光面是与上述的光轴正交的面。受光面形成为平坦的矩形形状,纵长地配置。摄像部以摄像元件的受光面的纵边(长条的边)沿着铅垂方向的方式配置。
图6是表示第一立体相机50及第二立体相机60的向基体部90的安装状况的立体图。一并参照图5,图6中的右侧相当于车辆主体的右方,图6中的左侧相当于车辆主体的左方。如图6所示,基体部90具有安装在前窗47的上框部分的安装角钢91。安装角钢91具有山形钢状的形状,具有彼此呈大致直角地折弯的两个边。
在安装角钢91的一边形成有沿着厚度方向贯通一边的多个贯通孔。通过将螺栓95贯通该各个贯通孔,并将螺栓95紧固到前窗47的上框部分,由此将安装角钢91安装于前窗47。
在安装角钢91的另一边固定有安装片92。安装片92具有矩形箱状的外形。安装片92的外表面中的一面与安装角钢91的一边接触,另一面与安装角钢91的另一边接触。在安装片92上形成有螺纹孔。
在安装角钢91的另一边还设有安装板93。基体部90包括安装角钢91、安装片92及安装板93而构成。安装板93具有细长的平板状的形状。安装板93与安装角钢91的延伸方向平行地延伸。安装板93与安装角钢91的另一边正交且沿着与安装角钢91的一边平行的方向延伸。安装角钢91与安装板93一体地具有类似于希腊文字的大写字母的π状的形状。
在安装板93上形成有沿着厚度方向贯通安装板93的多个贯通孔。通过将螺栓96分别贯通多个贯通孔的一部分,并将螺栓96紧固到在安装片92上形成的螺纹孔中,由此将安装板93经由安装片92固定于安装角钢91。安装板93的缘部也可以直接固定在安装角钢91的另一边上。
在安装板93上安装有托架101。通过将螺栓97分别贯通在托架101上形成的贯通孔和在安装板93上形成的贯通孔而紧固到在安装片92上形成的螺纹孔中,由此将托架101固定于安装板93。托架101经由安装板93和安装片92固定于安装角钢91。
托架101具有带角的C字状的形状。托架101也可以通过将细长的一片平板的两端部分弯曲来形成。托架101具有构成托架101的中央部分的固定部102、构成托架101的一端的突出部103以及构成托架101的另一端的突出部104。固定部102借助螺栓97固定于安装板93。突出部103及突出部104相对于固定部102弯曲,而向离开安装板93的一侧突出。
在突出部103安装有第一立体相机50的第一摄像部51。第一摄像部51安装在平板状的突出部103的表面中的朝向右方的表面上。在突出部104安装有第二立体相机60的第三摄像部61。第三摄像部61安装在平板状的突出部104的表面中的朝向右方的表面上。
在安装板93安装有托架111。通过将螺栓97分别贯通在托架111上形成的贯通孔及在安装板93上形成的贯通孔,并将螺栓97紧固到在安装片92上形成的螺纹孔中,由此将托架111固定于安装板93。托架111经由安装板93和安装片92固定于安装角钢91。
托架111具有带角的C字状的形状。托架111也可以通过将细长的一片平板的两端部分弯曲来形成。托架111具有构成托架111的中央部分的固定部112、构成托架111的一端的突出部113以及构成托架111的另一端的突出部114。固定部112借助螺栓97固定于安装板93。突出部113及突出部114相对于固定部112弯曲,而向离开安装板93的一侧突出。
在突出部113安装有第一立体相机50的第二摄像部52。第二摄像部52安装在平板状的突出部113的表面中的朝向右方的表面上。在突出部104安装有第二立体相机60的第四摄像部62。第四摄像部62安装在平板状的突出部114的表面中的朝向右方的表面上。
图7是表示前窗47的结构的概要的立体图。前窗47通过由上框部分47a、左框部分47b、右框部分47c及未图示的下框部分形成的矩形环状的框体包围强化玻璃等透明材料的周缘来形成。
如图7所示,在前窗47的上框部分47a设置有多个垫座47s。垫座47s的数量形成为与图6所示的形成在安装角钢91的一边上的贯通孔的数量相同。垫座47s的数量形成为与图6所示的螺栓95的数量相同。在垫座47s上形成有螺纹孔。通过将螺栓95分别贯通在安装角钢91的一边上形成的贯通孔,并将螺栓95紧固到垫座47s上,由此将安装角钢91安装于垫座47s。
通过安装角钢91向垫座47s的安装,由此基体部90的整体、安装于基体部90的托架101、111、安装于托架101的第一摄像部51及第三摄像部61、安装于托架111的第二摄像部52及第四摄像部62沿着前窗47的上缘配置。第一摄像部51和第二摄像部52构成第一立体相机50。第三摄像部61和第四摄像部62构成第二立体相机60。第一立体相机50和第二立体相机60如图5所示在驾驶室5内沿着前窗47的上缘配置。
图8是侧视观察下的第一立体相机50的示意图。图8中的左侧为车辆主体的前侧,图8中的右侧为车辆主体的后侧,图8中的上侧为车辆主体的上侧,图8中的下侧为车辆主体的下侧。图8中的左右方向为车辆主体的前后方向,图8中的上下方向为车辆主体的上下方向。在图8中,仅图示出构成第一立体相机50的摄像部中的第二摄像部52。图8中单点划线所示的光轴AX2表示第二摄像部52的光轴。
如图8所示,第二摄像部52面向前窗47配置。第二摄像部52以俯视驾驶室5的前方的角度配置。第二摄像部52的光轴AX2在驾驶室5的前方相对于水平方向形成向下的角度。光轴AX2在车辆主体的前方相对于水平方向形成俯角地倾斜。
在图8中,代表性地图示出构成第一立体相机50的摄像部中的第二摄像部52,在侧视观察下,第一摄像部51配置在与第二摄像部52相同的位置。在侧视观察下,第一摄像部51的光轴沿着与图8所示的第二摄像部52的光轴AX2相同的方向延伸。第一摄像部51的光轴在车辆主体的前方相对于水平方向形成俯角地倾斜。
图9是侧视观察下的第二立体相机60的示意图。在图9中取代图8所示的第二摄像部52而图示出第二立体相机60的第四摄像部62。在图9中仅图示出构成第二立体相机60的摄像部中的第四摄像部62。图9中单点划线所示的光轴AX4表示第四摄像部62的光轴。
如图9所示,第四摄像部62面向前窗47配置。第四摄像部62以稍稍俯视驾驶室5的前方的角度配置。第四摄像部62的光轴AX4在驾驶室5的前方相对于水平方向形成向下的角度。光轴AX4在车辆主体的前方相对于水平方向形成俯角地倾斜。
在图9中,代表性地图示出构成第二立体相机60的摄像部中的第四摄像部62,在侧视观察下,第三摄像部61配置在与第四摄像部62相同的位置。在侧视观察下,第三摄像部61的光轴沿着与图9所示的第四摄像部62的光轴AX4相同的方向延伸。第三摄像部61的光轴在车辆主体的前方相对于水平方向形成俯角地倾斜。
比较图8和图9,第一立体相机50的光轴(在图8、9所示的侧视观察下,与第一摄像部51的光轴及第二摄像部52的光轴AX2一致)与第二立体相机60的光轴(在图8、9所示的侧视观察下,与第三摄像部61的光轴及第四摄像部62的光轴AX4一致)相比,相对于水平方向以更大的角度倾斜。第一立体相机50的光轴的俯角比第二立体相机60的光轴的俯角大。
图10是表示第一立体相机50的摄像范围R1及第二立体相机60的摄像范围R2的示意图。如上所述,第一立体相机50和第二立体相机60配置在驾驶室5内的前方上部。第一立体相机50和第二立体相机60在上下方向上配置在相同位置。如图10所示,在侧视观察下,第一立体相机50和第二立体相机60相互重叠。第一摄像部51、第二摄像部5、第三摄像部61及第四摄像部62配置在侧视观察下相互重叠的位置。
图10中所示的光轴AX2表示参照图8所说明的第二摄像部52的光轴。光轴AX1为第一摄像部51的光轴,在图10所示的侧视观察下沿着与光轴AX2相同的方向延伸。图10中所示的光轴AX4表示参照图9所说明的第四摄像部62的光轴。光轴AX3为第三摄像部61的光轴,在图10所示的侧视观察下沿着与光轴AX4相同的方向延伸。
图10所示的液压挖掘机1利用工作装置4进行斜坡T1的作业。斜坡T1是在上方地面T4与下方地面T5之间相对于上下方向倾斜的地面。坡顶T2是斜坡T1的最上部的端部。坡底T3是斜坡T1的最下部的端部。坡顶T2形成斜坡T1与上方地面T4的交界。坡底T3形成斜坡T1与下方地面T5的交界。
图10中绘制有从右上向左下延伸的斜线所形成的阴影的范围表示搭载在位于水平面的液压挖掘机1上的第一立体相机50的垂直面中的视角内的范围。第一立体相机50对包含在其视角内的地形进行拍摄。图10中所示的摄像范围R1表示第一立体相机50拍摄的垂直面中的第一摄像范围。摄像范围R1包含下方地面T5的一部分、坡底T3以及斜坡T1的一部分。
图10中绘制有从左上向右下延伸的斜线所形成的阴影的范围表示搭载在位于水平面的液压挖掘机1上的第二立体相机60的垂直面中的视角内的范围。第二立体相机60对包含在其视角内的地形进行拍摄。图10中所示的摄像范围R2表示第二立体相机60拍摄的垂直面中的第二摄像范围。摄像范围R2包含斜坡T1的一部分。
第一立体相机50的光轴(在图10所示的侧视观察下,与第一摄像部51的光轴AX1及第二摄像部52的光轴AX2一致)的俯角比第二立体相机60的光轴(在图10所示的侧视观察下,与第三摄像部61的光轴AX3及第四摄像部62的光轴AX4一致)的俯角大。因此,第一立体相机50相对地对下方的摄像范围R1进行拍摄。第二立体相机60相对地对上方的摄像范围R2进行拍摄。第二立体相机60对比第一立体相机50拍摄的摄像范围R1靠上方的摄像范围R2进行拍摄。
摄像范围R1与摄像范围R2局部重叠。摄像范围R1的上缘部分与摄像范围R2的下缘部分相互重叠。第一立体相机50的视角与第二立体相机60的视角局部重叠。第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62的视角局部重叠。摄像范围R1的下缘与摄像范围R2的上缘形成大约90度的角(在图10中,为了容易观察附图而绘制成小于90度的角)。通过大约90度的垂直视角,能够对包括液压挖掘机1的工作装置4进行作业的作业区域在内的区域进行拍摄。
图11与图10同样是表示第一立体相机50的垂直面中的摄像范围R1及第二立体相机60的垂直面中的摄像范围R2的示意图。图11所示的液压挖掘机1进行与具有图10所示的斜坡T1的地形不同的地形即平面T6的作业。
第一立体相机50的光轴(在图11所示的侧视观察下,与第一摄像部51的光轴AX1及第二摄像部52的光轴AX2一致)的俯角比第二立体相机60的光轴(在图11所示的侧视观察下,与第三摄像部61的光轴AX3及第四摄像部62的光轴AX4一致)的俯角大。因此,第一立体相机50相对地对接近车辆主体的摄像范围R1进行拍摄。第二立体相机60相对地对远离车辆主体的摄像范围R2进行拍摄。第二立体相机60对比第一立体相机50拍摄的摄像范围R1更远的摄像范围R2进行拍摄。摄像范围R1与摄像范围R2局部重叠。利用摄像范围R2,能够对比工作装置4进行作业的作业区域更远离车辆主体的区域进行拍摄。
图12是俯视观察下的第一立体相机50及第二立体相机60的第一摄像部~第四摄像部的示意图。在图12中示意性地图示出俯视观察安装在驾驶室5内的基体部90、由基体部90支承的第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62、以及工作装置4的状态。图12中的右侧相当于车辆主体的右方,图12中的左侧相当于车辆主体的左方。图12中的上侧相当于车辆主体的前方,图12中的下侧相当于车辆主体的后方。
在图12中图示出上述的第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62的各光轴AX1、AX2、AX3、AX4。另外,在图12中以单点划线的方式图示出工作装置4的中心轴C。如图12所示,将沿着俯视观察下的工作装置4的延伸方向延伸且通过与该延伸方向正交的方向即宽度方向上的工作装置4的中心的线称作工作装置4的中心轴C。如上所述,由于本实施方式的工作装置4轴支承于回转体3的前方侧,因此工作装置4的中心轴C沿着车辆主体的前后方向延伸。
如图12所示,第一摄像部51的光轴AX1与第二摄像部52的光轴AX2在俯视观察下相对于工作装置4的中心轴C的延伸方向倾斜。光轴AX1、AX2在俯视观察下沿着随着从车辆主体向前方离开而接近工作装置4的方向延伸。俯视观察下的光轴AX1、AX2在车辆主体的前方与工作装置4的中心轴C交叉。
需要说明的是,俯视观察下的第一立体相机50的光轴被定义为如下的直线的延伸方向,该直线通过第一摄像部51的光轴AX1与第二摄像部52的光轴AX2的交点且将光轴AXI与光轴AX2所成的角二等分,而通过第一摄像部51与第二摄像部52的中间点。
第一摄像部51在车辆主体的左右方向上配置在比第二摄像部52远离工作装置4的位置。第一摄像部51的光轴AX1和第二摄像部52的光轴AX2在俯视观察下以彼此不同的角度相对于工作装置4的中心轴C的延伸方向倾斜。第一摄像部51的光轴AX1相对于工作装置4的中心轴C的延伸方向倾斜的角度比第二摄像部52的光轴AX2相对于工作装置4的中心轴C的延伸方向倾斜的角度大。
第一摄像部51和第二摄像部52以各光轴AX1、AX2不平行且各光轴AX1、AX2在车辆主体的前方交叉的方式配置。因此,第一摄像部51拍摄的摄像范围与第二摄像部52拍摄的摄像范围可靠地局部重合。由此,即使在将第一摄像部51与第二摄像部52在车辆主体的左右方向上隔开间隔地配置的情况下,也能够可靠地取得要利用第一立体相机50拍摄的对象物的一对图像,通过对这一对图像进行立体处理,由此能够构筑摄像对象物的三维图像。
如图12所示,第三摄像部61的光轴AX3和第四摄像部62的光轴AX4在俯视观察下相对于工作装置4的中心轴C的延伸方向倾斜。光轴AX3、AX4在俯视观察下沿着随着从车辆主体向前方离开而接近工作装置4的方向延伸。俯视观察下的光轴AX3、AX4在车辆主体的前方与工作装置4的中心轴C交叉。
需要说明的是,俯视观察下的第二立体相机60的光轴被定义为如下的直线的延伸方向,该直线通过第三摄像部61的光轴AX3与第四摄像部62的光轴AX4的交点且将光轴AX3与光轴AX4所成的角二等分,而通过第三摄像部61与第四摄像部62的中间点。
第三摄像部61在车辆主体的左右方向上配置在比第四摄像部62远离工作装置4的位置。第三摄像部61的光轴AX3及第四摄像部62的光轴AX4在俯视观察下以彼此不同的角度相对于工作装置4的中心轴C的延伸方向倾斜。第三摄像部61的光轴AX3相对于工作装置4的中心轴C的延伸方向倾斜的角度比第四摄像部62的光轴AX4相对于工作装置4的中心轴C的延伸方向倾斜的角度大。
第三摄像部61和第四摄像部62以各光轴AX3、AX4不平行且各光轴AX3、AX4在车辆主体的前方交叉的方式配置。因此,第三摄像部61拍摄的摄像范围与第四摄像部62拍摄的摄像范围可靠地局部重合。由此,即使在将第三摄像部61和第四摄像部62在车辆主体的左右方向上隔开间隔地配置的情况下,也能够可靠地取得要利用第二立体相机60拍摄的对象物的一对图像,通过对这一对图像进行立体处理,由此能够构筑摄像对象物的三维图像。
图13是表示使用了第一立体相机50及第二立体相机60的图像数据生成系统的构成的功能框图。如图13所示,第一立体相机50具有第一摄像部51和第二摄像部52。第二立体相机60具有第三摄像部61和第四摄像部62。
第一立体相机50与控制器20电连接。第一摄像部51和第二摄像部52对相对于车辆主体而言位于前方的前方区域(图10、11所示的摄像范围R1)同步地进行拍摄。第一摄像部51及第二摄像部52拍摄到的二维图像被向控制器20输入。控制器20将输入的有关两个二维图像的数据向外部的监视站76发送。
监视站76具有立体匹配部761。立体匹配部761构成图像数据生成系统的一部分。立体匹配部761对第一摄像部51和第二摄像部52从不同的角度同时拍摄到的二维图像进行立体匹配,并算出作为摄像对象的前方区域的有关三维形状的图像数据。更具体而言,立体匹配部761根据第一摄像部51与第二摄像部52的视差,使用三角测量的原理来算出从第一摄像部51到作为摄像对象的前方区域的距离以及从第二摄像部52到前方区域的距离,从而求出前方区域的三维形状。
第二立体相机60与控制器20电连接。第三摄像部61和第四摄像部62对相对于车辆主体而言位于前方的前方区域(图10、11所示的摄像范围R2)同步地进行拍摄。第三摄像部61及第四摄像部62拍摄到的二维图像被向控制器20输入。控制器20将输入的有关两个二维图像的数据向外部的监视站76发送。
监视站76具有立体匹配部762。立体匹配部762构成图像数据生成系统的一部分。立体匹配部762对第三摄像部61和第四摄像部62从不同的角度同时拍摄到的二维图像进行立体匹配,并算出作为摄像对象的前方区域的有关三维形状的图像数据。更具体而言,立体匹配部761根据第三摄像部61与第四摄像部62的视差,使用三角测量的原理来算出从第三摄像部61到作为摄像对象的前方区域的距离以及从第四摄像部62到前方区域的距离,从而求出前方区域的三维形状。
如参照图10、11所说明的那样,第二立体相机60对比第一立体相机50拍摄的摄像范围R1靠上方或远方的摄像范围R2进行拍摄。摄像范围R1的上缘部分与摄像范围R2的下缘部分彼此重叠。因此,由立体匹配部762求出的前方区域的三维形状表示相对于由立体匹配部761求出的前方区域的三维形状而言位于上方或远方的地形。由立体匹配部762求出的三维形状的下缘部分的形状与由立体匹配部761求出的三维形状的上缘部分的形状共通。
监视站76还具有上下立体图像数据合成部763。上下立体图像数据合成部763将由立体匹配部761算出的图像数据与由立体匹配部762算出的图像数据合成为一个。该图像数据的合成通过根据第一立体相机50与第二立体相机60的相对位置而在一方的图像数据的坐标系上投影另一方的图像数据来进行。通过将两个图像数据以共通的三维形状重叠的方式纵向排列而进行合成,由此能够获取从图10所示的斜坡T1的坡底T3至坡顶T2的宽范围内合成的图像数据。
图14是表示图像数据的合成的一例的图。图14中所示的获取图像I1表示第一立体相机50的第一摄像部51拍摄到的二维图像。获取图像I2表示第一立体相机50的第二摄像部52拍摄到的二维图像。获取图像I3表示第二立体相机60的第三摄像部61拍摄到的二维图像。获取图像I4表示第二立体相机60的第四摄像部62拍摄到的二维图像。
如在图14中示意性地示出且在后述的图16、17中更详细地示出那样,获取图像I1~I4具有纵长的形状。如上所述,通过将各摄像部的摄像元件的受光面纵长地配置,由此各摄像部拍摄到的获取图像I1~I4具有纵长的形状。各摄像部构成为能够拍摄纵长的图像。第一立体相机50和第二立体相机60构成为能够拍摄纵长的图像。
视差图像D1表示通过进行获取图像I1与获取图像I2的立体匹配处理而生成的图像。视差图像D2表示通过进行获取图像I3与获取图像I4的立体匹配处理而生成的图像。通过算出获取图像I1中的像素与获取图像I2中的像素的视差值,由此制成视差图像D1。通过算出获取图像I3中的像素与获取图像I4中的像素的视差值,由此制成视差图像D2。
地形数据T是将视差图像D1与视差图像D2合成而得到的、三维地表示车辆主体的前方的现况地形的图像数据。通过将视差图像D1与视差图像D2纵向排列而进行合成,由此能够制成从图10所示的斜坡T1的坡底T3至坡顶T2的宽范围内合成的地形数据T。地形数据T包含车辆主体的前方的现况地形的三维形状。
图15是表示拍摄的地形的一例的示意图。图15所示的地形与参照图10所说明的地形同样地具有斜坡T1。斜坡T1在上方地面T4与下方地面T5之间相对于上下方向倾斜。斜坡T1与上方地面T4的交界为坡顶T2,斜坡T1与下方地面T5的交界为坡底T3。
图16是表示基于各摄像部获得的摄像的示例。图16(a)表示第一摄像部51拍摄图15所示的地形所得的二维图像。图16(b)表示第三摄像部61拍摄图15所示的地形所得的二维图像。图16(c)表示第二摄像部52拍摄图15所示的地形所得的二维图像。图16(d)表示第四摄像部62拍摄图15所示的地形所得的二维图像。
如图16(a)及图16(c)所示,在构成第一立体相机50的第一摄像部51及第二摄像部52所拍摄到的摄像中包含坡顶T2和坡底T3这两方。在基于第一立体相机50获得的摄像中包含高度方向上的斜坡T1的整体。
如图16(b)及图16(d)所示,在构成第二立体相机60的第三摄像部61及第四摄像部62所拍摄到的摄像中包含坡顶T2,但不包含坡底T3。在基于第二立体相机60获得的摄像中包含高度方向上的斜坡T1的上端部分和比斜坡T1靠上方的地形。
如图16所示,基于第一立体相机50获得的摄像的上缘部分的形状与基于第二立体相机60获得的摄像的下缘部分的形状共通。第一立体相机50的摄像范围与第二立体相机60的摄像范围存在彼此重叠的区域。因此,通过将基于第一立体相机50获得的摄像与基于第二立体相机60获得的摄像以基于第一立体相机50获得的摄像位于下侧且基于第二立体相机60获得的摄像位于上侧的方式纵向排列而进行合成,由此能够生成从相对于斜坡T1而言位于下方的下方地面T5至相对于斜坡T1而言位于上方的上方地面T4的宽范围内合成的图像数据。
图17是表示基于各摄像部获得的摄像的示例的图。在图17中示出了拍摄与图16所示的摄像相同的地形所得的图像,但在基于第一立体相机50及第二立体相机60获得的摄像内包含工作装置4。在第一立体相机50及第二立体相机60的视角内存在工作装置4。由于斜坡T1的现况地形被工作装置4遮挡住了一部分,因此即便使用图17所示的摄像也无法准确地把握现况地形。以下,对能够更高精度地生成车辆主体的前方的前方区域的图像数据的图像数据生成方法进行说明。
图18是说明基于实施方式的图像数据生成方法的流程图。首先,如图17所示,将位于立体相机的视角内的工作装置4向视角外移动(步骤S1)。图19是表示工作装置4向立体相机的视角外的移动的示意图。图19(a)示出工作装置4进行作业的液压挖掘机1,图19(b)示出工作装置4向立体相机的视角外移动了的状态的液压挖掘机1。
图2、3所示的控制器20基于位置传感器10的检测信号来计测铲斗缸4d、斗杆缸4e、动臂缸4f的行程长。控制器20基于各液压缸的行程长来计测工作装置4的当前位置。控制器20基于工作装置4的当前位置与第一立体相机50及第二立体相机60的视角的设定值来判断工作装置4是否位于第一立体相机50及第二立体相机60的视角内。
若判断为工作装置4位于立体相机的视角内,则控制器20使工作装置4向立体相机的视角外移动。具体而言,控制器20向图2所示的动臂用切换阀14b及斗杆用切换阀14d发送操作信号,使动臂4a上升,并且使斗杆4b上升。控制器20从图3所示的位置传感器10接收表示斗杆缸4e到达了收缩侧的行程末端这一情况的检测信号、以及表示动臂缸4f到达了收缩侧的行程末端这一情况的检测信号。接收到了这些检测信号的控制器20认识到工作装置4移动到了图19(b)所示的位置,判断工作装置4移动到了立体相机的视角外。
接着,进行拍摄(步骤S2)。构成第一立体相机50的第一摄像部51及第二摄像部52、以及构成第二立体相机60的第三摄像部61及第四摄像部62全部同步地对车辆主体的前方的前方区域进行拍摄。由于在之前的步骤S1中工作装置4移动到立体相机的视角外,因此,如图16所示,在摄像中不存在工作装置4。摄像装置在使工作装置4移动到了视角外的状态下进行前方区域的拍摄。
接着,进行立体匹配(步骤S3)。对图16(a)所示的第一摄像部51的摄像(相当于图14中的获取图像I1)与图16(c)所示的第二摄像部52的摄像(相当于图14中的获取图像I2)进行立体匹配处理,生成图14所示的视差图像D1的图像数据。另外,对图16(b)所示的第三摄像部61的摄像(相当于图14中的获取图像I3)与图16(d)所示的第四摄像部62的摄像(相当于图14中的获取图像I4)进行立体匹配处理,生成图14所示的视差图像D2的图像数据。
接着,进行上下的立体图像数据的合成(步骤S4)。将在步骤S3中获得的视差图像D1的图像数据与视差图像D2的图像数据以视差图像D1位于下侧、视差图像D2位于上侧且共通的形状重叠的方式纵向排列而进行合成。此时,视差图像D1的图像数据与视差图像D2的图像数据在各图像数据的长度方向上合成。由此,制成图14所示的地形数据T。
接着,显示图像数据(步骤S5)。控制器20将在步骤S4中制成的现况地形的地形数据T显示于图2所示的监视器21。在监视器21显示作业对象的施工设计数据和表示现况地形的地形数据T。操作者通过在驾驶室5内确认监视器21的显示,由此能够确认当前时刻的作业状态。
接着,使工作装置4向进行作业的作业区域移动(步骤S6)。使在摄像中如图19(b)所示那样移动到立体相机的视角外的工作装置4返回到车辆主体的前方的、立体相机的视角内。由此,进行工作装置4的接下来的作业的准备。这样,完成与图像数据生成相关的一系列处理(结束)。
在上述实施方式中,通过斗杆缸4e和动臂缸4f到达了收缩侧的行程末端来判定工作装置4移动到了立体相机的视角外。作为其他实施方式,也可以通过动臂缸4f到达收缩侧的行程末端且斗杆缸4e和铲斗缸4d到达伸出侧的行程末端来判定工作装置4向视角外的移动。
图20是表示各摄像部相对于基体部90的配置的示意图。在图20中示意性地图示出参照图4、图5及图6说明的基体部90、构成第一立体相机50的第一摄像部51及第二摄像部52、构成第二立体相机60的第三摄像部61及第四摄像部62、左壳体81以及右壳体82。
如图20所示,第二摄像部52配置于比第一摄像部51靠右侧的位置。第四摄像部62配置于比第三摄像部61靠右侧的位置。第一摄像部51和第三摄像部61构成左摄像部组。左摄像部组收容在左壳体81内。第二摄像部52和第四摄像部62构成右摄像部组。右摄像部组收容在右壳体82内。左摄像部组和右摄像部组在左右方向上隔开间隔地配置。
在左右方向上,从左侧向右侧按顺序配置有第一摄像部51、第三摄像部61、第二摄像部52及第四摄像部62。左右方向上的第三摄像部61与第二摄像部52的间隔比第一摄像部51与第三摄像部61的间隔宽。左右方向上的第三摄像部61与第二摄像部52的间隔比第二摄像部52与第四摄像部62的间隔宽。
图21与图20同样是表示各摄像部相对于基体部90的配置的示意图。与图20同样,第一摄像部51和第三摄像部61构成左摄像部组,收容在左壳体81内。第二摄像部52和第四摄像部62构成右摄像部组,收容在右壳体82内。图21所示的变形例在调换了左右方向上的第二摄像部52和第四摄像部62的配置这一点上与图20所示的示例不同。在图21所示的变形例中,在左右方向上,从左侧向右侧按顺序配置有第一摄像部51、第三摄像部61、第四摄像部62及第二摄像部52。
在图21所示的变形例中,左摄像部组与右摄像部组也在左右方向上隔开间隔地配置。左摄像部组中的右侧的第三摄像部61与右摄像部中的左侧的第四摄像部62在左右方向上隔开间隔地配置。左右方向上的第三摄像部61与第四摄像部62的间隔比构成左摄像部组的第一摄像部51与第三摄像部61的间隔宽,并且比构成右摄像部组的第二摄像部52与第四摄像部62的间隔宽。
图22是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。图在22中示意性地图示出参照图1说明的回转体3、工作装置4、驾驶室5及平衡重7。在图22中还示意性地图示出第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62。
第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62也如图5所示那样配置于驾驶室5内。
第一摄像部51及第二摄像部52的各光轴在俯视观察下向与参照图12说明的工作装置4的中心轴C交叉的方向倾斜。第一摄像部51及第二摄像部52的各光轴在俯视观察下以彼此不同的角度相对于工作装置4的中心轴C倾斜。第一摄像部51在左右方向上配置在比第二摄像部52远离工作装置4的位置。第一摄像部51相对于工作装置4的中心轴C倾斜的角度比第二摄像部52相对于工作装置4的中心轴C倾斜的角度大。
第三摄像部61及第四摄像部62的各光轴在俯视观察下向与工作装置4的中心轴C交叉的方向倾斜。第三摄像部61及第四摄像部62的各光轴在俯视观察下以彼此不同的角度相对于工作装置4的中心轴C倾斜。第三摄像部61在左右方向上配置在比第四摄像部62远离工作装置4的位置。第三摄像部61相对于工作装置4的中心轴C倾斜的角度比第四摄像部62相对于工作装置4的中心轴C倾斜的角度大。
图23与图22同样是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。在以上说明的实施方式中,液压挖掘机1具有第一立体相机50和第二立体相机60,但并不局限于该构成。如图23所示,液压挖掘机1也可以仅具有第一立体相机50。
如图23所示,第一立体相机50具有第一摄像部51和第二摄像部52。第一摄像部51和第二摄像部52在左右方向上隔开间隔地配置。第一摄像部51配置为与左右方向上的驾驶室5的中心相比靠近图4、5所示的左支柱42。第二摄像部52配置为与左右方向上的驾驶室5的中心相比靠近图4、5所示的右支柱41。
需要说明的是,在以上说明的实施方式中,对构成立体相机50的各摄像部配置在驾驶室5的内部的示例进行了说明。各摄像部也可以在维持图20或图21所示的俯视观察下的配置的状态下搭载在驾驶室5的顶板49(图4、5)上。
图24与图23同样是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。在以上说明的实施方式中,液压挖掘机1具有驾驶室5,构成立体相机的各摄像部安装于驾驶室5。液压挖掘机1也不一定非要具有驾驶室5。液压挖掘机1并不局限于操作者搭乘于液压挖掘机1来操作液压挖掘机1的形式,也可以是根据来自外部的远程操作来动作的形式。这种情况下,液压挖掘机1由于不需要供操作者搭乘的驾驶室5,因此可以不具有驾驶室5。
需要说明的是,不具有驾驶室5的液压挖掘机1的左右方向及前后方向与以上说明的具有驾驶室5的液压挖掘机1中定义的左右方向及前后方向指向相同方向。前后方向是指在俯视观察下工作装置4进行动作的面的延伸方向。前后方向是指在俯视观察下相对于回转体3以动臂销为中心进行旋转移动的工作装置4的动臂4a所通过的面。左右方向是指在俯视观察下与前后方向正交的方向。
在图24所示的不具有驾驶室5的情况下,第一摄像部51与第二摄像部52的俯视观察下的配置也设为与图23同样的配置。第一摄像部51的光轴AX1和第二摄像部52的光轴AX2与图23同样地相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置的一侧倾斜。第一摄像部51的光轴AX1和第二摄像部52的光轴AX2以彼此不同的角度相对于工作装置4的中心轴C倾斜。第一摄像部51相对于工作装置4的中心轴C倾斜的角度比第二摄像部52相对于工作装置4的中心轴C倾斜的角度大。
图25与图24同样是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。在以上说明的实施方式中,相对于工作装置4而言在左侧配置有第一摄像部51及第二摄像部52。第一摄像部51和第二摄像部52也可以相对于工作装置4而言配置在右侧。
即使在图25所示的立体相机相对于工作装置4而言配置在右侧的情况下,第一摄像部51的光轴AX1和第二摄像部52的光轴AX2也相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置的一侧倾斜。第一摄像部51的光轴AX1和第二摄像部52的光轴AX2以彼此不同的角度相对于工作装置4的中心轴C倾斜。第一摄像部51相对于工作装置4的中心轴C倾斜的角度比第二摄像部52相对于工作装置4的中心轴C倾斜的角度大。
图26与图24、25同样是表示各摄像部相对于车辆主体的俯视观察下的配置的示意图。在以上说明的实施方式中,相对于工作装置4而言在左侧和右侧中的任一方配置有第一摄像部51和第二摄像部52这两方。第一摄像部51和第二摄像部52也可以分开而配置在工作装置4的左侧和工作装置4的右侧。
即使在图26所示的第一摄像部51配置在工作装置4的左侧且第二摄像部52配置在工作装置4的右侧的情况下,第一摄像部51的光轴AX1和第二摄像部52的光轴AX2也相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置的一侧倾斜。
接着,对本实施方式的作用效果进行说明。
如图1所示,作为本实施方式的作业车辆的一例的液压挖掘机1具备:由行驶体2及回转体3构成的车辆主体;以及安装于回转体3的工作装置4。如图12所示,工作装置4在俯视观察下具有中心轴C。如图5所示,液压挖掘机1还具备第一立体相机50。第一立体相机50安装于回转体3。如图5所示,第一立体相机50具有第一摄像部51及第二摄像部52。
如图12所示,第一摄像部51的光轴AX1和第二摄像部52的光轴AX2在俯视观察下相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置4的一侧倾斜。第一摄像部51的光轴AX1和第二摄像部52的光轴AX2以彼此不同的角度相对于工作装置4的中心轴C倾斜。第一摄像部51的光轴AX1和第二摄像部52的光轴AX2相对于工作装置4的中心轴C向在车辆主体的前方与工作装置4的中心轴C交叉的方向倾斜。
为了提高由立体相机拍摄的摄像数据的精度,基于三角测量的原理而期望扩大构成立体相机的两个摄像部的间隔。在本实施方式中,第一摄像部51和第二摄像部52在车辆主体的左右方向上隔开间隔地配置,因此第一立体相机50的摄像数据的精度得以提高。而且,在本实施方式中,第一摄像部51和第二摄像部52以彼此不同的角度相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置4的一侧倾斜。由此,即使在扩大了第一摄像部51与第二摄像部52的间隔的情况下,也能够由第一摄像部51和第二摄像部52同时对同一对象物进行拍摄。因而,能够精度良好地拍摄作业对象的现况地形,能够提高建筑工程中的施工工序的生产率。
另外,如图12所示,第一摄像部51在车辆主体的左右方向上配置在比第二摄像部52远离工作装置4的位置。第一摄像部51的光轴AX1相对于工作装置4的中心轴C倾斜的角度比第二摄像部52的光轴AX2相对于工作装置4的中心轴C倾斜的角度大。由此,第一摄像部51和第二摄像部52能够同时对工作装置4的前方的区域进行拍摄。因而,能够精度良好地拍摄液压挖掘机1的工作装置4的作业对象的现况地形等作业对象的现况地形。
另外,如图16、17所示,第一立体相机50构成为能够拍摄纵长的图像。
第一摄像部51的摄像元件及第二摄像部52的摄像元件具有矩形形状的受光面。受光面具有长度相对大的长边和长度相对小的短边,且配置成长边沿着铅垂方向。这样,能够实现可拍摄纵长的图像的第一立体相机50。
通过将第一立体相机50构成为能够拍摄纵长的图像,由此能够使用第一立体相机50同时拍摄上下方向或前后方向上的更宽的范围。因而,能够精度良好地拍摄作业对象的宽范围内的现况地形。
另外,如图5所示,液压挖掘机1还具备第二立体相机60。第二立体相机60安装于回转体3。如图5所示,第二立体相机60具有第三摄像部61及第四摄像部62。
如图12所示,第三摄像部61的光轴AX3和第四摄像部62的光轴AX4在俯视观察下相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置4的一侧倾斜。第三摄像部61的光轴AX3和第四摄像部62的光轴AX4以彼此不同的角度相对于工作装置4的中心轴C倾斜。第三摄像部61的光轴AX3和第四摄像部62的光轴AX4相对于工作装置4的中心轴C向在车辆主体的前方与工作装置4的中心轴C交叉的方向倾斜。
在本实施方式中,第三摄像部61和第四摄像部62在车辆主体的左右方向上隔开间隔地配置,因此第二立体相机60的摄像数据的精度得以提高。而且,在本实施方式中,第三摄像部61和第四摄像部62以彼此不同的角度相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置4的一侧倾斜。由此,即使在扩大了第三摄像部61与第四摄像部62的间隔的情况下,也能够利用第三摄像部61和第四摄像部62同时拍摄同一对象物。因而,能够精度良好地拍摄作业对象的现况地形,能够提高建筑工程中的施工工序的生产率。
另外,如图10、11所示,第一立体相机50对摄像范围R1进行拍摄。第二立体相机60对摄像范围R2进行拍摄。如图10所示,第二立体相机60的摄像范围R2与第一立体相机50的摄像范围R1相比位于上方。或者,如图11所示,第二立体相机60的摄像范围R2与第一立体相机50的摄像范围R1相比位于远方。
通过将两台立体相机的摄像范围R1、R2设定为摄像范围R2位于比摄像范围R1靠上方或远方,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的更宽的范围。因而,能够精度良好地拍摄作业对象的宽范围内的现况地形。
另外,如图9~11所示,第二立体相机60的第三摄像部61的光轴AX3和第四摄像部62的光轴AX4在车辆主体的前方相对于水平方向形成向下的角度。对比第一立体相机50的摄像范围R1靠上方或远方的摄像范围R2进行拍摄的第二立体相机60以光轴AX3、AX4形成俯角的方式配置。
由于建筑工程中的作业对象为地面,因此,若以第三摄像部61的光轴AX3和第四摄像部62的光轴AX4形成俯角的方式配设第二立体相机60,则作业对象的地形能够被可靠地包含在第二立体相机60的摄像范围R2中。因而,能够使用两台立体相机精度良好地拍摄作业对象的上下方向或前后方向上的更宽范围内的现况地形。
另外,如图16、17所示,第二立体相机60构成为能够拍摄纵长的图像。
第三摄像部61的摄像元件及第四摄像部62的摄像元件具有矩形形状的受光面。受光面具有长度相对大的长边和长度相对小的短边,且配置成长边沿着铅垂方向。这样,能够实现可拍摄纵长的图像的第二立体相机60。
通过将第二立体相机60构成为能够拍摄纵长的图像,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的更宽的范围。因而,能够精度良好地拍摄作业对象的宽范围内的现况地形。
另外,如图5、10、11所示,第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62在上下方向上配置在相同的位置处。
在第一立体相机50和第二立体相机60配置于驾驶室5内的情况下,若将第一立体相机50和第二立体相机60沿着上下方向排列配置,则搭乘在驾驶室5内的操作者的视野可能会被立体相机遮挡。通过将第一立体相机50和第二立体相机60的各摄像部在上下方向上配置在相同的位置处并将各摄像部在驾驶室5内沿着左右方向排列配置,由此能够确保操作者的视野广阔,从而能够提高操作者进行作业的效率。
另外,如图1所示,液压挖掘机1还具备驾驶室5。驾驶室5配置在回转体3上。第一摄像部51和第二摄像部52配置在驾驶室5内。第三摄像部61和第四摄像部62配置在驾驶室5内。通过将各摄像部配置在驾驶室5内,由此能够拍摄从更接近在驾驶室5内搭乘的操作者的视点的位置观察到的作业对象的现况地形,因此能够精度良好地拍摄作业对象的现况地形。此外,能够保护摄像部以避免液压挖掘机1作业时产生的振动、飞起物的影响或者避免与工作装置4发生干涉等。
如图1所示,作为本实施方式的作业车辆的一例的液压挖掘机1具有由行驶体2及回转体3构成的车辆主体。在液压挖掘机1设有摄像装置。如图5所示,摄像装置具备第一立体相机50和第二立体相机60。第一立体相机50和第二立体相机60安装于回转体3。
如图10、11所示,第一立体相机50对摄像范围R1进行拍摄。第二立体相机60对摄像范围R2进行拍摄。如图10所示,第二立体相机60的摄像范围R2与第一立体相机50的摄像范围R1相比位于上方。或者,如图11所示,第二立体相机60的摄像范围R2与第一立体相机50的摄像范围R1相比位于远方。
通过将两台立体相机的摄像范围R1、R2设定为摄像范围R2与摄像范围R1相比位于上方或远方,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的的更宽的范围。因而,在作业对象包含斜坡T1的情况下,能够精度良好地拍摄上下方向上的宽范围内的现况地形。或者,在作业对象为平坦的地面的情况下,能够精度良好地拍摄前后方向上的宽范围内的现况地形。
通过两台立体相机的全部摄像部同步且同时刻地对摄像范围R1、R2进行拍摄,由此能够在宽区域内获得精度高的现况地形的数据。
另外,如图10、11及图16所示,第一立体相机50的摄像范围R1与第二立体相机60的摄像范围R2局部重叠。通过以摄像范围R1的上缘部分与摄像范围R2的下缘部分重复的方式配设两台立体相机,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的更宽的范围。
另外,如图1所示,液压挖掘机1还具有安装于回转体3的工作装置4。如图12所示,工作装置4在俯视观察下具有中心轴C。根据图12所示的第一摄像部51的光轴AX1和第二摄像部52的光轴AX2来定义俯视观察下的第一立体相机50的光轴。根据图12所示的第三摄像部61的光轴AX3和第四摄像部62的光轴AX4来定义俯视观察下的第二立体相机60的光轴。
第一立体相机50的光轴和第二立体相机60的光轴在俯视观察下相对于工作装置4的中心轴C向随着离开车辆主体而接近工作装置4的一侧倾斜。第一立体相机50的光轴和第二立体相机60的光轴以彼此不同的角度相对于工作装置4的中心轴C倾斜。第一立体相机50的光轴和第二立体相机60的光轴相对于工作装置4的中心轴C向在车辆主体的前方与工作装置4的中心轴C交叉的方向倾斜。
由此,能够利用第一立体相机50和第二立体相机60同时拍摄同一对象物。因而,能够精度良好地拍摄作业对象的现况地形,能够提高建筑工程中的施工工序的生产率。
另外,如图8、9所示,第一立体相机50的光轴和第二立体相机60的光轴在车辆主体的前方相对于水平方向形成向下的角度。第一立体相机50和第二立体相机60以光轴形成俯角的方式配置。
由于建筑工程中的作业对象为地面,因此若将第一立体相机50和第二立体相机60以各光轴形成俯角的方式配设,则作业对象的地形能够被可靠地包含在第一立体相机50的摄像范围R1及第二立体相机60的摄像范围R2中。因而,能够使用两台立体相机精度良好地拍摄作业对象的更宽范围内的现况地形。
另外,如图5所示,第一立体相机50和第二立体相机60沿着车辆主体的左右方向排列配置。
在第一立体相机50和第二立体相机60配置于驾驶室5内的情况下,若将第一立体相机50和第二立体相机60沿着上下方向排列配置,则搭乘于驾驶室5的操作者的视野可能会被立体相机遮挡。通过将第一立体相机50和第二立体相机60在驾驶室5内沿着左右方向排列配置,由此能够确保操作者的视野广阔,因此能够提高操作者进行作业的效率。
另外,如图5所示,第一立体相机50和第二立体相机60在上下方向上配置在相同的位置处。通过将第一立体相机50和第二立体相机60在上下方向上配置在相同的位置处,由此能够确保操作者的视野广阔,因此能够提高操作者进行作业的效率。
另外,如图5所示,第一立体相机50具有第一摄像部51和第二摄像部52。第二摄像部52配置于比第一摄像部51靠车辆主体的左右方向上的右侧的位置。第二立体相机60具有第三摄像部61和第四摄像部62。第四摄像部62配置于比第三摄像部61靠车辆主体的左右方向上的右侧的位置。第一摄像部51和第三摄像部61构成左摄像部组。第二摄像部52和第四摄像部62构成右摄像部组。如图5所示,左摄像部组和右摄像部组在车辆主体的左右方向上隔开间隔地配置。
为了提高由立体相机拍摄的摄像数据的精度,基于三角测量的原理而期望扩大构成立体相机的两个摄像部的间隔。在本实施方式中,左摄像部组和右摄像部组在车辆主体的左右方向上隔开间隔地配置。因此,能够提高第一立体相机50及第二立体相机60的摄像数据的精度。
另外,如图16、17所示,第一立体相机50和第二立体相机60构成为能够拍摄纵长的图像。
第一摄像部51的摄像元件及第二摄像部52的摄像元件具有矩形形状的受光面。受光面具有长度相对大的长边和长度相对小的短边,且配置成长边沿着铅垂方向。这样,能够实现可拍摄纵长的图像的第一立体相机50。
第三摄像部61的摄像元件及第四摄像部62的摄像元件具有矩形形状的受光面。受光面具有长度相对大的长边和长度相对小的短边,且配置成长边沿着铅垂方向。这样,能够实现可拍摄纵长的图像的第二立体相机60。
通过将第一立体相机50和第二立体相机60构成为能够拍摄纵长的图像,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的更宽范围。因而,能够精度良好地拍摄作业对象的宽范围内的现况地形。
另外,如图1所示,车辆主体具有驾驶室5。如图5所示,摄像装置安装于驾驶室5。通过将摄像装置安装于驾驶室5,由此能够拍摄从更接近在驾驶室5内搭乘的操作者的视点的位置观察到的作业对象的现况地形,因此能够精度良好地拍摄作业对象的现况地形。
如图1所示,作为本实施方式的作业车辆的一例的液压挖掘机1具有由行驶体2及回转体3构成的车辆主体。在液压挖掘机1设有摄像装置。如图5所示,摄像装置具备第一立体相机50和第二立体相机60。第一立体相机50和第二立体相机60安装于回转体3。
如图5所示,第一立体相机50具有第一摄像部51及第二摄像部52。第二摄像部52配置于比第一摄像部51靠车辆主体的左右方向上的右侧的位置。第二立体相机60具有第三摄像部61及第四摄像部62。第四摄像部62配置于比第三摄像部61靠车辆主体的左右方向上的右侧的位置。第一摄像部51和第三摄像部61构成左摄像部组。第二摄像部52和第四摄像部62构成右摄像部组。如图5所示,左摄像部组和右摄像部组在车辆主体的左右方向上隔开间隔地配置。
为了提高由立体相机拍摄的摄像数据的精度,基于三角测量的原理而期望扩大构成立体相机的两个摄像部的间隔。在本实施方式中,左摄像部组和右摄像部组在车辆主体的左右方向上隔开间隔地配置。因此,第一立体相机50及第二立体相机60的摄像数据的精度得以提高。因而,能够精度良好地拍摄作业对象的现况地形。
另外,如图5所示,从车辆主体的左右方向上的左侧向右侧按顺序配置有第一摄像部51、第三摄像部61、第二摄像部52及第四摄像部62。这样,能够进一步减小第一摄像部51与第二摄像部52的左右方向上的间隔和第三摄像部61与第四摄像部62的左右方向上的间隔之差。典型地,能够使第一摄像部51与第二摄像部52的左右方向上的间隔等于第三摄像部61与第四摄像部62的左右方向上的间隔。由此,能够使第一立体相机50的摄像数据的精度与第二立体相机60的摄像数据的精度成为相同的精度。
另外,如图5所示,车辆主体的左右方向上的第三摄像部61与第二摄像部52的间隔比左右方向上的第一摄像部51与第三摄像部61的间隔宽,且比左右方向上的第二摄像部52与第四摄像部62的间隔宽。
这样,能够将第一摄像部51和第二摄像部52在车辆主体的左右方向上可靠地隔开较宽的间隔而配置,且能够将第三摄像部61和第四摄像部62在车辆主体的左右方向上可靠地隔开较宽的间隔而配置。因此,第一立体相机50及第二立体相机60的摄像数据的精度得以提高。因而,能够精度良好地拍摄作业对象的现况地形。
另外,如图1所示,液压挖掘机1还具有驾驶室5。驾驶室5具有一对前支柱40。前支柱40具有右支柱41和左支柱42。如图5所示,左摄像部组配置为与车辆主体的左右方向上的驾驶室5的中心相比靠近左支柱42。右摄像部组配置为与车辆主体的左右方向上的驾驶室5的中心相比靠近右支柱41。
这样,能够将左摄像部组和右摄像部组在车辆主体的左右方向上可靠地隔开较宽的间隔而配置。因此,第一立体相机50及第二立体相机60的摄像数据的精度得以提高。因而,能够精度良好地拍摄作业对象的现况地形。另外,由于操作者就座的驾驶员座8配置在驾驶室5内的大致中央部,因此通过将各摄像部配置为靠近前支柱40,由此能够抑制摄像部妨碍操作者的视野,能够确保操作者的视野广阔。
另外,如图1所示,驾驶室5具有前窗47。如图5所示,第一立体相机50和第二立体相机60在驾驶室5内沿着前窗47的上缘配置。
通过将第一立体相机50和第二立体相机60配置在驾驶室5内,由此能够拍摄从更接近在驾驶室5内搭乘的操作者的视点的位置观察到的作业对象的现况地形,因此能够精度良好地拍摄作业对象的现况地形。此外,能够保护第一立体相机50及第二立体相机60以避免液压挖掘机1作业时产生的振动、飞起物的影响或者避免与工作装置4发生干涉等。
在第一立体相机50和第二立体相机60配置在驾驶室5内的情况下,需要成为搭乘于驾驶室5的操作者的视野不会被立体相机遮挡这样的配置。通过将第一立体相机50和第二立体相机60的各摄像部沿着前窗47的上缘在左右方向上排列配置,由此能够确保操作者的视野广阔,因此能够提高操作者进行作业的效率。
另外,图5所示的前窗47构成为不能移动。在将立体相机沿着前窗47的上缘配置的情况下,若开闭前窗47,则驾驶室5内的结构物会与立体相机发生干涉,而可能导致立体相机的各摄像部与驾驶室5内的结构物发生碰撞。通过将前窗47构成为不能移动,由此能够避免立体相机的各摄像部与驾驶室5内的结构物发生碰撞的情况,因此能够防止摄像部的意外的位移,且能够保护摄像部。
需要说明的是,前窗47不能移动是包括下述两种情况的概念,即,前窗47完全固定于驾驶室5的情况;以及前窗47虽然相对于驾驶室5为可动式但用于使前窗47移动的结构不发挥功能而结果导致前窗47无法移动的情况。
本实施方式的图像数据生成方法是以液压挖掘机1为代表的作业车辆所用的数据生成方法。如图1所示,液压挖掘机1具有工作装置4。液压挖掘机1还具有摄像装置。摄像装置对工作装置4进行作业的作业区域进行拍摄。如图18所示,图像数据生成方法包括:向摄像装置的视角外移动工作装置4的步骤(步骤S1);在使工作装置4移动到摄像装置的视角外的状态下利用摄像装置对作业区域进行拍摄的步骤(步骤S2);以及生成拍摄到的作业区域的图像数据的步骤(步骤S3)。
若在摄像装置的视角内存在有工作装置4,则作业区域的现况地形的一部分被工作装置4遮挡,因此难以准确地把握现况地形。通过像本实施方式那样包括在摄像前将工作装置4向摄像装置的视角外移动的步骤(步骤S1),由此在进行摄像时在摄像装置的视角内不存在工作装置4。由此,在摄像装置拍摄到的摄像中不包含工作装置4,因此能够实现作业区域的现况地形的高精度的摄像。因而,能够更精度地生成作业区域的图像数据。
另外,如图5所示,摄像装置具有第一立体相机50。第一立体相机50包括第一摄像部51和第二摄像部52。通过构成为这样的结构,由此能够使用第一摄像部51和第二摄像部52来精度良好地拍摄作业区域。
另外,如图5所示,摄像装置具有第二立体相机60。第二立体相机60包括第三摄像部61和第四摄像部62。如图10、11所示,第一立体相机50对摄像范围R1进行拍摄。第二立体相机60对摄像范围R2进行拍摄。如图10所示,第二立体相机60的摄像范围R2与第一立体相机50的摄像范围R1相比位于上方。或者,如图11所示,第二立体相机60的摄像范围R2与第一立体相机50的摄像范围R1相比位于远方。
通过将两台立体相机的摄像范围R1、R2设定为摄像范围R2与摄像范围R1相比位于上方或远方,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的更宽范围。因而,在作业对象包含斜坡T1的情况下,能够精度良好地拍摄上下方向上的宽范围内的现况地形。或者,在作业对象为平坦的地面的情况下,能够精度良好地拍摄前后方向上的宽范围内的现况地形。
另外,如图14所示,生成的作业区域的图像数据包含表示作业区域的三维形状的地形数据T。通过对使用第一立体相机50及第二立体相机60从不同的角度拍摄作业区域所得的两张二维图像进行立体匹配处理,由此能够三维地识别作业区域的宽范围内的现况地形。
另外,如图16、17所示,第一摄像部51、第二摄像部52、第三摄像部61及第四摄像部62同步地拍摄作业区域。两台立体相机的全部摄像部同步且同时刻地对摄像范围R1、R2进行拍摄,由此能够在宽区域内获得精度高的现况地形的数据。
另外,如图16、17所示,第一立体相机50和第二立体相机60构成为能够拍摄纵长的图像。
第一摄像部51的摄像元件及第二摄像部52的摄像元件具有矩形形状的受光面。受光面具有长度相对大的长边和长度相对小的短边,且配置成长边沿着铅垂方向。这样,能够实现可拍摄纵长的图像的第一立体相机50。
第三摄像部61的摄像元件及第四摄像部62的摄像元件具有矩形形状的受光面。受光面具有长度相对大的长边和长度相对小的短边,且配置成长边沿着铅垂方向。这样,能够实现可拍摄纵长的图像的第二立体相机60。
通过将第一立体相机50和第二立体相机60构成为能够拍摄纵长的图像,由此能够使用两台立体相机同时拍摄上下方向或前后方向上的更宽范围。因而,能够精度良好地拍摄作业对象的宽范围内的现况地形。
另外,如图18所示,图像数据生成方法还包括将根据第一立体相机50的摄像生成的图像数据与根据第二立体相机60的摄像生成的图像数据在各图像数据的长度方向上合成的步骤(步骤S4)。这样,能够使用两台立体相机的摄像来高精度地生成与更宽范围内的作业区域的现况地形相关的图像数据。
应该认识到本次公开的实施方式的所有点均是例示,本发明并不局限于上述实施方式。本发明的范围不由上述说明来表示,而是由请求保护的范围来表示,包括与请求保护的范围等同意义以及范围内的所有变更。
附图标记说明
1液压挖掘机、2行驶体、3回转体、4工作装置、5驾驶室、8驾驶员座、20控制器、21监视器、40前支柱、41右支柱、42左支柱、47前窗、47a上框部分、47s垫座、50第一立体相机、51第一摄像部、52第二摄像部、60第二立体相机、61第三摄像部、62第四摄像部、76监视站、81左壳体、82右壳体、90基体部、91安装角钢、92安装片、93安装板、95、96、97螺栓、101、111托架、102、112固定部、103、104、113、114突出部、761、762立体匹配部、763上下立体图像数据合成部、AX1、AX2、AX3、AX4光轴、C中心轴、D1、D2视差图像、I1、I2、I3、I4获取图像、R1、R2摄像范围、T地形数据、T1斜坡、T2坡顶、T3坡底、T4上方地面、T5下方地面、T6平面。
Claims (5)
1.一种摄像装置,其设置于作业车辆,其中,
所述作业车辆具有车辆主体以及安装于所述车辆主体的工作装置,
所述工作装置在俯视观察下具有中心轴,
所述摄像装置具备安装于所述车辆主体的第一立体相机和安装于所述车辆主体的第二立体相机,
所述第一立体相机具有第一摄像部和配置于比所述第一摄像部靠所述车辆主体的左右方向上的右侧的第二摄像部,
所述第二立体相机具有第三摄像部和配置于比所述第三摄像部靠所述车辆主体的左右方向上的右侧的第四摄像部,
所述第一摄像部和所述第三摄像部构成左摄像部组,
所述第二摄像部和所述第四摄像部构成右摄像部组,
所述左摄像部组与所述右摄像部组在所述车辆主体的左右方向上隔开间隔地配置,
所述第一摄像部的光轴、所述第二摄像部的光轴、所述第三摄像部的光轴以及所述第四摄像部的光轴在俯视观察下相对于所述工作装置的中心轴的延伸方向倾斜,
所述第一摄像部的光轴、所述第二摄像部的光轴、所述第三摄像部的光轴以及所述第四摄像部的光轴在俯视观察下在所述车辆主体的前方与所述工作装置的中心轴交叉,
在俯视观察下,所述第一摄像部的光轴相对于所述中心轴的延伸方向倾斜的角度比所述第二摄像部的光轴相对于所述中心轴的延伸方向倾斜的角度大,所述第三摄像部的光轴相对于所述中心轴的延伸方向倾斜的角度比所述第四摄像部的光轴相对于所述中心轴的延伸方向倾斜的角度大。
2.根据权利要求1所述的摄像装置,其中,
从所述车辆主体的左右方向上的左侧向右侧按顺序配置有所述第一摄像部、所述第三摄像部、所述第二摄像部及所述第四摄像部。
3.根据权利要求2所述的摄像装置,其中,
所述车辆主体的左右方向上的所述第三摄像部与所述第二摄像部的间隔比所述车辆主体的左右方向上的所述第一摄像部与所述第三摄像部的间隔宽,并且,所述车辆主体的左右方向上的所述第三摄像部与所述第二摄像部的间隔比所述车辆主体的左右方向上的所述第二摄像部与所述第四摄像部的间隔宽。
4.根据权利要求1~3中任一项所述的摄像装置,其中,
所述作业车辆还具有驾驶室,
所述驾驶室具有一对前支柱,
所述左摄像部组和所述右摄像部组配置为与所述车辆主体的左右方向上的所述驾驶室的中心相比靠近所述前支柱。
5.根据权利要求1~3中任一项所述的摄像装置,其中,
所述作业车辆还具有驾驶室,
所述驾驶室具有前窗,
所述第一立体相机和所述第二立体相机在所述驾驶室内沿着所述前窗的上缘配置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/077840 WO2017056267A1 (ja) | 2015-09-30 | 2015-09-30 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107250724A CN107250724A (zh) | 2017-10-13 |
CN107250724B true CN107250724B (zh) | 2020-05-12 |
Family
ID=58422977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580076995.2A Active CN107250724B (zh) | 2015-09-30 | 2015-09-30 | 摄像装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10533305B2 (zh) |
JP (1) | JP6507257B2 (zh) |
KR (1) | KR20170105627A (zh) |
CN (1) | CN107250724B (zh) |
DE (1) | DE112015006346T5 (zh) |
WO (1) | WO2017056267A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6857147B2 (ja) * | 2018-03-15 | 2021-04-14 | 株式会社日立製作所 | 三次元画像処理装置、及び三次元画像処理方法 |
JP2019164136A (ja) * | 2018-03-19 | 2019-09-26 | 株式会社リコー | 情報処理装置、撮像装置、移動体、画像処理システムおよび情報処理方法 |
JP2021139157A (ja) * | 2020-03-05 | 2021-09-16 | コベルコ建機株式会社 | 作業機械 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012233353A (ja) * | 2011-05-02 | 2012-11-29 | Komatsu Ltd | 油圧ショベルの較正システム及び油圧ショベルの較正方法 |
CN103649994A (zh) * | 2011-07-05 | 2014-03-19 | 欧姆龙株式会社 | 用于投影体监测的方法和装置 |
CN103959012A (zh) * | 2011-12-06 | 2014-07-30 | 赫克斯冈技术中心 | 6自由度位置和取向确定 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0772690B2 (ja) * | 1987-01-22 | 1995-08-02 | 清水建設株式会社 | 地中掘削機の偏位計測システム |
JP3880702B2 (ja) * | 1997-09-11 | 2007-02-14 | 富士重工業株式会社 | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム |
JP2006214735A (ja) * | 2005-02-01 | 2006-08-17 | Viewplus Inc | 複合ステレオビジョン装置 |
US8139109B2 (en) * | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
US7865285B2 (en) | 2006-12-27 | 2011-01-04 | Caterpillar Inc | Machine control system and method |
JP2009203676A (ja) * | 2008-02-27 | 2009-09-10 | Caterpillar Japan Ltd | モニタ装置を備えた作業用機械 |
GB2484522A (en) * | 2010-10-14 | 2012-04-18 | Agco Sa | A mirror on a utility vehicle, the mirror being movable upwardly from the sweep of the door |
JP5802476B2 (ja) | 2011-08-09 | 2015-10-28 | 株式会社トプコン | 建設機械制御システム |
JP6091977B2 (ja) * | 2013-04-22 | 2017-03-08 | 日立建機株式会社 | 建設機械 |
-
2015
- 2015-09-30 JP JP2017542621A patent/JP6507257B2/ja active Active
- 2015-09-30 KR KR1020177024051A patent/KR20170105627A/ko active Search and Examination
- 2015-09-30 CN CN201580076995.2A patent/CN107250724B/zh active Active
- 2015-09-30 WO PCT/JP2015/077840 patent/WO2017056267A1/ja active Application Filing
- 2015-09-30 US US15/559,138 patent/US10533305B2/en active Active
- 2015-09-30 DE DE112015006346.3T patent/DE112015006346T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012233353A (ja) * | 2011-05-02 | 2012-11-29 | Komatsu Ltd | 油圧ショベルの較正システム及び油圧ショベルの較正方法 |
CN103649994A (zh) * | 2011-07-05 | 2014-03-19 | 欧姆龙株式会社 | 用于投影体监测的方法和装置 |
CN103959012A (zh) * | 2011-12-06 | 2014-07-30 | 赫克斯冈技术中心 | 6自由度位置和取向确定 |
Also Published As
Publication number | Publication date |
---|---|
WO2017056267A1 (ja) | 2017-04-06 |
CN107250724A (zh) | 2017-10-13 |
JP6507257B2 (ja) | 2019-04-24 |
KR20170105627A (ko) | 2017-09-19 |
US20180080197A1 (en) | 2018-03-22 |
JPWO2017056267A1 (ja) | 2018-03-22 |
DE112015006346T5 (de) | 2017-12-07 |
US10533305B2 (en) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107407075B (zh) | 图像数据生成方法 | |
JP6616837B2 (ja) | 作業車両 | |
CN107250725B (zh) | 摄像装置 | |
JP6777375B2 (ja) | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 | |
JP6927821B2 (ja) | 表示システム、及び表示装置 | |
CN109429505B (zh) | 拍摄装置、建筑机械以及拍摄系统 | |
CN107250724B (zh) | 摄像装置 | |
JP7462710B2 (ja) | 作業機械の画像表示システム及び作業機械の画像表示方法 | |
JP6433664B2 (ja) | 建設機械用俯瞰画像表示装置 | |
CN118614057A (zh) | 远程操作支援系统和远程操作支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |