CN105009572B - 作业机械的周围监视装置 - Google Patents
作业机械的周围监视装置 Download PDFInfo
- Publication number
- CN105009572B CN105009572B CN201380074230.6A CN201380074230A CN105009572B CN 105009572 B CN105009572 B CN 105009572B CN 201380074230 A CN201380074230 A CN 201380074230A CN 105009572 B CN105009572 B CN 105009572B
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- work machine
- visual point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims description 75
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000009412 basement excavation Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 108010066278 cabin-4 Proteins 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 239000002689 soil Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Structural Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
为了监视在能够旋转地设在行驶体上的旋转体上安装有作业单元的作业机械的周围,具备:多台摄像头,其被设在上述旋转体上,并配置成相邻的2台摄像头的视野范围的一部分相互重叠;视点变换单元,其将通过上述各摄像头取得的摄像头图像变换为上方视点图像;显示图像生成单元,其将通过上述视点变换单元生成的多个上方视点图像配置在以平面地显示上述作业机械的插图图像的周围并设为俯视图像;以及图像显示单元,其通过上述图像生成单元,将上述俯视图像中的至少通过上述作业机械的上述作业单元进行的作业到达范围内作为平面视图图像显示在上述插图图像的周围。
Description
技术领域
本发明涉及一种在由液压挖掘机等构成的作业机械中为了确保该作业机械的作业的安全而设置的作业机械的周围监视装置。
背景技术
作为作业机械的一例,例如液压挖掘机在下部侧具有行驶体,在该行驶体上经由旋转装置设置上部侧的旋转体。在旋转体上设置有进行土砂的挖掘等作业的作业单元,作业单元具备能够进行俯仰动作地与旋转体连结的动臂、能够以上下方向转动地与该动臂的前端连结的斗杆,进行土砂的挖掘等作业的铲斗作为配件经由链杆机构与斗杆的前端连结。由此,构成具有多关节的前端作业机。
以前已知的有:在自行式的作业机械、例如液压挖掘机中,为了确保作业的安全且提高操作性,设置有监视旋转体的周围的状况的周围监视装置。在旋转体上安装摄像头,并且在驾驶室中在操作者乘坐的驾驶席的前方位置设置监视器,由此构成该周围监视装置。将由摄像头摄影所得的图像作为动画状态的影像显示在监视画面上。
但是,摄像头被固定地保持在旋转体上,其视野范围受限。成为作业对象的前方位置的视野当然是必需的,而为了确保行驶时、作业时的安全性等,在旋转体的后方和左右的两侧方的视野也是必须的作业机械的周围,为了得到广范围的视野,以往利用了在旋转体上安装多个摄像头的结构。由此,能够在旋转体的大致全周没有死角地确保作业的安全以及提高作业机械的操作性。
在专利文献1等中公开了如下的结构,即:构成为对通过多个摄像头取得的作业机械的周围的摄像头图像进行视点变换使其成为上方视点,在监视画面中显示为平面地投影的平面视图监视图像。为了取得该周围监视图像,在作为作业机械的液压挖掘机的周围设置多个摄像头,在监视画面上合成地显示这些来自各摄像头的图像。摄像头被设置在液压挖掘机的后部位置和左右的两侧部位置的3个位置,这些各摄像头的摄像镜头的光轴朝向斜下方。为了成为监视图像,对通过摄像头摄影且进行图像处理之前的摄像头图像即经过图像进行视点变换处理。该变换的视点是上方视点,由此得到从上方投影的3张上方视点图像。
将上方视点图像显示在监视画面中,但这时在监视画面中显示对液压挖掘机进行符号化所得的插图图像(具体地说是液压挖掘机的平面插图图像),将通过各个摄像头取得的上方视点图像配置在该插图图像的周围。更具体地说,将插图图像显示在监视画面的中心位置,在该插图图像的后方区域和左右的侧方区域中排列各上方视点图像,显示周围监视用的俯视图像。
现有技术文献
专利文献
专利文献1:日本特开2008-114814号公报
发明内容
发明要解决的课题
通过将上述俯视图像显示在监视画面中,操作液压挖掘机的操作者能够准确地掌握作业机械的周围的状况,在进行挖掘土砂并将挖掘物装载到作为搬运单元的翻斗车上的作业、液压挖掘机的行驶这样的动作时,通过识别监视画面,而进行周围的监视,确保作业的安全。因此,显示在监视画面中的俯视图像对于确保作业的安全来说是极其有益的。为了以较少的数量的摄像头确保广的监视区域,摄像头安装广角镜头,使各摄像头具有广的视野范围。但是,对于通过使用广角镜头的摄像头摄影所得的经过图像成为以下这样的图像,即失真为大致球面状,使得接近摄像头的位置的地方被显示得大,朝向摄像头的前方、或朝向左右侧方连续地变小。因此,如果直接进行视点变换,则所得到的图像整体成为球形乃至接近球形的形状。
由此,如果显示为俯视图像,则显示图像在距离方向和角度方向上产生失真,无法显示准确的像。周围监视是用于确认在作业机械的动作时必须避免冲撞的固定和可动的障碍物体(包含车辆、操作者等)的存在,因此即使像稍微失真,在进行周围监视时也不会特别成为障碍。
作为作业机械,例如液压挖掘机重复进行以下的作业,即:挖掘矿山等作业现场的土砂、矿石并将挖掘物收容在铲斗中,使旋转体旋转,将挖掘物装载到配置于液压挖掘机的近旁位置的翻斗车的容器中。另外,为了改变挖掘位置,有时也使液压挖掘机自行,移动到下个应该挖掘的位置。
在进行以上的作业时,进行动作控制使得铲斗位于应该挖掘的位置,另外,将铲斗准确地定位于容器的上部位置,从作业的准确性和作业效率的观点出发,是极其重要的。在监视画面中显示出液压挖掘机及其周围的图像,因此理想的是不只是为了确认安全,还为了提高作业效率,而能够使用该监视画面。但是,如上述那样,如果在监视画面中将作业现场的图像显示为失真的状态,则对于进行作业的操作者来说在动作控制上会产生不适感,因此对于谋求作业的正确性来说存在不充分的问题点。
本发明就是鉴于以上的问题点而提出的,其目的在于:为了通过用于确认周围的安全而显示的监视画面提高作业效率并能够正确且有效地利用。
用于解决课题的手段
为了到达上述目的,本发明是一种作业机械的周围监视装置,其被设在作业机械上,且用于监视上述作业机械的周围,该作业机械在能够旋转地设在行驶体上的旋转体上安装有作业单元,并通过操作设在上述旋转体上的操作单元来进行作业,该作业机械的周围监视装置的特征在于,具备:多台摄像头,其被设在上述旋转体上,并配置成相邻的2台摄像头的视野范围的一部分相互重叠;视点变换单元,其将通过上述各摄像头取得的摄像头图像变换为上方视点图像;显示图像生成单元,其将通过上述视点变换单元生成的多个上方视点图像配置在以平面地显示上述作业机械的插图图像的周围并设为俯视图像;以及图像显示单元,其通过上述图像生成单元,将上述俯视图像中的至少通过上述作业机械的上述作业单元进行的作业到达范围内作为平面视图图像显示在上述插图图像的周围。
图像显示单元显示平面地显示出作业机械的插图图像,通过在该插图图像的周围排列地显示通过各个摄像头取得的成为上方视点的平面视图图像而设为俯视图像,通过该俯视图像进行作业机械的周围监视。在此,从在作业机械的运转时防止构成作业机械的各部与周围的物体接触乃至冲撞、或成为无法作业状态的安全确认的观点出发,进行作业机械的周围监视。
还从确保作业单元的作业的确实性、灵活性并确保准确而高效的作业这样的作业性的观点出发,利用该俯视图像。从作业性的观点出发,需要准确地掌握作业单元相对于作业对象的位置关系。作为作业机械,为了使液压挖掘机灵活并且确实地进行通过构成前端作业机的铲斗进行挖掘并将挖掘物装载到翻斗车等的作业,而进行显示使得能够准确地识别挖掘位置和铲斗之间的位置关系、铲斗和翻斗车之间的位置关系。
俯视图像是对从设置在作业机械的周围的多台摄像头取得的图像进行视点变换并显示的图像。优选的是将摄像头设置在作业机械的前部、后部以及左右的两侧部的4个位置。这些各摄像头的配设位置分别为作业机械的前部、后部以及左右的两侧部的大致中间位置并且尽量设于高处。另外,各摄像头的高度位置尽量相等、或为接近的高度位置。但是,由于在作业机械中各种构件被配置在各种位置的关系,也有时无法将全部配置在相同的高度位置上,但优选的是使高度尽量一致。另外,各摄像头的视野的方向为斜下方向。
通过配置在作业机械的周围的各摄像头取得经过图像。这些经过图像是使光轴朝向斜下方的图像。视点变换单元通过对经过图像的视点进行视点变换使其成为上方视点,而投影到假想水平面上,成为投影线大致平行的平面视图图像。平面视图图像并不是图像的全体,限定于作业单元的作业范围内。即,设为从作业单元的最小到达位置到最大到达位置的范围。比最大到达位置远的位置也可以不是平面视图图像而是曲面视图图像。通过设为曲面视图图像,能够在有限的监视画面中得到广泛的监视图像。但是,即使是该曲面视图图像,也为能够通过图像识别障碍物等的存在的程度。
这样,将作业单元的到达的范围设为作业/监视范围,使视点与其外侧的监视范围不同,由此能够提高作业效率,并且拓展监视范围。在此,外侧的监视范围不是作业单元的作业范围,因此即使图像有稍微的失真,只要能够确认物体等的存在的有无即可。当然,优选的是显示多的范围。因此,将最大到达范围的外侧的图像设定成具有与作业/监视范围不同的第二视点位置。即,在将为了生成平面视图图像而设定的假想视点设为主假想视点位置时,使最大到达范围的外侧的图像向比主视点位置近的位置侧变位,成为从斜方向看到的图像。
将俯视图像显示成排列在作业机械的插图图像的周边。在此,在监视画面中,可以将插图图像配置在其中央位置,将各平面视图图像大致均等地分配在其周围,但根据情况,也可以将插图图像配置在相对于监视画面的中央偏向前后或左右的位置。可以增大前部侧的平面视图图像的显示区域,缩小后方的图像的显示范围,另外也可以相反地拓展后部侧的平面视图图像的显示区域。如果尽量广地显示前端作业机的作业范围,则挖掘作业的效率性进一步变高。另一方面,如果广地显示后部侧的平面视图图像,则后方监视的精度变高。并且,根据作业的性质,也可以向左右的任意一方偏向地显示插图图像。
发明效果
通过图像显示单元的显示,不只是能够确认作业机械的周围的安全,还能够谋求提高作业效率。
附图说明
图1是作为作业机械的一例的液压挖掘机的外观立体图。
图2是图1的侧面图。
图3是表示基于设置在液压挖掘机上的4台摄像头的摄影范围的说明图。
图4是俯视图像的概念说明图。
图5是表示用于将俯视图像显示在监视画面中的各平面视图图像的切出的说明图。
图6是表示用于生成俯视图像并进行图像显示的系统的框图。
图7是针对进行图像处理时的图像的失真修正表示修正前的图像和修正后的图像的说明图。
图8是表示从侧方摄像头的经过图像变换为平面视图图像并切出的范围的说明图。
图9是表示用于从摄像头的图像取得到显示在监视画面中的处理步骤的流程图。
图10是在最大到达范围和到达范围外监视区域中改变视点位置时的图像的说明图。
图11是与图4不同的俯视图像的概念说明图。
具体实施方式
以下,根据附图说明本发明的实施方式。首先,在图1和图2中表示作为作业机械的一例的液压挖掘机1的结构。在图中,2是具有履带式行驶单元的行驶体,行驶体2可旋转地与旋转体3连接。行驶单元2具有履带2a,履带2a被驱动轮2b驱动。
在旋转体3设有驾驶室4,操作者乘坐在驾驶室4中操作机械。作为进行土砂的挖掘等作业的作业单元设置有前端作业机5。前端作业机5被设置在驾驶室4的右边大致排列起来的位置。并且,对于旋转体3,在驾驶室4和前端作业机5的后方位置设置有舱室6等,在最后端部设置有配重7。
前端作业机5如图示那样,是由动臂10、斗杆11以及作为配件的铲斗12构成的挖掘作业单元。其基础部通过连接销被轴支撑在旋转体3上而动臂10能够进行俯仰。在动臂10的前端可上下方向转动地连接有斗杆11,在斗杆11的前端可转动地连结有铲斗12。通过驱动动臂油缸10a来进行动臂10的俯仰动作。斗杆11被斗杆油缸11a驱动,并且铲斗12被铲斗油缸12a驱动。
液压挖掘机1为了监视该旋转体2的周围,而安装有能够进行动画摄影的摄像机。在图1中,13F是前方摄像头,13B是后方摄像头,13L、13R是左右的侧方摄像头。通过这些摄像头13F、13B、13L、13R监视液压挖掘机1的周围。在图3中表示各摄像头13F、13B、13L、13R的摄影范围。对于这些摄像头的影像,左右的侧方摄像头13L和13R的影像E1、E2与前方摄像头13F的影像E3部分重叠,另外,左右的侧方摄像头13L和13R的影像E1、E2与后方摄像头13B的影像E4部分重叠。
在此,在驾驶室4的内部,如后述那样设置有监视装置20,将从上述各摄像头13B、13L、13R取得的图像以动画状态显示在该监视装置20的监视画面20a中。但是,这些通过各摄像头13B、13L、13R取得的摄像头图像并不作为经过(through)图像直接显示,而是显示为被视点变换为上方视点后的假想视点图像。
例如,如果将后方摄像头13B作为例子,则如图2所示,使物镜的光轴朝向相对于旋转体3的后方具有角度θ的斜下方。这时,在将液压挖掘机的行驶体2的接地面设为L时,能够得到相对于该接地面L具有角度θ的摄像头图像。投影到以该接地面L为假想水平面的假想视点VP的光轴成为垂直方式投影的大致水平面上,投影线VA如在图2中用箭头所示那样成为大致平行地偏移的平面视图图像。因此,对通过各摄像头13F、13B、13L、13R取得的经过图像进行视点变换使其成为假想视点VF。
在通过用这些摄像头13F、13B、13L、13R进行摄影而生成的平面视图图像FV、BV、LV以及VR中,如图4那样,沿着虚线切出必要的部分而成为切出图像e1、e2、e3、e4,将这些切出图像显示在构成监视装置20的监视画面20a中。在此,如图5那样,在监视画面21的中央显示以平面状态对作为成为作业的对象的作业机械的液压挖掘机1进行符号化所得的插图图像G,将其周围的平面视图图像FV、BV、LV以及RV排列地配置在插图图像G的周围,显示以液压挖掘机1为中心的周围的俯视图像。在此,实际显示在监视画面20a中的是平面视图图像FV、BV、LV、RV中的切出图像e1、e2、e3、e4。另外,在图5中,表示出存在操作员P的情况。在此,俯视图像是从在4个位置摄影所得的经过图像进行视点变换而得的图像,因此即使操作者以站着的状态位于液压挖掘机1周边,也能够看到被压扁在地面上。
显示在监视画面20a中的是从高处向下看地显示的液压挖掘机1、其周围的平面视图图像,因此通过观察该监视画面20a,能够准确地掌握环绕液压挖掘机1的周围状况。在此,虽然具有图5的操作员那样的高度尺寸的像成为被压扁的形状,但对于几乎没有凹凸的平面状的挖掘现场的地面,为大致准确的平面图像。
作为液压挖掘机1的代表性的作业,有通过作业单元挖掘地面而将挖掘物收容在铲斗12中并装载在翻斗车等搬运机械中的操作,重复进行该操作。为此,进行构成前端作业机5的各部的动作、旋转体3的旋转动作。另外,为了改变液压挖掘机1的作业位置等,驱动行驶体2,使该液压挖掘机1行驶。
在进行以上的操作时,通过操作者的操作控制铲斗12的动作等,但以平面状态将液压挖掘机1及其周围显示在监视画面20a中有利于安全、迅速、并且准确地进行挖掘并将挖掘物装载到翻斗车中的操作。
在图6中表示监视装置20和构成其控制装置的显示控制器21的模块结构。显示控制器21具备上方视点图像生成部22、俯视图像生成部23以及参数存储部24,摄像头13F、13B、13L、13R与上方视点图像生成部22连接。对于通过各摄像头13F、13B、13L、13R的摄影取得的多个经过图像,通过上方视点图像生成部22生成被视点变换为上方视点的上方视点图像,即平面视图图像FV、BV、LV、RV。
为了进行该图像处理,显示控制器21具备CPU、RAM、ROM、输入输出接口等图像处理所需要的图像处理LSI,将从摄像头13F、13B、13L、13R输入的各经过图像输入到图像存储器中,在进行了镜头的失真修正等后,进行基于单应(homography)矩阵的平面映射变换处理、三维空间中的投影处理等公知的图像变换处理。
通过以上的处理生成的图像信号例如是由30帧/秒的帧图像的4个图像构成的平面视图图像,将由这些平面视图图像构成的帧图像作为NTSC等合成信号存储在帧存储器中。此处生成的图像是图4所示的4张帧图像,是以地面为假想平面的平面视图图像。在俯视图像生成部23中,以液压挖掘机1的插图图像G为中心,将这些平面视图图像配置在其周围。并且,对各平面视图图像以相互不重叠的方式进行切出,显示为以边界线为界的图4的切出图像e1、e2、e3、e4。
摄像头13F、13B、13L、13R使用广角镜头,因此如果示意地表示摄影时的经过图像rp,则成为如图7(a)所示。在该图中,如果用栅格线表示坐标轴h、v,则成为失真为以球形膨胀的状态。镜头的失真修正对图7(a)的图像进行修正,如该图(b)所示的图像RP那样,进行修正使得成为直线的栅格状的坐标轴H、V。例如,通过进行使用使保存在图像存储器中的图像数据的各像素的地址具有变换前和变换后的对应关系那样的像素变换表等一般的坐标变换,来进行该镜头修正处理。
并且,参数存储部24存储与液压挖掘机1的各部有关的数据、摄像头13F、13B、13L、13R的位置、视野范围的数据等,对于与监视画面20a的各平面视图图像FV、BV、LV、RV以及插图图像G的显示位置有关的数据等,也在该参数存储部24中进行设定。因此,将由通过俯视图像生成部23生成的平面视图图像FV、BV、LV、RV构成的图像数据从参数存储部24进行输出,并显示在监视画面20a的各预定位置。然后,能够通过设定终端25对存储在参数存储部24中的各种参数进行设定和变更。
如图8所示那样生成显示在监视画面20a中的平面视图图像FV、BV、LV、RV。在该图中,以右侧的平面视图图像RV为例子进行说明,但通过相同的方法生成所有的4个平面视图图像FV、BV、LV、RV。对于作为作业机械的液压挖掘机1,旋转体3能够进行360度旋转。并且,通过各摄像头摄影所得的经过图像各自具有大致180度的视野角度。
在图8中,如用虚线所示那样,将显示在监视画面20a中的平面视图图像RV设定为90度的角度范围。监视画面20a被用作监视画面,因此即使成为前端作业机5的最大到达范围Mmax(在该图中用虚线所示的圆的内侧),也必须将铲斗12的前端显示在图像中。最大到达范围Mmax是最大地伸出前端作业机5的状态下的铲斗12到达的位置,由于上部旋转体3旋转,所以旋转时的移动轨迹范围成为WA。
作为监视图像,优选的是显示比最大到达范围Mmax广的范围的图像。在液压挖掘机1进行作业时,前端作业机5并不突出到超过最大到达范围Mmax的位置,但有时由操作员、翻斗车、服务车等车辆构成的可动体会进入到进行作业的现场。这些可动体有可能以从最大到达范围Mmax的外部进入到内部方式进行移动。因此,即使在最大到达范围Mmax的外侧,只要可动物位于近的位置,则操作者需要预先识别它们。因此,设定到达范围外监视区域exBU,将该到达范围外监视区域exBU也包含在图像中。
最大到达范围Mmax虽然从周围的安全监视的点的观点出发进行了设定,但也可以用作提高前端作业机5的作业的作业性。即,使操作员识别在进行前端作业机5的挖掘作业时,需要将铲斗12伸展到哪个位置、为了准确地进行将挖掘物装载到翻斗车的作业使旋转体3旋转何种程度、在该旋转角度位置使铲斗12位于哪个位置,监视画面20a的显示发挥极其重要的作用。
包含平面映射变换处理的图像处理是为了上述作业性生成所需要的图像的处理。在图8的平面视图图像RV中,至少在移动轨迹范围WA内,如均等的格子(H、V)所示那样,在上方视点中进行图像处理使得投影到水平面上的投影线大致平行。因此,操作液压挖掘机1的操作者能够在监视画面20a上没有不适感地灵活地操作铲斗12的动作控制。
接着,根据图9说明用于在监视装置20的监视画面20a中显示液压挖掘机1的监视画面的步骤。监视装置20被配置在驾驶室4内乘坐在驾驶席上的操作者进行操作时容易看到的位置。当液压挖掘机1启动时,将俯视图像显示在监视画面20a中。在此,监视画面20a的图像显示可以在液压挖掘机1启动时自动地进行设定,另外也可以通过开关操作开始显示。
当监视装置的作业开始时,开始设置有4台摄像头13F、13B、13L、13R的摄影(步骤S100)。将这些各摄像头13F、13B、13L、13R的图像输入到构成图像处理装置的显示控制器21中,通过该显示控制器21的上方视点图像生成部22生成平面视图图像FV、BV、LV、RV(步骤S102),根据来自参数存储部23的输出(步骤S104),调整适合于显示在监视画面20a中的范围的切出图像(步骤S108)。接着,通过俯视图像生成部23根据平面视图图像FV、BV、LV、RV的切出图像e1、e2、e3、e4、插图图像G进行俯视图像的生成(步骤S110)。将这样生成的俯视图像以动画状态显示在监视器20a中,当液压挖掘机1旋转,另外驱动前端作业机5时,将该状况反映到监视画面20a中(步骤S112)。该显示持续到液压挖掘机1的发动机停止为止,当发动机停止时,监视画面20a的显示也停止(步骤S114)。此外,也可以根据操作者向监视装置20的开关操作,停止向该监视画面20a的图像的显示。
但是,在图8中表示出固定液压挖掘机1的行驶体2的位置,前端作业机5以最大到达状态旋转了旋转体3时的移动轨迹范围WA。为了进行操作者的作业,优选的是尽可能大地显示平面视图图像FV、BV、LV、RV。但是,并不限定监视画面20a中的图像显示范围。另外,必须360度地显示上述移动轨迹范围WA,但为了安全确认,需要在某种程度的范围内还显示出到达范围外监视区域exBU。
根据以上,如图10所示,在最大到达范围Mmax的内部,显示为作为平面投影区域的平面视图图像。由此,能够灵活并且准确地进行操作前端作业机5而进行的挖掘以及挖掘物向翻斗车的装载等作业。并且,在到达范围外监视区域exBU的范围内,即使图像稍微失真,也设为凹状的曲面投影区域使得能够广范围地显示周围的状况。
由此,如图11所示,在监视画面20a中,能够对前端作业机5的最大到达范围Mmax内的移动轨迹范围WA进行周围的安全确认,且设定进行准确并且高效的作业的作业/监视范围,并在其外侧显示对到达范围外监视区域exBU的广区域进行压缩并显示的监视范围。
并且,将显示在监视画面20a中的监视图像显示成将平面视图图像FV、BV、LV、RV配置在插图图像G的周围,但该插图图像G并不一定必须配置在监视画面20a的中心。根据作业,有时也希望广阔地显示前方的图像,而将后方的图像设为窄的显示区域。在这样的情况下,可以操作设定终端25来改变插图图像G的显示位置。
符号说明
1:行驶体;3:旋转体;4:驾驶室;5:前端作业机;10:动臂;11:斗杆;12:铲斗;13B:后方摄像头;13L:左方摄像头;13R:右方摄像头;13F:前方摄像头;20:监视装置;20a:监视画面;21:显示控制器;22:上方视点图像生成部;23:俯视图像生成部;24:参数存储部;25:设定终端;FV、BV、LV、RV:平面视图图像;G:插图图像;Mmax:最大到达范围;exBU:到达范围外监视区域;WA:移动轨迹范围。
Claims (3)
1.一种作业机械的周围监视装置,其被设在作业机械上,且用于监视上述作业机械的周围,该作业机械在能够旋转地设在行驶体上的旋转体上安装有作业单元,并通过操作设在上述旋转体上的操作单元来进行作业,该作业机械的周围监视装置的特征在于,具备:
多台摄像头,其被设在上述旋转体上,并配置成相邻的2台摄像头的视野范围的一部分相互重叠;
视点变换单元,其将通过上述各摄像头取得的摄像头图像变换为上方视点图像;
显示图像生成单元,其根据通过上述视点变换单元生成的多个上方视点图像,生成用于监视上述作业机械的周围的俯视图像;以及
图像显示单元,其在平面地显示上述作业机械的插图图像的周围的显示区域,将通过上述显示图像生成单元的上述俯视图像与该插图图像一起进行显示,
上述图像显示单元在上述显示区域中与上述作业机械的上述作业单元的最大到达范围对应的显示区域中,显示由作为第一上方视点图像的平面视图图像构成的图像,在与比上述最大到达范围更外侧对应的显示区域中,显示由在与上述第一上方视点图像不同的视点生成的第二上方视点图像构成的图像。
2.根据权利要求1所述的作业机械的周围监视装置,其特征在于,
作为上述第一上方视点图像的平面视图图像为,被投影到假想水平面上且投影线大致平行的图像,
上述第二上方视点图像为,与为了生成上述第一上方视点图像而设定的第一假想视点相比,将视点设定在比上述作业机械更近的位置变换而成的图像。
3.根据权利要求1或2所述的作业机械的周围监视装置,其特征在于,
上述第二上方视点图像是跨越比上述平面视图图像更广的范围来显示周围的状况的曲面视图图像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/072731 WO2015029110A1 (ja) | 2013-08-26 | 2013-08-26 | 作業機械の周囲監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105009572A CN105009572A (zh) | 2015-10-28 |
CN105009572B true CN105009572B (zh) | 2018-04-03 |
Family
ID=52585731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380074230.6A Expired - Fee Related CN105009572B (zh) | 2013-08-26 | 2013-08-26 | 作业机械的周围监视装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160024758A1 (zh) |
EP (1) | EP3041227A4 (zh) |
JP (1) | JP6106754B2 (zh) |
CN (1) | CN105009572B (zh) |
WO (1) | WO2015029110A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015125979A1 (ja) | 2015-04-28 | 2015-08-27 | 株式会社小松製作所 | 作業機械の周辺監視装置及び作業機械の周辺監視方法 |
JP6589468B2 (ja) * | 2015-09-01 | 2019-10-16 | 株式会社タダノ | 移動式クレーンの周囲表示装置 |
TW201721314A (zh) * | 2015-12-01 | 2017-06-16 | 佳霖科技股份有限公司 | 機台監控聯鎖系統 |
DE202017103443U1 (de) * | 2017-06-08 | 2018-09-11 | Liebherr-Werk Bischofshofen Gmbh | Arbeitsmaschine |
CN110998032A (zh) * | 2017-07-31 | 2020-04-10 | 住友重机械工业株式会社 | 挖土机 |
CN107656544B (zh) * | 2017-11-10 | 2020-10-23 | 广东工业大学 | 一种无人机控制的方法及系统 |
JP7206658B2 (ja) * | 2018-07-12 | 2023-01-18 | コベルコ建機株式会社 | 旋回式作業機械の安全装置 |
KR20210037607A (ko) * | 2018-07-31 | 2021-04-06 | 스미토모 겐키 가부시키가이샤 | 쇼벨 |
CN113491110A (zh) | 2019-02-28 | 2021-10-08 | 住友重机械工业株式会社 | 显示装置、挖土机、信息处理装置 |
DE102019116759A1 (de) | 2019-06-21 | 2020-12-24 | Tadano Demag Gmbh | Verfahren zum Betrieb eines Fahrzeugkrans |
JP7269853B2 (ja) * | 2019-09-30 | 2023-05-09 | 日立建機株式会社 | 作業機械 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141643A (ja) * | 2006-12-05 | 2008-06-19 | Clarion Co Ltd | 画像生成装置 |
CN103141090A (zh) * | 2010-09-29 | 2013-06-05 | 日立建机株式会社 | 作业机械的周围监视装置 |
CN103180522A (zh) * | 2010-10-22 | 2013-06-26 | 日立建机株式会社 | 作业机械的周边监视装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002083285A (ja) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
JP2008114814A (ja) * | 2006-11-07 | 2008-05-22 | Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd | 建設機械のビデオカメラ切替装置 |
JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
JP2012147149A (ja) * | 2011-01-11 | 2012-08-02 | Aisin Seiki Co Ltd | 画像生成装置 |
WO2012157438A1 (ja) * | 2011-05-13 | 2012-11-22 | 日立建機株式会社 | 油圧ショベルの後方視野表示装置 |
JP5124671B2 (ja) * | 2011-06-07 | 2013-01-23 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
JP5750344B2 (ja) * | 2011-09-16 | 2015-07-22 | 日立建機株式会社 | 作業機の周囲監視装置 |
JP6029306B2 (ja) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
JP5911775B2 (ja) * | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
JP6545430B2 (ja) * | 2013-03-19 | 2019-07-17 | 住友重機械工業株式会社 | ショベル |
-
2013
- 2013-08-26 US US14/773,862 patent/US20160024758A1/en not_active Abandoned
- 2013-08-26 WO PCT/JP2013/072731 patent/WO2015029110A1/ja active Application Filing
- 2013-08-26 EP EP13892459.2A patent/EP3041227A4/en not_active Withdrawn
- 2013-08-26 JP JP2015533799A patent/JP6106754B2/ja active Active
- 2013-08-26 CN CN201380074230.6A patent/CN105009572B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141643A (ja) * | 2006-12-05 | 2008-06-19 | Clarion Co Ltd | 画像生成装置 |
CN103141090A (zh) * | 2010-09-29 | 2013-06-05 | 日立建机株式会社 | 作业机械的周围监视装置 |
CN103180522A (zh) * | 2010-10-22 | 2013-06-26 | 日立建机株式会社 | 作业机械的周边监视装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6106754B2 (ja) | 2017-04-05 |
WO2015029110A1 (ja) | 2015-03-05 |
JPWO2015029110A1 (ja) | 2017-03-02 |
EP3041227A4 (en) | 2017-05-24 |
CN105009572A (zh) | 2015-10-28 |
EP3041227A1 (en) | 2016-07-06 |
US20160024758A1 (en) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105009572B (zh) | 作业机械的周围监视装置 | |
CN106031167B (zh) | 旋转式作业机的周围显示装置 | |
JP6013655B2 (ja) | クローラ式作業機械の周辺監視装置 | |
CN107406035B (zh) | 工程作业机械 | |
JP6095592B2 (ja) | 油圧ショベルの監視画像表示装置 | |
EP2717570A1 (en) | Device for monitoring area around working machine | |
JP5988683B2 (ja) | 自走式産業機械の表示装置 | |
AU2017318911B2 (en) | Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine | |
DE112016001043T5 (de) | Bildanzeigesystem für eine Arbeitsmaschine, Fernbedienungssystem für eine Arbeitsmaschine und Arbeitsmaschine | |
CN103797789A (zh) | 工作机械的周围监视装置 | |
JP6306115B2 (ja) | クローラ式作業機械の周辺監視装置 | |
US10787127B2 (en) | Display system for work vehicle | |
JP2013205956A (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
JP6224770B2 (ja) | ダンプトラックの表示装置 | |
AU2020212836B2 (en) | System and method for work machine | |
JP2022152800A (ja) | 映像記録装置 | |
CN117280099A (zh) | 显示控制装置、显示控制方法以及作业机械 | |
CN115695717A (zh) | 工程机械的控制系统及方法 | |
JP2016169595A (ja) | 作業機械の周囲監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180403 Termination date: 20180826 |
|
CF01 | Termination of patent right due to non-payment of annual fee |