CN103155552B - 作业车辆的周边监视装置 - Google Patents

作业车辆的周边监视装置 Download PDF

Info

Publication number
CN103155552B
CN103155552B CN201280003138.6A CN201280003138A CN103155552B CN 103155552 B CN103155552 B CN 103155552B CN 201280003138 A CN201280003138 A CN 201280003138A CN 103155552 B CN103155552 B CN 103155552B
Authority
CN
China
Prior art keywords
working truck
eye view
perspective plane
view image
imaginary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280003138.6A
Other languages
English (en)
Other versions
CN103155552A (zh
Inventor
光田慎治
原田茂
田贯富和
增谷荣伸
中西幸宏
栗原毅
坪根大
町田正臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN103155552A publication Critical patent/CN103155552A/zh
Application granted granted Critical
Publication of CN103155552B publication Critical patent/CN103155552B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated

Abstract

当作业车辆(1)处于停止状态时,周边监视装置的俯瞰图像生成部利用第一假想投影面(31)生成俯瞰图像。第一假想投影面(31)的至少外缘部具有离作业车辆(1)越远距地面的高度越高的形状。当作业车辆(1)处于行驶状态时,俯瞰图像生成部利用第二假想投影面(32)生成俯瞰图像。第二假想投影面(32)的至少外缘部具有距地面高度一定的平坦的形状。

Description

作业车辆的周边监视装置
技术区域 
本发明涉及一种作业车辆的周边监视装置。 
背景技术
目前,作为超大型的作业车辆,广泛使用在矿山等处搬运碎石的自卸车辆。这样的自卸车辆与一般的车辆相比,因为车宽度非常宽并且前后长度长,所以导致驾驶员利用侧视镜等把握作业车辆周边的状况变得困难。 
另一方面,为了让驾驶员方便地掌握车辆周边的状况,提出了一种周边监视装置。周边监视装置包含有安装在车辆上的摄像机等摄像部。周边监视装置将摄像部拍摄到的图像通过合成而生成显示作业车辆周围的俯瞰图像。例如,在专利文件1中所述的汽车周边监视装置中,通过将摄像部拍摄到的图像投影在假想投影面上生成俯瞰图像。一般地,当假想投影面具有平坦的形状时,在俯瞰图像中离车辆越远物体越被放大显示。因此,在上述的俯瞰图像中,趋于车辆的行进方向图像被放大显示。由此,在专利文件1的周边监视装置中,假想投影面具有趋于车辆的行进方向逐渐上升的形状,从而可以抑制图像趋于车辆的行进方向被放大显示。 
现有专利文件 
专利文件 
专利文件1:(日本)特开2004-21307号公报 
发明内容
发明要解决的技术问题 
但是,如上述所述,当假想投影面具有趋于车辆的行进方向逐渐上升的形状时,在俯瞰图像的外缘部上物体被变形显示。因此,车辆周围的道路在俯瞰图像中也被变形显示,从而存在当车辆行驶时驾驶员很难识别在道路的什么位置行驶的问题。在像超大型自卸车辆那样的作业车辆中,因为在作业车辆的周围存在很多驾驶员不能直接目测到的区域,所以导致这样的问题变 得特别地显著。 
本发明的课题在于提供一种作业车辆的周边监视装置,其在作业车辆行驶时能够使驾驶员容易地识别到作业车辆的位置。 
用于解决技术课题的技术方案 
本发明第一方面的作业车辆的周边监视装置具有摄像部、俯瞰图像生成部、显示部及行驶状态判断部。摄像部被安装在作业车辆上,拍摄作业车辆周围的区域取得图像数据。俯瞰图像生成部通过将图像数据投影在假想投影面上生成作业车辆周围的俯瞰图像。显示部显示俯瞰图像。行驶状态判断部判断为作业车辆是处于行驶状态还是处于停止状态。当作业车辆处于停止状态时,俯瞰图像生成部利用第一假想投影面生成俯瞰图像。第一假想投影面中的至少外缘部具有离作业车辆越远距地面的高度越高的形状。当作业车辆处于行驶状态时,俯瞰图像生成部利用第二假想投影面生成俯瞰图像。第二假想投影面中的至少外缘部具有地面高度一定的平坦的形状。 
本发明第二方面的作业车辆的周边监视装置在第一方面的作业车辆的周边监视装置的基础上,假想投影面包含第一范围和第二范围。第一范围位于作业车辆的周围。第二范围比第一范围更加远离作业车辆。第一假想投影面的第一范围具有距地面的高度一定的平坦的形状。第一假想投影面的第二范围具有离作业车辆越远距地面的高度越高的形状。第二假想投影面的第一范围和第二范围具有距地面的高度一定的平坦的形状。 
本发明第三方面的作业车辆的周边监视装置在第二方面的作业车辆的周边监视装置的基础上,第一假想投影面的第二范围包含多个弯曲面和多个球面。多个弯曲面以假想轴为中心弯曲,该假想轴平行于与作业车辆的外形相对应的矩形的各边。多个球面分别配置于相邻的一对弯曲面之间并与一对弯曲面连续连接。 
本发明第四方面的作业车辆的周边监视装置在第一方面的作业车辆的周边监视装置的基础上,第二假想投影面整体具有距地面的高度一定的平坦的形状。 
本发明第五方面的作业车辆的周边监视装置在第一方面的作业车辆的周边监视装置的基础上,还具有车速检测部。车速检测部检测作业车辆的车速。当车速在规定的阈值以上时,行驶状态判断部判断为作业车辆处于行驶状态。当车速小于规定的阈值时,行驶状态判断部判断为作业车辆处于停止 状态。 
本发明第六方面的作业车辆具有第一至第五方面中的任一方面所述的周边监视装置。 
发明效果 
在本发明第一方面的作业车辆的周边监视装置中,当作业车辆处于停止状态时,俯瞰图像生成部利用第一假想投影面生成俯瞰图像。第一假想投影面的至少外缘部具有离作业车辆越远距地面高度越高的形状。因此,可以抑制离作业车辆越远的物体在俯瞰图像中越被放大显示的现象。因此,驾驶员可以根据俯瞰图像容易地把握物体的形状和大小。另外,当作业车辆处于行驶状态时,俯瞰图像生成部利用第二假想投影面生成俯瞰图像。第二假想投影面中的至少外缘部为距地面的高度一定的平坦的形状。因此,可以抑制在俯瞰图像的外缘部上变形显示地面。进而可以抑制作业车辆的周围的道路在俯瞰图像中被变形显示。从而,驾驶员可以在作业车辆行驶时容易地识别作业车辆的位置。 
在本发明第二方面的作业车辆的周边监视装置中,第一假想投影面的第一范围具有距地面的高度一定的平坦的形状。另外,第一假想投影面的第二范围具有离作业车辆越远距地面的高度越高的形状。因此,在与第二范围相比离作业车辆更近的第一范围内,能够生成好像从作业车辆的上方拍摄地面那样自然的俯瞰图像。另外,在与第一范围相比离作业车辆更远的第二范围内,可以抑制处于离作业车辆远的位置的物体在俯瞰图像中被放大显示的现象。因此,当作业车辆处于停止状态时,驾驶员能够根据俯瞰图像容易地把握物体的形状和大小。并且,第二假想投影面的第一范围与第二范围具有距地面的高度一定的平坦的形状。因此,当作业车辆处于行驶状态时,能够抑制处于俯瞰图像外缘部的地面的变形。进而,驾驶员可以容易地识别作业车辆行驶时的作业车辆的位置。 
在本发明第三方面的作业车辆的周边监视装置中,在第一假想投影面上的多个弯曲面与多个球面连续连接。因此,能够生成对于驾驶员来说差异感小并且平滑的俯瞰图像。 
在本发明第四方面的作业车辆的周边监视装置中,第二假想投影面整体具有距地面的高度一定的平坦的形状。因此,可以抑制处于俯瞰图像外缘部的地面的变形。进而,驾驶员可以容易地识别作业车辆行驶时的作业车辆的 位置。 
在本发明第五方面的作业车辆的周边监视装置中,当车速在规定的阈值以下时,行驶状态判断部判断为作业车辆处于停止状态。因此,作业车辆低速行驶时也被判断为作业车辆处于停止状态。进而,作业车辆低速行驶时,驾驶员可以根据俯瞰图像容易地把握物体的形状和大小。 
在本发明第七方面的作业车辆中,当作业车辆处于停止状态时,俯瞰图像生成部利用第一假想投影面生成俯瞰图像。第一假想投影面的至少外缘部具有距离作业车辆越远距地面的高度越高的形状。因此,能够抑制离作业车辆越远的物体在俯瞰图像中越被放大显示的现象。进而,驾驶员根据俯瞰图像能够容易地把握物体的形状和大小。另外,当作业车辆处于行驶状态时,俯瞰图像生成部利用第二假想投影面生成俯瞰图像。第二假想投影面中的至少外缘部具有距地面高度一定的平坦的形状,从而可以抑制俯瞰图像外缘部中的地面的变形。进而,可以抑制作业车辆的周围的道路在俯瞰图像中被变形显示。因此,驾驶员在作业车辆行驶时能够容易地识别作业车辆的位置。 
附图说明
图1为表示本发明一实施方式的作业车辆的整体构成的立体图。 
图2为表示本发明一实施方式的周边监视装置的构成的框图。 
图3为表示周边监视装置的多个摄像部安装位置的作业车辆的立体图。 
图4为表示周边监视装置的多个摄像部安装位置及摄像范围的俯视图。 
图5为表示利用假想投影面的图像变换方法的图。 
图6(a)~(c)为表示第一假想投影面的一例的示意图。 
图7(a)~(c)为表示第二假想投影面的一例的示意图。 
图8为表示假想投影面所包含的第一范围至邻近范围的位置的俯视图。 
图9为表示周边监视装置的控制器所执行的处理的流程图。 
图10为表示停止状态下的俯瞰图像的例子的示意图。 
图11为表示行驶状态下的俯瞰图像的例子的示意图。 
图12(a)~(c)为表示其他实施方式的第二假想投影面一例的示意图。 
具体实施方式
以下参照图说明本发明的实施方式。需要说明的是,在以下的说明中, “前”“后”“左”“右”是以就坐于驾驶席上的驾驶员为基准的用语,“车宽方向”与“左右方向”表示相同的意思。 
图1为表示本发明一实施方式的作业车辆1的立体图。作业车辆1为在矿山作业等中使用的自走式超大型自卸车辆。 
作业车辆1主要具有车架2、驾驶室3、货箱4、前轮5及后轮6。作业车辆1还具有监视作业车辆1周围并显示其结果的周边监视装置10(参照图2)。关于周边监视装置10的详细部分将于后文叙述。 
车架2支承未图示的柴油发动机、变速器等动力机构和其他的辅助设备。另外,车架2的前部支承左右成对的前轮5(图1中只表示右前轮)。车架2的后部支承左右成对的后轮6(图1中只表示右后轮)。车架2具有下层平台部2a和上层平台部2b。下层平台部2a安装于车架2的前表面的下部。上层平台部2b配置于下层平台部2a的上方。下层平台部2a与地面之间配置有例如可动式梯子2c。另外,下层平台部2a与上层平台部2b之间配置有斜梯2d。上层平台部2b上配置有栅栏状扶手2e。 
驾驶室3配置于上层平台部2b上。驾驶室3在上层平台部2b上位于从车宽方向上的中央偏向车宽方向上的一侧的位置。具体地说,驾驶室3在上层平台部2b上位于从车宽方向上的中央偏向左侧方。驾驶室3内配置有驾驶席、方向盘、变速杆、加速踏板、刹车踏板等操作部件(未图示)。 
货箱4为用于装载碎石等重物的容器。货箱4底面的后部经由旋转销(未图示)可旋转地连接于车架2的后部。货箱4利用未图示的液压缸等执行器,形成装载姿势与起立姿势。如图1所示,装载姿势为货箱4的前部位于驾驶室3的上部的姿势。起立姿势为排出装载物的姿势,是货箱4向后下方倾斜的状态。货箱4的前部通过向上方旋动,使货箱4从装载姿势向起立姿势变化。 
图2为表示作业车辆1所具有的周边监视装置10的构成的框图。周边监视装置10具有多个摄像部11~16、车速检测部17、显示部18及控制器19。 
摄像部11~16安装在作业车辆1上。摄像部11~16拍摄作业车辆1的周围区域取得图像数据。摄像部11~16分别具有摄像机11a~16a及帧存储器11b~16b。帧存储器11b~16b暂时保存利用摄像机11a~16a所拍摄的图像数据。多个摄像部11~16具有第一~第六摄像部11~16。图3为表示第一~第六摄像部11~16的安装位置的作业车辆1的立体图。图4为表示第一~第六摄 像部11~16的安装位置及摄像范围的作业车辆1的俯视图。 
如图3所示,第一摄像部11安装在作业车辆1的前表面上。具体地说,第一摄像部11配置于斜梯2d的上端部。如图4所示,第一摄像部11拍摄作业车辆1的周围的第一区域11R得到第一图像数据。第一区域11R位于作业车辆1的前方。 
如图3所示,第二摄像部12安装于作业车辆1前表面的一侧部。具体地说,第二摄像部配置于上层平台部2b前表面的左侧部。如图4所示,第二摄像部12拍摄作业车辆1的周围的第二区域12R得到第二图像数据。第二区域12R位于作业车辆1的左斜前方。如图3所示,第三摄像部13安装于作业车辆1前表面的另一侧部。具体地说,第三摄像部13配置于与第二摄像部12左右对称的位置上。即,第三摄像部13配置于上层平台部2b前表面的右侧部。如图4所示,第三摄像部13拍摄作业车辆1的周围的第三区域13R取得第三图像数据。第三数据区域13R位于作业车辆1的右斜前方。 
如图3所示,第四摄像部14安装于作业车辆1的一侧面上。具体地说,第四摄像部14配置于上层平台部2b的左侧面的前部。如图4所示,第四摄像部14拍摄作业车辆1的周围的第四区域14R取得第四图像数据。第四区域14R位于作业车辆1的左斜后方。如图3所示,第五摄像部15安装于作业车辆1的另一侧面上。具体的说,第五摄像部15配置于与第四摄像部14左右对称的位置上。即,第五摄像部15配置于上层平台部2b的右侧面的前部。如图4所示,第五摄像部15拍摄作业车辆1的周围的第五区域15R取得第五数据区域。第五区域15R位于作业车辆1的右斜后方。 
如图3所示,第六摄像部16安装于作业车辆1的后部。具体地说,第六摄像部16位于连接两个后轮6的轮轴(未图示)的上方,配置于货箱4的旋转轴附近。如图4所示,第六摄像部16拍摄作业车辆1的周围的第六区域16R取得第六图像数据。第六区域16R位于作业车辆1的后方。 
如图4的中央图所示,利用以上的六台摄像部11~16能够取得作业车辆1的几乎整个周围的图像。如图4的中央图所示,第一~第六区域16R中的相邻的两个区域有部分重叠。具体地说,第一区域11R在第一重叠区域OA1与第二区域12R有部分重叠。另外,第一区域11R在第二重叠区域OA2与第三区域13R有部分重叠。第二区域12R在第三重叠区域OA3与第四区域 14R有部分重叠。第三区域13R在第四重叠区域OA4与第五区域15R有部分重叠。第四区域14R在第五重叠区域OA5与第六区域16R有部分重叠。第五区域15R在第六重叠区域OA6与第六区域16R有部分重叠。第一~第六摄像部11~16分别将表示拍摄图像的图像数据发送到控制器19。 
车速检测部17检测作业车辆1的车速。车速检测部17根据例如变速器的输出轴的旋转速度等检测作业车辆1的车速。车速检测部17将表示检测到的车速的车速数据发送到控制器19。 
显示部18为配置于驾驶室3内的显示器。显示部18配置于驾驶室3内的驾驶席的前方。显示部18响应控制器19的控制显示图像。 
控制器19根据摄像部11~16的图像生成显示作业车辆1周围的俯瞰图像。控制器19将表示生成的俯瞰图像的输出信号输出到显示部18。显示部18根据控制器19发出的输出信号显示俯瞰图像。如图2所示,控制器19具有行驶状态判断部21、存储部22及俯瞰图像生成部23。 
行驶状态判断部21根据车速检测部17发来的车速数据判断作业车辆1的行驶状态。当车速在规定的阈值以上时,行驶状态判断部21判断为作业车辆1处于行驶状态。当车速小于规定的阈值时,行驶状态判断部21判断为作业车辆为停止状态。因此,上述的停止状态不仅包括车速为零时的状态,还包括车速小的低速行驶状态。 
存储部22储存控制器19用于生成俯瞰图像所需的各种信息。具体地说,存储部22储存后述的第一变换信息、第二变换信息及合成比率。 
俯瞰图像生成部23接受分别来自摄像部11~16的图像数据。俯瞰图像生成部23根据由多个图像数据表示的多个图像生成作业车辆1周围的俯瞰图像。具体地说,俯瞰图像生成部23利用存储部22中保存的变换信息进行图像数据的坐标变换。变换信息为表示输入图像的各像素的位置坐标与输出图像的各像素的位置坐标的对应的信息。这里,输入图像为各摄像部11~16所拍摄的图像。输出图像为显示部18所显示的俯瞰图像。俯瞰图像生成部23利用变换信息将摄像部11~16所拍摄的图像变换为从位于作业车辆1的上方位置的规定的假想视点所看到的图像。具体地说,如图5所示,摄像部11~16所拍摄的图像通过被投影到规定的假想投影面30上,变换为从处于作业车辆1的上方的假想视点20所看到的图像。变换信息表示该假想投影面30。俯瞰图像生成部23将多个摄像部11~16的图像数据投影到规定的假想 投影面上并通过合成生成作业车辆1周围的俯瞰图像。即,将第一~第六图像数据投影到规定的假想投影面上并通过合成生成作业车辆1周围的俯瞰图像。 
如上所述,各摄像部11~16所拍摄的作业车辆1周围的区域在第一~第六重叠区域OA1~OA6有重叠。俯瞰图像生成部23在俯瞰图像中重叠显示在各个重叠区域OA1~OA6中相邻的两幅来自摄像部11~16的图像数据的图像。具体地说,俯瞰图像生成部23在第一重叠区域OA1中重叠显示来自第一摄像部11的第一图像数据的图像和来自第二摄像部12的第二图像数据的图像。俯瞰图像生成部23在第二重叠区域OA2中重叠显示来自第一摄像部11的第一图像数据的图像和来自第三摄像部13的第三图像数据的图像。俯瞰图像生成部23在第三重叠区域OA3中重叠显示来自第二摄像部12的第二图像数据的图像和来自第四摄像部14的第四图像数据的图像。俯瞰图像生成部23在第四重叠区域OA4中重叠显示来自第三摄像部13的第三图像数据的图像和来自第五摄像部15的第五数据图像的图像。俯瞰图像生成部23在第五重叠区域OA5中重叠显示来自第四摄像部14的第四数据图像的图像和来自第六摄像部16的第六图像数据的图像。俯瞰图像生成部23在第六重叠区域OA6中重叠显示来自第五摄像部15的第五数据图像的图像和来自第六摄像部16的第六图像数据的图像。这样,在重叠区域OA1~OA6中将两幅图像数据重叠合成时,将各图像数据的值与合成比率的乘积相加。合成比率为与各图像数据对应的值,被储存在存储部22中。例如,第一图像数据的合成比率为0.5,第二图像数据的合成比率为0.5等,每个图像数据都规定有合成比率。通过这样利用合成比率,在重叠区域OA1~OA6中多个图像数据被平均化显示。因此,可以抑制色度及对比度的急剧变化,从而生成自然的俯瞰图像。俯瞰图像生成部23生成表示如上所述那样合成的俯瞰图像的俯瞰图像数据,并将俯瞰图像数据发送到显示部18。 
俯瞰图像生成部23有选择地使用多个假想投影面生成俯瞰图像。具体地说,俯瞰图像生成部23利用图6所示的第一假想投影面31和图7所示的第二假想投影面32生成俯瞰图像。图6(a)为第一假想投影面31的立体图。图6(b)为图6(a)中的第一假想投影面31的A1-A1剖面图。图6(c)为图6(a)中的第一假想投影面31的B1-B1剖面图。图7(a)为第二假想投影面32的立体图。图7(b)为图7(a)中的第二假想投影面32的A2-A2 剖面图。图7(c)为图7(a)中的第二假想投影面32的B2-B2剖面图。如上所述,存储部22储存第一变换信息和第二变换信息。第一变换信息为表示第一假想投影面31的数据。第二变换信息为表示第二假想投影面32的数据。俯瞰图像生成部23通过利用第一变换信息进行图像数据的坐标变换,将各摄像部11~16所拍摄的图像投影到第一假想投影面31上生成俯瞰图像。俯瞰图像生成部23通过利用第二变换信息进行图像数据的坐标变换,将各摄像部11~16所拍摄的图像投影到第二假想投影面32上生成俯瞰图像。 
如图6所示,第一假想投影面31包含离作业车辆1越近距地面的高度越高的形状。第一假想投影面31的中央部具有离作业车辆1越近距地面的高度越高的形状。第一假想投影面31的外缘部具有离作业车辆1越远距地面的高度越高的形状。这里,如图8所示,在假想投影面31,32中,将从作业车辆1的前后方向和车宽方向的中心C1(以下称为车辆中心C1)到自该中心C1分别向作业车辆1的前方、左侧方、右侧方、后方以规定距离离开的位置的范围规定为邻近范围R0。与邻近范围R0相邻且比邻近范围R0远离作业车辆1的范围规定为第一范围R1。与第一范围1相邻且比第一范围R1更远离作业车辆1的范围规定为第二范围R2。第二范围R2包含各假想投影面31,32的外缘部。 
如图6所示,第一假想投影面31包含第一变化部33、平坦部34及第二变化部35。第一变化部33位于图8所示的邻近范围R0。第一变化部33离车辆中心C1越近其距地面的高度越高。即,第一变化部33离作业车辆1越近其距地面的高度越高。因此,第一假想投影面31的邻近范围R0具有离作业车辆越近距地面的高度越高的形状。第一变化部33具有朝着车辆中心C1向上方倾斜的形状。第一变化部33的顶点位于作业车辆1的与内部相当的位置。第一变化部33位于多个摄像部11~16中设置于最低位置的摄像部的下方。平坦部34位于第一假想投影面31的第一范围R1。平坦部34在比第一变化部33更远离作业车辆1的位置与第一变化部33连续连接。第一变化部33与平坦部34连接的部分位于地面上。平坦部34的距地面的高度一定。因此,第一假想投影面31的第一范围R1具有距地面高度一定的平坦的形状。具体地说,平坦部34为与地面等高的平面。因此,第一假想投影面31的第一范围R1具有与地面等高的平坦的形状。第二变化部35位于第一假想投影面31的第二范围R2。第二变化部35在比平坦部34更加远离作业车辆1的 位置与平坦部34连续连接。第二变化部35离作业车辆1越远其距地面的高度越高。因此,第一假想投影面31的第二范围R2具有离作业车辆1越远距地面的高度越高的形状。第二变化部35具有朝着远离作业车辆1的方向向上方倾斜的形状。第二变化部35与平坦部34连接的部分位于地面上。 
第一假想投影面31的第二范围R2即第二变化部35包含多个弯曲面35a~35d及多个球面35e~35h。弯曲面35a~35d以假想轴为中心弯曲,该假想轴平行于与作业车辆1的外形相对应的矩形的各边。球面35e~35h分别配置于邻接的一对弯曲面35a~35d之间。球面35e~35h与邻接的弯曲面35a~35d连续连接。具体地说,第二变化部35包含第一~第四弯曲面35a~35d及第一~第四球面35e~35h。第一弯曲面35a位于作业车辆1的前方。如图6(a)所示,第一弯曲面35a以假想轴C2为中心弯曲。假想轴C2为平行于与作业车辆1的外形相对应的矩形的前面的边的轴线。第二弯曲部35b位于作业车辆1的后方。如图6(a)所示,第二弯曲部35b以假想轴C3为中心弯曲。假想轴C3是平行于与作业车辆1的外形相对应的矩形的后面的边的轴线。第三弯曲部35c位于作业车辆1的左侧方。如图6(b)所示,第三弯曲部35c以假想轴C4为中心弯曲。假想轴C4是平行于与作业车辆1的外形相对应的矩形的左侧面的边的轴线。第四弯曲部35d位于作业车辆1的右侧方。如图6(b)所示,第四弯曲部35d以假想轴C5为中心弯曲。假想轴C5是平行于与作业车辆1的外形相对应的矩形的右侧面的边的轴线。 
第一球面35e配置于第一弯曲面35a和第三弯曲面35c之间。第一球面35e与第一弯曲面35a和第三弯曲面35c连续连接。第二球面35f配置于第一弯曲面35a与第四弯曲面35d之间。第二球面35f与第一弯曲面35a和第四弯曲面35d连续连接。第三球面35g配置于第二弯曲面35b与第三弯曲面35c之间。第三球面35g与第二弯曲面35b和第三弯曲面35c连续连接。第四球面35h配置于第二弯曲面35b和第四弯曲面35d之间。第四球面35h与第二弯曲面35b和第四弯曲面35d连续连接。 
如图7所示,第二假想投影面32具有平坦的形状。详细地说,第二假想投影面32的包含外缘部的整体具有距地面的高度一定的平坦的形状。因此,第二假想投影面32的第一范围R1、第二范围R2及邻近范围R0具有距地面的高度一定的平坦的形状。具体地说,第二假想投影面32整体具有与地面等高的平坦的形状。 
图9为表示周边监视装置10的控制器19所执行的处理的流程图。以下,参照图9说明周边监视装置10为了显示俯瞰图像所进行的处理。 
首先,在步骤S1中进行图像的读取。在此,通过各摄像部11~16的摄像机11a~16a拍摄图像并将各图像数据保存在各摄像部11~16的帧存储器11b~16b中。 
在步骤S2中,判断作业车辆1是否处于行驶状态。这里,行驶状态判断部21根据车速判断作业车辆1是否处于行驶状态。如上所述,当车速在规定的阈值以上时,行驶状态判断部21判断为作业车辆1处于行驶状态。当车速小于规定的阈值时,行驶状态判断部21判断作业车辆1处于停止状态。当作业车辆1处于非行驶状态时进入到步骤3。即,当作业车辆处于停止状态时,进入到步骤3。 
在步骤S3中,在第一假想投影面31上生成俯瞰图像。在此,俯瞰图像生成部23利用图6所示的第一假想投影面31生成俯瞰图像。具体地说,将来自各摄像部11~16的图像数据投影到第一假想投影面31上并通过合成生成俯瞰图像。图10为利用第一假想投影面31生成的俯瞰图像(以下称为第一俯瞰图像41)的一个例子。第一俯瞰图像41的外围具有长方形的形状。第一俯瞰图像41包含俯视图中表示作业车辆1的模型图50和俯视图中表示作业车辆1周围的图像51。另外,第一俯瞰图像41包含表示距作业车辆1的距离的多个基准线52~54。基准线52~54包含第一基准线52、第二基准线53及第三基准线54。例如,第一基准线52表示距作业车辆1的距离为10m的位置。第二基准线52表示距作业车辆的距离为15m的位置。第三基准线54表示距作业车辆1的距离为20m的位置。如上所述,包含第一假想投影面31的外缘部的第二范围R2由弯曲面35a~35d及球面35e~35h构成。因此,在第一俯瞰图像41的外围的附近部分,图像51被弯曲显示。 
在步骤S2中,当判断为作业车辆1处于行驶状态时,进入到步骤S4。即,当车速在规定的阈值以上时,进入到步骤S4。在步骤S4,在第二假想投影面32中生成俯瞰图像。图11为利用第二假想投影面32生成的俯瞰图像(以下称为第二俯瞰图像42)的一个例子。第二俯瞰图像42与第一俯瞰图像41同样包含俯视图中表示作业车辆1的模型图50及俯视图中表示作业车辆1周围的图像51。另外,第二俯瞰图像42与第一俯瞰图像41同样包含多个基准线52~54。如上所述,第二假想投影面32具有整体平坦的形状。因 此,在第二俯瞰图像42中,即使在外围的附近部分,也可以防止如第一俯瞰图像41那样的图像51被弯曲的显示。 
在步骤S5,俯瞰图像被显示在显示部18。这里,上述的第一俯瞰图像41和第二俯瞰图像42被显示在显示部18。具体地说,当作业车辆1处于停止状态时,第一俯瞰图像41被显示在显示部18。当作业车辆1处于行驶状态时,第二俯瞰图像42被显示在显示部18。 
接着,说明本实施方式的作业车辆1的周边监视装置10的特征。 
在本实施方式的作业车辆1的周边监视装置10中,当作业车辆处于停止状态时,俯瞰图像生成部23利用第一假想投影面31生成俯瞰图像。包含第一假想投影面31的外缘部的第二范围R2中配置有第二变化部35。第二变化部35具有离作业车辆1越远距地面的高度越高的形状。因此,在第一俯瞰图像41中,能够抑制处于离作业车辆越远的位置的物体越被放大显示的现象。因此,当作业车辆1处于停止状态时,驾驶员能够容易地把握物体的形状和大小。 
另外,当作业车辆处于行驶状态时,俯瞰图像生成部23利用第二假想投影面32生成俯瞰图像。第二假想投影面32具有整体距地面的高度一定的形状。因此,能够抑制处于第二俯瞰图像42的外缘部上的地面的变形,从而可以抑制作业车辆1周围的道路在第二俯瞰图像42中被变形显示。因此,驾驶员能够在作业车辆1行驶时容易地识别作业车辆1行驶在什么地方。 
在第一假想投影面31中,多个弯曲面35a~35d与多个球面35e~35h连续连接,因此,能够生成给驾驶员差异感小的平滑的第一俯瞰图像41。 
第二假想投影面32整体具有距地面的高度一定的平坦的形状。因此,能够生成变形少的第二俯瞰图像42。进而,驾驶员能够在作业车辆1行驶时容易地识别作业车辆1行驶在什么地方。 
当车速小于规定的阈值时,行驶状态判断部21判断为作业车辆处于停止状态。因此,作业车辆1处于低速行驶时也被判断为作业车辆处于停止状态。进而,当作业车辆1处于低速行驶时,驾驶员能够根据第一俯瞰图像41容易地掌握物体的形状和大小。 
以上说明了本发明的一实施方式,但是本发明不限于上述实施方式,可以在不脱离本发明要旨的范围内进行各种变更。 
第二假想投影面32在除第二范围R2以外的区域也可以具有距地面高度 变化的形状。例如,如图12所示,第二假想投影面32可以由变化部61和平坦部62构成。变化部61与上述的实施方式的第一变化部33具有同样的形状。因此,变化部61具有离作业车辆1越近距地面的高度越高的形状。变化部61位于邻近范围R0。平坦部62比变化部61更加远离作业车辆1并且延伸到第二假想投影面32的外围。即,平坦部62位于将第一范围R1与第二范围R2相加的范围。换言之,第二假想投影面32的第一范围R1和第二范围R2具有距地面的高度一定的平坦的形状。 
本发明的摄像部的数量不限于上述实施方式中的六台。另外,本发明的摄像部的配置也不局限于上述实施方式的摄像部11~16的配置。在上述的实施方式中,第一假想投影面31的第一变化部33具有距地面的高度连续变化的倾斜面,但是第一变化部33的距地面的高度也可以呈阶梯状变化。同样,第二变化部35的距地面的高度也可以呈阶梯状变化。但是,从形成差异感小的自然的俯瞰图像的观点来看,第一变化部33优选距地面的高度连续变化的倾斜面。同样地,从形成差异感小的自然的俯瞰图像的观点来看,第二变化部35优选距地面的高度连续变化的倾斜面。另外,第一变化部33的倾斜面可以是直线状的,也可以是曲线状的。同样地,第二变化部35的倾斜面可以是直线状的,也可以是曲线状的。另外,第一假想投影面31的平坦部34可以不局限于与地面等高,也可以处于与地面不等高的位置。 
在上述实施方式中,当车速在规定的阈值以上时判断为作业车辆处于行驶状态。该阈值不限于比零大的值,也可以为零。即,当车速为零时判断为作业车辆处于停止状态,当车速比零大时可以判断为作业车辆处于行驶状态。或者说,也可以用车速以外的参数来判断作业车辆的行驶状态和停止状态。例如,当加速装置的操作量在规定的阈值以上时判断为作业车辆处于行驶状态,当加速装置的操作量小于规定的阈值时判断为作业车辆处于停止状态。 
工业实用性 
本发明提供一种作业车辆的周边监视装置装置,其在作业车辆行驶时能够使驾驶员容易地识别作业车辆的位置。 
符号说明 
1      作业车辆 
10     周边监视装置 
11~16 第一~第六摄像部 
17     车速检测部 
18     显示部 
23     俯瞰图像生成部 
31     第一假想投影面 
32     第二假想投影面 
R1     第一范围 
R2     第二范围 。 

Claims (6)

1.一种作业车辆的周边监视装置,其特征在于,具有:
摄像部,其被安装在作业车辆上,拍摄所述作业车辆的周围的区域取得图像数据;
俯瞰图像生成部,其通过将所述图像数据投影到假想投影面上生成所述作业车辆的周围的俯瞰图像;
显示部,其显示所述俯瞰图像;
行驶状态判断部,其判断所述作业车辆是处于行驶状态还是处于停止状态;
当所述作业车辆处于停止状态时,所述俯瞰图像生成部利用第一假想投影面生成所述俯瞰图像;
所述第一假想投影面的至少外缘部具有离所述作业车辆越远距地面高度越高的形状;
当所述作业车辆处于行驶状态时,所述俯瞰图像生成部利用第二假想投影面生成所述俯瞰图像;
所述第二假想投影面的至少外缘部具有距地面高度一定的平坦的形状;
所述显示部根据所述行驶状态判断部的判断结果,切换显示使用所述第一假想投影面的俯瞰图像或使用所述第二假想投影面的俯瞰图像中的任一个。
2.如权利要求1所述的作业车辆的周边监视装置,其特征在于,所述假想投影面包含所述作业车辆的周围的第一范围及比所述第一范围更远离所述作业车辆的第二范围;
所述第一假想投影面的所述第一范围具有距地面的高度一定的平坦的形状;
所述第一假想投影面的所述第二范围具有离所述作业车辆越远距地面的高度越高的形状;
所述第二假想投影面的所述第一范围和所述第二范围具有距地面高度一定的平坦的形状。
3.如权利要求2所述的作业车辆的周边监视装置,其特征在于,所述第一假想投影面的所述第二范围包含以假想轴为中心弯曲的多个弯曲面和多个球面;该假想轴平行于与所述作业车辆的外形相对应的矩形的各边;该多个球面分别配置于邻接的一对所述弯曲面之间且与一对所述弯曲面连续连接。
4.如权利要求1所述的作业车辆的周边监视装置,其特征在于,所述第二假想投影面整体具有距地面的高度一定的平坦的形状。
5.如权利要求1所述的作业车辆的周边监视装置,其特征在于,还具有检测所述作业车辆的车速的车速检测部;
当所述车速在规定的阈值以上时,所述行驶状态判断部判断为所述作业车辆处于行驶状态,当所述车速小于所述规定的阈值时,所述行驶状态判断部判断为所述作业车辆处于停止状态。
6.一种作业车辆,其特征在于,具有权利要求1至权利要求5中任一项所述的周边监视装置。
CN201280003138.6A 2011-06-07 2012-05-23 作业车辆的周边监视装置 Expired - Fee Related CN103155552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011127307A JP5124672B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置
JP2011-127307 2011-06-07
PCT/JP2012/063136 WO2012169353A1 (ja) 2011-06-07 2012-05-23 作業車両の周辺監視装置

Publications (2)

Publication Number Publication Date
CN103155552A CN103155552A (zh) 2013-06-12
CN103155552B true CN103155552B (zh) 2015-01-21

Family

ID=47295921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280003138.6A Expired - Fee Related CN103155552B (zh) 2011-06-07 2012-05-23 作业车辆的周边监视装置

Country Status (6)

Country Link
US (1) US8982212B2 (zh)
JP (1) JP5124672B2 (zh)
CN (1) CN103155552B (zh)
AU (1) AU2012268477B2 (zh)
CA (1) CA2805665C (zh)
WO (1) WO2012169353A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140088824A1 (en) * 2011-05-13 2014-03-27 Hitachi Construction Machinery Co., Ltd. Device for Monitoring Area Around Working Machine
JP5813439B2 (ja) * 2011-09-27 2015-11-17 クラリオン株式会社 俯瞰画像表示装置
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6302622B2 (ja) * 2013-03-19 2018-03-28 住友重機械工業株式会社 作業機械用周辺監視装置
US9767561B2 (en) * 2013-11-18 2017-09-19 Texas Instruments Incorporated Method and apparatus for a optimal seam for surround view synthesis
KR101809577B1 (ko) 2015-02-23 2017-12-15 가부시키가이샤 고마쓰 세이사쿠쇼 유압 셔블
DE102015205507B3 (de) * 2015-03-26 2016-09-29 Zf Friedrichshafen Ag Rundsichtsystem für ein Fahrzeug
WO2016157462A1 (ja) 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
EP3142066A1 (en) 2015-09-10 2017-03-15 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
EP3144162B1 (en) 2015-09-17 2018-07-25 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Apparatus and method for controlling a pressure on at least one tyre of a vehicle
DE102015221356B4 (de) * 2015-10-30 2020-12-24 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugrundumansicht
JP6512145B2 (ja) * 2016-03-22 2019-05-15 株式会社デンソー 画像処理装置、画像処理方法、及びプログラム
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
EP3572590B1 (en) * 2018-03-14 2022-02-09 Hitachi Construction Machinery Co., Ltd. Work machine
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
JP7458850B2 (ja) * 2020-03-26 2024-04-01 住友重機械建機クレーン株式会社 作業機械の周囲表示装置
JP2022155631A (ja) * 2021-03-31 2022-10-14 住友重機械建機クレーン株式会社 作業機械の周囲監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
EP1748654A4 (en) * 2004-04-27 2013-01-02 Panasonic Corp VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE
US7423521B2 (en) * 2004-12-07 2008-09-09 Kabushiki Kaisha Honda Lock Vehicular visual assistance system
JP4927512B2 (ja) * 2006-12-05 2012-05-09 株式会社日立製作所 画像生成装置
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
US20120069153A1 (en) * 2009-05-25 2012-03-22 Panasonic Corporation Device for monitoring area around vehicle
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統

Also Published As

Publication number Publication date
CA2805665A1 (en) 2012-12-13
CA2805665C (en) 2014-05-06
US20130162830A1 (en) 2013-06-27
AU2012268477B2 (en) 2014-10-09
JP5124672B2 (ja) 2013-01-23
JP2012256960A (ja) 2012-12-27
AU2012268477A1 (en) 2013-02-07
US8982212B2 (en) 2015-03-17
WO2012169353A1 (ja) 2012-12-13
CN103155552A (zh) 2013-06-12

Similar Documents

Publication Publication Date Title
CN103155552B (zh) 作业车辆的周边监视装置
CN103140378B (zh) 作业车辆的周边监视装置
CN103079891B (zh) 作业车辆的周边监视装置
JP5862532B2 (ja) 車両運転支援装置
JP6173358B2 (ja) 旋回式作業機械の周囲監視装置
JP5938222B2 (ja) 運搬車両の周囲監視装置
WO2014132680A1 (ja) 車両の制御装置、及びプログラム
JP5434285B2 (ja) 障害物検出装置
CN103828353A (zh) 作业车辆用周边监视系统以及作业车辆
US10748298B2 (en) Periphery monitoring device
CN103079902A (zh) 驾驶支援装置
CN103828352A (zh) 作业车辆用周边监视系统及作业车辆
CN103827942A (zh) 作业车辆用周边监视系统及作业车辆
EP3687165B1 (en) Display control device
US20190088006A1 (en) Image processing device
JP3620647B2 (ja) 描画装置
JP7452479B2 (ja) 表示制御装置
JP2018186432A (ja) 表示制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150121