CN105007449B - 车体附近障碍物报告系统 - Google Patents

车体附近障碍物报告系统 Download PDF

Info

Publication number
CN105007449B
CN105007449B CN201510112033.XA CN201510112033A CN105007449B CN 105007449 B CN105007449 B CN 105007449B CN 201510112033 A CN201510112033 A CN 201510112033A CN 105007449 B CN105007449 B CN 105007449B
Authority
CN
China
Prior art keywords
mentioned
image
moving obstacle
composograph
car body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510112033.XA
Other languages
English (en)
Other versions
CN105007449A (zh
Inventor
福田善文
小沼知惠子
石本英史
太田守飞
川股幸博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN105007449A publication Critical patent/CN105007449A/zh
Application granted granted Critical
Publication of CN105007449B publication Critical patent/CN105007449B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供车体附近障碍物报告系统，能够报告使用者障碍物是什么。该车体附近障碍物报告系统，具备从周围图像抽取合成图像构成用区域并根据合成图像构成用区域合成合成俯瞰图像的合成图像构建部，还具备：使用周围图像进行移动障碍物的探测处理的物体探测部；判定移动障碍物的探测位置在合成图像构成用区域的内还是外的区域判定部；以及在判断移动障碍物的探测位置在合成图像构成用区域外的情况下，抽取移动障碍物的探测位置的信息和已拍摄的移动障碍物的图像，向合成图像构建部发送并使其与合成俯瞰图像合成的图像信息抽取部。

Description

车体附近障碍物报告系统
技术领域
本发明涉及车体附近障碍物报告系统，更详细来说涉及在矿山进行作业的大型自卸车等工程机械中，为了有效避免与车辆附近的障碍物的接触，而进行障碍物的探测和报告的车体附近障碍物报告系统。
背景技术
就生成包含车辆周围的俯瞰图像并将车辆正下方的图像与车辆的图像一同透明地显示的装置而言，存在如下的车辆正下方图像显示控制装置(例如，参照专利文献1)：为了提高该车辆正下方的图像的即时性以及准确性，除了拍摄车辆的周围的车载相机例如后方监视相机等之外，还具备设置于车辆后部的底面而对自车辆底部正下方进行拍摄的正下方用车载相机，在自车后退时，检测自车的假想行进区域存在障碍物的情况，且在检测到拍摄图像中存在移动物体的情况下，基于当时的正下方拍摄图像生成并显示含有车辆正下方的透明的图像的透明鸟瞰图像。
现有技术文献
专利文献
专利文献1：日本特开2006－279752号公报
发明内容
在面向矿山的自卸车等大型工程机械中，在自车的车体下部存在较广阔的空间。因此，为了确保工程机械的安全的作业，重要的是探测车体下部的空间不存在人物、车辆等障碍物，并且在探测到障碍物的情况下，识别该障碍物是什么并报告。例如，在探测到的障碍物为岩石等的情况下应该采取的处置，与该障碍物为人物的情况下应该采取的处置大不相同。
工程机械一般在非铺路的凹凸较多的路面或存在卵石、岩石、泥、工程机械自身漏出的油等的地表面上实施走行、挖掘等各种作业。因此，若将上述的现有技术适用于工程机械，则会充分假定正下方用车载相机的透镜附着泥、油、尘埃等导致视域变差引起的不能拍摄的发生，或因飞来的卵石、岩石等发生破损相机主体。若正下方用车载相机产生视域变差或破损，则不能进行车体下部的空间的障碍物的探测和识别，由于也不显示于显示用图像，因此存在破坏作业上的安全的隐患。
本发明鉴于上述情况而完成，其目的在于提供一种车体附近障碍物报告系统，在大型的工程机械中，没有配置正下方用车载相机，根据对车辆的周围拍摄的车载相机的图像进行作为自车的车体下部等的合成俯瞰图像而没有显示的部位中的移动障碍物的探测，并且使该移动障碍物合成显示，由此能够报告使用者障碍物是什么。
为实现上述目的，本发明第一方案为一种车体附近障碍物报告系统，具备：拍摄车辆周围的图像并作为周围图像发送的周围图像输入部；从上述周围图像输入部所拍摄的周围图像抽取合成图像构成用区域，由所抽取的合成图像构成用区域合成作为输出结果的合成俯瞰图像的合成图像构建部；以及将上述输出结果向使用者提示的输出部，上述车体附近障碍物报告系统的特征在于，具备：使用上述周围图像进行移动障碍物的探测处理的物体探测部；判断上述物体探测部所探测到的上述移动障碍物的探测位置在上述合成图像构成用区域的内还是外的区域判定部；以及图像信息抽取部，在上述区域判定部判定上述移动障碍物的探测位置在上述合成图像构成用区域外的情况下，该图像信息抽取部抽取上述移动障碍物的探测位置信息与所拍摄的上述移动障碍物的图像，向上述合成图像构建部发送并使其与上述合成俯瞰图像合成。
另外，第二方案在第一方案的基础上，其特征在于，上述合成图像构建部使从上述图像信息抽取部所送出的上述移动障碍物的探测位置的信息和上述移动障碍物的图像与上述合成俯瞰图像合成，并在上述移动障碍物的探测位置显示上述移动障碍物的图像。
再有，第三方案在第一方案的基础上，其特征在于，上述合成图像构建部使从上述图像信息抽取部所送出的上述移动障碍物的探测位置的信息和上述移动障碍物的图像与上述合成俯瞰图像合成，使上述移动障碍物的探测位置增强显示，并且使上述移动障碍物的图像显示在与上述移动障碍物的探测位置不同的位置。
再有，第四方案在第一方案的基础上，其特征在于，在上述区域判定部判定上述移动障碍物的探测位置在上述合成图像构成用区域内的情况下，上述图像信息抽取部抽取上述移动障碍物的探测位置的信息和所拍摄的上述移动障碍物的图像，向上述合成图像构建部发送并使其与上述合成俯瞰图像合成。
另外，第五方案在第一方案的基础上，其特征在于，在上述区域判定部判定上述移动障碍物的探测位置在上述合成图像构成用区域外的情况下，上述图像信息抽取部抽取上述移动障碍物的探测位置的信息和包含上述探测位置的上述周围图像，向上述合成图像构建部发送，上述合成图像构建部使上述合成俯瞰图像示出的区域以外的部分半透明地显示，并且，将上述移动障碍物的探测位置增强显示并使上述周围图像合成。
再有，第六方案在第一方案的基础上。其特征在于，在上述区域判定部判断为上述移动障碍物的探测位置从上述合成图像构成用区域内变化至外的情况下，上述图像信息抽取部保持在上述合成图像构成用区域内所拍摄的上述移动障碍物的图像，并且，在上述移动障碍物的探测位置位于上述合成图像构成用区域外期间，上述图像信息抽取部将上述移动障碍物的探测位置的信息与上述保持的在上述合成图像构成用区域内所拍摄的上述移动障碍物的图像向上述合成图像构建部发送并使其与上述合成俯瞰图像合成。
本发明具有如下效果。
根据本发明，不配置正下方用车载相机，在自车周围的状况下，进行作为自车的车体下部等的合成俯瞰图像而没有显示的部位中的移动障碍物的探测，并且使该移动障碍物的位置与图像合成显示，所以使用者能够迅速掌握在什么地方存在什么样的移动障碍物。由此，使用者能够容易判断对探测结果即移动障碍物应该怎样处理，其结果，能够提高作业整体的运用效率。
附图说明
图1是表示具备本发明的车体附近障碍物报告系统的第一实施方式的自卸车的侧视图。
图2是说明构成本发明的车体附近障碍物报告系统的第一实施方式的周围图像输入部的相机的配置的示意图。
图3是表示构成本发明的车体附近障碍物报告系统的第一实施方式的相机所拍摄的图像的示意图。
图4是表示本发明的车体附近障碍物报告系统的第一实施方式的构成的方框图。
图5是表示本发明的车体附近障碍物报告系统的第一实施方式的处理内容的流程图。
图6是表示本发明的车体附近障碍物报告系统的第一实施方式的移动障碍物的探测的例子的示意图。
图7是表示本发明的车体附近障碍物报告系统的第一实施方式的从周围图像抽取的区域的例子的示意图。
图8是表示本发明的车体附近障碍物报告系统的第一实施方式的合成图像显示的一个例子的示意图。
图9是说明本发明的车体附近障碍物报告系统的第一实施方式的存在于图像区域外的障碍物的探测的例子的示意图。
图10是表示本发明的车体附近障碍物报告系统的第二实施方式的增强显示的处理内容的流程图。
图11是说明本发明的车体附近障碍物报告系统的第二实施方式的存在于图像区域外的障碍物的探测的例子的示意图。
图12是说明本发明的车体附近障碍物报告系统的第三实施方式的存在于图像区域外的障碍物的探测的例子的示意图。
图13是表示本发明的车体附近障碍物报告系统的第四实施方式的增强显示的处理内容的流程图。
图14是说明本发明的车体附近障碍物报告系统的第四实施方式的存在于图像区域内的障碍物的探测的例子的示意图。
图15是说明本发明的车体附近障碍物报告系统的第五实施方式的存在于本车体下部的障碍物的探测的例子的示意图。
图16是表示本发明的车体附近障碍物报告系统的第六实施方式的增强显示的处理内容的流程图。
图17是说明本发明的车体附近障碍物报告系统的第六实施方式的从本车体周围向本车体下部移动的障碍物的探测的例子的示意图。
图中：1—自卸车(自车)，2—车体，3—车斗(载台)，4A—前轮，4B—后轮，8—驾驶室，100—车体附近障碍物报告装置，101—周围图像输入部，102—物体探测部，103—区域判定部，104—图像信息抽取部，105—合成图像构建部，106—输出部，301—前方相机，302—左方向相机，303—后方相机，304—右方向相机，401—前方图像，402—左方向图像，403—后方图像，404—右方向图像，501—时刻t0－1的移动障碍物，502—时刻t0的移动障碍物，503—抽取区域外的探测结果，504—抽取区域外的探测结果图像，601—前方抽取区域，602—左方向抽取区域，603—后方抽取区域，604—右方向抽取区域，605—合成图像，606—前方转变图像，607—左方向转变图像，608—后方转变图像，609—右方向转变图像，610—自车图标，701—配置了抽取区域外的探测结果的图像，901—探测信息，902—探测部位的增强显示，1201—抽取区域内的探测结果，1202—抽取区域内的探测结果图像，1301—探测结果周围图像。
具体实施方式
以下，以适用于搬运在矿山等挖掘的碎石、矿物等的大型搬运车辆即自卸车的情况为例使用附图对本发明的实施方式进行说明。此外，本发明的适用范围并不限定于自卸车。
实施例1
图1是表示具备本发明的车体附近障碍物报告系统的第一实施方式的自卸车的侧视图。
图1所示的自卸车(自车)1主要具备：由坚固的框架构造形成的车体2；能够起伏地搭载在车体2上的车斗(载台)3；以及装配于车体2的左前轮4A(L)及左后轮4B(L)。
在车体2上配设有驱动后轮4B的引擎(未图示)。引擎例如具有引擎控制装置(以下称为ECU)，通过根据来自ECU的指令信号控制供给的燃料流量，从而控制引擎的转速。
车斗3是为了装载碎石物等负载而设置的容器，通过栓结合部5等相对于车体2能够起伏地连结。在车斗3的下部，沿车辆的宽方向隔开规定的间隔地设置有两个起伏缸6。若对起伏缸6供给、排出液压油，则起伏缸6伸长、缩短从而使车斗3起伏。另外，在车斗3的前侧上部设置有檐部7。
檐部7保护设置于其下侧(即车体2的前部)的驾驶室8免受岩石等飞散物影响，并且具有在车辆跌倒时等保护驾驶室8的功能。在驾驶室8的内部，设置有构成车体附近障碍物报告系统的控制装置100(参照图4)、转向用的方向盘(未图示)、以及油门踏板及刹车踏板等(未图示)。
图2是说明构成本发明的车体附近障碍物报告系统的第一实施方式的周围图像输入部的相机的配置的示意图，图3是表示构成本发明的车体附近障碍物报告系统的第一实施方式的相机所拍摄的图像的示意图。
在图2中，在自卸车1的车体2的前侧面与后侧面设置有对自卸车1的前方以广角拍摄的前方相机301和对自卸车1的后方以广角拍摄的后方相机303。另外，在车体2的左侧面和右侧面设置有对自卸车1的左方向以广角拍摄的左方向相机302和对自卸车1的右方向以广角拍摄的右方向相机304。这些相机301～304以能够以各自地表面为主进行拍摄的方式带俯角地安装于车体2的各面。另外，在自卸车1的车体2装配有右前轮4A(R)和右后轮4B(R)。
图3表示这些相机301～303所拍摄的周围图像的例子。附图标记401表示前方相机301所拍摄的前方图像的例子。附图标记402表示左方向相机302所拍摄的左方向图像的例子。附图标记403表示后方相机303所拍摄的后方图像的例子。附图标记404表示右方向相机304所拍摄的右方向图像的例子。
周围图像401～404分别以广角拍摄，因此在远方即、各图像的上部映出的地平线弯曲可见。另外，在附近即、各图像的下部映出车体2的一部分、左右前轮4A(R)、4A(L)的一部分、左右后轮4B(R)、4B(L)的一部分。前方图像401、左方向图像402、后方图像403、右方向图像404组合而成的图像为本实施方式的周围图像。
图4是表示本发明的车体附近障碍物报告系统的第一实施方式的构成的方框图。在图4中，车体附近障碍物报告系统的第一实施方式具备车体附近障碍物报告装置100和周围图像输入部101。
周围图像输入部101具备分别对自卸车1周围的情形进行拍摄的多个相机301～304。周围图像输入部101将拍摄结果即多个周围图像401～404向车体附近障碍物报告装置100发送。
车体附近障碍物报告装置100具备物体探测部102、区域判定部103、图像信息抽取部104、合成图像构建部105以及输出部106。
物体探测部102进行关于周围图像输入部101所发送的多个周围图像401～404的探测处理，判断移动障碍物是否存在于图像中，并将其结果向区域判定部103和合成图像构建部105输出。
区域判定部103在从物体探测部102接收探测移动障碍物的信号的情况下，基于来自合成图像构建部105的合成图像上的移动障碍物的探测位置坐标等位置信息，判定移动障碍物的位置在图像区域的内还是外。在图像区域外的情况下，将探测位置坐标与周围图像一同向图像信息抽取部104输出。
图像信息抽取部104基于从区域判定部103输入的探测位置坐标，从周围图像中抽取符合探测位置的图像，并作为探测结果抽取图像与探测位置坐标一同向合成图像构建单元部105输出。
合成图像构建部105输入：周围图像输入部101发送的多个周围图像401～404；从物体探测部102探测移动障碍物的信号；以及由位置图像信息抽取部104示出移动障碍物的位置的探测位置坐标信号和探测结果抽取图像。合成图像构建部104首先相对于移动障碍物的探测结果的坐标信息进行合成图像上的坐标转变，并将该信号向区域判定部103输出。其次，为了生成合成俯瞰图像而从所输入的周围图像中提出必要的部分出并坐标转变后进行合成，并且基于输入的探测位置坐标合成障碍物的探测位置探测结果抽取图像，并将得到的合成图像向输出部106输出。
输出部106具备显示器等，将从合成图像构建部105输入的合成图像对使用者输出。
接下来，使用图5乃至图9对本发明的车体附近障碍物报告系统的第一实施方式的移动障碍物的探测与显示的处理内容进行说明。图5是表示本发明的车体附近障碍物报告系统的第一实施方式的处理内容的流程图，图6是表示本发明的车体附近障碍物报告系统的第一实施方式的移动障碍物的探测的例子的示意图，图7是表示本发明的车体附近障碍物报告系统的第一实施方式的从周围图像抽取的区域的例子的示意图，图8是表示本发明的车体附近障碍物报告系统的第一实施方式的合成图像显示的一个例子的示意图，图9是说明本发明的车体附近障碍物报告系统的第一实施方式的存在于图像区域外的障碍物的探测的例子的示意图。在图5乃至图9中，与图1乃至图4所示的符号相同符号的部分为同一部分，所以省略其详细的说明。
在图5中，车体附近障碍物报告装置100进行周围图像输入(步骤S201)。具体来说，输入由周围图像输入部101拍摄的周围图像401～404。
车体附近障碍物报告装置100执行障碍物的探测处理(步骤S202)。具体来说，由图4所示的物体探测部102执行移动障碍物的探测处理。作为探测的对象的图像为从周围图像输入部101输入的前方图像401、左方向图像402、后方图像403、右方向图像404。
使用图6对探测处理的一个例子进行说明。图6表示左方向图像402的障碍物的探测，从上往下顺次表示，(a)在某一特定时刻t0前的时刻即时刻t0－1的图像，(b)某一特定时刻t0的图像，(c)表示障碍物探测结果的图像，(d)探测结果图像。
在此，在图6(a)中，表示时刻t0－1的障碍物501在左方向图像402上被拍摄的情形，图6(b)中表示特定时刻t0的障碍物502在左方向图像402上被拍摄的情形。这些障碍物501与502是人物，相同，由左方向相机302拍摄其随着时间推移正在移动的情形。在图6(a)～(c)中，障碍物即人物以立于前轮4A(L)与后轮4B(L)之间的状态存在。该状况下对图像进行拍摄的情况下，图像内朝向下侧为头部、上侧为脚部地映出，由于头部比脚部更靠近相机，因此头部更大地映出。
图4所示的物体探测部102将从周围图像输入部101输入的这些图像进行比较，算出随着时间的推移图像中产生变化的部位。通过算出而得到的、图6(c)所示的后述抽取区域外的探测结果503保持左方向图像402上的坐标信息。此外，在图像中不产生变化的情况下得不到这样的探测结果。
回到图5，车体附近障碍物报告装置100判断步骤S202中的探测处理的移动障碍物的探测的有无(步骤S203)。在探测到移动障碍物的情况下，进入步骤S204，除此以外的情况下，进入步骤S207。
车体附近障碍物报告装置100算出探测部位的坐标(步骤S204)。具体来说，将在图4所示的物体探测部102中由前方图像401、左方向图像402、后方图像403、右方向图像404中得到的移动障碍物的部位转变为坐标信息，并将该信号向合成图像构建部105输出。在合成图像构建部105中，通过转变输入信号来算出合成图像的坐标信息。该转变与后述(步骤S207)进行的用于构建合成图像的处理相同，具体来说，通过从前方图像401、左方向图像402、后方图像403、右方向图像404提出一部分并以边界相接的方式排列，从而显示遍及自卸车(自车)1的前后左右的周围状况。
使用图7以及图8对该例子进行说明。在图7的周围图像401～404中，在各自的内部设置前方抽取区域601、左方向抽取区域602、后方抽取区域603、右方向抽取区域604。这些抽取区域，基于广角相机的特性，以映出从自卸车1的正下开始到离开一定距离的部分之间、和从邻接的相机输入的图像的抽取区域与从该相机输入的图像的抽取区域不重合地邻接为基础设定其范围。
接下来，通过对这些抽取区域601～604进行坐标转变以及合成，构建图8所示的合成图像605。在图8的合成图像605的内部，前方抽取区域601向前方转变图像606转变。同样地，左方向抽取区域602向左方向转变图像607转变，后方抽取区域603向后方转变图像608转变，右方向抽取区域604向右方向转变图像609转变。
在合成图像605中，这些转变图像606～609以依次邻接的方式配置，在本实施方式中，表现俯瞰自卸车1的周围的图像。此外，不存在坐标转变以及配置的结果图像的部分，表示自卸车(自车)1存在于该区域，因此为了对使用者明示这种情况而合成自车图标610。
回到图5，车体附近障碍物报告装置100，判断步骤S204的探测部位的坐标是否存在于转变图像的区域外(步骤S205)。具体来说，区域判定部103基于来自合成图像构建部105的合成图像上的移动障碍物的探测位置坐标等位置信息，判定移动障碍物的位置在图像区域的内还是外。移动障碍物在转变图像的区域外的情况下，进入步骤S206，在除此之外的情况下，进入步骤S207。
在本实施方式中，如图6(c)所示，配置抽取区域外的探测结果的图像503虽然位于左方向图像402的内部，但存在于左方向抽取区域602的外部。对该坐标信息加以转变后，转变后的坐标信息指示图8所示的左方向转变图像607的外部。
回到图5，车体附近障碍物报告装置100抽取探测部位的图像(步骤S206)。具体来说，图像信息抽取部104在转变前的图像内抽取符合探测结果的位置的部位的图像。在本实施方式中，抽取符合图6(d)所示的左方向图像402内的抽取区域外的探测结果503的位置的、抽取区域外的探测结果图像504，并由后述的合成图像构建部102保持。
在步骤S203中没有探测移动障碍物的情况下、或在步骤S205中移动障碍物不在转变图像的区域外的情况下、或执行步骤S206的处理后，车体附近障碍物报告装置100执行合成图像的构建(步骤S207)。具体来说，用于上述的步骤S204的合成图像的构建的处理，通过在合成图像构建部102中从前方图像401、左方向图像402、后方图像403、右方向图像404提出一部分进行坐标转变的基础上以边界相接的方式配置，从而使遍及自卸车(自车)1的前后左右的周围的状况显示。
在此，执行步骤S206的处理后的合成图像构建部102的处理与其他情况的处理不同。在步骤S203中判定探测移动障碍物的情况下，本系统保持探测结果的坐标信息。再有，在步骤S205中判定探测结果的坐标存在于图像区域的外部的情况下，本系统保持图6(d)所示的探测结果图像504。为了将此表示给使用者，合成图像构建部102对图9所示的合成图像605进行增强显示的设定。
具体来说，对图6(c)的抽取区域外的探测结果503加以转变，通过在该转变后的坐标上设定抽取区域外的探测结果图像504，显示在图9所示的合成图像605上配置抽取区域外的探测结果的图像701。此外，在步骤S205中，判定探测结果的坐标存在于图像区域的内部的情况下，对其位置进行描画矩形等其他的增强显示，不使用抽取区域外的探测结果图像504。由此，对使用者来说，关于合成图像605上没有显示的移动障碍物也能够通过增强显示其存在而进行通知。
回到图5，车体附近障碍物报告装置100输出合成图像(步骤S208)。具体来说，合成图像构建部104将合成图像605向输出部105输出。在上述的处理中，在探测移动障碍物的情况下，向输出部105输出进行了坐标转变后的探测结果701那样的增强显示的合成图像605。
车体附近障碍物报告装置100判定移动障碍物的探测以及输出是否结束(步骤S209)。在这些处理结束的情况下终止，在除此以外的情况下返回(步骤S201)。
如上所述，本实施方式的移动障碍物的探测与报告的处理完成，向使用者报告在什么位置探测到什么样的移动障碍物，使用者根据其内容能够迅速地判断下一步应该采取的行动，从而能够促进作业。
根据上述的本发明的车体附近障碍物报告系统的第一实施方式，不配置正下方用车载相机，在自车1周围的状况下，进行作为自车1的车体下部等的合成俯瞰图像而没有显示的部位的移动障碍物的探测，并且合成显示该移动障碍物的位置与图像，所以使用者能够迅速地掌握在哪里存在什么样的移动障碍物。由此，使用者能够容易判断对探测结果即移动障碍物应该如何处理，其结果，能够提高作业整体的运用效率。
实施例2
以下，使用附图对本发明的车体附近障碍物报告系统的第二实施方式进行说明。图10是表示本发明的车体附近障碍物报告系统的第二实施方式的增强显示的处理内容的流程图，图11是说明本发明的车体附近障碍物报告系统的第二实施方式的存在于图像区域外的障碍物的探测的例子的示意图。在图10以及图11中，与图1乃至图9所示的符号相同符号的部分是同一部分，所以省略其详细的说明。
本实施方式的车体附近障碍物报告系统的构成以及运用方法与第一实施方式大致相同。在第二实施方式中，与第一实施方式的不同点在于，在对位于自车1下部且未在合成图像605上显示的移动障碍物的情况下，对探测的部位增强显示，并且该探测结果的图像(障碍物的图像)通过引出线显示于自车标610与合成图像605的外侧来报告使用者。另外，虽然本实施方式的处理的流程与图5类似，但不同点在于在步骤S206后追加处理，因此使用图10对该部分进行说明。
在图10中，在步骤S203中探测移动障碍物，且在步骤S205中判定为探测结果的坐标存在于图像区域的外部的情况下，在步骤S206的处理后，为了将本系统保持的抽取区域外的探测结果图像504表示给使用者，执行增强显示的设定(步骤S801)。
具体来说，图11所示那样的合成图像605等输出至输出部106。如图11所示地在合成图像605的周缘部存在显示过剩区域901。显示过剩区域901是指在输出部106显示合成图像605整体时出于保持图像的长宽比的理由等而不显示图像的区域，通常在该区域中什么也不显示。
在本实施方式中，在步骤S801中，合成图像构建部105对抽取区域外的探测结果503加以转变，在该转变后的坐标上设定探测部位的增强显示902。在本例中，以粗线绘制圆来显示。
接下来，合成图像构建部105最靠近存在探测部位的增强显示902的位置，且为了描画抽取区域外的探测结果图像504而从显示过剩区域901中探索具有足够面积的区域。至发现探索的结果的位置为止设定连结箭头903的描画。在本例中，至合成图像605的上部的位置为止显示连结箭头903。
接下来，在发现探索的结果的位置设定配置了抽取区域外的探测结果的图像701的描画。由此，例如在抽取区域外的探测结果图像504的色、形状与自车图标610的色、形状类似的情况下，抽取区域外的探测结果图像504也在显示过剩区域901显示出，所以增强抽取区域外的探测结果图像504的色、形状的特征，能够明确地识别。其结果，使用者能够迅速地判断接下来应该采取的行动，所以能够提高作业整体的运用效率。
在本实施方式中具有如下特征，移动障碍物的位置显示在其探测位置，但探测结果即障碍物的图像显示于与探测位置不同的部位。
根据上述的本发明的车体附近障碍物报告系统的第二实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车体附近障碍物报告系统的第二实施方式，使用者在显示过剩区域901识别探测结果的图像(障碍物的图像)504，所以在探测结果的图像504的色、形状与自车图标610的色、形状类似的情况下，也能够增强特征从而明确地识别。其结果，能够进一步确保安全性。
实施例3
以下，使用附图对本发明的车体附近障碍物报告系统的第三实施方式进行说明。图12是说明本发明的车体附近障碍物报告系统的第三实施方式的存在于图像区域外的障碍物的探测的例子的示意图。在图12中，与图1乃至图11所示的符号相同的符号的部分是同一部分，所以省略其详细的说明。
本实施方式的车体附近障碍物报告系统的构成以及运用方法与第一实施方式大致相同。第三实施方式中与第一实施方式的不同点在于，在探测位于自车1的下部且没有显示在合成图像605上的移动障碍物的情况下，增强显示探测的部位，并且通过将该探测结果的图像(障碍物的图像)显示于自车图标610的中心部来报告使用者。另外，本实施方式的处理流程与图11所示的处理相同。但是，步骤S801的处理内容不同，因此对该部分进行说明。
在执行增强显示的设定(步骤S801)后，图12所示那样的合成图像605输出至输出部106。具体来说，合成图像构建部105对抽取区域外的探测结果503加以转变，在该转变后的坐标上设定用于明示探测部位的增强显示。在本例中，显示箭头1001，从自车图标610的中心部附近向转变后的坐标地表示探测部位。
接下来，合成图像构建部105在自车图标610的中心部分设定配置了抽取区域外的探测结果的图像701的描画。此外，在探测到多个移动障碍物的情况下，对最后探测到的移动障碍物适用该处理。由此，在探测到移动障碍物的位置位于转变图像的区域外的情况下，若能够看见自车图标610的位置，则必定存在配置了抽取区域外的探测结果的图像701。其结果，使用者能够抑制用于发现探测结果的视点移动，从而能够迅速地掌握状况。
在本实施方式中具有如下特征，移动障碍物的位置虽然显示为其探测位置，但探测结果即障碍物的图像显示为与探测位置不同的部位。
根据上述的本发明的车体附近障碍物报告系统的第三实施方式，能够得到与上述第一实施方式相同的效果。
另外，根据上述的本发明的车体附近障碍物报告系统的第二实施方式，使用者能够抑制用于发现移动障碍物的图像的视点移动。其结果，能够迅速地掌握状况，并能够进一步确保安全性。
实施例4
以下，用附图对本发明的车体附近障碍物报告系统的第四实施方式进行说明。图13是表示本发明的车体附近障碍物报告系统的第四实施方式的增强显示的处理内容的流程图，图14是说明本发明的车体附近障碍物报告系统的第四实施方式的存在于图像区域内的障碍物的探测的例子的示意图。在图13以及图14中，与图1乃至图12所示的符号相同符号的部分是同一部分，所以省略其详细的说明。
本实施方式的车体附近障碍物报告系统的构成以及运用方法与第一实施方式大致相同。在第四实施方式中与第一实施方式的不同点在于，在合成图像605内显示的区域内探测移动障碍物的情况下，显示对探测到的部位适用坐标转变前的探测结果的图像(障碍物的图像)并报告使用者。另外，虽然本实施方式的处理的流程与图5类似，但不同点在于在步骤S205后追加处理，因此用图13对该部分进行说明。
在图13中，在步骤S203中探测移动障碍物，且在步骤S205中判定为探测结果的坐标存在于图像区域的内部的情况下，为了将适用本系统保持的坐标转变前的探测结果图像表示给使用者而执行增强显示的设定(步骤S1101)。
具体来说，基于图14的左侧所示的左方向图像402构成图14的右侧所示的合成图像605。在本例中，移动障碍物位于左方向抽取区域602的内部，表示为抽取区域内的探测结果1201。在上述的其他的实施方式中，该探测结果通过步骤S207的合成图像的构建，适用坐标转变并显示于输出部106，但是在本例中，没有适用坐标转变，而是作为抽取区域内的探测结果图像1202设定于合成图像605内。
由此，能够将与配置了抽取区域外的探测结果的图像701类似的外观的探测结果图像设定在合成图像605内，能够使使用者减少掌握探测结果时的混乱。另外，通过将没有进行坐标转变的图像表示给使用者，能够显示从相机存在的位置靠近实际观测状态的图像，从而使使用者对现场情形的掌握变得容易。
根据上述的本发明的车体附近障碍物报告系统的第四实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车体附近障碍物报告系统的第四实施方式，使用者能够识别从相机存在的位置靠近实际观测状态的图像。其结果，现场情形的掌握变得容易，能够进一步确保安全性。
实施例5
以下，使用附图对本发明的车体附近障碍物报告系统的第五实施方式进行说明。图15是表示本发明的车体附近障碍物报告系统的第五实施方式的合成俯瞰图像与移动障碍物的探测结果显示的一个例子的示意图。在图15中，与图1乃至图14所示的符号相同符号的部分是同一部分，所以省略其详细的说明。
本实施方式的车体附近障碍物报告系统的构成以及运用方法与第一实施方式大致相同。在第五实施方式中与第一实施方式的不同点在于，在探测位于自车1的下部且没有在合成图像605上显示的移动障碍物的情况下，将自车1下部的一部分区域重叠于自车图标610上显示，通过与其探测结果的图像(障碍物的图像)一同显示而报告使用者。另外，本实施方式的处理的流程与图11所示的处理相同。但不同在于步骤S801的处理内容，因此对该部分进行说明。
执行增强显示的设定(步骤S801)后，图15所示那样的合成图像605输出至输出部106。具体来说，合成图像构建部105对抽取区域外的探测结果503加以转变，在该转变后的坐标上设定用于明示探测部位的增强显示。在本例中，在配置了抽取区域外的探测结果的图像701之外，并列设定表示其周围情形的探测结果周围图像1301(斜线部)而显示。
就探测结果周围图像1301而言，能够选择例如含有探测到移动障碍物的图像的自车1下部的图像。在该情况下，图7所示的左方向图像402内的左方向抽取区域602以外的部分符合。在左方向图像402内，图像的外观上，在左方向抽取区域602的下侧存在自车1的下部，所以在图15中，能够使用该部分的图像。
此外，在探测结果周围图像1301中能够设定坐标转变前的图像或坐标转变后的图像中的任意一个。因为能够将探测结果与其周围的状况并列显示，所以使用者能够容易推测探测结果的产生原因、今后的变动。
根据上述的本发明的车体附近障碍物报告系统的第五实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车体附近障碍物报告系统的第五实施方式，使用者能够容易推测探测结果即移动障碍物的产生原因、今后的变动。其结果，能够迅速地掌握状况，从而能够进一步确保安全性。
实施例6
以下，使用附图对本发明的车体附近障碍物报告系统的第六实施方式进行说明。图16是表示本发明的车体附近障碍物报告系统的第五实施方式的增强显示的处理内容的流程图，图17是说明本发明的车体附近障碍物报告系统的第五实施方式的存在于图像区域内的障碍物的探测的例子的示意图。在图16以及图17中，与图1乃至图15所示的符号相同符号的部分是同一部分，所以省略其详细的说明。
本实施方式的车体附近障碍物报告系统的构成以及运用方法与第一实施方式大致相同。在第六实施方式中与第一实施方式不同点在于，在自车1的周围探测到的移动障碍物向自车1的下部移动的情况下，将在自车1的周围进行探测时的图像(障碍物的图像)显示于自车1的下部的移动障碍物存在的位置而报告使用者。另外，本实施方式的处理的流程也与图5类似，但不同点在于在步骤S205后追加处理，因此使用图16对该部分进行说明。
在图16中，在步骤S203中探测移动障碍物，且在步骤S205中判定为探测结果的坐标存在于图像区域的内部的情况下，执行抽取探测结果图像并保持的处理(步骤S1401)。另外，在步骤S205中判定为探测结果的坐标存在于图像区域的外部的情况下，代替步骤S206，为了将本系统保持的图像区域内部的探测结果图像表示给使用者而执行增强显示的设定(步骤S1402)。
具体来说，图17的左侧表示移动障碍物存在于图像区域即左方向抽取区域602的内部的时刻的左方向图像402，在图17的右侧，在其后表示移动障碍物向图像区域的外部移动的时刻的合成图像605。
在某一时刻，在探测到存在于图像区域内部的移动障碍物的情况下，执行探测结果图像的抽取(步骤S1401)处理。具体来说，取得图17的左侧所示的抽取区域内的探测结果1201并由图像信息抽取部104保持。其后，若移动障碍物移动而进入自车1的下部，则移动障碍物从图像区域的内部向外部移动。此时，图16所示的步骤S205的判定结果变化，执行增强显示的设定(步骤S1402)处理。
具体来说，如图17的右侧所示，以与自车图标610重合的方式显示配置了抽取区域外的探测结果的图像701，在该图像的内容中使用在步骤S1401中取得的保持于图像信息抽取部104的图像。
因为能够显示接近使用者能够以肉眼确认的移动障碍物的状态的图像，所以使用者对现场的情形的掌握变得容易。
另外，相比于与自车1的周围相比光基本不能到达因而相对较暗的图像的取得为在假定的自车1的下部取得探测结果的图像的情况，能够期待取得更明亮的图像。由此，在移动障碍物向自车1的下部移动的情况下，使用者也能够容易掌握移动障碍物的状态。
根据上述的本发明的车体附近障碍物报告系统的第六实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车体附近障碍物报告系统的第六实施方式，能够显示接近能够以肉眼确认的移动障碍物的状态的图像，所以使用者对现场的情形的掌握变得容易。其结果，能够迅速地掌握状况，从而能够进一步确保安全性。
此外，本发明的实施方式以适用于作为工程机械的大型自卸车的情况为例进行说明，但并不限于此。也能够适用于施工现场的大型机械或灾害现场的大型作业机械。
此外，本发明并不限于上述实施例，包含多种变形例。例如，上述的实施例是为了易于理解地说明本发明而进行的详细说明，并不限定于必须具备全部的构成。另外，上述各构成、功能、处理部、处理单元等的一部分或全部也可以通过例如集成电路设计等而由硬件实现。另外，上述各构成、功能等也可以通过由处理器对实现各自功能的程序进行解析、执行而由硬件实现。

Claims (6)

1.一种车体附近障碍物报告系统，具备：拍摄车辆周围的图像并作为周围图像发送的周围图像输入部；从上述周围图像输入部所拍摄的周围图像抽取合成图像构成用区域，由所抽取的合成图像构成用区域合成作为输出结果的合成俯瞰图像的合成图像构建部；以及将上述输出结果向使用者提示的输出部，
上述车体附近障碍物报告系统的特征在于，具备：
使用上述周围图像进行移动障碍物的探测处理的物体探测部；
判断上述物体探测部所探测到的上述移动障碍物的探测位置在上述合成图像构成用区域的内还是外的区域判定部；以及
图像信息抽取部，在上述区域判定部判定上述移动障碍物的探测位置在上述合成图像构成用区域外的情况下，该图像信息抽取部抽取上述移动障碍物的探测位置信息与所拍摄的上述移动障碍物的图像，向上述合成图像构建部发送并使其与上述合成俯瞰图像合成，
上述车体附近障碍物报告系统进行作为车体下部的合成俯瞰图像没有显示的部位的上述移动障碍物的探测，并且合成显示该移动障碍物的位置与图像。
2.根据权利要求1所述的车体附近障碍物报告系统，其特征在于，
上述合成图像构建部使从上述图像信息抽取部所送出的上述移动障碍物的探测位置的信息和上述移动障碍物的图像与上述合成俯瞰图像合成，并在上述移动障碍物的探测位置显示上述移动障碍物的图像。
3.根据权利要求1所述的车体附近障碍物报告系统，其特征在于，
上述合成图像构建部使从上述图像信息抽取部所送出的上述移动障碍物的探测位置的信息和上述移动障碍物的图像与上述合成俯瞰图像合成，使上述移动障碍物的探测位置增强显示，并且使上述移动障碍物的图像显示在与上述移动障碍物的探测位置不同的位置。
4.根据权利要求1所述的车体附近障碍物报告系统，其特征在于，
在上述区域判定部判定上述移动障碍物的探测位置在上述合成图像构成用区域内的情况下，上述车体附近障碍物报告系统执行合成图像的构建。
5.根据权利要求1所述的车体附近障碍物报告系统，其特征在于，
在上述区域判定部判断为上述移动障碍物的探测位置从上述合成图像构成用区域内变化至外的情况下，上述图像信息抽取部保持在上述合成图像构成用区域内所拍摄的上述移动障碍物的图像，并且，
在上述移动障碍物的探测位置位于上述合成图像构成用区域外期间，上述图像信息抽取部将上述移动障碍物的探测位置的信息与上述保持的在上述合成图像构成用区域内所拍摄的上述移动障碍物的图像向上述合成图像构建部发送并使其与上述合成俯瞰图像合成。
6.一种车体附近障碍物报告系统，具备：拍摄车辆周围的图像并作为周围图像发送的周围图像输入部；从上述周围图像输入部所拍摄的周围图像抽取合成图像构成用区域，由所抽取的合成图像构成用区域合成作为输出结果的合成俯瞰图像的合成图像构建部；以及将上述输出结果向使用者提示的输出部，
上述车体附近障碍物报告系统的特征在于，具备：
使用上述周围图像进行移动障碍物的探测处理的物体探测部；
判断上述物体探测部所探测到的上述移动障碍物的探测位置在上述合成图像构成用区域的内还是外的区域判定部；以及
图像信息抽取部，在上述区域判定部判定上述移动障碍物的探测位置在上述合成图像构成用区域外的情况下，上述图像信息抽取部抽取上述移动障碍物的探测位置的信息和包含上述探测位置的上述周围图像，向上述合成图像构建部发送，
上述合成图像构建部使上述合成俯瞰图像示出的区域以外的部分半透明地显示，并且，将上述移动障碍物的探测位置增强显示并使上述周围图像合成，
上述车体附近障碍物报告系统进行作为车体下部的合成俯瞰图像没有显示的部位的上述移动障碍物的探测，并且合成显示该移动障碍物的位置与图像。
CN201510112033.XA 2014-04-25 2015-03-13 车体附近障碍物报告系统 Expired - Fee Related CN105007449B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014091571A JP6262068B2 (ja) 2014-04-25 2014-04-25 車体近傍障害物報知システム
JP2014-091571 2014-04-25

Publications (2)

Publication Number Publication Date
CN105007449A CN105007449A (zh) 2015-10-28
CN105007449B true CN105007449B (zh) 2019-01-15

Family

ID=52807653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510112033.XA Expired - Fee Related CN105007449B (zh) 2014-04-25 2015-03-13 车体附近障碍物报告系统

Country Status (4)

Country Link
US (1) US9463741B2 (zh)
EP (1) EP2937811B1 (zh)
JP (1) JP6262068B2 (zh)
CN (1) CN105007449B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
CN106797452A (zh) * 2015-03-03 2017-05-31 日立建机株式会社 车辆的周围监视装置
JP6629425B2 (ja) * 2016-03-14 2020-01-15 日立建機株式会社 鉱山用作業機械
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
EP3267419B1 (en) * 2016-07-08 2021-11-10 Volvo Car Corporation Method and system for maintaining a database comprising reported traffic-affecting events
JP6730615B2 (ja) * 2016-07-12 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN106503653B (zh) * 2016-10-21 2020-10-13 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
US10268907B2 (en) * 2017-01-11 2019-04-23 GM Global Technology Operations LLC Methods and systems for providing notifications on camera displays for vehicles
US20180201132A1 (en) * 2017-01-13 2018-07-19 Deere & Company Mobile machine-user protocol system and method
US10936884B2 (en) * 2017-01-23 2021-03-02 Magna Electronics Inc. Vehicle vision system with object detection failsafe
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP6730613B2 (ja) 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6796518B2 (ja) * 2017-03-06 2020-12-09 日立建機株式会社 移動物体検知システム
JP7252137B2 (ja) * 2017-12-04 2023-04-04 住友重機械工業株式会社 周辺監視装置
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
JP6802196B2 (ja) * 2018-01-09 2020-12-16 日立建機株式会社 運搬車両
JP7304922B2 (ja) * 2018-02-01 2023-07-07 アルパイン株式会社 周辺監視システム
WO2020019071A1 (en) * 2018-07-23 2020-01-30 Newtrax Holdings Inc. Method and system for acknowledging presence in a context-aware environment
JP7374602B2 (ja) * 2019-03-29 2023-11-07 日立建機株式会社 作業車両
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
US11755028B2 (en) 2019-09-11 2023-09-12 Deere & Company Mobile work machine with object detection using vision recognition
US11814816B2 (en) 2019-09-11 2023-11-14 Deere & Company Mobile work machine with object detection and machine path visualization
GB2588186A (en) * 2019-10-11 2021-04-21 Caterpillar Inc System for monitoring surrounding area of cold planer
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
JP7290119B2 (ja) * 2020-01-24 2023-06-13 トヨタ自動車株式会社 車両報知装置
JP7319593B2 (ja) * 2020-02-13 2023-08-02 トヨタ自動車株式会社 車両周辺監視装置
US11472416B2 (en) 2020-04-30 2022-10-18 Deere & Company Multi-dimensional mobile machine path visualization and control system
JP2022014975A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 車両周辺監視装置
CN111912418A (zh) * 2020-07-16 2020-11-10 知行汽车科技（苏州）有限公司 删除移动载体不可行驶区域内障碍物的方法、装置及介质
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
CN113807163B (zh) * 2021-07-28 2023-12-19 中科云谷科技有限公司 泵车的支腿放置方法、泵车的支腿放置装置及存储介质
KR20230055722A (ko) * 2021-10-19 2023-04-26 현대모비스 주식회사 차량의 타겟 감지 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556742B2 (ja) 2005-03-30 2010-10-06 株式会社デンソー 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP4846426B2 (ja) * 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JP4847913B2 (ja) 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
JP2009253673A (ja) * 2008-04-07 2009-10-29 Clarion Co Ltd 車両用周囲状況表示装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP4951639B2 (ja) 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
US8655019B2 (en) * 2009-09-24 2014-02-18 Panasonic Corporation Driving support display device
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5324690B1 (ja) * 2012-09-21 2013-10-23 株式会社小松製作所 作業車両用周辺監視システム及び作業車両

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置

Also Published As

Publication number Publication date
JP2015210649A (ja) 2015-11-24
JP6262068B2 (ja) 2018-01-17
EP2937811B1 (en) 2018-10-17
US20150307024A1 (en) 2015-10-29
US9463741B2 (en) 2016-10-11
EP2937811A1 (en) 2015-10-28
CN105007449A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN105007449B (zh) 车体附近障碍物报告系统
EP3554062B1 (en) Imaging apparatus
US9457718B2 (en) Obstacle detection system
AU2014213529B2 (en) Image display system
US20150199847A1 (en) Head Mountable Display System
US9990543B2 (en) Vehicle exterior moving object detection system
JP6014664B2 (ja) 自走式産業機械の表示装置
US20170061689A1 (en) System for improving operator visibility of machine surroundings
US20140293047A1 (en) System for generating overhead view of machine
CN106797452A (zh) 车辆的周围监视装置
JP2016024685A (ja) 鉱山用作業車両
JP6339337B2 (ja) 車両周囲移動物体検知システム
JP6762863B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP6796518B2 (ja) 移動物体検知システム
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP2018085584A (ja) 画像処理装置、撮像装置、および表示システム
JP2022082487A (ja) 周辺画像生成装置、表示制御方法
JP2021007255A (ja) 撮像装置、画像処理装置、表示システム、および車両
WO2018092919A1 (ja) 画像処理装置、撮像装置、および表示システム
JP6974564B2 (ja) 表示制御装置
JP7296490B2 (ja) 表示制御装置及び車両
JP7007438B2 (ja) 撮像装置、画像処理装置、表示装置、表示システム、および車両
JP2018085582A (ja) 画像処理装置、撮像装置、および表示システム
JP2018085581A (ja) 画像処理装置、撮像装置、および表示システム
JP2018085580A (ja) 画像処理装置、撮像装置、および表示システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190115