CN110383831B - 作业车辆用的人员检测系统和具备该系统的作业车辆 - Google Patents

作业车辆用的人员检测系统和具备该系统的作业车辆 Download PDF

Info

Publication number
CN110383831B
CN110383831B CN201880015560.0A CN201880015560A CN110383831B CN 110383831 B CN110383831 B CN 110383831B CN 201880015560 A CN201880015560 A CN 201880015560A CN 110383831 B CN110383831 B CN 110383831B
Authority
CN
China
Prior art keywords
image data
detection
person
work vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015560.0A
Other languages
English (en)
Other versions
CN110383831A (zh
Inventor
石川岩
丰崎智弘
高桥将史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Publication of CN110383831A publication Critical patent/CN110383831A/zh
Application granted granted Critical
Publication of CN110383831B publication Critical patent/CN110383831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/06—Arrangements or use of warning devices
    • B66C15/065—Arrangements or use of warning devices electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供作业车辆用的人员检测系统和具备该人员检测系统的作业车辆，能够辅助判定通过图像数据取得单元取得图像数据的检测区域是否相对于基准位置处的拍摄区域即基准区域发生偏移。人员检测系统(18)包括：作为图像数据取得单元的摄像机(19)，将包括作为作业车辆的起重机(1)的局部的预定的区域作为检测区域(D)，取得检测区域(D)的检测图像数据(Dd)；偏移判定部(21c)，将在摄像机(19)配置在基准位置的状态下取得的检测图像数据(Dd)中所包含的起重机(1)的图像数据设定为检测区域(D)的基准图像数据(Sd)，将摄像机(19)在任意的时间点取得的检测区域(D)的检测图像数据(Dd)与基准图像数据(Sd)进行比较，判定摄像机(19)的位置是否相对于基准位置产生偏移；以及报告部，报告摄像机(19)的位置产生偏移。

Description

作业车辆用的人员检测系统和具备该系统的作业车辆
技术领域
本发明涉及一种作业车辆用的人员检测系统和具备该人员检测系统的作业车辆。
背景技术
以往，在起重机等作业车辆中，存在驾驶席的操纵者的视野在行驶时被收纳于车辆的起重臂等遮挡的情况。在这样的作业车辆中，有的车辆为了确保操纵者的视野而设置有用于取得从驾驶席看来成为死角的范围的图像的摄像机。作业车辆构成为利用摄像机对从驾驶席无法视觉确认的范围进行拍摄并且将所取得的影像显示在驾驶席的监视器上。此外，作为作业车辆，已知如下的车辆，即，具备对在所取得的摄像机的影像中在特定范围是否包含障碍物进行判断并向操纵者报告的障碍物报告系统。例如，参见专利文献1。
专利文献1所记载的作业车辆即越野起重机将作为驾驶席的驾驶室和伸缩臂通过转台搭载在具有行驶功能的运载车上。在转台上，相对于行进方向，在右侧配置有驾驶室。此外，在转台上，相对于行进方向，在左侧配置有伸缩臂。因此，在越野起重机中，相对于行进方向位于左侧的驾驶席中的操纵者的视野被伸缩臂遮挡而产生死角。在这种越野起重机中设置有如下的障碍物报告系统，即，在伸缩臂的左侧设置电视摄像机(图像数据取得单元)，将成为死角的区域作为监视区域(检测区域)来取得监视影像的信息并显示于驾驶室内的监视器。障碍物报告系统将监视区域中所包含的越野起重机主体部分作为屏蔽区域而从障碍物的检测区域D中排除。通过这样构成，能够在监视区域中抑制对障碍物的误判定。
专利文献1所记载的障碍物报告系统的屏蔽区域根据监视影像中的坐标决定。因此，在障碍物报告系统中，当电视摄像机的拍摄区域发生偏移时，应当在监视区域中执行障碍物检测的区域在监视影像上被视为屏蔽区域，而不会适当地执行障碍物检测。因此，障碍物报告系统需要适当地确认电视摄像机的拍摄区域是否没有产生偏移，并且，当电视摄像机的拍摄区域发生了偏移时，迅速地将电视摄像机的安装位置调整到适当的状态。
现有技术文献
专利文献
专利文献1：日本特开2016-13887号公报
发明内容
本发明要解决的课题
本发明的目的在于提供一种能够辅助判断由图像数据取得单元取得图像数据的检测区域是否相对于基准位置处的拍摄区域即基准区域发生偏移的人员检测系统和具备该人员检测系统的作业车辆。
用于解决课题的手段
本发明要解决的课题如上所述，接下来说明用于解决该课题的手段。
即，本发明的作业车辆用的人员检测系统的一个方式包括：图像数据取得单元，将包括所述作业车辆局部的预定的区域作为检测区域，取得检测区域的检测图像数据；偏移判定部，将在图像数据取得单元配置在基准位置的状态下取得的检测图像数据中所包含的作业车辆的图像数据设定为检测区域的基准图像数据，将图像数据取得单元在任意的时间点取得的检测区域的检测图像数据与基准图像数据进行比较，判定图像数据取得单元的位置是否相对于基准位置产生偏移；以及报告单元，报告图像数据取得单元的位置产生偏移。
人员检测系统还包括图像显示单元，当偏移判定部判定为图像数据取得单元的位置发生偏移时，使图像显示单元将基于基准图像数据的确认用图形与检测区域的图像数据叠加显示。
在人员检测系统中，将表示被允许的检测区域的偏移幅度的偏移幅度确认用图形与确认用图形配合地显示。
作业车辆是包括作业车辆用的人员检测系统的作业车辆。
发明的效果
本发明具有如下所示的效果。
在人员检测系统和具备该人员检测系统的作业车辆中，始终检测检测区域有无偏移。由此，人员检测系统和具备该人员检测系统的作业车辆能够对判断通过图像数据取得单元取得图像数据的检测区域是否相对于基准位置处的拍摄区域即基准区域发生偏移做辅助。
在人员检测系统和具备该人员检测系统的作业车辆中，视觉性地提示在检测区域有无偏移。由此，人员检测系统和具备该人员检测系统的作业车辆能够辅助判断通过图像数据取得单元取得图像数据的检测区域是否相对于基准位置处的拍摄区域即基准区域发生偏移。
在人员检测系统和具备该人员检测系统的作业车辆中，视觉性地提示检测区域的偏移是否在允许范围内。由此，人员检测系统和具备该人员检测系统的作业车辆能够对判断通过图像数据取得单元取得图像数据的检测区域是否相对于基准位置处的拍摄区域即基准区域发生偏移做辅助。
附图说明
图1是示出本发明的一个实施方式的起重机的整体结构和摄像机的拍摄区域的侧视图。
图2是示出本发明的一个实施方式的起重机的整体结构和摄像机的拍摄区域的俯视图。
图3是示出根据本发明的一个实施方式的起重机的控制结构的框图。
图4A和图4B示出关于亮度梯度的图像处理的概念图。图4A是在本发明的一个实施方式中在人员检测系统中根据图像示出亮度梯度和将其划分分割的状态的概念图。图4B是示出在本发明的一个实施方式中根据亮度梯度计算出直方图来作为HOG特征量的状态的概念图。
图5是示出在本发明的一个实施方式的人员检测系统的人员检测控制中基于HOG特征量根据SVM学习计算出的识别边界的概念图。
图6A和图6B示出了基于边缘角度的图像处理的概念图。图6A是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中根据边缘的角度划分分割检测图像数据中的判定范围的图像数据的状态的概念图。图6B是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中根据边缘的角度的划分梯度计算出直方图的状态的概念图。
图7A和图7B示出基于基准图像数据的图像处理的概念图。图7A是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中从基准图像数据确定与判定范围类似的类似范围的状态的图。图7B是示出本发明的一个实施方式的人员检测系统的偏移判定控制中对判定范围的直方图和类似范围的直方图进行比较的状态的概念图。
图8是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中计算判定范围的坐标和类似范围的坐标的欧几里德距离的状态的概念图。
图9A和图9B示出基准的显示方式。图9A是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中没有显示基准图形和辅助图形的状态下的检测图像数据的图。图9B是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中显示基准图形和辅助图形的状态下的检测图像数据的图。
图10是示出表示本发明的一个实施方式的人员检测系统的整体控制方式的流程图的图。
图11是示出表示本发明的一个实施方式的人员检测系统的人员检测控制的控制方式的流程图的图。
图12是示出表示本发明的一个实施方式的人员检测系统的偏移判定控制的控制模式的流程图的图。
图13是示出在本发明的一个实施方式的人员检测系统的偏移判定控制中显示示出调整幅度的基准图形的状态下的检测图像数据的图。
具体实施方式
以下，使用图1和图2对作业车辆的一个实施方式的起重机1进行说明。此外，在本实施方式中，作为作业车辆，对移动式起重机(越野起重机)进行说明，但作业车辆只要是乘用型的作业车辆即可。
如图1和图2所示，作为作业车辆的起重机1是能够移动至不特定的场所的移动式起重机1。起重机1具有车辆2、起重机装置6以及人员检测系统18(参见图3)。
车辆2运输起重机装置6。车辆2具有多个车轮3并且以发动机4作为动力源行驶。车辆2具有外伸支腿5。外伸支腿5具有在车辆2的宽度方向两侧能够利用液压而延伸的悬伸梁和能够在垂直于地面的方向上延伸的液压式的起重油缸。通过在车辆2的宽度方向上延伸外伸支腿5并使起重油缸接地，从而车辆2能够扩大起重机1的可作业范围。
起重机装置6利用钢丝绳提升运输物。起重机装置6具备转台7、伸缩臂8、吊臂9、主钩滑车10、副钩滑车11、变幅缸12、主绞盘13、主钢丝绳14、副绞盘15、副钢丝绳16以及驾驶室17等。
转台7以能够使起重机装置6回转的方式构成。转台7借助环形轴承设置在车辆2的框架上。转台7构成为将环形轴承的中心作为旋转中心通过液压回转马达(未图示)能够自由地沿一个方向或另一个方向旋转。
伸缩臂8将钢丝绳支承为能够提升输送物的状态。伸缩臂8具有多个臂部件。伸缩臂8通过用伸缩缸(未图示)移动各臂部件而在轴向上伸缩。伸缩臂8的基本臂部件的基端以能够摆动的方式固定于转台7的大致中央。伸缩臂8以顶端向车辆2的前方倾倒的状态收纳。在伸缩臂8的朝向车辆2前方而言的左侧(以下，简称为“左侧”)设置有伸缩臂8的臂支撑件(未图示)。该臂支撑件由臂支撑件盖8a覆盖。由此，伸缩臂8以在车辆2的框架上能够水平旋转并且摆动自如的方式构成。
吊臂9扩大了起重机装置6的扬程和作业半径。吊臂9被设置在伸缩臂8的基本臂部件上的吊臂支撑部以沿着基本臂部件的姿势保持。吊臂9的基端被以能够与顶臂部件的吊臂支撑部连结的方式构成固定。
主钩滑车10用于吊挂输送物。在主钩滑车10上设置有供挂绕主钢丝绳14的多个吊钩滑轮和用于吊挂输送物的主钩。副钩滑车11用于吊挂输送物。在副钩滑车11上设置有用于吊挂输送物的副钩。
变幅缸12使伸缩臂8立起和倾倒，保持伸缩臂8的姿势。变幅缸12具有由缸部和杆部构成的液压缸。变幅缸12的缸部的端部以能够自由摆动的方式连结于转台7，杆部的端部以能够自由摆动的方式连结于伸缩臂8的基本臂部件。
作为液压绞盘的主绞盘13和副绞盘15实施主钢丝绳14和副钢丝绳16的收卷(提升)和放卷(放下)。主绞盘13具有主卷筒。主卷筒上缠绕有主钢丝绳14，借助主液压马达旋转。副绞盘15具有主卷筒。该主卷筒上缠绕有副钢丝绳16，借助主液压马达旋转。
驾驶室17覆盖操纵席。驾驶室17搭载在转台7上。驾驶室17排列配置在伸缩臂8的朝向车辆2前方而言的右侧(以下，简称为“右侧”)。在驾驶室17的内部设置有操纵席(未图示)。在操纵席设置有用于对车辆2进行行驶操作的操作件和用于对起重机装置6进行操作的各种操作件等。
这样构成的起重机1通过使车辆2行驶而能够将起重机装置6移动到任意的位置。此外，起重机1通过利用变幅缸12将伸缩臂8立起到任意的倾倒角度，将伸缩臂8延伸到任意的伸缩臂8长度、连结吊臂9，由此，扩大起重机装置6的扬程或作业半径。
以下，使用图1～9说明设置在起重机1中的人员检测系统18。在本实施方式中，在起重机1中，伸缩臂8配置在驾驶室17的左侧。因此，驾驶室17中的作业者受伸缩臂8遮挡，从操纵席看，无法目视确认左侧。也就是说，在起重机1中，当从驾驶室17中的操纵席观察时，车辆2的左侧成为伸缩臂8的死角。此外，在本实施方式中，人员检测系统18设置在作为作业车辆的移动式起重机1中，但只要设置在乘用型的作业车辆即可。
如图3所示，人员检测系统18用于对检测区域D中的人员进行检测。人员检测系统18包括作为图像数据取得单元的摄像机19、作为图像显示单元的监视器20、报告单元(报告部21d)以及控制装置21(参见图3)。
作为图像数据取得单元的摄像机19取得图像数据。摄像机19例如具有包括多个透镜的光学系统以及CCD或CMOS等摄像元件。摄像机19能够以可变的快门速度取得活动图像和静止图像。摄像机19搭载在转台7上。摄像机19配置在伸缩臂8的左侧的臂支撑件盖8a上。摄像机19从臂支撑件盖8a朝向车辆2的前方配置。此外，摄像机19相对于车辆2的前后方向以预定的角度朝向左侧。此外，摄像机19相对于转台7的回转面以预定的角度朝向下方。通过这样构成，由此，摄像机19安装为能够将车辆2的左前侧部分及其周边部分作为拍摄区域来取得该区域的图像数据。即，以作为拍摄区域的车辆2的前方左侧部分及其周边部分成为进行人员检测的检测区域D的方式设定摄像机19。
作为图像显示单元的监视器20显示图像数据。监视器20设置在驾驶室17中的操纵席(未图示)处。监视器20能够对摄像机19所取得的图像数据、基于报告单元的信号的报告信息进行显示。此外，监视器20显示基于来自控制装置21的信号得到的基准图形Gs和辅助图形Ga(参见图9)。
在检测范围内检测到人员的情况下、摄像机19出现偏移的情况下，报告单元将该情况向操纵者报告。报告单元使监视器20显示报告信息、通过蜂鸣声等进行报告。在本实施方式中，报告单元作为控制装置21的一部分即报告部21d而与控制装置21一体地构成(参见图3)。
如图3所示，控制装置21控制人员检测系统18。控制装置21具有显示控制部21a、人员检测部21b、偏移判定部21c以及作为报告单元的报告部21d。控制装置21设置在驾驶室17内。控制装置21实体上既可以是将CPU、ROM、RAM、以及HDD等通过总线连接而成的结构，或者也可以是由单芯片LSI等构成的结构。控制装置21存储有各种程序、数据，以便控制摄像机19、监视器20、人员检测部21b、偏移判定部21c、报告部21d以及显示控制部21a的动作。
显示控制部21a是控制装置21的一部分，控制由摄像机19取得的图像数据。显示控制部21a从摄像机19取得图像数据，使监视器20实时进行显示。此外，显示控制部21a将图像数据传送到人员检测部21b和偏移判定部21c。
人员检测部21b是控制装置21的一部分，对检测区域D中的人员进行检测。人员检测部21b与控制装置21一体地构成。人员检测部21b使用任意的算法根据摄像机19的拍摄区域即检测区域D(参见图1和图2)的检测图像数据Dd来对检测区域D中的人员进行检测(参见图4)。
偏移判定部21c是控制装置21的一部分，检测区域D与位于基准位置的摄像机19的拍摄区域(以下，简称为“基准区域S”(参见图7))进行比较而判定是否产生偏移。偏移判定部21c与控制装置21一体地构成。偏移判定部21c使用任意的算法来判定摄像机19是否将预先决定的基准区域S即车辆2的前方左侧部分以及其周边部分作为检测区域D进行拍摄。在本实施方式中，偏移判定部21c利用后述的HOG特征量和SVM学习的算法，通过特定范围的图像数据的边缘(外形线)的角度的直方图与基准区域S中的特定范围的直方图间的比较来判定摄像机19的偏移。
在控制装置21中，显示控制部21a连接于摄像机19。控制装置21的人员检测部21b和偏移判定部21c取得由摄像机19拍摄的图像数据。
控制装置21连接于监视器20。控制装置21控制监视器20，使之显示所取得的图像数据、警告显示、以及图形等。
控制装置21由人员检测部21b根据从摄像机19取得的图像数据计算出图像数据的HOG(Histogram of Oriented Gridients：方向梯度直方图)特征量。此外，控制装置21的人员检测部21b基于计算出的HOG特征量通过SVM(Support Vector Machine：支持向量机)学习来对人员进行检测。
控制装置21由偏移判定部21c根据从摄像机19取得的图像数据计算出检测图像数据Dd与基准图像数据Sd的直方图。此外，控制装置21的偏移判定部21c基于计算出的直方图分别确定检测图像数据Dd和基准图像数据Sd中的预定区域的坐标，判定检测图像数据Dd与基准图像数据Sd之间是否存在偏移。
如图4A和图4B所示，HOG特征量是基于根据亮度的梯度强度将局部区域(单元)的亮度的梯度方向进行直方图化后的结果计算出的特征量。如图4A所示，人员检测部21b将检测区域D中的检测图像数据Dd分割为局部区域，计算出局部区域中的亮度的梯度方向和梯度强度。如图4B所示，人员检测部21b基于亮度的梯度强度对计算出的局部区域中的亮度的梯度方向进行直方图化。此外，人员检测部21b对多个局部区域中的直方图进行归一化以计算出HOG特征量。
如图5所示，SVM学习是如下方法，即，用样本组成多个组，根据每个样本的HOG特征量，计算出由与属于各组的样本的HOG特征量之间的欧几里德距离最大的边缘最大化超平面所构成的识别边界，对输入数据进行模式识别。人员检测部21b预先计算出用于对行人组、自行车组、摩托车组与它们以外的组进行识别的人员识别边界B1。
具体地，人员检测部21b预先计算出构成成为检测对象的行人组、自行车组、以及摩托车组与它们以外的组的多个样本中的每一个样本的HOG特征量。人员检测部21b在各组的HOG特征量的集合中，分别从各组中提取在各组的HOG特征量中位于最靠近其他组的位置的HOG特征量，计算出距所提取出的各HOG特征量的欧几里德距离最大的人员识别边界B1。
在人员检测控制中，人员检测部21b从显示控制部21a取得由摄像机19取得的检测区域D的检测图像数据Dd。人员检测部21b根据所取得的检测图像数据Dd计算出HOG特征量。人员检测部21b与根据SVM学习预先计算出的每个应该识别的组的人员识别边界B1相对照，判定所取得的图像数据的HOG特征量是否属于任一组。当所取得的图像数据的HOG特征量属于任一组时，人员检测部21b视为在检测区域D中检测到人员而将该情况的信号发送到报告部21d。
如图6所示，偏移判定部21c利用HOG特征量和SVM学习的算法，通过任意的某个时间点的摄像机19的拍摄区域即检测区域D中的预先决定的特定范围的图像数据的边缘(外形线)的角度的直方图与基准区域S中的特定范围的图像数据的直方图间的比较来判定摄像机19的偏移。
偏移判定部21c在预先取得的基准区域S的基准图像数据Sd的整个范围内计算出由预定大小的形状构成的特定范围的基准直方图h(n)。具体地，偏移判定部21c将基准图像数据Sd分割为局部区域，计算出局部区域中的边缘的角度及其度数。偏移判定部21c基于该度数对计算出的局部区域中的边缘的角度进行直方图化。然后，偏移判定部21c在基准图像数据Sd的整个范围中一边按最小单位逐次错开特定范围的位置一边对每个特定范围的位置计算出将包含在特定范围内的多个局部区域的直方图归一化后的基准直方图h(n)。
此外，偏移判定部21c预先基于在基准图像数据Sd中一个特定范围的基准直方图h(k)与其他多个特定范围的基准直方图h(s)、h(s+1)、h(s+2)...之间的相似度，计算出距离各相似度的欧几里德距离最大的图像识别边界B2。具体地，偏移判定部21c计算出基准图像数据Sd中多个基准直方图h(s)、h(s+1)、h(s+2)...。偏移判定部21c以一个计算出了基准直方图h(k)的特定范围为中心来决定基准图像数据Sd中的扫描范围。偏移判定部21c根据基准直方图h(k)分别对扫描范围进行扫描，按每个基准直方图h(s)、h(s+1)、h(s+2)、...计算出各扫描位置的与基准直方图h(k)的相似度。偏移判定部21c分别提取在具有相似度接近1的组(高相似度组)和其以外的组(低相似度组)中位于最接近其他的组的位置的组，计算出距离所提取的各相似度的欧几里德距离最大的图像识别边界B2(参见图5)。
在偏移判定控制中，偏移判定部21c从显示控制部21a取得由在任意的状态下配置的摄像机19在任意的时间点取得的检测区域D的检测图像数据Dd(参见图3)。在所取得的检测区域D的检测图像数据Dd中，偏移判定部21c从检测图像数据Dd中切出进行相似判定的预定的范围即判定范围Ed的图像数据。偏移判定部21c将判定范围Ed的图像数据分割为局部区域，计算出局部区域中的边缘的角度及其度数。如图6中的(B)所示，偏移判定部21c对计算出的局部区域中的边缘的角度基于其度数进行直方图化。然后，偏移判定部21c计算出对判定范围Ed的局部区域中的直方图进行归一化后的判定直方图hd。
如图7A所示，偏移判定部21c对在基准图像数据Sd中所计算出的判定范围Ed的判定直方图hd与基准直方图h(n)之间的相似度进行计算。确定计算出的相似度中的相似度最高(相似度接近1)的基准直方图h(r)的相似范围Es。
如图7B所示，偏移判定部21c与图像识别边界B2对照而判定最高的相似度属于高相似度组和低相似度组中的哪个组。在最高的相似度属于高相似度组的情况下，即，在判定直方图hd与基准直方图h(r)的相似度高的情况下，偏移判定部21c判定为判定范围Ed的图像数据与相似范围Es的图像数据一致。
如图8所示，偏移判定部21c将检测图像数据Dd中的判定范围Ed的预定的坐标Pd与基准图像数据Sd中的确定的相似范围Es的预定的坐标Ps进行比较。当坐标Pd与坐标Ps之间的欧几里德距离L大于容许值T时，偏移判定部21c判定为检测区域D偏离基准区域S。偏移判定部21c多次进行针对判定范围Ed的相似范围Es的确定和基于坐标的欧几里德距离L的偏移判定，在判定为检测区域D连续地相对于基准区域S偏移了预定次数N的情况下，确定检测区域D相对于基准区域S发生偏移这一判定。即，偏移判定部21c判定为包括摄像机19的安装角度和安装位置等的摄像机19的位置相对于摄像机19的基准位置产生了偏移。
如图9A和图9B所示，偏移判定部21c向报告部21d传输表示需要进行摄像机19的位置调整的位置偏移信号，并且经由显示控制部21a使检测基准图形Gs、辅助图形Ga与检测图像数据Dd叠加显示。当报告部21d取得位置偏移信号时，输出蜂鸣声、或在监视器20上输出表示该情况的标记M、文字信息。
基准图形Gs是在调整摄像机19的位置时作为基准的图形。基准图形Gs由在基准区域S中始终包括在基准图像数据Sd中的车辆2的左侧表面、左侧后视镜的外形线构成(参照图9B中的粗实线)。辅助图形Ga是示出在调整摄像机19的位置时的调整幅度的图形(图9B中的细双点划线)。辅助图形Ga由示出摄像机19的位置的允许偏移幅度的图形构成。也就是说，辅助图形Ga示出以基准图形Gs为中心而摄像机19的位置被看作没有偏移的调整幅度。
当偏移判定部21c在偏移判定控制中判定为检测区域D与基准区域S之间没有偏移时，经由显示控制部21a消除基准图形Gs和辅助图形Ga的显示，并且将无位置偏移信号传输到报告部21d。当报告部21d取得位置偏移信号时，停止蜂鸣声、消除在监视器20上显示的表示有位置偏移的标记、文字信息。
以下，将使用图10至图12具体说明起重机1的人员检测系统18中的摄像机19的位置偏移判定控制。在本实施方式中，设为起重机1是在电源刚刚成为接通状态之后。此外，控制装置21的人员检测部21b预先计算出用于检测人员的HOG特征量的人员识别边界B1。而且，控制装置21的偏移判定部21c预先取得基准图像数据Sd，在其所有范围中计算出每个特定范围的基准直方图h(n)，并计算出用于对基准直方图h(n)与判定范围Ed的判定直方图hd之间的相似度进行判定的相似度的图像识别边界B2。
人员检测系统18在起重机1的电源被置于接通状态时开始控制。人员检测系统18的控制装置21首先通过人员检测部21b开始进行人员检测控制。人员检测部21b经由显示控制部21a从摄像机19取得检测区域D的检测图像数据Dd，计算出HOG特征量。人员检测部21b基于HOG特征量判定在检测区域D中是否存在人员。接下来，控制装置21通过偏移判定部21c开始进行偏移判定控制。
偏移判定部21c根据经由显示控制部21a从摄像机19取得的检测区域D的检测图像数据Dd，计算出判定范围Ed的判定直方图hd。偏移判定部21c在基准图像数据Sd中确定与所计算出的判定范围Ed相对应的相似范围Es。当检测图像数据Dd中的判定范围Ed的坐标Pd与基准图像数据Sd中的确定出的相似范围Es的坐标Ps之间的欧几里德距离L大于容许值T时，偏移判定部21c判定为检测区域D相对于基准区域S产生偏移，经由显示控制部21a使基准图形Gs和辅助图形Ga与检测图像数据Dd叠加显示。
如图10所示，在步骤S110中，控制装置21从摄像机19取得检测区域D的检测图像数据Dd，使步骤进入步骤S200。
在步骤S200中，控制装置21开始进行人员检测控制A，使步骤进入步骤S210(参见图11)。然后，当人员检测控制A结束时，控制装置21使步骤进入步骤S300(参见图10)。
在步骤S300中，控制装置21开始进行偏移判定控制B，使步骤进入步骤S310(参见图12)。然后，当偏移判定控制B结束时，控制装置21使步骤进入步骤S110(参见图10)。
如图11所示，在步骤S210中，控制装置21开始人员检测控制A，根据所取得的检测图像数据Dd计算出HOG特征量，使步骤进入步骤S220。
在步骤S220中，控制装置21将计算出的HOG特征量与人员识别边界B1进行对照，判定是否属于具有包含由行人组、自行车组和摩托车组构成的人物的HOG特征量的人员组中的任一个。
其结果是，在计算出的HOG特征量属于行人组、自行车组以及摩托车组中的任一个时，控制装置21使步骤进入步骤S230。
另一方面，当计算出的HOG特征量不属于行人组、自行车组以及摩托车组中的任一个时，即，当计算出的HOG特征量不是人员的特征量时，控制装置21使步骤S240进入步骤240。
在步骤S230中，控制装置21视为在检测区域D中检测到人员，将有人员信号传输到报告部21d，结束人员检测控制A，使步骤进入步骤S300(参见图10)。
在步骤S240中，控制装置21视为在检测区域D中没有检测到人员，将无人员信号传输到报告部21d，结束人员检测控制A，使步骤进入步骤S300(参见图10)。
如图12所示，在步骤S310中，控制装置21开始偏移判定控制B，此外，在步骤S310中，控制装置21将从摄像机19取得的图像数据作为检测区域D的检测图像数据Dd，决定在检测图像数据Dd中进行相似判定的预定的范围即判定范围Ed的位置。然后，控制装置21使步骤进入步骤S320。
在步骤S320中，控制装置21根据所决定的判定范围Ed的位置的图像数据计算出判定直方图hd，使步骤进入步骤S330。
在步骤S330中，控制装置21在基准图像数据Sd中确定具有与计算出的判定直方图hd的相似度最高的基准直方图h(r)的预定的范围即相似范围Es的位置，使步骤进入步骤S340。
在步骤S340中，控制装置21将计算出的判定直方图hd与所确定出的基准直方图h(r)之间的相似度跟图像识别边界B2进行对照，判定是否属于高相似度组和低相似度组中的任一组。
其结果是，当计算出的判定直方图hd与所确定出的基准直方图h(r)之间的相似度属于高相似度组时，控制装置21使步骤进入步骤S350。
另一方面，当计算出的判定直方图hd与所确定出的基准直方图h(r)之间的相似度属于低相似度组时，控制装置21使步骤进入步骤S310。
在步骤S350中，控制装置21计算出所决定的判定范围Ed的预定的坐标Pd与所确定出的相似范围Es的预定的坐标Ps之间的欧几里德距离L，使步骤进入步骤S360。
在步骤S360中，控制装置21判定计算出的欧几里德距离L是否大于容许值T。
其结果是，当计算出的欧几里德距离L大于容许值T时，控制装置21使步骤进入步骤S370。
另一方面，当计算出的欧几里德距离L不大于容许值T时，控制装置21使步骤进入步骤S390。
在步骤S370中，控制装置21对判定为计算出的欧几里德距离L大于容许值T的累计次数是否是N次进行判定。
其结果是，当判定为计算出的欧几里得距离L大于容许值T的累计次数是N次时，控制装置21使步骤进入步骤S380。
另一方面，当判断为计算出的欧几里德距离L大于容许值T的累计次数小于N次时，控制装置21使步骤进入步骤S410。
在步骤S380中，控制装置21确定检测区域D相对于基准区域S发生偏移这一判定。此外，在步骤S380中，控制装置21向报告部21d传输表示需要进行摄像机19的位置调整的有位置偏移信号。然后，控制装置21经由显示控制部21a使基准图形Gs和辅助图形Ga显示于监视器20，使偏移判定控制B结束。之后，控制装置21使步骤进入步骤S110(参见图10)。
在步骤S390中，控制装置21将表示不需要进行摄像机19的位置调整的无位置偏移信号传输到报告部21d，消除显示在监视器20上的基准图形Gs和辅助图形Ga。然后，控制装置21使步骤进入步骤S400。
在步骤S400中，控制装置21将判定为计算出的欧几里德距离L大于容许值T的累计次数N重置，结束偏移判定控制B。然后，控制装置21使步骤进入步骤S110(参见图10)。
在步骤S410中，控制装置21将判定为计算出的欧几里德距离L大于容许值T的累计次数设定为N＝N+1，结束偏移判定控制B，使步骤进入步骤S110(参见图10)。
通过这样构成，在人员检测系统18和具备该人员检测系统18的起重机1的情况下，在电源为接通状态的期间，利用检测区域D中的图像数据的HOG特征量，与根据SVM学习预先计算出的人员识别边界B1对照，由此容易地判断人员的有无。此外，在人员检测系统18和具备人员检测系统18的起重机1的情况下，利用基准区域S的特定范围的图像数据中的边缘角度的基准直方图h(n)与检测区域D的特定范围的图像数据中的边缘角度的判定直方图hd之间的相似度，容易地进行检测图像数据Dd相对于基准图像数据Sd的重合。而且，根据重合的图像数据的坐标的欧几里德距离L，容易地判断检测区域D相对于基准区域S有无偏移。此外，当检测区域D相对于基准区域S偏移时，通过将基准图形Gs叠加地显示在检测区域D，从而能够容易地实施摄像机19的对位。由此，人员检测系统18和具备人员检测系统18的起重机1能够辅助判断由摄像机19取得检测图像数据Dd的检测区域D是否相对于基准区域S偏移。
需要说明的是，在本实施方式中，在人员检测系统18和具备人员检测系统18的起重机1的情况下，以检测范围D为起重机1的前方左侧的方式配置摄像机19，但是，也可以以起重机1的后方左侧、后方右侧等死角包含在检测范围D中的方式设置多个摄像机19。此外，人员检测系统18和具备人员检测系统18的起重机1在监视器20上显示基准图形Gs和辅助图形Ga，但是，也可以仅显示基准图形Gs。此外，基准图形Gs和辅助图形Ga也可以利用显示开关等在任意的定时显示于监视器20。此外，如图13所示，基准图形Gs可以以摄像机19的位置的容许偏移幅度的线宽构成外形线的宽度。
上述实施方式仅示出了代表性的方式，能够在不脱离一个实施方式的要点的范围内进行各种变形来实施。而且本发明当然能够以多种方式实施，本发明的保护范围由权利要求书的记载示出，而且包含权利要求书所记载的均等的含义和范围内的全部变更。
工业实用性
本发明能够应用于作业车辆用的人员检测系统和具备该人员检测系统的作业车辆。
附图标记说明
1 起重机
18 人员检测系统
19 摄像机
21 控制装置
21a 显示控制部
21b 人员检测部
21c 偏移判定部
21d 报告部
D 检测区域
Dd 检测图像数据
Sd 基准图像数据。

Claims (3)

1.一种作业车辆用的人员检测系统，其中，包括：
图像数据取得单元，将包括所述作业车辆的局部的预定的区域作为检测区域进行拍摄，取得所述检测区域的检测图像数据；
偏移判定部，将在所述图像数据取得单元配置在基准位置的状态下进行拍摄而取得的检测图像数据中所包含的所述作业车辆的图像数据设定为所述检测区域的基准图像数据，将所述图像数据取得单元在任意的时间点进行拍摄而取得的所述检测区域的检测图像数据与所述基准图像数据进行比较，判定所述图像数据取得单元的位置是否相对于基准位置产生偏移；
人员检测部，基于所述检测图像数据，对所述检测区域中的人员进行检测；
报告单元，在所述偏移判定部判定为产生了所述偏移的情况下，报告所述图像数据取得单元的位置产生偏移，且在所述人员检测部检测到所述人员的情况下，报告检测到所述人员这一情况；以及
图像显示单元，
当所述偏移判定部判定为所述图像数据取得单元的位置发生偏移时，将基于所述基准图像数据的确认用图形与所述图像显示单元中的所述检测区域的图像数据叠加显示。
2.根据权利要求1所述的作业车辆用的人员检测系统，其中，
将表示被允许的所述检测区域的偏移幅度的偏移幅度确认用图形与所述确认用图形配合地显示。
3.一种作业车辆，其中，
包括权利要求1或2所述的作业车辆用的人员检测系统。
CN201880015560.0A 2017-03-10 2018-03-09 作业车辆用的人员检测系统和具备该系统的作业车辆 Active CN110383831B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-046830 2017-03-10
JP2017046830A JP6794879B2 (ja) 2017-03-10 2017-03-10 作業車両用の人物検知システムおよびこれを備える作業車両
PCT/JP2018/009293 WO2018164273A1 (ja) 2017-03-10 2018-03-09 作業車両用の人物検知システムおよびこれを備える作業車両

Publications (2)

Publication Number Publication Date
CN110383831A CN110383831A (zh) 2019-10-25
CN110383831B true CN110383831B (zh) 2021-01-22

Family

ID=63447885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015560.0A Active CN110383831B (zh) 2017-03-10 2018-03-09 作业车辆用的人员检测系统和具备该系统的作业车辆

Country Status (5)

Country Link
US (1) US11120558B2 (zh)
EP (1) EP3595298A4 (zh)
JP (1) JP6794879B2 (zh)
CN (1) CN110383831B (zh)
WO (1) WO2018164273A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE541180C2 (en) * 2017-04-03 2019-04-23 Cargotec Patenter Ab Driver assistance system for a vehicle provided with a crane using 3D representations
JP6926021B2 (ja) * 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 作業車両
US20220219954A1 (en) * 2019-05-17 2022-07-14 Kobelco Construction Machinery Co., Ltd. Work machine and video display control method for work machine
JP7464367B2 (ja) * 2019-09-27 2024-04-09 新明和工業株式会社 塵芥収集車
CN110844785B (zh) * 2019-11-28 2020-12-29 重庆中星微人工智能芯片技术有限公司 用于生成塔机吊臂信息的方法、装置、设备和介质
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
DE102020107016A1 (de) * 2020-03-13 2021-09-16 Mekra Lang Gmbh & Co. Kg Verfahren zum Verifizieren eines indirekten Sichtsystems
JP7428052B2 (ja) * 2020-03-31 2024-02-06 コベルコ建機株式会社 作業機械の周囲検知装置
CN116229692A (zh) * 2023-05-08 2023-06-06 陕西汇天广科信息科技有限公司 一种监控视频安全系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215134A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 車上認識対象画像デ−タの前処理方法
JP2010183294A (ja) * 2009-02-04 2010-08-19 Aisin Seiki Co Ltd 画像処理装置、画像処理方法ならびにプログラム
CN103141090A (zh) * 2010-09-29 2013-06-05 日立建机株式会社 作业机械的周围监视装置
CN103828352A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
JP2015202835A (ja) * 2014-04-16 2015-11-16 株式会社デンソー 車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置
CN105228941A (zh) * 2013-05-21 2016-01-06 株式会社多田野 摄像机姿态检测装置和作业区域线显示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4045862B2 (ja) * 2002-06-03 2008-02-13 日産自動車株式会社 車載カメラの光軸ずれ検出装置
JP2013182550A (ja) * 2012-03-05 2013-09-12 Sumitomo Electric Ind Ltd 車両検出装置、車両検出方法および車両検出プログラム
US9300954B2 (en) * 2012-09-21 2016-03-29 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP5924227B2 (ja) * 2012-10-16 2016-05-25 株式会社デンソー 車載カメラの取り付け誤差検出装置
JP6072064B2 (ja) 2012-11-08 2017-02-01 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
CN103818828B (zh) * 2014-03-05 2015-12-09 上海振华重工电气有限公司 集装箱起重机吊具对箱引导系统
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6507501B2 (ja) 2014-07-01 2019-05-08 株式会社タダノ クレーン車の障害物報知システム
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
EP3385457A4 (en) * 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN105806563A (zh) * 2016-05-17 2016-07-27 福建工程学院 石材矿山叉装车智能辅助作业装置及方法
EP3483349A4 (en) * 2016-07-05 2019-07-31 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. SHOVEL

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215134A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 車上認識対象画像デ−タの前処理方法
JP2010183294A (ja) * 2009-02-04 2010-08-19 Aisin Seiki Co Ltd 画像処理装置、画像処理方法ならびにプログラム
CN103141090A (zh) * 2010-09-29 2013-06-05 日立建机株式会社 作业机械的周围监视装置
CN103828352A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
CN105228941A (zh) * 2013-05-21 2016-01-06 株式会社多田野 摄像机姿态检测装置和作业区域线显示装置
JP2015202835A (ja) * 2014-04-16 2015-11-16 株式会社デンソー 車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置

Also Published As

Publication number Publication date
WO2018164273A1 (ja) 2018-09-13
US11120558B2 (en) 2021-09-14
CN110383831A (zh) 2019-10-25
EP3595298A4 (en) 2020-12-30
JP2018152685A (ja) 2018-09-27
EP3595298A1 (en) 2020-01-15
JP6794879B2 (ja) 2020-12-02
US20200250831A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN110383831B (zh) 作业车辆用的人员检测系统和具备该系统的作业车辆
EP3553017A1 (en) Crane
US11130658B2 (en) Optical detection and analysis of a counterweight assembly on a crane
JP5876679B2 (ja) 性能線表示装置
JP6342705B2 (ja) 作業機用ブーム衝突回避装置
CN110023711B (zh) 起重机
US20150329333A1 (en) Tower slewing crane
JP6072064B2 (ja) 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
JP6389087B2 (ja) 作業機用ブーム衝突回避装置
JP2016115305A (ja) 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP6507501B2 (ja) クレーン車の障害物報知システム
JP6897075B2 (ja) 過巻検出装置
JP7127597B2 (ja) 監視装置
JP6766516B2 (ja) 障害物検出装置
JP2016013889A (ja) クレーン車の障害物報知システム
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
JP7199645B2 (ja) 物体認識システムおよび物体認識方法
CN111954637A (zh) 起重车
US10311599B2 (en) System and method for diagnosis of lighting system
US20230018143A1 (en) Work machine and mobile crane
JP2016013888A (ja) クレーン車の障害物報知システム
JP2009134591A (ja) 車色判定装置、車色判定システム及び車色判定方法
US20190102902A1 (en) System and method for object detection
CN111587448A (zh) 远端附属设备辨别装置
JP2021075359A (ja) ブームを有する作業車両の周囲監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant