CN103180522B - 作业机械的周边监视装置 - Google Patents

作业机械的周边监视装置 Download PDF

Info

Publication number
CN103180522B
CN103180522B CN201080069736.4A CN201080069736A CN103180522B CN 103180522 B CN103180522 B CN 103180522B CN 201080069736 A CN201080069736 A CN 201080069736A CN 103180522 B CN103180522 B CN 103180522B
Authority
CN
China
Prior art keywords
obstruction
image
work machine
risk factor
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080069736.4A
Other languages
English (en)
Other versions
CN103180522A (zh
Inventor
小沼知惠子
弓场龙
石本英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN103180522A publication Critical patent/CN103180522A/zh
Application granted granted Critical
Publication of CN103180522B publication Critical patent/CN103180522B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04B—POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS
    • F04B49/00—Control, e.g. of pump delivery, or pump pressure of, or safety measures for, machines, pumps, or pumping installations, not otherwise provided for, or of interest apart from, groups F04B1/00 - F04B47/00
    • F04B49/06—Control using electricity
    • F04B49/065—Control using electricity and making use of computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B9/00—Safety arrangements
    • G05B9/02—Safety arrangements electric

Abstract

本发明提供一种作业机械的周边监视装置，其具有：利用由摄像机(13)所拍摄的图像来对作业机械周边的障碍物的存在进行检测的障碍物检测部(400)；计算被检测出的障碍物的位置的位置计算部(500)；基于作业机械的姿势以及动作来计算危险范围的危险范围计算部(700)；判断在计算出的危险范围内是否存在障碍物的判断部(800)；相对于危险范围内的障碍物来设定接触危险度的危险度设定部(2000)；图像作成部(600)，将摄像机图像变换为以作业机械为中心的俯视图像，并从由危险度设定部设定了最高的接触危险度的障碍物的上方对该俯视图像进行俯视，由此作成包含该俯视图像上的作业机械和危险范围的全部在内的图像；和将该作成的图像显示的显示装置(1300)。由此，因为能够使操作员瞬间掌握最危险的障碍物相对于作业机械的位置，所以能够提高基于作业机械的作业效率。

Description

作业机械的周边监视装置
技术领域
本发明涉及对作业机械周围的障碍物进行监视的周边监视装置。
背景技术
液压挖掘机等的作业机械的周边监视装置用于通过摄像机等监视作业机械的周边，而防止在作业时与存在于作业机械的周围的人以及物(障碍物)发生接触。在这种技术中，作为谋求使操作员容易掌握作业机械与周围的障碍物之间的位置关系的技术，而具有在显示装置上重叠地显示如下图像的技术，该图像为将作业时的作业机械的姿势以及其作业范围描绘了的图像、将由摄像机所拍摄的作业机械周边的图像变换为从作业机械的上方视点观察的俯视图像、和将由摄像机等的检测机构恰当地检测出的障碍物描绘了的图像(参照日本特开2008-248613号公报)。
在先技术文献
专利文献1：日本特开2008-248613号公报
上述文献的技术的优点在于，操作员通过观察重叠地显示在显示装置上的图像，而能够容易地掌握障碍物的有无以及作业机械和障碍物之间的位置关系。但是，在作业机械的周围显示有多个障碍物的情况下，产生出需要判断与其中的哪个障碍物接触的可能性最高的问题。在这种情况下，操作员本人不得不进行该判断，该判断作业会必然地介入至通常作业(挖掘作业)之间。因此，当设想在这种状况下对作业机械进行利用时，上述技术从提高基于作业机械的作业效率的观点来看还具有改善空间。
发明内容
本发明提供一种能够使操作员瞬间掌握最危险的障碍物相对于作业机械的位置的作业机械的周边监视装置。
本发明为了实现上述目的，提供一种作业机械的周边监视装置，其具有：对作业机械周边的图像进行拍摄的拍摄机构；利用该所拍摄的图像来对所述作业机械周边的障碍物的存在进行检测的障碍物检测机构；对该被检测出的障碍物相对于作业机械的相对位置进行计算的位置计算机构；基于所述作业机械的姿势以及动作中的至少一个，来对所述作业机械的周围的危险范围进行计算的危险范围计算机构；基于所述计算出的障碍物的位置来判断在所述计算出的危险范围内是否存在障碍物的判断机构；危险度设定机构，相对于由所述判断机构判断为存在于所述危险范围内的障碍物，而基于从所述拍摄的图像而得到的该障碍物的种类、位置以及高度中的至少一个来设定接触危险度；图像作成机构，将所述拍摄的图像变换为以所述作业机械为中心的俯视图像，并从由所述危险度设定机构设定了最高的接触危险度的障碍物的上方对该俯视图像进行俯视，由此作成包含该俯视图像上的所述作业机械和所述危险范围的全部在内的图像；和将该作成的图像显示的显示机构。
发明的效果
根据本发明，因为能够使操作员瞬间掌握最危险的障碍物相对于作业机械的位置，所以能够提高基于作业机械的作业效率。
附图说明
图1是作为本发明的实施方式的作业机械的一例的液压挖掘机的外观图。
图2是本发明的实施方式的作业机械的周边监视装置的整体构成图。
图3是本发明的实施方式的图像作成部600的构成图。
图4是作为由障碍物检测部400利用的对障碍物的存在进行检测的装置而使用摄像机13a的情况、和使用微波雷达14a的情况的检测范围的说明图。
图5是表示本发明的实施方式的液压挖掘机的周围的障碍物(人/物)与液压挖掘机之间的位置关系的说明图。
图6是本发明的实施方式的由障碍物检测部400进行的处理的流程图。
图7是本发明的实施方式的由位置计算部500进行的处理的流程图。
图8是在S520中计算障碍物与摄像机13的距离时的流程图。
图9是本发明的实施方式的由危险范围计算部700进行的处理的流程图。
图10是在上部旋转体1d进行右旋转的情况下的危险范围的计算例的说明图。
图11是在上部旋转体1d进行左旋转的情况下的危险范围的计算例的说明图。
图12是在下部行驶体1e后退的情况下的危险范围的计算例的说明图。
图13是本发明的实施方式的由判断部800进行的处理的流程图。
图14是本发明的实施方式的由危险度设定部2000进行的处理的流程图。
图15是关于在危险度设定部2000中进行的危险度设定处理的第一说明图。
图16是关于在危险度设定部2000中进行的危险度设定处理的第二说明图。
图17是关于在危险度设定部2000中进行的危险度设定处理的第三说明图。
图18是图像作成部600中的由俯视图像作成部610进行的处理的流程图。
图19是图像作成部600中的由俯视视点决定部2100(俯视位置决定部2130以及俯视高度决定部2140)进行的处理的流程图。
图20是俯视视点决定部2100中的决定俯视视点的例的概念图。
图21是表示图像作成部600中的监视图像作成部620作成的监视图像的第一例的图。
图22是表示图像作成部600中的监视图像作成部620作成的监视图像的第二例的图。
图23是表示图像作成部600中的监视图像作成部620作成的监视图像的第三例的图。
图24是表示图像作成部600中的监视图像作成部620作成的监视图像的第四例的图。
图25是表示图像作成部600中的监视图像作成部620作成的监视图像的第五例的图。
图26是表示图像作成部600中的监视图像作成部620作成的监视图像的第六例的图。
图27是表示本发明的实施方式的显示装置1300的显示画面的例的图。
具体实施方式
以下，参照附图说明本发明的实施方式。图1是作为本发明的实施方式的作业机械的一例的液压挖掘机的外观图。该图所示的液压挖掘机具有：由在垂直方向上分别转动的动臂1a、斗杆1b以及铲斗1c构成的多关节型的前作业装置1A；由上部旋转体1b以及下部行驶体1e构成的车身1B、和设置在驾驶室1f内的显示装置1300。
在上部旋转体1d上具有驾驶室1f。前作业装置1A的动臂1a的基端支承在上部旋转体1d的前部。动臂1a、斗杆1b、铲斗1c、上部旋转体1d以及下部行驶体1e分别通过动臂液压缸3a、斗杆液压缸3b、铲斗液压缸3c、旋转马达(未图示)以及左右的行驶马达3e、3f(未图示)的各执行装置而分别驱动。另外，动臂1a、斗杆1b、铲斗1c以及上部旋转体1d具有对各自的转动角(θ1、θ2、θ3、θ4)进行检测的角度检测器8a、8b、8c、8d。
在上部旋转体1d上设置有对液压挖掘机周围的图像进行拍摄的后方摄像机13a、右侧方摄像机13b以及左侧方摄像机13c(拍摄机构)。后方摄像机13a用于拍摄上部旋转体1d的后方的图像，设置在上部旋转体1d的后方。右侧方摄像机13b用于拍摄上部旋转体1d的右侧方的图像，设置在上部旋转体1d的右侧方。左侧方摄像机13c用于拍摄上部旋转体1d的左侧方的图像，设置在上部旋转体1d的左侧方。
图2是本发明的实施方式的作业机械的周边监视装置的整体构成图。此外，在与之前的图相同的部分上标注相同的附图标记并省略说明(之后的图也是相同的)。该图所示的周边监视装置具有摄像机13a、13b、13c、障碍物检测部400、位置检测部500、危险范围计算部700、判断部800、危险度设定部2000、图像作成部600、显示装置1300、执行各部所进行的处理的CPU等的处理装置(未图示)、和存储有由各部进行的处理内容和处理结果的存储器等的存储装置(未图示)。
障碍物检测部400是利用由摄像机13a、13b、13c所拍摄的图像来对液压挖掘机周边的障碍物的存在进行检测的部分，位置计算部500是对液压挖掘机相对于由障碍物检测部400检测出的障碍物的相对位置进行计算的部分。
危险范围计算部700是基于液压挖掘机的姿势以及动作中的至少一个，来对液压挖掘机的周围的危险范围进行计算的部分。在此，液压挖掘机的姿势(上部旋转体1d的旋转角度以及前作业装置1A的姿势等)能够从通过角度检测器8a、8b、8c、8d检测出的检测角度θ1、θ2、θ3、θ4而计算。另外，液压挖掘机的动作能够根据从设置在驾驶室1f内的操作装置(操作杆)30向动臂液压缸3a、斗杆液压缸3b、铲斗液压缸3c、旋转马达(未图示)以及左右的行驶马达3e、3f输出的操作信号(液压信号或者电子信号)、和由角度检测器8a、8b、8c、8d检测出的检测角度θ1、θ2、θ3、θ4的时间变化而计算。
判断部800是基于由位置计算部500计算出的障碍物的位置来判断在由危险范围计算部700计算出的危险范围内是否存在障碍物的部分。在此，“危险范围内”表示危险范围的内侧(液压挖掘机侧)和危险范围之上的区域，“危险范围外”表示除了危险范围之上以外的危险范围的外侧的区域。
危险度判断机构2000是，相对于由判断部800判断为存在于危险范围内的障碍物，而基于从由摄像机13a、13b、13c所拍摄的图像而得到的该障碍物的种类(人/物)、位置以及高度中的至少一个来设定接触危险度(有时也简称为危险度)的部分。
图像作成部600是将由摄像机13a、13b、13c所拍摄的图像变换为以液压挖掘机为中心的俯视图像，并作成从由危险度设定部2000设定了最高的接触危险度的障碍物的上方对该俯视图像进行俯视的图像(监视图像)的部分。在由图像作成部600作成的监视图像中，包含有俯视图像上的液压挖掘机和危险范围的全部。
图3是本发明的实施方式的图像作成部600的构成图。如该图所示，图像作成部600具有俯视图像作成部610、俯视视点决定部2100和监视图像作成部620。
俯视图像作成部610是将由摄像机13a、13b、13c拍摄的图像变换为以液压挖掘机为中心的俯视图像的部分。在此，俯视图像表示对以液压挖掘机为中心的作业场地从该液压挖掘机的正上位置进行观察时所得到的相当于俯视图的图像，在本实施方式中，通过对三个摄像机13a、13b、13c的图像进行变换以及合成而作成。将由摄像机拍摄的图像变换为俯视图像的方法例如能够利用后述的方法、和日本特开2006-48451号公报所记载的方法等。
俯视视点决定部2100是将通过虚拟摄像机(未图示)对由俯视图像作成部610作成的俯视图像进行俯视的视点(俯视视点)决定的部分，具有俯视位置决定部2130、和俯视高度决定部2140。俯视位置决定部2130是将俯视视点的水平面上的位置决定的部分，在本实施方式中，以由危险度设定部2000设定了最高的接触危险度的障碍物的水平面位置为俯视位置。俯视高度决定部2140是将俯视视点的高度位置决定的部分，在本实施方式中，以使在虚拟摄像机所拍摄的图像内至少包含液压挖掘机和由危险范围计算部700计算出的危险范围的方式决定俯视高度。此外，也可以为，以在虚拟摄像机的图像中包含液压挖掘机和危险范围的方式调节该虚拟摄像机的焦距(视场角)，来代替这种俯视高度(虚拟摄像机的高度)的调节或者与其共同进行。
监视图像作成部620，是从由俯视视点决定部2100决定的俯视视点通过虚拟摄像机对由俯视图像作成部610作成的俯视图像进行拍摄，由此作成监视图像的部分。监视图像作成部620进行以将必要的图像适当地合成至所作成的监视图像上的方式显示的处理。例如，监视图像优选为，以使障碍物相对于液压挖掘机的位置关系容易被操作员掌握的方式，将模拟液压挖掘机的图形(模拟作业机械图)在俯视图像的中心显示。作为显示模拟作业机械图的方法，具有在俯视图像的中央显示液压挖掘机的图形或三维模型的方法。此外，此时，为了使操作员更容易掌握状况，优选为使实际的液压挖掘机的姿势和动作反映在该模拟作业机械图中。
而且，为了提高操作员的视觉确认性而优选为，在接触危险度最高的障碍物为人的情况下，将警告显示重叠地描绘到该障碍物之上。作为警告显示，例如具有图形(星形的图形等)和文字(“危险”等)，优选为，相对于这些图形和文字在监视图像中使用醒目的色彩。另外，若变换为俯视图像则图像会被适当扩大缩小而使障碍物的种类难以辨别的趋势较强。由此，在接触危险度最高的障碍物为人的情况下也可以为，为了使操作员的视觉确认性提高，将表示人的图像重叠地显示在该障碍物之上。此时，作为表示人的图像，例如具有表示人的图形和照片等。此外，也优选为，相对于这些而在监视图像中使用醒目的色彩。
返回至图2，显示装置1300是对由图像作成部600作成的图像进行显示的部分，如图1所示地设置在驾驶室1f内。此外，显示装置1300优选为，在液压挖掘机的驾驶室1f中设置在操作员(驾驶员)容易视觉确认的位置上。
此外，周边监视装置也可以由能够图像处理的计算机和显示装置、或者由图像处理专用装置和显示装置而构成。
但是，在液压挖掘机中，从提高障碍物检测部400中的障碍物检测性能的观点来看而优选为，在上部旋转体1d上设置上述的摄像机13a、13b、13c来代替微波雷达那样的距离传感器。例如在本实施方式的液压挖掘机中，如图1所示，测量从上部旋转体1d的后方到障碍物的距离的微波雷达14a设置在后方摄像机13a的下方，测量从上部旋转体1d的右侧方到障碍物的距离的微波雷达14b设置在右侧方摄像机13b的下方，测量从上部旋转体1d的左侧方到障碍物的距离的微波雷达14c设置在左侧方摄像机13c的下方，从而通过在障碍物的检测中使用摄像机13的情况和使用微波雷达14的情况进行比较。
图4是作为由障碍物检测部400利用的对障碍物的存在进行检测的装置而使用摄像机13a的情况、和使用微波雷达14a的情况的检测范围的说明图。微波雷达14a能够进行水平方式的扫描21，但难以进行垂直方向的扫描。在此，由于一般的液压挖掘机的下部行驶体1e的高度为1.0m以上，所以不得不将微波雷达14a的设置高度设置在比1.0m高的位置上。由此，在微波雷达14a的正下具有比设置高度低的障碍物(例如，坐着的人15a(高度0.8左右))的情况下，该障碍物成为微波雷达14a的死角而不能够检测。另一方面，若将摄像机13a以能够将其正下拍摄的俯角设置在车身1B的最上部，则能够进行水平方向和垂直方向的拍摄20a，因此也能够拍摄到坐着的人15a，不会产生微波雷达14a那样的死角。因此，当如本实施方式这样地使用摄像机13a、13b、13c时，使障碍物的检测性能提高并且也提高了安全性。此外，若在摄像机13a、13b、13c的基础上设置微波雷达14a、14b、14c的话，当然能够更加提高检测性能。
接下来说明如上述那样构成的液压挖掘机的周边监视装置在图5所示的环境下工作的情况。图5是表示本发明的实施方式的液压挖掘机的周围的障碍物(人/物)与液压挖掘机之间的位置关系的说明图。在该图中，在上部旋转体1d的后方设置有摄像机13a和微波雷达14a，在上部旋转体1d的右侧方设置有摄像机13b和微波雷达14b(未图示)，在上部旋转体1d的左侧方设置有摄像机13c和微波雷达14c(未图示)。另外，在作为从操作员难以观察的方向的上部旋转体1d的后方存在作业员15a、15b和土包16、路障17以及路桩19，在右侧方存在作业员15c、15d，在左侧方存在作业员15e。
图6是由本发明的实施方式的障碍物检测部400进行的处理的流程图。当周边监视装置中开始周边监视处理时，障碍物检测部400首先输入摄像机13拍摄的图像(步骤S401)，并将来自紧前或者n个画面前的摄像机13的输入图像、和将没有障碍物的状态另外拍摄的图像等作为背景图像而输入(S402)。而且，使用S401的输入图像和S402的背景图像来作成按每个像素的差分图像(S403)，并进行将该制造的差分图像中亮度不足规定阈值(7～15左右)的部分作为0，将其之上的部分作为1以上的二值化处理而将障碍物的变化区域抽取(S404)。
接着，判断在S404中抽取的变化区域中是否具有面积为规定阈值以上的部分(S405)。鉴于离摄像机13越远的障碍物会被拍摄得越小的情况而优选为，在此利用的阈值以随着离摄像机13的距离的增加而减少的方式设定。在S405中在变化区域中具有面积为阈值以上的部分的情况下，判断为存在障碍物区域(S406)而前进至S408，在只具有不足阈值的部分的情况下，判断为不存在障碍物(S407)而重复S401之后的处理。
在S408中检查障碍物区域是否存在多个。在S408中，在判断为障碍物区域的个数为一个的情况下，将障碍物区域的个数设定为一个(n＝1)(S409)。而且，将k设定为1(S411)，并将相对于该障碍物区域的外接矩形的左上坐标和右下坐标存储到存储装置中(S413)，并重复S401之后的处理。
另一方面，在S408中判断为障碍物区域存在多个的情况下，将该障碍物区域的个数设定为多个(n)(S410)。而且，将k设定为1(S412)，并将第一个相对于障碍物区域的外接矩形的左上坐标和右下坐标存储到存储装置中(S413)，并检查是否相对于所有的障碍物区域而存储了坐标，即k是否达到了n(S414)。在S414中k没有达到n的情况下，将k增加一个(S415)并返回至S413，然后仅以障碍物区域的个数的次数来重复S413→S414→S415的处理。根据上述处理，能够检测液压挖掘机周边的障碍物的存在。
图7是本发明的实施方式的由位置计算部500进行的处理的流程图。当周边监视装置中开始周边监视处理时，位置计算部500检查由障碍物检测部400抽取的区域(抽取区域)中是否存在外接矩形，即是否通过障碍物检测部400在存储装置中存储有外接矩形的坐标(S501)。
在S501中，在抽取区域中存在有外接矩形的情况下前进至S502，在不存在外接矩形的情况下，持续进行检查直到存在外接矩形为止。在抽取区域中存在外接矩形的情况下，将外接矩形中的下边的中点的坐标(像素)作为障碍物的位置计算时的基点(S502)，并计算该障碍物的离摄像机13的距离(S520)。
图8是S520中计算障碍物与摄像机13的距离时的流程图。
但是，作为计算离摄像机(图像传感器)的距离的原理，并作为实际的地面3D坐标与摄像机图像处理画面等的摄像机画面坐标系的变换模型而最通常的方法为针孔摄像机模型。通过该手法，能够相对于地面3D坐标进行移动和旋转变换而算出摄像机3D坐标，而且，能够通过在该算出的摄像机3D坐标中进行投影变换而算出摄像机图像2D坐标。也就是说，若在使地面3D坐标系和摄像机位置参数组合的坐标系中添加与斜拍角参数、俯角参数以及旋转角参数有关的旋转矩阵，则能够得到摄像机3D坐标系。而且，若使该摄像机3D坐标系与比例参数组合而进行投影变换，则成为摄像机画面2D坐标系。作为在此利用的摄像机参数具有(1)摄像机位置参数(摄像机镜头中心即视点的地面3D坐标)、(2)俯角参数、(3)斜拍角参数、(4)旋转角参数、(5)比例参数。其中，(1)摄像机位置参数、(2)俯角参数以及(3)斜拍角参数能够从摄像机的设置规格数据计算。因为(4)旋转角参数是从属于(2)俯角参数以及(3)斜拍角参数的参数，所以能够通过内部变换而计算。(5)比例参数是从属于焦距倍率的参数。因此，在实际设置摄像机后，使用已知大小的物体来进行校正，由此能够算出各摄像机参数，并通过使用这些参数而能够算出摄像机图像的距离。
在S520中，根据上述原理进行从地面3D坐标系向摄像机图像2D坐标系的变换，而计算障碍物的离摄像机13的距离。位置计算部500首先从障碍物3D坐标进行移动和旋转变换，而计算摄像机3D坐标变换的变换矩阵(S521)，并从摄像机3D坐标进行投影变换而计算摄像机画面2D坐标变换的变换矩阵(S522)。接着，使用在步骤522中作成的变换矩阵来作成摄像机画面2D坐标的图像(S523)，并根据使用了摄像机内部参数的校正，而计算2D图像的像素中的距离(S524)。而且，计算从由S502决定的障碍物区域的基点(外接矩形中的下边的中点)到摄像机13的距离(S525)，并前进至S503。
返回至图6，在S503中，检查外接矩形是否位于摄像机13的附近的区域中，即由S520算出的距离是否为规定的阈值以下。在由S520算出的距离为阈值以下的情况下，判断为外接矩形位于摄像机13的附近的区域，并推定为抽取区域为障碍物的一部分而将该障碍物的特征抽取(S504)。具体地，在S506中，检查是否在该抽取区域中存在作为头盔的特征的圆形。在S506中判断为存在圆形的情况下，决定为该抽取区域为带着头盔的作业员(人)(S510)，在判断为不存在圆形的情况下决定为该抽取区域为物(S511)。
另一方面，在S503中，在由S520计算的距离比阈值大的情况下，推定为在抽取区域中拍摄了障碍物的整体，而将该障碍物的特征抽取(S505)。具体地，在S507中，判断抽取区域的纵横比例是否接近人站立的状态，或者将抽取区域三分为头部、身体部以及下部并将各自的轮廓形状和颜色等抽取而判断是否具有人的头部、身体部以及下部的特征。即，检查纵横比是否为纵长，或者在抽取区域的头部中是否表现出扇形的轮廓，主体部中在肩部是否表现出倾斜轮廓且在身体部是否表现出纵轮廓，在下部是否表现出倒V字的轮廓和纵轮廓。在S507中，在抽取区域中表现出多个这些特性的情况下，决定为该抽取区域为人(S508)，在这些特性只存在一个以下的情况下，决定为是物(S509)。若在S508～S511中抽取区域的种类(人/物)的甄别结束，则检查所有的抽取区域的距离计算以及类别决定是否结束(S512)，在没有结束的情况下返回至S501，并重复S501之后的处理。根据上述处理能够算出由障碍物检测部400检测出的障碍物相对于液压挖掘机的相对位置。此外，在上述中也可以为，根据在步骤503中判断的结果，在之后的种类判断处理(S506、507)中适用与上述不同的方法。
图9是本发明的实施方式的由危险范围计算部700进行的处理的流程图。危险范围计算部700首先将对动臂1a的旋转角进行检测的角度检测器8a的输出θ1读取，并将对斗杆1b的旋转角进行检测的角度检测器8b的输出θ2读取，将对铲斗1c的旋转角进行检测的角度检测器8c的输出θ3读取，将对上部旋转体1d的旋转角进行检测的角度检测器8d的输出θ4读取(S701)。接着，从S701中的输出θ1、输出θ2、输出θ3、输出θ4计算铲斗1c的前端坐标和高度(S702)，并计算前作业装置1A的大小(长度)和上部旋转体1d从下部行驶体1e旋转的旋转方向(S703)，由此计算液压挖掘机的姿势。
接着，危险范围计算部700将从操作装置30输出的操作信号读取(S704)，并基于所读取的操作信号来计算液压挖掘机的动作(动臂1a、斗杆1b以及铲斗1c的移动方向、上部旋转体1d的旋转方向、下部行驶体1e的移动方向等)(S705)。
接着，危险范围计算部700将存储在挖掘机规格存储部706中的液压挖掘机的尺寸(上部旋转体1d的尺寸等)读取(S707)，基于由S703算出的液压挖掘机的姿势、由S705算出的液压挖掘机的动作以及由S707读取的液压挖掘机的尺寸，而计算液压挖掘机周围的危险范围(S708)。若危险范围的计算结束则返回至S701，重复之后的处理。
根据上述处理能够计算液压挖掘机周围的危险范围。另外，上述S701～S708的一系列处理是以读取在液压挖掘机的工作中时刻变化的数据的方式进行的。由此，与液压挖掘机的姿势以及数据联动地计算危险范围，因此能够使监视区域最优化。另外，如后述那样地，在危险度设定部2000中对障碍物处于危险范围内还是处于危险范围外的情况对应地来变更接触危险度，因此能够仅在真正需要的时候显示警告。例如，若仅在危险范围内具有障碍物的情况下进行警告显示，则能够能够抑制液压挖掘机的动作被限制的情况，因此能够提高作业效率。此外，在上述中，从提高液压挖掘机的状态与危险范围的联动性的观点来看，基于液压挖掘机的姿势以及动作的双方来计算危险范围，但是也可以为，基于液压挖掘机的姿势以及动作的任意一方来计算危险范围。另外，也可以为在上述的基础上，鉴于各角度检测器8检测到的检测角度θ的时间变化即移动速度来计算危险范围。
图10～图12表示由危险范围计算部700计算的危险范围的例。在此，为了便于说明，利用从液压挖掘机的正上对将后方摄像机13a、右侧方摄像机13b、左侧方摄像机13c所拍摄的图像变换而得到的俯视图像(后述)进行观察时的图像911来进行说明。
图10是上部旋转体1d进行右旋转的情况下的危险范围的计算例的说明图。当上部旋转体1d(液压挖掘机)进行右旋转912时，与其联动地前作业装置1A也向右方移动。危险范围计算部700基于该动作状态来计算液压挖掘机周围的危险范围。具体地，与液压挖掘机的动作联动地计算作为旋转方向的右方的范围较宽，且与旋转方向不同的后方和左方的范围较窄的危险范围913。这样，危险范围与液压挖掘机的动作联动地被算出，由此基于周边监视装置监视的监视区域成为最佳。
图11是上部旋转体1d进行左旋转的情况下的危险范围的计算例的说明图。当上部旋转体1d进行左旋转915时，与其联动地前作业装置1A也向左方移动。危险范围计算部700基于该动作状态来计算液压挖掘机周围的危险范围。具体地，与液压挖掘机的动作联动地计算危险范围916，该危险范围916中作为旋转方向的左方的范围较宽，且与旋转方向不同的后方和右方的范围较窄。
图12是下部行驶体1e后退的情况下的危险范围的计算例的说明图。当下部行驶体1e后退时，与其联动地上部旋转体1d也后退。危险范围计算部700利用在步骤707读取的液压挖掘机的尺寸(横宽)等，而计算基于该动作状态的危险范围。具体地，计算在作为移动方向的液压挖掘机的后侧具有与液压挖掘机的横宽相同宽度的危险范围918。
图13是本发明的实施方式的由判断部800进行的处理的流程图。在周边监视装置中，若开始周边监视处理，则判断部800基于由位置计算部500算出的该障碍物的位置来判断危险范围计算部700所算出的危险范围内是否存在由障碍物检测部400检测出的障碍物(S801、802)。在S802中，判断为存在于危险范围内的情况下，将该结果存储到存储装置中(S803)，在判断为存在于危险范围外的情况下同样地将该结果存储到存储装置中(S804)。这样地存储的判断结果被其他的处理(例如，危险度设定部2000)利用。若完成向存储装置的写入，则对于所有的障碍物按照每个时间重复进行S801的判断。根据该处理能够判断各障碍物是否存在于危险范围内。
图14是本发明的实施方式的由危险度设定部2000进行的处理的流程图。在周边监视装置中，若开始周边监视处理，则危险度设定部2000首先基于判断部800的判断结果来检测危险范围内是否存在障碍物(S2051)。在S2051中，在判断为在危险范围内不存在障碍物的情况下不设定接触危险度(将危险度设为0)(S2071)而结束处理。另一方面，在S2051中，在判断为在危险范围内存在障碍物的情况下，在S2052以下的处理中，基于从摄像机13的图像得到的各障碍物的种类、位置以及高度，相对于存在于危险范围内的各障碍物而设定接触危险度。
在S2052中，危险度设定部2000对于存在于危险范围内的障碍物中没有设定接触危险度的障碍物来检查该障碍物是否是人。在S2052中判断为障碍物不是人的情况下(即，障碍物是物)，将该障碍物的高度设定为规定的高度(例如，200cm)并前进至S2063。
另一方面，在S2052判断为障碍物是人的情况下，基于由障碍物检测部400存储的抽取区域的外接矩形的左上坐标和右下坐标，来判断该外接矩形的形状是否为纵长，或者相邻的两边是否为同等的长度(S2053)。在S2053判断为是纵长或者是同等的长度的情况下，推定为在抽取区域中包含站着的人，并其高度设定为设定值(例如180cm)(S2054)，并前进至S2056。在S2053判断为不是纵长或者不是同等的长度的情况下，推定为在抽取区域中包含蹲着的人，并其高度设定为设定值(例如80cm)(S2055)，并前进至S2056。
在S2056中，基于操作装置的操作信号或者角度检测器8d的检测角度θ4的时间变化等，判断液压挖掘机的动作是否为旋转(左旋转以及右旋转)或者后退。在S2056中既没有旋转也没有后退的情况下，将接触危险度设定为2(S2057)并前进至S2070。另一方面，在S2056中，判断为液压挖掘机进行旋转或者后退的情况下，前进至S2058。
在S2058中，与危险范围内的其他障碍物相比较，而判断该障碍物是否为在液压挖掘机的动作方向上存在于最近位置上的人。具体地，在S2058中判断为液压挖掘机进行旋转的情况下，首先，使以液压挖掘机的旋转中心为中心的圆的半径从0逐渐增大直到到达铲斗前端为止，由此描绘出多个同心圆。而且，判断成为设定接触危险度的对象的障碍物是否为在该多个同心圆上的旋转方向中存在于离前作业装置1A最近的位置上的人。在该S2058中，在判断为障碍物是在液压挖掘机的动作方向上存在于最近位置上的人的情况下，将接触危险度设定为5(S2059)并前进至S2070。即，在S2059中，在存在于危险范围内的类别为人的障碍物中，将最高的接触危险度设定至在前作业装置1A的旋转方向或者液压挖掘机的后退方向上存在于离该前作业装置1A或者液压挖掘机最近位置上的人(障碍物)中。另一方面，在S2058中判断为不是在液压挖掘机的动作方向上最近的人的情况下，前进至S2060。
在S2060中，检查铲斗1c的前端的高度是否为在S2054、2055设定的障碍物的高度以下。在铲斗1c的高度为S2054、2055的高度以下的情况下，将接触危险度设定为4(S2062)并前进至S2070。另一方面，在S2060中，在铲斗1c的高度比S2054、2055的高度高的情况下，将接触危险度设定为3(S2061)并前进至S2070。
在S2063中，基于操作装置的操作信号或者角度检测器8d的检测角度θ4的时间变化等，判断液压挖掘机的动作是否为旋转(右旋转以及左旋转)或者后退。在S2063中既没有旋转也没有后退的情况下，将接触危险度设定为1(S2064)并前进至S2070。另一方面，在S2063中，判断为液压挖掘机进行旋转或者后退的情况下，前进至S2065。
在S2065中，与危险范围内的其他障碍物相比较，而判断该障碍物是否为在液压挖掘机的动作方向上存在于最近位置上的物。该判断的具体方法与在S2058中所说明的方法相同。在该S2065中，在判断为障碍物是在液压挖掘机的动作方向上最近的物的情况下，将接触危险度设定为4(S2066)并前进至S2070。即，在S2066中，在存在于危险范围内的类别为物的障碍物中，将最高的接触危险度设定至在前作业装置1A的旋转方向或者液压挖掘机的后退方向上存在于离该前作业装置1A或者液压挖掘机最近位置上的物(障碍物)中。另一方面，在S2065中判断为不是在液压挖掘机的动作方向上最近的物的情况下，前进至S2067。
在S2067中，检查铲斗1c的前端的高度是否为在S2073设定的障碍物的高度以下。在铲斗1c的高度为S2073的高度以下的情况下，将接触危险度设定为3(S2069)并前进至S2070。另一方面，在S2067中，在铲斗1c的高度比S2073的高度高的情况下，将接触危险度设定为2(S2068)并前进至S2070。
在S2070中，危险度设定部2000检查是否相对于危险范围内的所有障碍物设定了接触危险度。在此，在危险范围内存在有未设定接触危险度的障碍物的情况下，返回至S2052并重复S2052之后的处理。在S2070中判断为相对于全部的障碍物设定了接触危险度的情况下，使处理暂时结束。此外，在危险范围的更新和重新检测障碍物等的情况下，适当地再次执行上述一系列的危险度设定处理。根据该处理能够对于存在于危险范围内的所有障碍物设定接触危险度。此时，在液压挖掘机的旋转和后退时在危险范围内存在有人的情况下，能够将最高的接触危险度(5)设定至该人中。
此外，在上述例中，基于障碍物的种类(人/物)、位置(危险范围内/离液压挖掘机近)、高度(比铲斗1c前端低)来设定接触危险度，但也可以为，基于这些中的至少一个来将接触危险度设定至各障碍物中。
图15是有关在危险度设定部2000进行的危险度设定处理的第一说明图。该图表示液压挖掘机进行右旋转、在危险范围913内存在物16、17和人15a、15b、在危险范围913外存在物18和人15c的情况，并将铲斗1c的前端的高度设定为150cm。
该图所示的情况为，相对于存在于危险范围913外的物18和人15c，没有依照S2051、2071的处理而设定接触危险度。而且，因为铲斗1c的前端的高度为150cm，所以对于存在于危险范围913内的物16，其离上部旋转体1d的旋转中心2151为中心的同心圆2094的区域中在前作业装置1A的移动方向上最近的，因此，依照S2065、2066的处理作为接触危险度而设定4。另外，对于物17，依照S2067、2069的处理作为接触危险度而设定3。而且，对于人15b，其离上部旋转体1d的旋转中心2151的距离是在以旋转中心2151为中心的同心圆2094的区域中在前作业装置1A的移动方向上最近的，因此，依照S2058、2059的处理作为接触危险度而设定5，并对于人15c，依照S2060、2061的处理作为接触危险度而设定3。即，在该图中，接触危险度最高的成为人15b。
图16是有关在危险度设定部2000进行的危险度设定处理的第二说明图。该图表示液压挖掘机进行右旋转、在危险范围913内存在物16、17、在危险范围913外存在物18和人15c的情况，并将铲斗1c的前端的高度设定为150cm。
该图所示的情况为，与图15的情况同样地相对于存在于危险范围913外的物18和人15c，没有依照S2051、2071的处理而设定接触危险度。而且，因为铲斗1c的前端的高度为150cm，所以对于存在于危险范围913内的物16，其离上部旋转体1d的旋转中心2151的距离是在以旋转中心2151为中心的同心圆2098的区域中在前作业装置1A的移动方向上最近的，因此，依照S2065、2066的处理作为接触危险度而设定4。另外，对于物17，依照S2067、2069的处理作为接触危险度而设定3。即，在该图中，接触危险度最高的成为物16。
图17是有关在危险度设定部2000进行的危险度设定处理的第三说明图。该图表示液压挖掘机进行右旋转、在危险范围913外存在物18和人15c的情况。该图所示的情况为，所有的障碍物18、15c存在于危险范围913之外，因此对各障碍物作为接触危险度而设定0。即，在该情况下，不存在设定了接触危险度的障碍物。
接着，说明本发明的实施方式的由图像作成部600进行的处理。图18是图像作成部600中的由俯视图像作成部610进行的处理的流程图。俯视图像作成部610首先计算将地面3D坐标变换为摄像机3D坐标的变换矩阵(S521)。而且，计算将摄像机3D坐标变换为摄像机2D坐标的变换矩阵(S522)。而且，使用这些变换矩阵由摄像机13的图像作成摄像机画面2D坐标的图像(俯视图像)(S523)。而且，将进行S521、522、523的处理而作成的俯视图像配置在模拟液压挖掘机的图形(模拟作业机械图)的周围，并返回至S521而重复S521之后的处理。在本实施方式中，将后方摄像机13a的俯视图像配置在模拟作业机械图的后方，将右侧摄像机13b的俯视图像配置在模拟作业机械图的右侧方，将左侧方摄像机13c的俯视图像配置在模拟作业机械图的左侧方，由此作成液压挖掘机周围的俯视图像。
图19是图像作成部600中的由俯视视点决定部2100(俯视位置决定部2130以及俯视高度决定部2140)进行的处理的流程图。若由危险度设定部2000对危险范围内的各障碍物设定了危险度，则俯视位置决定部2130检查各障碍物的接触危险度的值(S2131)。在S2131中，在各障碍物的接触危险度为1～5以外的情况(即为0的情况)下，将俯视视点的水平面位置决定为液压挖掘机的中心部(S2132)，并前进至S2142。另一方面，在S2131中在各障碍物的接触危险度包含1～5的情况下，将其中接触危险度最高的障碍物的水平面位置作为俯视视点的水平面位置而决定(S2133)，并前进至S2143。
在S2142中，俯视高度决定部2140将俯视视点的高度设定为以能够在从液压挖掘机的中心部(旋转中心)的上方向下观察液压挖掘机时显示危险范围的方式设定的值(设定值)，将该俯视视点的水平位置以及高度位置存储到存储装置中而结束处理。
另一方面，在S2143中，计算液压挖掘机的中心部与在S2133中利用的接触危险度最高的障碍物的基点(参照S502)之间的距离(绝对值)，并以该计算值为比例来计算俯视视点的高度(例如，障碍物高度的2～3倍)(S2144)。在S2144中，只要使与在S2143中算出的值相乘的比例定数以能够在从接触危险度最高的障碍物的上方向下观察液压挖掘机的中心部时显示危险范围的方式设定即可。若这样地算出俯视视点的高度，则将在S2133决定的俯视视点的水平位置和在S2144决定的高度位置存储到存储装置中而结束处理。
根据上述处理，在设定了接触危险度的情况下，设定了在由危险度设定部2000设定的各障碍物的接触危险度中，接触危险度最高的障碍物的上方观察液压挖掘机以及危险范围的俯视视点，而且在没有设定接触危险度的情况下，设定了从液压挖掘机的上方观察液压挖掘机以及危险范围的俯视视点。
图20是俯视视点决定部2100中的决定俯视视点的例的概念图。该图表示对人15d设定了最高的接触危险度的情况，首先，在S2133中，使人15d的水平位置2152作为俯视视点的水平位置而决定。而且，在S2143中，计算液压挖掘机的中心部2151与水平位置2152之差(绝对值)，并对该计算值乘以与该计算值的大小对应的比例定数，而决定俯视视点的高度2153。由此，能够决定监视图像作成部620作成监视图像时的俯视视点(虚拟摄像机)的位置。
图21是表示图像作成部600中的监视图像作成部620作成的监视图像的第一例的图。在该图所示的情况下，若使液压挖掘机进行右旋转612，则与其联动地前作业装置1A也向右侧方向移动。由此，在危险度设定部2000中，危险范围内913中存在于前作业装置1A的右侧的人15c的接触危险度被设定为最高的值即5。而且，俯视视点决定部2100将俯视视点决定在人15c的上部，监视图像作成部620将从该俯视视点通过虚拟摄像机观察液压挖掘机以及危险范围时的图像作为监视图像621而作成。在这样作成的监视图像621中，显示有液压挖掘机和接触危险度最高的障碍物，因此，操作员即使不进行特别的判断作业，也能够瞬间掌握哪个障碍物接触的可能性最高以及该障碍物相对于液压挖掘机存在于哪个位置上。尤其，若这样作成监视图像，则能够放大显示液压挖掘机的动作方向(作为旋转方向的右侧方向)，而且能够放大显示存在于该动作方向上的最危险的障碍物(人15c)。因此，根据本实施方式，操作员能够瞬间掌握最危险的障碍物相对于液压挖掘机的位置，因此能够提高基于液压挖掘机的作业效率。
图22是表示图像作成部600中的监视图像作成部620作成的监视图像的第二例的图。在该图所示的情况下，若使下部行驶体1e后退617，则与其联动地前作业装置1A以及上部旋转体1d也后退。由此，在危险度设定部2000中，危险范围内917中存在于下部行驶体1e的后方的人15a的接触危险度被设定为最高的值即5。而且，俯视视点决定部2100将俯视视点决定在人15a的上部，监视图像作成部620将从该俯视视点观察液压挖掘机以及危险范围时的图像作为监视图像631而作成。因此，在该情况下，操作员也能够瞬间掌握最危险的障碍物相对于液压挖掘机的位置，因此能够提高基于液压挖掘机的作业效率。
图23是表示图像作成部600中的监视图像作成部620作成的监视图像的第三例的图。如该图所示，为了提高操作员的对于哪个障碍物最危险的视觉确认性，监视图像作成部620将警告显示631重叠地描绘到由危险度设定部2000设定了最高的接触危险度的障碍物(人15c)之上。此外，在该图的示例中，作为警告显示在人15c之上显示大致星形的图形。
而且，在该图的示例中，为了能够从监视图像容易地掌握铲斗1c的前端以何种程度的高度与障碍物接触，将警告显示631重叠地显示在被推定为若继续右旋转则铲斗1c的前端会发生接触的部分上。即，在图23的例中，在人15c的头部上显示有警告显示631。这样地在将警告显示631显示在接触部分上时，只要将由危险度设定部2000进行的处理中在S2054、2055、2073中设定的障碍物高度、和利用角度检测器8a～8d的输出θ1～θ4而算出的铲斗1c的前端高度进行比较即可。而且，例如只要(1)在推定为具有铲斗1c与障碍物高度的上半部分接触的可能性的情况下，将警告显示631在该障碍物的上部(为人时，在头部)显示，(2)在推定为具有铲斗1c与障碍物高度的下半部分接触的可能性的情况下，将警告显示631在该障碍物的下部(为人时，在身体部)显示即可。图24是图像作成部600中的监视图像作成部620作成的监视图像的第四例的图，表示将警告显示632在人15c的身体部显示的情况的监视图像621。
图25是图像作成部600中的监视图像作成部620作成的监视图像的第五例的图。如该图所示，监视图像作成部620在由危险度设定部2000设定了最高的接触危险度的障碍物的种类为人的情况下，将在该设定了最高的接触危险度的障碍物(人15c)之上表示人的图像645重叠地描绘到警告图像621上。在该图25的例中，将以不对摄像机13的图像进行俯视变换的方式将人15c抽取的图像(照片)，作为表示人的显示645而显示在人15c之上。
若仅利用俯视图像来作成监视图像，则越存在于离摄像机13远的位置上的部分越被放大显示，因此，物体被扭曲显示的情况较多(例如，对于人来说，离头越近越放大显示)。由此，对于离摄像机13存在得较远的障碍物，根据以在变换为俯视图像时产生的扭曲为原因的不舒服感，而在视觉确认性上具有缺陷。因此，当如上述那样地将表示人的图像645重叠地描绘到监视图像上时，在监视图像上，能够瞬间掌握人存在于哪里。
此外，此时，从更加提高存在于外接矩形内的区域644中的人15c的视觉确认性的观点来看，优选为，通过在摄像机13拍摄的图像内不存在且容易被操作员视觉确认的醒目颜色来描绘。而且，如先前的例所示，也可以作为警告显示而将“危险”这一文字641以及表示接触危险度最高的障碍物的箭头643等重叠地显示，或将大致星形的图形642重叠显示在文字641的附近，来进一步提高视觉确认性。
图26是表示图像作成部600中的监视图像作成部620作成的监视图像的第六例的图。在图25中作为表示人的图像而利用了摄像机13的图像645，但在该图的例中，作为表示该人的图像而利用将人的上半身三维表现的图形655，在该点上两者不同。这样地利用其它的表现方法也能够在监视图像上瞬间掌握人存在于哪里。此外，与图25的例同样地，也可以作为警告显示而将文字651、大致星形的图形652以及箭头653等重叠地显示，由此进一步提高视觉确认性。
图27是表示本发明的实施方式的显示装置1300的显示画面的例。在该图所示的显示画面中，具有使由图像作成部600作成的警告图像显示的主显示部1005、用于将在主显示部1005中显示的警告图像在规定的时间内录像的录像开始按钮1001、用于放大显示监视图像的放大显示按钮1003、和将基于放大显示按钮1003的放大返回的标准显示按钮1004。此外，在该图所示的警告图像中，作为表示人的图像而显示有将人的全身三维表现的图形665。另外，与先前的图25、26的例同样地，作为警告显示，还重叠地显示了“危险”这一文字661、大致星形的图形662以及表示接触危险度最高的障碍物的箭头663等。
若这样地设置录像开始按钮1001，则在存在具有接触可能性的障碍物(15c)等的情况下，能够根据需要将显示在主显示部1005中的警告图像录像。由此，能够在万一事故发生时将该录像数据用于其原因探明等。此外，也可以不使用录像开始按钮1001，而设定为，当在主显示部1005中显示有警告图像时将该图像自动地录像。另外，对于监视图像的放大显示，也可以操作放大显示按钮1003而以手动来进行放大显示，也可以在显示有警告图像的情况下自动地放大显示。
附图标记说明
1A前作业装置
1B车身
1a动臂
1b斗杆
1c铲斗
1d上部旋转体
1e下部行驶体
1f驾驶室
3a～3c液压执行装置
3e行驶马达
8a、8b、8c、8d角度检测器
13a、13b、13c摄像机(图像传感器)
14a、14b、14c微波雷达
15a、15b、15c、15d、15e障碍物(人)
16、17障碍物(物)
30操作装置
400障碍物检测部
500位置计算部
600图像作成部
610俯视图像作成部
620监视图像作成部
700危险范围计算部
800判断部
1300显示装置
2000危险度设定部
2100俯视视点决定部
2130俯视位置决定部
2140俯视高度决定部

Claims (5)

1.一种作业机械的周边监视装置，其特征在于，具有：
对所述作业机械周边的图像进行拍摄的拍摄机构；
利用该所拍摄的图像来对所述作业机械周边的障碍物的存在进行检测的障碍物检测机构；
对该被检测出的障碍物相对于作业机械的相对位置进行计算的位置计算机构；
基于所述作业机械的姿势以及动作中的至少一个，来对所述作业机械的周围的危险范围进行计算的危险范围计算机构；
基于计算出的障碍物的位置来判断在计算出的危险范围内是否存在障碍物的判断机构；
危险度设定机构，相对于由所述判断机构判断为存在于所述危险范围内的障碍物，而基于从所述拍摄的图像而得到的该障碍物的种类、位置以及高度中的至少一个来设定接触危险度；
图像作成机构，将所述拍摄的图像变换为以所述作业机械为中心的俯视图像，并从由所述危险度设定机构设定了最高的接触危险度的障碍物的上方对该俯视图像进行俯视，由此作成包含该俯视图像上的所述作业机械和所述危险范围的全部在内的图像；和
将该作成的图像显示的显示机构，
所述图像作成机构具有：俯视图像作成部，其将由所述拍摄机构拍摄的图像变换为以所述作业机械为中心的俯视图像；俯视视点决定部，其决定通过虚拟拍摄机构对由所述俯视图像作成部作成的俯视图像进行俯视的视点；和监视图像作成部，其从由所述俯视视点决定部决定的俯视视点通过虚拟拍摄机构对由所述俯视图像作成部作成的俯视图像进行拍摄，由此作成监视图像。
2.根据权利要求1所述的作业机械的周边监视装置，其特征在于，所述危险度设定机构还基于所述作业机械的姿势以及动作中的至少一个来设定接触危险度。
3.根据权利要求2所述的作业机械的周边监视装置，其特征在于，所述作业机械具有行驶体、能够旋转地安装在该行驶体的上部中的旋转体、和安装在该旋转体上的前作业装置，
所述危险度设定机构还在相同种类的障碍物中，对在旋转方向中存在于离所述前作业装置最近的位置上的障碍物设定最高的接触危险度。
4.根据权利要求1至3中任一项所述的作业机械的周边监视装置，其特征在于，所述图像作成机构在所述作成的图像中，在由所述危险度设定机构设定了最高的接触危险度的所述障碍物之上重叠地描绘警告显示。
5.根据权利要求1至3中任一项所述的作业机械的周边监视装置，其特征在于，在由所述危险度设定机构设定了最高的接触危险度的所述障碍物的种类为人的情况下，所述图像作成机构在所述作成的图像中，在该障碍物之上重叠地描绘表示人的图像。
CN201080069736.4A 2010-10-22 2010-10-22 作业机械的周边监视装置 Expired - Fee Related CN103180522B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/068718 WO2012053105A1 (ja) 2010-10-22 2010-10-22 作業機械の周辺監視装置

Publications (2)

Publication Number Publication Date
CN103180522A CN103180522A (zh) 2013-06-26
CN103180522B true CN103180522B (zh) 2016-01-13

Family

ID=45974838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080069736.4A Expired - Fee Related CN103180522B (zh) 2010-10-22 2010-10-22 作业机械的周边监视装置

Country Status (6)

Country Link
US (1) US9113047B2 (zh)
EP (1) EP2631374B1 (zh)
JP (1) JP5667638B2 (zh)
KR (1) KR101751405B1 (zh)
CN (1) CN103180522B (zh)
WO (1) WO2012053105A1 (zh)

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230419B2 (en) 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP5456123B1 (ja) 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5969379B2 (ja) * 2012-12-21 2016-08-17 住友建機株式会社 ショベル及びショベル制御方法
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
JP6173358B2 (ja) * 2013-02-08 2017-08-02 日立建機株式会社 旋回式作業機械の周囲監視装置
JP6302622B2 (ja) * 2013-03-19 2018-03-28 住友重機械工業株式会社 作業機械用周辺監視装置
US20140293047A1 (en) * 2013-04-02 2014-10-02 Caterpillar Inc. System for generating overhead view of machine
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械
JP6386213B2 (ja) * 2013-05-16 2018-09-05 住友建機株式会社 ショベル
JP6106754B2 (ja) * 2013-08-26 2017-04-05 日立建機株式会社 作業機械の周囲監視装置
KR101720440B1 (ko) * 2013-12-11 2017-03-27 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계, 관리 시스템 및 관리 방법
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6433664B2 (ja) * 2014-02-14 2018-12-05 国立大学法人 東京大学 建設機械用俯瞰画像表示装置
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
JP6962667B2 (ja) * 2014-03-27 2021-11-05 住友建機株式会社 ショベル及びその制御方法
US10228232B2 (en) * 2014-04-14 2019-03-12 Caterpillar Inc. Operator assistance system
JP6262068B2 (ja) 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
JP6434507B2 (ja) * 2014-06-03 2018-12-05 住友重機械工業株式会社 建設機械用人検知システム及びショベル
KR102190891B1 (ko) * 2014-09-22 2020-12-14 에스엘 주식회사 차량의 주변 감시 장치 및 방법
JP6407663B2 (ja) * 2014-10-30 2018-10-17 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
EP3021178B1 (en) * 2014-11-14 2020-02-19 Caterpillar Inc. System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement
EP3168373B1 (en) * 2014-11-14 2019-07-10 Caterpillar Inc. A machine with a system for improving safety
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
EP3035134A1 (en) * 2014-12-15 2016-06-22 Siemens Aktiengesellschaft Dynamic virtual fencing for a hazardous environment
DE102015002692A1 (de) * 2015-03-04 2016-09-08 Dynapac Gmbh Straßenbaumaschine und Verfahren zum Betreiben einer selbstfahrenden Straßenbaumaschine
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
US9614845B2 (en) 2015-04-15 2017-04-04 Early Warning Services, Llc Anonymous authentication and remote wireless token access
JP6559464B2 (ja) * 2015-05-14 2019-08-14 日立建機株式会社 作業車両の周囲監視装置
KR101683677B1 (ko) * 2015-07-10 2016-12-20 엘아이지넥스원 주식회사 차량의 어라운드 뷰 제어 장치 및 방법
KR20180042251A (ko) * 2015-08-26 2018-04-25 스미토모 겐키 가부시키가이샤 쇼벨의 계측장치
US10084782B2 (en) 2015-09-21 2018-09-25 Early Warning Services, Llc Authenticator centralization and protection
DE112015001236B4 (de) * 2015-09-30 2021-02-04 Komatsu Ltd. Vorrichtung zum Überwachen der Umgebung einer Raupenketten-Arbeitsmaschine
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system
KR102570491B1 (ko) * 2015-12-28 2023-08-23 스미토모 겐키 가부시키가이샤 쇼벨
JP6572156B2 (ja) 2016-03-02 2019-09-04 株式会社神戸製鋼所 建設機械の干渉防止装置
WO2017077723A1 (ja) * 2016-03-29 2017-05-11 株式会社小松製作所 作業車両
CN106193144A (zh) * 2016-07-01 2016-12-07 蔡雄 一种具备道路检测功能的装载车
KR102386846B1 (ko) * 2016-07-05 2022-04-13 스미토모 겐키 가부시키가이샤 쇼벨
AU2017204001B2 (en) * 2016-07-06 2022-06-09 Caterpillar Inc. Operator assistance system
EP3487750A4 (en) * 2016-07-20 2020-03-25 Prinoth Ltd TRACK VEHICLE WITH ROTARY TOP STRUCTURE AND RELATED METHODS
KR101991153B1 (ko) * 2016-08-02 2019-06-19 김필주 건설장비의 협착 방지 장치
AU2016216541B2 (en) 2016-08-15 2018-08-16 Bucher Municipal Pty Ltd Refuse collection vehicle and system therefor
US20210285184A1 (en) * 2016-08-31 2021-09-16 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP6923144B2 (ja) * 2016-09-02 2021-08-18 株式会社小松製作所 作業機械の画像表示システム
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
US10106951B2 (en) * 2016-09-21 2018-10-23 Deere & Company System and method for automatic dump control
JP6608345B2 (ja) 2016-09-28 2019-11-20 日立建機株式会社 作業機械
JP6730606B2 (ja) * 2016-11-25 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
KR102426644B1 (ko) * 2016-12-06 2022-07-27 스미토모 겐키 가부시키가이샤 건설기계
US10668854B2 (en) * 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6805883B2 (ja) * 2017-02-28 2020-12-23 コベルコ建機株式会社 建設機械
JP6760163B2 (ja) * 2017-03-22 2020-09-23 コベルコ建機株式会社 建設機械
JP6715205B2 (ja) * 2017-03-29 2020-07-01 日立建機株式会社 作業機械の周囲画像表示装置
DE102017106893B4 (de) * 2017-03-30 2020-07-30 Komatsu Ltd. Arbeitsfahrzeug
JP6859812B2 (ja) * 2017-03-31 2021-04-14 コベルコ建機株式会社 干渉監視装置
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
JP6930261B2 (ja) * 2017-07-14 2021-09-01 コベルコ建機株式会社 建設機械
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
JP7104050B2 (ja) 2017-09-01 2022-07-20 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
EP3680397B1 (en) * 2017-09-07 2023-08-09 Hitachi Construction Machinery Co., Ltd. Construction machinery
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置
US10647282B2 (en) 2017-11-06 2020-05-12 Magna Electronics Inc. Vehicle vision system with undercarriage cameras
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
EP3499405A1 (en) * 2017-12-13 2019-06-19 My Virtual Reality Software AS Method and device for augmenting a person's view of a mining vehicle on a mining worksite in real-time
JP7039983B2 (ja) * 2017-12-13 2022-03-23 コベルコ建機株式会社 建設機械用の注意喚起装置
JP6740259B2 (ja) * 2018-01-04 2020-08-12 住友重機械工業株式会社 作業機械
KR102023270B1 (ko) * 2018-02-07 2019-09-20 중앙대학교 산학협력단 건설 장비의 실시간 안전 모니터링 장치 및 방법
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
KR102615983B1 (ko) * 2018-02-28 2023-12-19 스미토모 겐키 가부시키가이샤 쇼벨
EP3572590B1 (en) * 2018-03-14 2022-02-09 Hitachi Construction Machinery Co., Ltd. Work machine
WO2019189030A1 (ja) * 2018-03-26 2019-10-03 住友建機株式会社 ショベル
WO2019186787A1 (ja) * 2018-03-28 2019-10-03 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7416685B2 (ja) * 2018-03-30 2024-01-17 住友建機株式会社 ショベル
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
CN112041508A (zh) * 2018-04-30 2020-12-04 沃尔沃建筑设备公司 用于在工程机械中选择性地显示图像数据的系统和方法
CN108608980A (zh) * 2018-06-05 2018-10-02 徐工集团工程机械有限公司 工程车辆及其控制方法
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7285051B2 (ja) * 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
FI129250B (en) 2018-07-12 2021-10-15 Novatron Oy Control system for controlling the machine tool
JP7091896B2 (ja) * 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
JP7058569B2 (ja) * 2018-07-19 2022-04-22 日立建機株式会社 作業機械
EP3832034B1 (en) * 2018-07-31 2023-08-23 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
JP2019004484A (ja) * 2018-08-07 2019-01-10 住友建機株式会社 ショベル
JP7296340B2 (ja) * 2018-08-07 2023-06-22 住友建機株式会社 ショベル
JP2020051092A (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
JP7058582B2 (ja) * 2018-09-27 2022-04-22 日立建機株式会社 作業機械
JP7133428B2 (ja) * 2018-10-15 2022-09-08 日立建機株式会社 油圧ショベル
DE102018220395A1 (de) * 2018-11-28 2020-05-28 Zf Friedrichshafen Ag Drehrichtungsabhängige Steuerung einer Sensoranordnung zur Überwachung eines Arbeitsbereichs einer Arbeitsmaschine
JP7130547B2 (ja) * 2018-12-26 2022-09-05 住友建機株式会社 ショベル及びショベル用周辺監視装置
CN109403946B (zh) * 2018-12-27 2022-07-29 北京三一智造科技有限公司 旋挖钻机回转动画显示的方法、装置及旋挖钻机
JP7454461B2 (ja) * 2019-01-28 2024-03-22 住友重機械工業株式会社 ショベル
JP2019071677A (ja) * 2019-01-28 2019-05-09 住友重機械工業株式会社 ショベル
WO2020204007A1 (ja) * 2019-03-30 2020-10-08 住友建機株式会社 ショベル及び施工システム
CN113939630B (zh) 2019-04-05 2023-09-22 沃尔沃建筑设备公司 建筑设备
FR3095392B1 (fr) * 2019-04-24 2021-04-16 Option Automatismes Système anti-collision pour engin de chantier, et engin de chantier équipé d’un tel système anti-collision
JP7189074B2 (ja) * 2019-04-26 2022-12-13 日立建機株式会社 作業機械
KR102625693B1 (ko) * 2019-05-20 2024-01-17 에이치디현대건설기계 주식회사 건설장비의 장애물 충돌방지시스템
KR102018119B1 (ko) * 2019-05-30 2019-09-04 최중경 고철처리장에서의 안전사고예방방법
CN113316501B (zh) * 2019-05-31 2022-02-18 乐恩吉室株式会社 以危险度判断为基础的机器人移动控制方法及利用其的移动机器人装置
DE112020002887T5 (de) * 2019-07-18 2022-04-07 Komatsu Ltd. Anzeigesystem für ein Arbeitsfahrzeug und Anzeigeverfahren für ein Arbeitsfahrzeug
US11821167B2 (en) 2019-09-05 2023-11-21 Deere & Company Excavator with improved movement sensing
WO2021066019A1 (ja) * 2019-09-30 2021-04-08 株式会社小松製作所 作業機械および作業機械の制御方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP7217691B2 (ja) * 2019-10-31 2023-02-03 日立建機株式会社 建設機械
JP7153627B2 (ja) * 2019-10-31 2022-10-14 日立建機株式会社 作業機械および周囲監視システム
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7325308B2 (ja) 2019-11-19 2023-08-14 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7341396B2 (ja) * 2019-12-03 2023-09-11 コベルコ建機株式会社 遠隔操作支援サーバおよび遠隔操作支援システム
JP7400425B2 (ja) * 2019-12-10 2023-12-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
US11693411B2 (en) 2020-02-27 2023-07-04 Deere & Company Machine dump body control using object detection
JPWO2021193450A1 (zh) * 2020-03-25 2021-09-30
JP7237882B2 (ja) * 2020-04-07 2023-03-13 住友建機株式会社 ショベル
JP7257357B2 (ja) * 2020-04-28 2023-04-13 住友重機械工業株式会社 ショベル及びショベル用のシステム
US11891782B2 (en) * 2020-04-30 2024-02-06 Deere & Company Ground engaging tool control system and method
CN111595255A (zh) * 2020-05-14 2020-08-28 南京航空航天大学 一种隧道缺陷实时提示装置及提示方法
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
US11773567B2 (en) 2020-07-22 2023-10-03 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
CN114445989A (zh) * 2020-11-06 2022-05-06 湖南五新模板有限公司 一种栈桥安全防护系统、方法及栈桥
JP2022076406A (ja) * 2020-11-09 2022-05-19 日本電気株式会社 制御装置、制御システム、及び制御方法
DE102020214291B3 (de) * 2020-11-13 2022-03-17 Tadano Faun Gmbh Kran, insbesondere Mobilkran
KR102575009B1 (ko) * 2020-12-22 2023-09-07 (주)다울 지게차의 스마트 안전 관리 시스템 및 방법
CN113012315B (zh) * 2021-02-23 2022-07-05 浙江三一装备有限公司 作业机械安全监控系统、方法及作业机械
KR20230159395A (ko) * 2021-03-22 2023-11-21 스미토모 겐키 가부시키가이샤 건설기계 및 건설기계용 지원장치
US11840823B2 (en) 2021-03-30 2023-12-12 Darrell Cobb Backhoe camera assembly
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1160108A (zh) * 1995-12-27 1997-09-24 日立建机株式会社 施工机械作业范围极限控制装置
US6643576B1 (en) * 2000-11-15 2003-11-04 Integrinautics Corporation Rapid adjustment of trajectories for land vehicles
CN101070706A (zh) * 2007-05-29 2007-11-14 三一重机有限公司 一种液压挖掘机避障控制系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343297A (ja) * 2003-05-14 2004-12-02 Hitachi Constr Mach Co Ltd 建設機械の周囲監視装置
DE102006042547A1 (de) * 2006-09-11 2008-03-27 Bartec Gmbh System zum Überwachen eines Gefahrenbereiches, insbesondere eines Fahrzeugs
JP4996928B2 (ja) * 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP4847913B2 (ja) * 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
JP2009013633A (ja) * 2007-07-03 2009-01-22 Hitachi Constr Mach Co Ltd 建設機械の安全装置
JP5064976B2 (ja) * 2007-11-12 2012-10-31 クラリオン株式会社 建設・土木作業車両の作業安全監視システム
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1160108A (zh) * 1995-12-27 1997-09-24 日立建机株式会社 施工机械作业范围极限控制装置
US6643576B1 (en) * 2000-11-15 2003-11-04 Integrinautics Corporation Rapid adjustment of trajectories for land vehicles
CN101070706A (zh) * 2007-05-29 2007-11-14 三一重机有限公司 一种液压挖掘机避障控制系统和方法

Also Published As

Publication number Publication date
CN103180522A (zh) 2013-06-26
EP2631374B1 (en) 2020-09-30
EP2631374A4 (en) 2016-01-20
JP5667638B2 (ja) 2015-02-12
US9113047B2 (en) 2015-08-18
US20130222573A1 (en) 2013-08-29
KR20140009148A (ko) 2014-01-22
JPWO2012053105A1 (ja) 2014-02-24
WO2012053105A1 (ja) 2012-04-26
KR101751405B1 (ko) 2017-06-27
EP2631374A1 (en) 2013-08-28

Similar Documents

Publication Publication Date Title
CN103180522B (zh) 作业机械的周边监视装置
JP5227841B2 (ja) 周囲監視装置
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
US9598036B2 (en) Sensing device and method of construction equipment
CN111511995B (zh) 用于监测机器的可旋转器具的方法和系统
US20140118533A1 (en) Operational stability enhancing device for construction machinery
CN103635637B (zh) 液压挖掘机的后方视野显示装置
CN105386398B (zh) 自行式建筑机械以及控制自行式建筑机械的方法
CN107914708A (zh) 后方障碍物检测和距离估算
KR20160122182A (ko) 작업기의 작동 상태 검출 시스템 및 작업기
EP3495997B1 (en) Method of determining the boundary of a driveable space
JP3827480B2 (ja) 自動運転建設機械およびその位置計測手段の校正方法
CN104228683B (zh) 用于运行调车和/或泊车用的驾驶员辅助系统的方法
CN114051725A (zh) 作业车辆的显示系统以及作业车辆的显示方法
WO2021100762A1 (ja) 転倒リスク提示装置および転倒リスク提示方法
CN114026295A (zh) 作业车辆的显示系统以及作业车辆的显示方法
JP7264794B2 (ja) 転倒リスク提示装置および転倒リスク提示方法
JP7175245B2 (ja) 作業機械
WO2022091838A1 (ja) 安全評価システムおよび安全評価方法
KR102362953B1 (ko) Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템
JP2021080787A (ja) 稼働エリア提示装置および稼働エリア提示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113