CN113039094B - 工程机械用周边监视装置 - Google Patents

Abstract

本发明提供一种可使工程机械的操作人员在恰当的时期识别到该工程机械的周边状况的工程机械用周边监视装置。该装置包括：操作状态检测器(46)，检测为了使工程机械(10)动作而通过操作人员施加给操作装置的操作的状态即操作状态；周边物体检测部(25b)，检测工程机械(10)的周围的对象空间(AR)中有无物体；扬声器(43)，对操作人员输出通知信息；以及，输出信息控制部(47a)，根据操作状态检测器(46)检测到施加用于使工程机械(10)启动的初始操作给操作装置的初始操作状态来使扬声器(43)输出表示周边物体检测部(25b)的检测结果的声音。

Description

工程机械用周边监视装置

技术领域

本发明涉及用于监视工程机械周边的装置。

背景技术

以往，已知有例如记载于专利文献1的作为用于监视工程机械周边的技术。该技术为了让工程机械的操作人员能够直观地把握到存在于工程机械周围的人员的位置而包含如下构成：在判定为在第1监视空间(例如工程机械的右侧)存在人员的情况下，与该第1监视空间对应的第1警报输出部(例如驾驶室内的右侧警报输出部)输出警报；在判定为在与所述第1监视空间不同的第2监视空间(例如工程机械的后方)存在人员的情况下，与该第2监视空间对应的第2警报输出部(例如驾驶室内的后侧警报输出部)输出警报。

然而，如果上述警报的输出时期不恰当，会使工程机械的操作人员感到厌烦。而且还有可能削弱操作人员对操作的集中力。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2018-093501号。

发明内容

本发明的目的在于提供一种可使工程机械的操作人员在恰当的时期识别到该工程机械的周边状况的装置。

所提供的装置是用于监视工程机械周边的装置，该工程机械用周边监视装置包括：操作检测单元，检测为了使所述工程机械动作而通过操作人员施加给操作装置的操作的状态即操作状态；物体检测单元，检测在所述工程机械的周围的对象空间有无物体；输出装置，向所述操作人员输出通知信息；以及，输出控制单元，控制所述输出装置，以便根据所述操作检测单元检测到作为所述操作状态的初始操作状态来使所述输出装置输出表示所述物体检测单元的检测结果的声音，所述初始操作状态是对所述操作装置施加用于使所述工程机械启动的初始操作的状态。

附图说明

图1是表示本发明的实施方式所涉及的工程机械及进行该工程机械的远程操作的远程操作室的图。

图2是表示用于进行所述工程机械的远程操作的远程操作系统的方块图。

图3是例示设定在所述工程机械周围的对象空间的图。

图4是表示所述远程操作装置的构成的图。

图5是表示所述远程操作系统中所进行的控制动作的流程图。

具体实施方式

以下，参照图1至图5来说明本发明的一实施方式。

图1是表示本实施方式所涉及的工程机械10及进行该工程机械的远程操作的远程操作室2的图。所述远程操作室2内设有远程操作装置40，操作人员利用该远程操作装置40能够远程操作所述工程机械10。

所述工程机械10例如是液压挖掘机，其具备附属设备11、斗杆12、动臂13、回转体14、行走体15以及多个致动器。所述多个致动器包含未图示的行走用液压马达、未图示的回转用液压马达以及液压缸11a、12a、13a。

图1所示的所述行走体15为履带式，其基于所述行走用液压马达而被驱动。所述行走体15也可以是轮式。

所述回转体14被配置在所述行走体15的上侧，其基于所述回转用液压马达的驱动而相对于所述行走体15围绕横摆轴回转。在该回转体14的后部设有设备室14b，该设备室14b收容未图示的液压设备(液压泵、方向切换阀、工作油箱等)和作为液压泵等的动力源的未图示的发动机。

该实施方式所涉及的工程机械10容许驾驶员在搭乘状态下操纵该工程机械10。具体而言，在所述回转体14的前部设有驾驶室14a，在该驾驶室14a中配置有接受用于操纵工程机械10的操作的操作装置17(如图2所示)。该操作装置17包含未图示的操作杆、操作踏板、操作开关等。

所述动臂13可沿上下方向摆动地被安装在所述回转体14的前部，其基于所述液压缸13a的伸缩而摆动。所述斗杆12可摆动地被安装在所述动臂13的远端部，其基于所述液压缸12a的伸缩而摆动。所述附属设备11可摆动地被安装在所述斗杆12的远端部，其基于所述液压缸11a的伸缩而摆动。图1所示的附属设备11为铲斗。然而，附属设备11除了铲斗以外也可以是例如破碎机、碎断器、磁体。

所述多个致动器还可以包含除了所述行走用液压马达、所述回转用液压马达以及所述液压缸11a、12a、13a以外的液压致动器，该液压致动器例如是推土机驱动用的液压致动器或破碎机等附属设备所包含的液压致动器。此外，所述多个致动器的一部分也可以是液压致动器以外的致动器，该致动器例如是电动致动器。例如，所述回转用液压马达也可以置换为电动致动器。

所述工程机械10中，在发动机运转的状态下，基于操作人员对所述操作装置17的操作杆或操作踏板施加的操作，行走用液压马达、回转用液压马达、液压缸11a、12a、13a等各致动器各自动作，由此，操作人员能够操纵工程机械10。施加给所述操作装置17的所述操作与所述多个致动器各自的动作之间的关系是与公知的工程机械同样的。

本实施方式中，构建了为了能够实现所述工程机械10的远程操作的图2所示那样的远程操作系统1，该远程操作系统1包含用于监视工程机械10周边的周边监视装置。具体而言，所述远程操作系统1包含所述远程操作装置40、操作驱动装置21、动作状态检测器22、至少一个摄像机23、物体传感器24、工程机械侧控制装置25、无线通信装置26。

所述操作驱动装置21是为了驱动所述操作装置17而被搭载于所述工程机械10的电动式驱动装置。所述操作驱动装置21具有未图示的多个电动马达，设置于驾驶室14a。所述操作驱动装置21以所述多个电动马达能够分别驱动所述操作装置17所包含的各操作杆及操作踏板的每一者的方式连接于所述操作装置17。所述操作驱动装置21也可以被构成为在不进行工程机械10的远程操作的情况下可从工程机械10卸下。

所述动作状态检测器22为了检测所述工程机械10的动作状态而被搭载于该工程机械10。虽然所述动作状态检测器22的详细图示被省略，但其包含例如检测附属设备11、斗杆12及动臂13各自的摆动角(或液压缸11a、12a、13a的行程长度)的检测器、检测回转体14的回转角度的检测器、以及检测行走体15的驱动速度的检测器。所述动作状态检测器22还可以包含例如检测回转体14或行走体15的倾角的检测器、检测回转体14的角速度或加速度的惯性传感器等。

所述摄像机23为了拍摄所述工程机械10的周围的指定区域而被搭载于所述工程机械10的恰当的部位。所述摄像机23例如为了能够拍摄所述回转体14的前方区域而被搭载于驾驶室14a的顶部等。所述至少一个摄像机23为了能够拍摄所述工程机械10的周围的多个区域也可以包含多个摄像机23。

所述至少一个物体传感器24是用于检测工程机械10周围存在的物体的传感器，是所述周边监视装置的组成部分。所述至少一个物体传感器24例如由摄像机、测距传感器、雷达等构成。所述至少一个物体传感器24较为理想的是为了能够检测到回转体14周围存在的物体而包含分别设置在回转体14的周缘部等多个部位上的多个物体传感器24。所述摄像机23也可以被用作所述物体传感器24。

所述工程机械侧控制装置25例如由包含微电脑、存储器、接口电路等的1个以上的电子电路单元而构成，其能够相应地获取摄像机23的拍摄映像信号或物体传感器24及动作状态检测器22各自的检测信号，并根据相应的检测信号来执行用于工程机械10的控制的各种处理。此外，所述工程机械侧控制装置25通过无线通信装置26而能够与远程操作装置40进行相应的通信。

所述工程机械侧控制装置25作为由所被安装的硬件结构和程序(软件结构)的双方或其中一方实现的功能而具有运转控制部25a和周边物体检测部25b。

所述运转控制部25a根据被施加于所述操作装置17的操作，或根据从所述远程操作装置40经由无线通信装置26而被给予的运转指令，进行工程机械10的运转控制。所述运转控制部25a能够进行所述操作驱动装置21的动作控制(进而进行对所述操作装置17施加操作的控制)，并且能够进行发动机的运转控制。

所述周边物体检测部25b是基于物体传感器24的检测信号来检测工程机械10周围的指定的对象空间AR(图3)中存在的物体例如人或设置物的部分，其相当于本发明的物体检测单元。所述对象空间AR例如是如图3所示那样被设定(定义)在所述回转体14周围的区域。所述对象空间AR被设定于如下那样的区域：在该对象空间AR中存在物体的状态下且工程机械10动作时，该物体有可能与工程机械10发生接触。所述周边物体检测部25b在所述对象空间AR中存在图3所例示的人等物体P的情况下，检测该物体P的存及其存在位置亦即相对于工程机械10的相对位置。所述对象空间AR的尺寸或形状可以根据工程机械10的动作状态而可变地被设定。

所述远程操作装置40如图4所示那样被设置在所述远程操作室2内，其包含座椅41、操作装置42、至少一个扬声器43、显示器44。所述座椅41容许未图示的操作人员就座在其上。所述操作装置42接受所述操作人员为了远程操作工程机械10的操作。所述至少一个扬声器43是音响信息(听觉信息)的输出装置。所述显示器44是显示信息(视觉信息)的输出装置。

所述远程操作装置40还包含如图2所示那样的无线通信装置45、操作状态检测器46以及主装置侧控制装置47。所述无线通信装置45是为了在与所述工程机械10所设置的所述无线通信装置26之间进行无线通信的装置。所述操作状态检测器46检测被施加给所述操作装置42的操作的状态。所述无线通信装置45及所述主装置侧控制装置47可以配置在远程操作室2的内部和外部中的任一方。

在所述操作装置42中例如可以采用与所述工程机械10所搭载的所述操作装置17同样或类似结构的装置。图4所例示的操作装置42包含操作杆42a和一对操作杆42b。所述操作杆42a被设置在所述座椅41的前侧，以便能够让就座于所述座椅41的操作人员对该操作杆42a施加操作。在该操作杆42a附设有操作踏板42ap。所述一对操作杆42b分别搭载在配置于所述座椅41左右的中控台41b。所述操作装置42也可以具备与所述操作装置17的结构不同的结构。所述操作装置42也可以是例如包含操纵杆(joystick)、操作按钮等的便携式操作装置。

所述操作状态检测器46相当于本发明的操作检测单元。该操作状态检测器46例如包含被组装于操作装置42的电位器、触点开关等，能够输出表示分别施加给操作装置42的多个操作部(操作杆42a、42b、操作踏板42ap等)的操作的状态的检测信号。

所述至少一个扬声器43较为理想的是包含多个扬声器43，这些扬声器例如分别配置在远程操作室2的周围的多处例如远程操作室2的前部、后部及左右两侧。所述显示器44例如由液晶显示器、平视显示器等构成，为了能够让就座于座椅41的操作人员进行视觉识别而被配置在座椅41的前侧。本实施方式中，所述至少一个扬声器43及所述显示器44相当于本发明的输出装置。

所述主装置侧控制装置47例如由包含微电脑、存储器、接口电路等的1个以上的电子电路单元而构成，其能够相应地获取所述操作状态检测器46的检测信号。所述主装置侧控制装置47通过无线通信装置45及工程机械10的无线通信装置26而能够与工程机械侧控制装置25进行相应的通信。所述主装置侧控制装置47例如可以进行往所述工程机械侧控制装置25的关于工程机械10的运转指令的发送、以及来自所述工程机械10的各种信息的接收。所述运转指令基于被所述操作状态检测器46所检测的对所述操作装置42的操作的状态而被规定。所述各种信息例如包含所述摄像机23的拍摄映像、工程机械10周围的物体的检测信息、工程机械10的动作状态的检测信息。

所述主装置侧控制装置47具有作为输出信息控制部47a的功能。该功能由被安装于所述主装置侧控制装置47的硬件结构和程序(软件结构)的双方或其中一方实现，并控制扬声器43及显示器44。该输出信息控制部47a相当于本发明的输出控制单元。

下面，具体说明本实施方式的远程操作系统1的动作。

就座在远程操作室2内的座椅41上的操作人员为了开始基于工程机械10的作业，而进行指定的启动操作(例如进行接通操作装置42所包含的未图示的启动开关的操作或声音输入操作)。与此相应地，主装置侧控制装置47通过无线通信装置45、26对工程机械侧控制装置25发送启动指令。

所述工程机械侧控制装置25的运转控制部25a基于接收到所述启动指令而执行启动工程机械10的发动机的控制处理。所述工程机械侧控制装置25在发动机的启动完成后通过无线通信装置26、45将表示该启动已经完成的发动机启动完成信息发送到主装置侧控制装置47。所述工程机械侧控制装置25的周边物体检测部25b开始基于所述物体传感器24的检测信号来检测所述工程机械10周围的对象空间AR中是否存在人等物体的处理。

所述主装置侧控制装置47在接收到所述发动机启动完成信息后使所述至少一个扬声器43输出表示所述工程机械10的发动机的启动已完成的声音信息，或者使表示该启动已完成的显示信息显示于显示器44。由此，所述操作人员能够识别到所述工程机械10的发动机已启动。

此外，所述主装置侧控制装置47基于其与工程机械侧控制装置25之间的通信而逐次获取(接收)所述工程机械10的所述摄像机23的拍摄映像(包含回转体14的前侧的拍摄映像)。所述主装置侧控制装置47一边使所获取的拍摄映像显示于显示器44，一边与工程机械侧控制装置25一起执行初始监视处理。

图5是表示所述初始监视处理的流程图。在图5的STEP(步骤)1中，所述主装置侧控制装置47基于所述操作状态检测器46的输出(检测信号)逐次判断是否已进行了用于开始基于所述工程机械10的作业的初始操作。在该STEP1中，主装置侧控制装置47基于操作状态检测器46的输出，例如检测对操作装置42施加用于使工程机械10中的任一致动器动作的操作亦即使操作杆42a、42b或操作踏板42ap位移超越指定的死区(dead band)的操作量的操作的情况或者操作超越该死区之前的操作量的情况，以作为所述初始操作的进行情况的检测。

或者，在STEP1中，所述主装置侧控制装置47也可以通过操作状态检测器46来检测例如操作人员对操作装置42施加用于拉下搭载在工程机械10上的乘降阻挡杆(未图示)的操作的情况。

例如，所述远程操作装置40的所述操作装置42包含与工程机械10的乘降阻挡杆同样地能够进行上下移动操作的操作用乘降阻挡杆，工程机械10的操作驱动装置21等被构成为：基于所述操作人员对所述操作装置42施加拉下所述操作用乘降阻挡杆的操作，能够解除所述工程机械10中的杆操作锁止(解除对工程机械10的各致动器的工作油供应的切断)。在操作人员开始基于工程机械10的作业时，为了解除所述杆操作锁止而进行拉下远程操作装置40的操作用乘降阻挡杆的操作，因此，可以将该操作视为初始操作。

或者，所述主装置侧控制装置47也可以根据所述操作状态检测器46检测到解除回转体14的回转动作的锁止的操作被施加给所述操作装置42时的该操作状态检测器46的输出，来检测初始操作的进行情况。

在STEP1中，或者也可以检测为了启动发动机而施加给所述操作装置42的操作来作为初始操作。

所述主装置侧控制装置47在检测到所述初始操作后(在STEP1为“是”)，进行是否在工程机械10周围的对象空间AR存在人等物体的判断(STEP2)。具体而言，所述主装置侧控制装置47通过其与工程机械侧控制装置25之间的通信来获取由所述工程机械侧控制装置25的周边物体检测部25b所提供的物体的检测信息(当前的检测信息)，并且基于该检测信息来判断对象空间AR中有无人等物体。

在所述工程机械侧控制装置25的周边物体检测部25b检测到所述对象空间AR中存在物体时，所述主装置侧控制装置47从工程机械侧控制装置25接收表示该情况的检测信息(包含表示相对于工程机械10而存在的物体的相对位置或相对方位的信息)，由此，判断为已检测到所述物体的存在(在STEP2为“是”)。

另一方面，在所述工程机械侧控制装置25的周边物体检测部25b未检测到对象空间AR中的物体存在时，所述主装置侧控制装置47从工程机械侧控制装置25接收表示该情况的检测信息，由此，判断为未检测到所述物体的存在(在STEP2为“否”)。

在判断为未检测到所述物体的存在时(在STEP2为“否”)，所述主装置侧控制装置47执行STEP4的处理，并结束图5的流程的处理(初始监视处理)。在STEP4中，所述主装置侧控制装置47使表示工程机械10周围的对象空间AR中不存在物体的声音信息从至少一个扬声器43输出。例如，配置在远程操作室2的多个扬声器43中的至少一个扬声器输出“在周围不存在障碍物。”这一内容的声音信息。

所述输出可使操作人员方便地识别到能够无阻碍地开始工程机械10的作业。这样，操作人员无需移动视线便能够将不存在所述障碍物这一情况作为由声音形成的听觉信息来识别，因此，操作人员能够在观察着显示器44所显示的拍摄映像的情况下使作业的开始迅速地进行。

在判断为存在物体的情况下(在STEP2为“是”)，所述主装置侧控制装置47使表示工程机械10周围的对象空间AR中存在物体的声音信息从扬声器43输出(STEP3)。所述声音信息较为理想的是包含表示对象空间AR中所存在的物体的相对于工程机械10的相对的位置或方位的信息。例如，配置在所述远程操作室2的多个扬声器43中的至少1个扬声器输出“在右侧斜后方(或右侧斜后方1m以内的位置)存在物体。请注意。”这一内容的声音信息。该输出即使在显示于显示器44的拍摄映像中没有映出物体时或操作人员看漏了映在拍摄映像中的物体的存在时，也能够使操作人员方便地识别到工程机械10周围的对象空间AR中的物体的存在、以及所述物体相对于工程机械10而存在的位置或方向。

在能够确定所述对象空间AR中所存在的物体的种类(人、设置物等)的情况下，上述声音信息可以包含表示该物体的种类的信息。

关于所述声音信息的输出，还可以从配置于所述远程操作室2的多个扬声器43中选择输出声音信息的扬声器43，或者也可以使输出声音信息的扬声器43的音量根据对象空间AR中的物体的存在位置或存在方向来变化。

例如，如果被检测到在对象空间AR中的存在的物体越接近工程机械10则越加大从扬声器3输出的声音信息的音量，便可以使操作人员根据该声音信息的音量来识别到物体相对于工程机械10的远近程度。

此外，所述主装置侧控制装置47也可以被构成为：使声音信息仅从操作人员周围的多个扬声器43之中的与操作人员之间的位置关系匹配于存在于所述对象空间AR的物体的位置亦即存在位置或该物体的方向亦即存在方向的扬声器43输出，或者使该匹配的扬声器43的音量大于其它的扬声器43的音量。例如，所述主装置侧控制装置47可以被构成为：在检测到在对象空间AR中且在工程机械10的回转体14右侧斜后方的位置存在物体的情况下，使声音信息仅从远程操作室2内的前后左右的扬声器43之中的右侧及后侧的扬声器43输出，或者使从右侧及后侧的扬声器43输出的声音信息的音量大于从左侧及前侧的扬声器43输出的声音信息的音量。这样，操作人员能够根据其听到声音信息的方向或其容易听到声音信息的方向，识别到物体相对于工程机械10存在于哪一个方向。

在STEP3中，所述主装置侧控制装置47还使表示工程机械10的周围状况的俯瞰图像显示于显示器44的局部区域。例如，如图3的例子所示那样，使工程机械10的俯瞰图像和表示该工程机械周围的对象空间AR的图像显示于显示器44，并且在对象空间AR的图像中相当于物体的存在位置的部位显示表示该物体P的标记图像(或该物体的拍摄图像)。该显示能够使操作人员通过显示器44显示的视觉信息明确地识别到物体在对象空间AR中的存在位置。

所述俯瞰图像也可以在STEP3的处理的执行时按照由工程机械10的动作状态检测器22所检测的该工程机械10的实际的动作状态而被生成。例如，以使工程机械10的俯瞰图像中从回转体14至附属设备11的距离与基于动作状态检测器22的检测信号所推测的实际的前后方向距离大致成比例的方式来生成俯瞰图像。此外，所述主装置侧控制装置47也可以取代所述俯瞰图像而使例如工程机械10的俯视图像、与该俯视图像对应的对象空间AR的图像、该对象空间AR中所检测到的物体的图像显示于显示器44，或者使这些图像及所述俯瞰图像显示于该显示器。例如，在由工程机械侧控制装置25的周边物体检测部25b检测到对象空间AR中存在人等物体P的情况下，也可以采用图3所示那样的方式，使工程机械10、对象空间AR及物体P的图像显示于显示器44。

在STEP3中，所述主装置侧控制装置47在使表示对象空间AR中存在物体的声音信息从扬声器43输出之后或者与该声音信息连续地，还使表示关于操作装置42的操作的操作人员应该注意的注意事项的声音信息从所述至少一个扬声器43输出。具体而言，主装置侧控制装置47使表示操作人员基于物体的检测而应该执行的对应处理的声音信息作为表示上述注意事项的信息而从所述至少一个扬声器43输出。由此，操作人员能够进行恰当的对应处理。

例如，作为表示所述对应处理的信息而输出“请在从周围的对象空间移去(或去除)物体之后开始作业。”这一内容的声音信息。操作人员可以根据该输出而对操作装置42施加用于向工程机械10周围产生警报输出的指定的操作。

在受到所述操作人员的操作后，所述主装置侧控制装置47将相应的警报输出的产生指令发送到工程机械侧控制装置25。而且，接收到该产生指令的工程机械侧控制装置25使用于催促从对象空间AR中移去(或去除)物体的警报声或警报声音从工程机械10所具备的未图示的扬声器输出。所述警报输出并不仅限于警报声或警报声音等听觉警报输出，其也可以是投向工程机械10周围的照明等视觉(光学)警报输出。

例如，在存在于对象空间AR的物体为固定物等难以移动的物体的情况下，所述主装置侧控制装置47也可以使“请使工程机械向○○方向移动○○m左右。”这一内容的声音信息从扬声器43输出。操作人员能够根据该声音信息来对操作装置42施加使工程机械10移动的操作。主装置侧控制装置47将与该操作对应的移动指令发送到工程机械侧控制装置25。接收到该移动指令的工程机械侧控制装置25的运转控制部25a控制操作驱动装置21，以对操作装置17施加操作，由此，依照所述移动指令来使工程机械10移动。

所述主装置侧控制装置47在STEP3中也可以取代表示操作人员应该实施的对应处理的声音信息而将表示操作人员不应该执行的处理的声音信息作为表示注意事项的信息而从扬声器43输出，或者将所述表示应该实施的对应处理的声音信息及所述表示操作人员不应该执行的处理的声音信息作为表示注意事项的信息而从扬声器43输出。例如，在工程机械10的回转体14的右侧后方存在物体的情况下，也可以使“请不要使回转体向左侧(向反时针侧)回转。”这一内容的声音信息从扬声器43输出，或者在工程机械10的正后方存在物体的情况下，也可以使“请不要使行走体后退。”这一内容的声音信息从扬声器43输出。

如上所述，在执行STEP3的处理后，接着，主装置侧控制装置47在STEP5中逐次判断物体是否已离开对象空间AR。具体而言，主装置侧控制装置47通过其与工程机械侧控制装置25之间的通信来获取基于工程机械侧控制装置25的周边物体检测部25b的物体的检测信息，并且根据该检测信息逐次判断对象空间AR中有无存在人等物体。

在所述工程机械侧控制装置25的周边物体检测部25b检测到对象空间AR中存在物体的情况下，所述主装置侧控制装置从工程机械侧控制装置25接收表示该情况的检测信息，由此，在STEP5中判断为不存在所述物体。此情况下，主装置侧控制装置47反复进行STEP5的判断处理。此时，所述主装置侧控制装置47也可以间歇性地反复进行从扬声器43输出与STEP3中输出的声音信息同样的声音信息。此外，也可以与STEP3同样地继续地将工程机械10的俯瞰图像等显示于显示器44。在该图像中，也可以根据对象空间AR内的物体的移动来使显示于显示器44的该物体的图像移动。

此后，所述主装置侧控制装置47从工程机械侧控制装置25接收表示所述工程机械侧控制装置25的周边物体检测部25b检测不到对象空间AR中的物体的存在这一情况的检测信息，由此，判断物体已离开对象空间AR(在STEP5为“是”)。在此时刻，主装置侧控制装置47执行STEP6的处理，并结束图5的流程的处理(初始监视处理)。

在STEP6中，主装置侧控制装置47使表示物体已离开对象空间AR的声音信息从扬声器43输出。例如，从扬声器43输出“物体已移动到对象空间外。”这一内容的声音信息。由此，操作人员能够无需移动视线地将已成为能够无阻碍地开始作业的状态这一情况作为由声音而成的听觉信息来识别。这样，该操作人员能够在观察着显示器44所显示的拍摄映像的情况下迅速地开始作业。

如上所述，根据本实施方式，操作人员在欲开始基于工程机械10的作业时，根据从扬声器43输出的声音信息，能够方便地识别到工程机械10周围的对象空间AR中有无物体存在。因此，操作人员在留意工程机械10周围的状况的必要性高的状况下，无需高度注视显示器44上所显示的工程机械10周围的拍摄映像，便能够方便地识别到工程机械10周围的状况(对象空间AR中有无物体存在)。

此外，在对象空间AR存在物体的情况下，工程机械10和其周围的俯瞰图像(或俯视图像)与物体的图像一起被显示于显示器44，因此，操作人员能够方便地识别到所述物体相对于工程机械10而存在的位置或方向。

另外，在对象空间AR存在物体的情况下，表示恰当的对应处理的声音信息被输出给操作人员，因此，操作人员能够顺畅地实施恰当的对应处理。而且，在对象空间AR变为不存在物体时，表示该情况的声音信息被输出给操作人员，因此，操作人员能够顺畅开始基于工程机械10的作业。

本发明并不仅限于以上所说明的实施方式，其还可以采用其它的实施方式。以下，例示几个其它的实施方式。

在所述实施方式，在操作人员对操作装置42施加初始操作后，不论是否检测到工程机械10周围的对象空间AR中的物体的存在，均输出表示该检测结果的声音信息，但是，本发明所涉及的输出控制单元也可以被构成为仅在检测到对象空间AR中的物体存在时才使输出装置输出声音信息。换言之，该输出控制单元在未检测到物体的存在时也可以保留声音信息的输出。即，也可以省略图5的STEP4的处理。

在检测到物体存在于对象空间AR这一情况时的STEP3的处理中，也可以省略在显示器44中的表示工程机械10周围状况的俯瞰图像(或俯视图像)的显示，或省略表示对应处理的声音信息的输出。此外，也可以省略STEP5及STEP6的处理(在物体离开了对象空间AR时输出表示该情况的声音信息的处理)。

所述实施方式中所例示的初始操作是在工程机械10的作业开始时被施加给操作装置42的操作杆的操作、用于启动发动机的操作、以及杆操作锁止解除用的操作，但是，也可以根据这些操作的组合来检测初始操作。例如，由于在作业的开始时进行发动机的启动操作及杆操作锁止的解除操作，因此，也可以将检测到这两方的操作作为初始操作的检测条件。此外，在作业开始后，也可以根据为了使工程机械10的致动器动作而对操作杆施加的操作的初期阶段的检测，来进行初始操作的检测。

在所述实施方式，在工程机械10的作业的中途且远程操作装置40的操作装置42的操作暂时处于中立状态(无操作状态)时，或者在工程机械10的行走及回转体14的回转的操作后过了一会儿而过渡到附属设备11的操作等时，每次都检测初始操作，检测有无物体。但是，主装置侧控制装置47也可以被构成为：在没有操作装置42中的操作输入的时间为指定时间以下的短时间的情况下，可视为操作装置42的操作正继续进行着，即使在指定的短时间内再有操作输入也不将该操作判断为初始操作。

所述实施方式所涉及的所述工程机械10为液压挖掘机，但是，本发明所涉及的工程机械也可以是液压挖掘机以外的工程机械例如起重机、林业机械。此外，该工程机械也可以是远程操作专用的。相反，本发明所涉及的工程机械也可以是操作人员搭乘该工程机械并在该工程机械内进行直接操纵的工程机械。在采用该方案的情况下，例如可以根据与施加给该操作装置的操作相应地产生的先导压力的检测值来检测施加给工程机械的操作装置的初始操作。

本发明的目的在于提供一种可使工程机械的操作人员在恰当的时期识别到该工程机械的周边状况的装置。

所提供的装置是用于监视工程机械周边的装置，该工程机械用周边监视装置包括：操作检测单元，检测为了使所述工程机械动作而通过操作人员施加给操作装置的操作的状态即操作状态；物体检测单元，检测在所述工程机械的周围的对象空间有无物体；输出装置，向所述操作人员输出通知信息；以及，输出控制单元，控制所述输出装置，以便根据所述操作检测单元检测到作为所述操作状态的初始操作状态来使所述输出装置输出表示所述物体检测单元的检测结果的声音，所述初始操作状态是对所述操作装置施加用于使所述工程机械启动的初始操作的状态。

根据该装置，根据检测到为了使工程机械的动作开始而施加初始操作给操作装置的作为操作状态的初始操作状态，来使表示物体检测单元的检测结果的声音从输出装置输出。

例如，采用如下的方案来构成输出控制单元：根据所述操作检测单元检测到所述初始操作状态且所述物体检测单元检测到所述工程机械的周边的对象空间存在物体，来使表示该物体存在于对象空间的声音从输出装置输出。在采用该方案的情况下，在需要操作人员特别留意工程机械周围的状况的该工程机械的动作开始时，能够使该操作人员通过其听觉来识别到物体存在于该工程机械的周围的对象空间。

相反，也可采用如下的方案来构成输出控制单元：根据所述操作检测单元检测到所述初始操作状态以及所述物体检测单元检测到所述工程机械的周边的对象空间不存在物体，来使表示该物体不存在于对象空间的声音从输出装置输出。由此，在需要操作人员特别留意工程机械的周围状况的该工程机械的动作开始时，能够使操作人员通过其听觉来识别到物体不存在于该工程机械的周围的对象空间。

“工程机械的动作”不仅是工程机械整体的动作，而且还包含该工程机械局部的动作。此外，有关使输出装置输出表示所述物体检测单元的检测结果的声音，也可以仅在所述物体检测单元检测到对象空间存在物体时执行或者仅在所述物体检测单元检测到对象空间不存在物体时执行。

较为理想的是，所述输出控制单元根据所述操作检测单元检测到所述初始操作状态，还使所述输出装置输出表示所述物体检测单元的检测结果的所述工程机械及该工程机械周边的图像(较为理想的是俯视图像和俯瞰图像中的至少一方的图像)。

所述图像在需要操作人员特别留意工程机械的周围状况的该工程机械的动作开始时且在所述工程机械的周围的对象空间存在物体的情况下通过所述输出装置而被输出，由此，能够使操作人员通过其视觉来识别到工程机械周围的对象空间的物体的存在。

所述输出控制单元也可以根据所述操作检测单元检测到所述初始操作状态且所述物体检测单元检测到在所述对象空间存在所述物体，还使所述输出装置输出关于此后的所述工程机械的操作的注意事项的声音。

这样，在需要操作人员特别留意工程机械的周围状况的该工程机械的动作开始时且在工程机械的周围的对象空间存在物体的情况下，能够使操作人员通过其听觉不仅识别到该物体的存在而且还识别到与该状况对应的此后的工程机械的操作的注意事项。

所述输出控制单元也可以根据在所述物体检测单元检测到在所述对象空间存在所述物体之后，所述物体检测单元又检测到在所述对象空间不存在所述物体，还使所述输出装置输出表示所述物体已离开所述对象空间的声音。

这样，在该工程机械的动作开始时在让操作人员通过其听觉来识别到工程机械的周围的对象空间的物体存在之后，可以使该操作人员通过其听觉来识别到因该操作人员对操作装置施加的工程机械的操作等而发生相应的状况变化而使得所述物体不存在于所述对象空间这一情况。

Claims (4)

1.一种工程机械用周边监视装置，用于监视工程机械的周边，其特征在于包括：

操作检测单元，检测为了使所述工程机械动作而通过操作人员施加给操作装置的操作的状态即操作状态；

物体检测单元，检测在所述工程机械的周围的对象空间有无物体；

输出装置，向所述操作人员输出通知信息；以及，

输出控制单元；其中，

所述输出控制单元，基于所述操作检测单元的输出，逐次判断是否是对所述操作装置施加用于使所述工程机械启动的初始操作的初始操作状态，

在判断为不是所述初始操作状态的情况下，所述输出控制单元反复执行所述判断，

在判断为是所述初始操作状态的情况下，所述物体检测单元逐次判断所述对象空间中有无所述物体存在，

在判断为存在所述物体的情况下，所述输出控制单元使表示在所述对象空间存在所述物体的声音信息从所述输出装置输出，

在判断为不存在所述物体的情况下，所述输出控制单元使表示在所述对象空间不存在所述物体的声音信息从所述输出装置输出。

2.根据权利要求1所述的工程机械用周边监视装置，其特征在于：

所述输出控制单元，根据所述操作检测单元检测到所述初始操作状态，还使所述输出装置输出表示所述物体检测单元的检测结果的所述工程机械及该工程机械周边的图像。

3.根据权利要求1所述的工程机械用周边监视装置，其特征在于：

所述输出控制单元，根据所述操作检测单元检测到所述初始操作状态且所述物体检测单元检测到在所述对象空间存在所述物体，还使所述输出装置输出关于此后的所述工程机械的操作的注意事项的声音。

4.根据权利要求1至3中任一项所述的工程机械用周边监视装置，其特征在于：

所述输出控制单元，根据在所述物体检测单元检测到在所述对象空间存在所述物体之后，所述物体检测单元又检测到在所述对象空间不存在所述物体，还使所述输出装置输出表示所述物体已离开所述对象空间的声音。