CN107034941A - 挖土机 - Google Patents

Abstract

本发明提供一种搭载能够更有效地检测由摄像机拍摄的图像内是否包含与规定的检测对象有关的图像的物体检测系统的作业机械。本发明的实施例所涉及的挖土机具备：下部行走体(1)；上部回转体(3)，以能够回转的方式搭载于下部行走体(1)；附件，安装于上部回转体(3)；驾驶室(10)；操作装置(26)，使上部回转体(3)相对于下部行走体(1)回转；显示装置(D3)；摄像机(S1)，安装于上部回转体(3)；运动检测装置(S2)，检测摄像机(S1)在三维空间中的运动；及物体检测装置(50)，在由摄像机(S1)拍摄的图像内利用图像识别处理进行搜索以找出规定物体的图像。物体检测装置(50)根据由运动检测装置(S2)检测的摄像机(S1)的运动的内容来调整在图像识别处理中所采用的图像识别条件。

Description

挖土机

技术领域

本申请主张基于2015年10月28日申请的日本专利申请第2015-212213号的优先权。其申请的全部内容通过参考援用于本说明书中。

本发明涉及一种搭载基于图像识别的物体检测系统的挖土机。

背景技术

已知有一种通过模式匹配来识别由安装于挖土机的摄像机所拍摄的挖土机周围的图像中作为二维码的标记图像的运转辅助装置(参考专利文献1。)。该运转辅助装置解读所识别的标记图像所表示的内容(与进入禁止区域有关的信息)并根据该内容辅助挖土机的运转。

专利文献1：日本特开2013-151830号公报

然而，上述运转辅助装置一边遍及所拍摄的图像整个区域改变搜索窗的大小和位置一边反复进行该搜索窗内的图像与已存储的参考标记图像的对照处理来识别标记图像。因此，导致对照次数变得极多且增加处理时间。尤其，在通过附件的动作使得上部回转体相对于下部行走体沿上下方向摇摆的情况下更难以识别标记图像。

发明内容

本发明鉴于上述情况，要求提供一种能够更有效地判定由摄像机拍摄的图像内有无包含与规定的识别对象有关的图像的挖土机。

本发明的实施例所涉及的挖土机具备：下部行走体；上部回转体，以能够回转的方式搭载于所述下部行走体；附件，安装于所述上部回转体；驾驶室，安装于所述上部回转体；操作装置，设置于所述驾驶室内，且使所述上部回转体相对于所述下部行走体回转；显示装置，在所述驾驶室内朝驾驶席安装；摄像机，安装于所述上部回转体；运动检测装置，检测所述摄像机在三维空间中的运动；及控制装置，在由所述摄像机拍摄的图像内利用图像识别处理进行搜索以找出规定物体的图像，所述控制装置根据由所述运动检测装置检测的所述摄像机的运动的内容来调整在所述图像识别处理中所采用的图像识别条件。

发明效果

通过上述方法，可提供一种能够更有效地判定由摄像机拍摄的图像内是否包含与规定的识别对象有关的图像的挖土机。

附图说明

图1为本发明的实施例所涉及的挖土机的侧视图。

图2为表示挖土机的驱动系统的结构的图。

图3为说明挖土机回转时的显示图像的推移的图。

图4为说明挖土机行走时的显示图像的推移的图。

图5为图像识别条件调整处理的流程图。

图6为表示运动检测装置的安装位置的挖土机的俯视图。

图7为说明挖土机回转时的显示图像的推移的图。

图中：1-下部行走体，2-回转机构，3-上部回转体，4-动臂，5-斗杆，6-铲斗，7-动臂缸，8-斗杆缸，9-铲斗缸，10-驾驶室，11-发动机，11a-交流发电机，11b-启动装置，11c-水温传感器，14-主泵，14a-调整器，14b-排出压力传感器，14c-油温传感器，15-先导泵，17-控制阀，26-操作装置，29-压力传感器，30-控制器，30a-临时存储部，50-物体检测装置，55-燃料容纳部，55a-燃料容纳量检测部，70-蓄电池，72-电气安装件，75-发动机转速调整刻度表，500-图像识别部，501-图像识别条件调整部，S1-摄像机，S2-运动检测装置，S1B-后方摄像机，S1L-左侧摄像机，S1R-右侧摄像机，D2-语音输出装置，D3-显示装置，D3a-转换处理部，D5-门锁杆，D6-门锁阀，D7-发动机控制器单元。

具体实施方式

图1为本发明的实施例所涉及的挖土机(挖掘机)的侧视图。上部回转体3以能够回转的方式经由回转机构2搭载于挖土机的下部行走体1。在上部回转体3安装有动臂4。在动臂4的前端安装有斗杆5，在斗杆5的前端安装有作为端部附件的铲斗6。

动臂4、斗杆5及铲斗6作为附件的一例构成挖掘附件，并通过动臂缸7、斗杆缸8及铲斗缸9分别被液压驱动。

在上部回转体3上设置有驾驶室10并且搭载有发动机11等动力源。并且，在上部回转体3上安装有摄像机S1，在摄像机S1上安装有运动检测装置S2。

摄像机S1为获取挖土机周边图像的拍摄装置。本实施例中，摄像机S1安装于上部回转体3的后端并拍摄挖土机的后方。

运动检测装置S2为检测摄像机S1在三维空间中的运动的装置，例如为加速度传感器、角速度传感器(陀螺仪传感器)、地磁传感器、GNSS(Global Navigation SatelliteSystem)罗盘等。本实施例中，运动检测装置S2为检测摄像机S1在三维空间中的移动及旋转的装置，例如由加速度传感器及角速度传感器(陀螺仪传感器)的组合而构成。并且，运动检测装置S2也可以由加速度传感器、角速度传感器、地磁传感器或GNSS罗盘的组合而构成。

并且，运动检测装置S2内置于摄像机S1，与摄像机S1一起运动。具体而言，运动检测装置S2安装于摄像机S1的框体内，沿与摄像机S1相同的方向移动并且向与摄像机S1相同的方向旋转。这是因为能够将与运动检测装置S2本身的运动有关的信息(运动检测装置S2的检测值)直接用作与摄像机S1的运动有关的信息。但是，运动检测装置S2只要能够以与摄像机S1相同的方式运动，则可以安装于摄像机S1的外部。例如，运动检测装置S2也可以安装于摄像机S1的框体或外壳的外表面。通过该结构，运动检测装置S2能够省略根据与运动检测装置S2本身的运动有关的信息来计算与摄像机S1的运动有关的信息的处理，且能够排除在进行这种计算处理时产生的误差。并且，无需根据行走速度传感器、回转角度传感器等的输出来间接计算与摄像机S1的运动有关的信息，从而能够排除进行这种计算处理时产生的误差。并且，通过省略如上计算处理，能够更早地获取与摄像机S1的运动有关的信息。并且，运动检测装置S2由于内置于摄像机S1，因此能够提高组装性、维修性、传感器精度等，并且能够降低制造成本。

驾驶室10内设置有语音输出装置D2、显示装置D3、门锁杆D5、控制器30及物体检测装置50。

控制器30发挥进行挖土机的驱动控制的主控制部的功能。本实施例中，控制器30由包含CPU及内部存储器的控制装置构成。控制器30的各种功能通过由CPU执行存储于内部存储器中的程序来实现。

物体检测装置50通过利用公知的图像识别处理在由摄像机S1拍摄的图像内进行搜索以找出规定识别对象的物体的图像，从而检测物体。由摄像机S1拍摄的图像为包括拍摄图像其本身和根据该拍摄图像生成的图像(例如显示图像)的概念，以下也称为“处理对象图像”。公知的图像识别处理包括例如利用SIFT(Scale-Invariant Feature Transform)算法、SURF(Speeded-Up Robust Features)算法、ORB(ORiented BRIEF(Binary RobustIndependent Elementary Features))算法、HOG(Histograms of Oriented Gradients)算法等的图像识别处理、利用模式匹配的图像识别处理等。并且，规定的识别对象的物体包括人(作业人员等)及物体(障碍物等)。本实施例中，物体检测装置50例如以规定周期反复执行找出存在于挖土机后方的物体的图像的处理(以下，称为“物体检测处理”。)。

物体检测装置50与控制器30同样由包含CPU及内部存储器的控制装置构成。物体检测装置50的各种功能通过由CPU执行存储于内部存储器中的程序来实现。物体检测装置50可以与控制器30单独设置，或者也可以组装于控制器30。

语音输出装置D2根据来自物体检测装置50的语音输出指令输出各种语音信息。本实施例中，作为语音输出装置D2利用与物体检测装置50直接连接的车载扬声器。另外，作为语音输出装置D2可以利用蜂鸣器等报警器。

显示装置D3根据来自物体检测装置50的指令来输出各种图像信息。本实施例中，作为显示装置D3利用在驾驶室10内朝驾驶席安装并且与物体检测装置50直接连接的车载液晶显示器。

门锁杆D5为防止挖土机被误操作的机构。本实施例中，门锁杆D5配置于驾驶室10的门与驾驶席之间。在门锁杆D5被提拉而无法使操作人员从驾驶室10退出的情况下，能够操作各种操作装置。另一方面，在门锁杆D5被按下而能够使操作人员从驾驶室10退出的情况下，无法操作各种操作装置。

图2为表示图1的挖土机的驱动系统的结构例的图。图2中，机械动力系统用双重线表示，高压液压管路用粗实线表示，先导管路用虚线表示，电力驱动/控制系统用细实线表示。

发动机11为挖土机的动力源。本实施例中，发动机11为采用不受发动机负荷增减的影响而恒定维持发动机转速的同步控制的柴油发动机。发动机11中的燃料喷射量、燃料喷射时机、升高压力等被发动机控制器单元(ECU)D7控制。

在发动机11连接有作为液压泵的主泵14及先导泵15。在主泵14上经由高压液压管路连接有控制阀17。

控制阀17为进行挖土机的液压系统的控制的液压控制装置。右侧行走用液压马达、左侧行走用液压马达、动臂缸7、斗杆缸8、铲斗缸9、回转用液压马达等液压制动器经由高压液压管路与控制阀17连接。另外，回转用液压马达可以是回转用电动发电机。

在先导泵15上经由先导管路连接有操作装置26。操作装置26为设置于驾驶室10内的操纵杆及踏板，其包括使上部回转体3相对于下部行走体1回转的操作装置即回转操作杆等。并且，操作装置26经由液压管路及门锁阀D6与控制阀17连接。

门锁阀D6切换连接控制阀17与操作装置26的液压管路的连通/断开。本实施例中，门锁阀D6为根据来自控制器30的指令切换液压管路的连通/断开的电磁阀。控制器30根据门锁杆D5所输出的状态信号来判定门锁杆D5的状态。而且，控制器30在判定为门锁杆D5处于被提拉的状态的情况下，对门锁阀D6输出连通指令。若收到连通指令，则门锁阀D6将打开并连通液压管路。其结果，操作人员对操作装置26的操作变得有效。另一方面，控制器30在判定为门锁杆D5处于拉下的状态的情况下，对门锁阀D6输出断开指令。若收到断开指令，则门锁阀D6将关闭并断开液压管路。其结果，操作人员对操作装置26的操作变为无效。

压力传感器29以压力形式检测操作装置26的操作内容。压力传感器29对控制器30输出检测值。

并且，图2表示控制器30与显示装置D3的连接关系。本实施例中，显示装置D3经由物体检测装置50与控制器30连接。另外，显示装置D3、物体检测装置50及控制器30也可以经由CAN等通信网连接，也可以经由专用线连接。

显示装置D3包括生成图像的转换处理部D3a。本实施例中，转换处理部D3a根据摄像机S1输出的图像信息生成显示用的显示图像。因此，显示装置D3经由物体检测装置50获取由与物体检测装置50连接的摄像机S1输出的图像信息。但是，摄像机S1可以与显示装置D3连接，也可以与控制器30连接。

并且，转换处理部D3a根据控制器30或物体检测装置50的输出生成显示用的图像。本实施例中，转换处理部D3a将由控制器30或物体检测装置50输出的各种信息转换成图像信号。另外，由控制器30输出的信息例如包括表示发动机冷却水的温度的数据、表示工作油的温度的数据、表示燃料的余量的数据等。并且，由物体检测装置50输出的信息包括与检测到的物体有关的信息(例如摄像机S1与物体的距离)等。

另外，转换处理部D3a可以不实现显示装置D3所具有的功能，而实现控制器30或物体检测装置50所具有的功能。

并且，显示装置D3从蓄电池70得到电力供给而进行动作。另外，蓄电池70通过在发动机11的交流发电机11a(发电机)产生的电力进行充电。蓄电池70的电力也供给到控制器30及显示装置D3以外的挖土机的电气安装件72等。并且，发动机11的启动装置11b通过来自蓄电池70的电力而被驱动，并启动发动机11。

发动机11通过发动机控制器单元D7而被控制。从发动机控制器单元D7始终向控制器30发送表示发动机11的状态的各种数据(例如，表示用水温传感器11c检测的冷却水温(物理量)的数据)。因此，控制器30能够在临时存储部(存储器)30a蓄积该数据，且在必要的情况下发送到显示装置D3。

并且，如下那样对控制器30供给各种数据，并存储到控制器30的临时存储部30a。

首先，从可变容量式液压泵即主泵14的调整器14a向控制器30供给表示斜板偏转角的数据。并且，表示主泵14的排出压力的数据从排出压力传感器14b发送到控制器30。这些数据(表示物理量的数据)存储于临时存储部30a。并且，在储藏由主泵14吸入的工作油的油罐与主泵14之间的管路设置有油温传感器14c，表示流动于该管路的工作油的温度的数据从油温传感器14c供给到控制器30。

并且，从燃料容纳部55中的燃料容纳量检测部55a向控制器30供给表示燃料容纳量的数据。本实施例中，从作为燃料容纳部55的燃料罐中的作为燃料容纳量检测部55a的燃料余量传感器向控制器30供给表示燃料的余量状态的数据。

具体而言，燃料余量传感器由追踪液面的浮子和将浮子的上下变动量转换成阻力值的可变阻力器(电位计)构成。通过该结构，燃料余量传感器能够用显示装置D3不分等级地显示燃料的余量状态。另外，燃料容纳量检测部的检测方式可根据使用环境等适当选择，也可以采用能够分等级显示燃料的余量状态的检测方式。

并且，对操作装置26进行操作时发送到控制阀17的先导压通过压力传感器29被检测，所检测的表示先导压的数据被供给到控制器30。

并且，本实施例中，如图2所示，挖土机在驾驶室10内具备发动机转速调整刻度表75。发动机转速调整刻度表75为用于调整发动机11的转速的刻度表，本实施例中，能够将发动机转速切换为4个阶段。并且，发动机转速调整刻度表75始终向控制器30发送表示发动机转速的设定状态的数据。并且，发动机转速调整刻度表75能够用SP模式、H模式、A模式及怠速模式这4个阶段来切换发动机转速。另外，图2表示在发动机转速调整刻度表75中选择H模式的状态。

SP模式为在欲将作业量设为优先的情况下选择的转速模式，其利用最高发动机转速。H模式为在欲兼顾作业量与油耗的情况下选择的转速模式，其利用次高发动机转速。A模式为在欲将油耗设为优先并且以低噪音运行挖土机的情况下选择的转速模式，其利用第三高的发动机转速。怠速模式为欲将发动机11设为怠速状态的情况下选择的转速模式，其利用最低的发动机转速。而且，发动机11的转速以在发动机转速调整刻度表75中设定的转速模式的发动机转速被控制为恒定。

接着，对物体检测装置50的功能要素进行说明。本实施例中，物体检测装置50包括图像识别部500及图像识别条件调整部501。

图像识别部500为利用公知的图像识别处理在处理对象图像内进行搜索以找出规定的识别对象的物体图像的功能要素。本实施例中，图像识别部500一边将由摄像机S1拍摄的图像生成的显示图像内的整个区域设为搜索范围，一边找出作为识别对象的物体的作业人员的图像。而且，图像识别部500例如在找到作业人员的图像的情况下，向语音输出装置D2及显示装置D3发送控制指令而输出警告。

图像识别条件调整部501为对由图像识别部500找出规定的识别对象的物体的图像时采用的图像识别条件进行调整的功能要素。本实施例中，图像识别条件调整部501根据运动检测装置S2检测的摄像机S1的运动的内容调整图像识别条件。图像识别条件的调整例如包括如下调整，对在判定处理对象图像上的部分图像是否为规定的识别对象的物体的图像时使用的阈值(以下,称为“图像判定阈值”。)进行调整。并且，图像识别条件的调整可以是搜索范围的调整。

在此，参考图3对根据运动检测装置S2检测的摄像机S1的运动的内容而由图像识别条件调整部501调整图像识别条件的处理(以下，称为“图像识别条件调整处理”。)进行说明。图3为说明挖土机回转时的显示图像的推移的图，图3(A)表示回转中的挖土机的俯视图，图3(B)表示回转前的显示图像，图3(C)表示回转后的显示图像。另外，图3(B)及图3(C)中分别示出的显示图像为镜像图像。并且，如图3(B)及图3(C)中分别示出的，显示图像在其下部区域包含上部回转体3的后端部3a的图像。通过该结构，操作人员能够直观地识别映现在显示图像上的物体与上部回转体3之间的距离。

具体而言，图3(A)中用虚线描绘的挖土机表示回转开始前的时刻t1的挖土机的状态，用实线描绘的挖土机表示以回转轴SX为中心逆时针回转α角后的时刻t2的挖土机的状态。并且，图3(A)表示在挖土机的后方存在工作人员W的状态。并且，被虚线包围的区域R1表示时刻t1的摄像机S1的拍摄范围，被实线包围的区域R2表示时刻t2的摄像机S1的拍摄范围。

并且，图3(B)表示在时刻t1显示于显示装置D3的作为镜像图像的显示图像G1。显示图像G1根据时刻t1的摄像机S1的拍摄图像而生成。显示图像G1在其右侧部分包含作业人员W的图像WG1。并且，图3(C)表示在时刻t2显示于显示装置D3的作为镜像图像的显示图像G2。显示图像G2与显示图像G1同样根据时刻t2的摄像机S1的拍摄图像而生成。显示图像G2在其左侧部分包含作业人员W的图像WG2。如此，若上部回转体3逆时针回转，则位于显示图像的右侧部分的静止状态的作业人员W的图像向显示图像的左侧部分移动。

此时，图像识别部500在时刻t1将显示图像G1的图像WG1识别为作业人员W的图像的情况下，在时刻t2图像识别部500将显示图像G2的整个区域作为搜索范围来搜索作业人员W的图像的效率并不高。并且，根据周围的亮度等拍摄条件，也存在无法识别应该存在于显示图像G2内的作业人员W的图像而将其丢失的可能性。

因此，图像识别条件调整部501根据运动检测装置S2检测的摄像机S1的运动的内容来调整图像识别条件。

具体而言，图像识别条件调整部501根据运动检测装置S2的输出来检测上部回转体3以回转轴SX为中心逆时针旋转α角时摄像机S1的移动情况。而且，图像识别条件调整部501根据该移动内容，导出与时刻t1的显示图像G1的存在区域CR1对应的、时刻t2的显示图像G2中的对应区域CR2。存在区域CR1为作业人员W的图像WG1所在的区域，且从图像识别部500识别的图像WG1的位置被导出。本实施例中，存在区域CR1作为包含图像WG1的矩形区域而被提取。但是，存在区域CR1也可以作为圆形区域、椭圆区域等具有其他形状的区域而被提取。并且，对应区域CR2根据显示图像G1中的存在区域CR1的位置与从时刻t1至时刻t2之间的摄像机S1的移动方向及移动距离而被导出。对应区域CR2为推定作业人员W的图像存在的可能性较高的区域。本实施例中，对应区域CR2作为具有与存在区域CR1相同的形状(包括相似形状。)的区域而被提取。但是，对应区域CR2也可以作为具有与存在区域CR1不同的形状的区域而被提取。

之后，图像识别条件调整部501使显示图像G2中与对应区域CR2有关的图像识别条件，相较于与除此以外的区域有关的图像识别条件得以缓和。具体而言，图像识别条件调整部501将显示图像G2中与对应区域CR2有关的图像判定阈值调整为容易识别作业人员W的图像。这是因为推定成在对应区域CR2内存在作业人员W的图像的可能性较高。其结果，物体检测装置50不会在显示图像G2丢失作业人员W的图像而将其进行识别从而能够提高其检测精度。

例如，在利用HOG算法的图像识别处理中，从处理对象图像中能够导出描述貌似识别对象(例如似人)的HOG特征量。而且，根据学习用图像预先做成的识别器根据该HOG特征量与规定的阈值判定处理对象图像是否为识别对象(例如人)的图像。图像识别条件的放宽表示改变该阈值而容易判定处理对象图像为识别对象的图像。其结果，在放宽前被判定为不是识别对象的图像的处理对象图像被判定为是识别对象的图像的可能性变高。

或者，图像识别条件调整部501可以将与作业人员W的图像有关的搜索范围限定至对应区域CR2。该情况下，与将显示图像G2的整个区域设为搜索范围的情况相比，物体检测装置50能够减少与图像识别处理有关的运算负荷。而且，能够缩短图像识别处理所需的时间，并更早地检测到物体。

接着，参考图4对图像识别条件调整处理的另一例进行说明。图4为说明挖土机行走时的显示图像的推移的图，图4(A)表示行走中的挖土机的俯视图，图4(B)表示行走前的显示图像，图4(C)表示行走后的显示图像。另外，图4(B)及图4(C)中分别示出的显示图像为镜像图像。

具体而言，图4(A)中用虚线描绘的挖土机表示行走开始前的时刻t1的挖土机的状态，用实线描绘的挖土机表示行走距离DS后的时刻t2的挖土机的状态。并且，图4(A)表示在挖土机的后方存在作业人员W的状态。并且，被虚线包围的区域R1表示在时刻t1的摄像机S1的拍摄范围，被实线包围的区域R2表示在时刻t2的摄像机S1的拍摄范围。

并且，图4(B)表示在时刻t1显示于显示装置D3的作为镜像图像的显示图像G1。显示图像G1根据时刻t1的摄像机S1的拍摄图像而生成。显示图像G1在其右侧部分的比较大的范围包含作业人员W的图像WG1。并且，图4(C)表示在时刻t2显示于显示装置D3的作为镜像图像的显示图像G2。显示图像G2与显示图像G1同样根据时刻t2的摄像机S1的拍摄图像而生成。显示图像G2在其右侧部分的比较小的范围包含作业人员W的图像WG2。如此，若挖土机向远离作业人员W的方向行走，则占据显示图像的右侧部分的比较大的范围的静止状态的作业人员W的图像被缩小至显示图像的右侧部分的比较小的范围。

此时，图像识别部500在时刻t1将显示图像G1的图像WG1作为作业人员W的图像来识别的情况下，在时刻t2图像识别部500将显示图像G2的整个区域作为搜索范围来搜索作业人员W的图像的效率并不高。并且，根据周围的亮度等拍摄条件，也存在无法识别应该存在于显示图像G2内的作业人员W的图像而将其丢失的可能性。

因此，图像识别条件调整部501根据运动检测装置S2检测的摄像机S1的运动的内容来调整图像识别条件。

具体而言，图像识别条件调整部501根据运动检测装置S2的输出来检测摄像机S1向从作业人员W远离距离DS的方向移动的情况。而且，图像识别条件调整部501根据该移动内容导出与时刻t1的显示图像G1中的存在区域CR1对应的、时刻t2的显示图像G2中的对应区域CR2。

之后，图像识别条件调整部501使显示图像G2中与对应区域CR2有关的图像识别条件，相较于与除此以外的区域有关的图像识别条件得以缓和。具体而言，图像识别条件调整部501将显示图像G2中与对应区域CR2有关的图像判定阈值调整为容易识别作业人员W的图像。这是因为推定为在对应区域CR2内存在作业人员W的图像的可能性较高。其结果，物体检测装置50不会在显示图像G2丢失作业人员W的图像而将其进行识别从而能够提高该检测精度。

或者，图像识别条件调整部501也可以将与作业人员W的图像有关的搜索范围限定至对应区域CR2。该情况下，物体检测装置50与将显示图像G2的整个区域设为搜索范围的情况相比，能够减少与图像识别处理有关的运算负荷。而且，能够缩短图像识别处理所需的时间，并更早地检测到物体。并且，即使在因附件的动作而使得上部回转体3沿上下方向摇摆而难以进行图像识别的状况下，也能够更早地检测到识别对象的物体。

接着，参考图5对图像识别条件调整处理的流程进行说明。图5为图像识别条件调整处理的流程图。另外，物体检测装置50以规定周期重复并同时执行该图像识别条件调整处理和物体检测处理。

首先，物体检测装置50判定在上一次物体检测处理中有无识别到物体的图像(步骤ST1)。例如在图3或图4所示的情况下，物体检测装置50判定在显示图像G1是否识别到作业人员W的图像WG1。

判定为在上一次物体检测处理中未识别到物体的图像的情况(步骤ST1的否)下，物体检测装置50结束此次的图像识别条件调整处理。这是因为无法推定已识别物体的图像的当前位置(当前的显示图像上的位置)。

另一方面，判定为在上一次物体检测处理中识别到物体的图像的情况(步骤ST1的是)下，物体检测装置50指定该物体的图像所在的显示图像内的区域(以下，称为“存在区域”。)(步骤ST2)。例如，物体检测装置50判定为在显示图像G1中识别到作业人员W的图像WG1的情况下，指定图像WG1所在的存在区域CR1。

之后，物体检测装置50获取摄像机S1的运动内容(步骤ST3)。具体而言，物体检测装置50根据运动检测装置S2的输出获取上一次物体检测处理执行后的摄像机S1的运动的内容。例如，在挖土机回转或行走的情况下，物体检测装置50作为摄像机S1的运动内容来获取因挖土机的回转或行走而发生的摄像机S1的移动方向及移动距离。

之后，物体检测装置50根据物体的图像的存在区域和摄像机S1的运动内容来导出对应区域(步骤ST4)。例如，根据显示图像G1中的存在区域CR1的位置及形状和之后的摄像机S1的运动的内容来导出对应区域CR2的位置及形状。并且，在挖土机既不回转也不行走而停止的情况下，物体检测装置50将存在区域CR1的位置及形状直接设为对应区域CR2的位置及形状。

之后，物体检测装置50调整所导出的对应区域的图像识别条件(步骤ST5)。例如，物体检测装置50将此次的物体检测处理时显示图像G2中与对应区域CR2有关的图像判定阈值调整为容易识别作业人员W的图像。例如，降低图像判定阈值，从而与图像判定阈值更大时相比，可缓和用于识别为对应区域CR2内的图像是识别对象的物体的图像的难度。由此，物体检测装置50不会在显示图像G2丢失作业人员W的图像而将其进行识别从而能够提高该检测精度。或者，物体检测装置50作为与此次的物体检测处理时的作业人员W的图像有关的搜索范围可以优先选择对应区域CR2。这是因为，通过在推定为存在作业人员W的图像的可能性较高的对应区域CR2内优先进行搜索，能够早期确认作业人员W的存在之后搜索对应区域CR2以外的其他区域。由此，物体检测装置50能够更可靠地继续识别作业人员W的图像。并且，作为优先搜索对应区域CR2的方法的其他一例，物体检测装置50可以将与此次物体检测处理时的作业人员W的图像有关的搜索范围限定为对应区域CR2。该情况下，物体检测装置50与将显示图像G2的整个区域设为搜索范围的情况相比，能够减少与图像识别处理有关的运算负荷。而且，能够缩短图像识别处理所需的时间，并更早地检测到物体。

接着，参考图6对运动检测装置S2的另一结构例进行说明。图6为挖土机的俯视图，且表示运动检测装置S2的安装位置。图6的运动检测装置S2由包含搭载于上部回转体3的平衡配重的上表面所安装的两个GNSS接收器S2L、S2R的GNSS罗盘构成，这一点上与由加速度传感器及陀螺仪传感器的组合而构成的图1的运动检测装置S2不同。

从该结构可知，GNSS接收器S2L、S2R各自与摄像机S1的相对位置关系固定且已知。因此，物体检测装置50能够根据GNSS接收器S2L、S2R各自的输出导出摄像机S1的基准坐标系中的坐标。基准坐标系例如为世界测地系统。世界测地系统为将地球的重心视为原点，将X轴设为格林威治子午线与赤道的交点的方向，将Y轴设为东经90度的方向，并且将Z轴设为北极方向的三维正交XYZ坐标系。

而且，物体检测装置50从时刻t1的摄像机S1的坐标和之后的时刻t2的摄像机S1的坐标获取时刻t1-时刻t2之间的摄像机S1的运动内容(移动方向及移动距离)。因此，物体检测装置50能够实现与根据内置于摄像机S1的图1的运动检测装置S2(加速度传感器及陀螺仪传感器的组合)的输出调整图像识别条件的情况相同的效果。

接着，参考图7对图像识别条件调整处理的另一例进行说明。图7为说明挖土机回转时的显示图像的推移的图，图7(A)表示停止中的挖土机的俯视图，图7(B)表示回转中的挖土机的俯视图。并且，图7(C)表示回转前的显示图像，图7(D)表示回转后的显示图像。

具体而言，图7(A)表示在挖土机的上部回转体3的上表面左端安装有左侧摄像机S1L，在上部回转体3的上表面后端安装有后方摄像机S1B，在上部回转体3的上表面右端安装有右侧摄像机S1R的状态。

图7(B)中用虚线描绘的挖土机表示时刻t1的挖土机的状态，用实线描绘的挖土机表示以回转轴SX为中心逆时针旋转α角之后的时刻t2的挖土机的状态。并且，图7(B)表示在挖土机的后方存在作业人员W的状态。被虚线包围的区域R1表示在时刻t1的后方摄像机S1B的拍摄范围，被实线包围的区域R2表示在时刻t2的后方摄像机S1B的拍摄范围。并且，为便于说明，图7(B)中省略左侧摄像机S1L及右侧摄像机S1R各自的拍摄范围的图示。

图7(C)表示在时刻t1显示于显示装置D3的显示图像G1。显示图像G1在其中央部分显示挖土机的CG图像Gs，在其周围具有掏空上部的局部圆形形状的图像显示区域Rc。在图像显示区域Rc显示作为合成3台摄像机分别拍摄的拍摄图像而生成的合成图像的视点转换图像。视点转换图像包括配置于挖土机的CG图像Gs的周围的路面图像部分和配置于该路面图像部分的周围的水平图像部分。路面图像部分从正上面观察挖土机附近时的情景，水平图像部分显示从挖土机观察水平方向时的情景。并且，CG图像Gs的下方显示作业人员W的图像WG1。

图7(D)表示在时刻t2显示于显示装置D3的显示图像G2。显示图像G2中在CG图像Gs的左下方包含作业人员W的图像WG2。如此，若上部回转体3逆时针回转，位于CG图像Gs的下方的静止状态的作业人员W的图像向CG图像Gs的左下方移动。

此时，图像识别部500在时刻t1将显示图像G1的图像WG1作为作业人员W的图像来识别的情况下，在时刻t2图像识别部500将显示图像G2的整个区域作为搜索范围来搜索作业人员W的图像的效率并不高。并且，根据周围的亮度等拍摄条件，也存在无法识别应该存在于显示图像G2内的作业人员W的图像而将其丢失的可能性。

因此，图像识别条件调整部501根据运动检测装置S2检测的摄像机S1的运动的内容来调整图像识别条件。

具体而言，图像识别条件调整部501根据运动检测装置S2的输出来检测上部回转体3以回转轴SX为中心而逆时针回转α角时摄像机S1的移动情况。而且，图像识别条件调整部501根据该移动内容导出与时刻t1的显示图像G1中的存在区域CR1对应的、时刻t2的显示图像G2中的对应区域CR2。

之后，图像识别条件调整部501使显示图像G2中与对应区域CR2有关的图像识别条件，相较于与除此之外的区域有关的图像识别条件得以缓和。具体而言，图像识别条件调整部501将显示图像G2中与对应区域CR2有关的图像判定阈值调整为容易识别作业人员W的图像。这是因为推定为在对应区域CR2内存在作业人员W的图像的可能性较高。其结果，物体检测装置50不会在显示图像G2丢失作业人员W的图像而将其进行识别从而能够提高该检测精度。

或者，图像识别条件调整部501也可以将与作业人员W的图像有关的搜索范围限定为对应区域CR2。该情况下，物体检测装置50与将显示图像G2的整个区域设为搜索范围的情况相比，能够减少与图像识别处理有关的运算负荷。而且，能够缩短图像识别处理所需的时间，并更早地检测到物体。

以上，对本发明的优选实施例进行了详述，但本发明并不限于上述实施例，只要不脱离本发明的范围，则能够对上述实施例加以进行各种变形及替换。

例如，在上述实施例中，物体检测装置50在挖土机回转或行走的情况下，作为摄像机S1的运动内容获取移动(回转或行走)方向及移动(回转或行走)距离，并根据该摄像机S1的运动内容来调整图像识别条件。然而，本发明并不限定于该结构。例如，物体检测装置50可以在上部回转体3倾斜的情况下，作为摄像机S1的运动内容来获取因倾斜发生的移动方向及移动距离，并根据该摄像机S1的运动内容来调整图像识别条件。

Claims (6)

1.一种挖土机，其具备：

下部行走体；

上部回转体；以能够回转的方式搭载于所述下部行走体；

附件，安装于所述上部回转体；

驾驶室，安装于所述上部回转体；

操作装置，设置于所述驾驶室内，且使所述上部回转体相对于所述下部行走体回转；

显示装置，在所述驾驶室内朝驾驶席安装；

摄像机，安装于所述上部回转体；

运动检测装置，检测所述摄像机在三维空间中的运动；及

控制装置，在由所述摄像机拍摄的图像内利用图像识别处理进行搜索以找出规定物体的图像，

所述控制装置根据由所述运动检测装置检测的所述摄像机的运动的内容来调整在所述图像识别处理中所采用的图像识别条件。

2.根据权利要求1所述的挖土机，其中，

所述运动检测装置与所述摄像机一起运动。

3.根据权利要求1或2所述的挖土机，其中，

所述控制装置从由所述运动检测装置检测的所述摄像机的运动的内容中导出与所述摄像机进行运动之前由所述摄像机拍摄的图像内的特定区域对应的、所述摄像机进行运动之后由所述摄像机拍摄的图像内的对应区域，并调整与该对应区域有关的图像识别条件。

4.根据权利要求3所述的挖土机，其中，

所述控制装置与所述对应区域以外的区域中的所述图像识别条件相比放宽所述对应区域中的所述图像识别条件。

5.根据权利要求3所述的挖土机，其中，

所述控制装置将所述对应区域优先设为搜索范围。

6.根据权利要求1至5中任一项所述的挖土机，其中，

所述摄像机由多个摄像机构成，

所述控制装置在由所述多个摄像机所分别拍摄的图像生成的合成图像内进行搜索以找出规定物体的图像。