CN111807272B - 控制装置、控制方法以及记录介质 - Google Patents

Abstract

本发明涉及一种控制装置，其具备确定部和控制部，确定部在工业车辆的周围检测到多个检测物的情况下，基于所述工业车辆的状态，从多个所述检测物中特定一个检测物，控制部使所述确定部所确定的一个检测物以与检测到的其他检测物不同的方式进行通报。

Description

控制装置、控制方法以及记录介质

技术领域

本发明涉及控制装置、控制方法以及记录有程序的记录介质。

背景技术

叉车、轮式装载机等工业车辆具有以下特征：车辆主体所具备的车轮的转动角、车辆的构造等与一般的乘用车不同。因此，特别是对于工业车辆的驾驶经验少的驾驶员而言，有可能在进行工业车辆的驾驶、装卸等作业时车辆实际移动的区域有可能与预想不同，或者驾驶员可能无法识别成为死角的区域。

在专利文献1中，作为关联的技术，记载了在叉车的后退时唤起驾驶员注意的技术。

现有技术文献

专利文献1：日本特开2016-222428号公报。

发明内容

技术问题

然而，在向驾驶员通报存在于工业车辆的周围的障碍物的方向的情况下，驾驶员仅依靠听该声音无法获知障碍物存在的方向。

本发明的目的在于提供一种能够解决上述课题的控制装置、控制方法以及程序。

技术解决方案

根据第一方式，一种控制装置，包括：包含多个相机的拍摄装置；确定部，基于所述拍摄装置的拍摄图像，在工业车辆的周围检测到多个检测物的情况下，基于所述工业车辆的状态，从多个所述检测物中确定一个检测物；控制部，基于拍摄了由所述确定部确定出的一个检测物的相机的信息、和在确定该检测物时所使用的拍摄图像，使所述确定部确定出的一个检测物以与检测到的其他检测物不同的方式进行通报。

根据第二方式，在第一方式的控制装置中，所述状态包括所述工业车辆与所述检测物的距离、所述工业车辆的车轮的转向角以及所述工业车辆的行进方向中的至少一个。

根据第三方式，在第一或第二方式的控制装置中，所述控制部使所述确定部确定出的一个检测物以与检测到的其他检测物不同的方式显示于显示部。

根据第四方式，在第三方式的控制装置中，所述控制部基于拍摄到由所述确定部确定的一个检测物的相机的信息，使在确定所述一个检测物时所使用的拍摄图像显示于所述显示部。

根据第五方式，在第四方式的控制装置中，所述控制部基于所述拍摄图像中的该检测物的位置和所述相机的信息，确定在所述显示部中显示的所述检测物的位置。

根据第六方式，在第一至第五方式的任一种的控制装置中，还具有根据所述拍摄装置的拍摄图像生成所述工业车辆的周围的俯瞰图像的周围显示部，所述控制部沿着所述周围显示部的外缘使所述确定部所确定的一个检测物以与检测到的其他检测物不同的方式显示于所述显示部。

根据第七方式，在第一至第五方式的控制装置中，所述控制部从与所述确定部确定出的一个检测物的位置对应的扬声器输出与所述其他检测物不同的声音。

根据第八方式，一种控制方法，包括：基于包括多个相机的拍摄装置的拍摄图像，在工业车辆的周围检测到多个检测物的情况下，基于所述工业车辆的状态，从多个所述检测物中确定一个检测物；基于拍摄了确定出的一个检测物的相机的信息、和在确定该检测物时所使用的拍摄图像，使确定出的所述一个检测物以与检测到的其他检测物不同的方式进行通报。

根据第九方式，程序使计算机执行以下步骤：基于包括多个相机的拍摄装置的拍摄图像，在工业车辆的周围检测到多个检测物的情况下，基于所述工业车辆的状态，从多个所述检测物中确定一个检测物；基于拍摄了所确定出的一个检测物的相机的信息、和在确定该检测物时所使用的拍摄图像，使确定出的所述一个检测物以与检测到的其他检测物不同的方式进行通报。

发明效果

根据上述至少一个方式，驾驶员能够直观地获知存在于工业车辆的周围的障碍物的方向。

附图说明

图1是表示本发明的至少一个实施方式的工业车辆的结构的图。

图2是从正上方俯瞰本发明的至少一个实施方式的工业车辆时的概略图。

图3是表示本发明的至少一个实施方式的显示部的显示例的图。

图4是表示本发明的至少一个实施方式的控制装置的结构的图。

图5是表示本发明的至少一个实施方式的工业车辆的处理流程的图。

图6是本发明的至少一个实施方式的检测物通知系统的外观图。

图7是在本发明的至少一个实施方式的周围监测装置中显示的图像的例子。

图8是表示本发明的至少一个实施方式的工业车辆的处理流程的图。

图9是表示本发明的至少一个实施方式的工业车辆的相机配置的图。

图10是表示至少一个实施方式的计算机的结构的概略框图。

附图标记：

1 工业车辆

5 计算机

6 CPU(中央处理器)

7 主存储器

8 存储装置

9 接口

10 操作装置

20 拍摄装置

20a 第一相机

20b 第二相机

20c 第三相机

20d 第四相机

30 通知装置

30a 第一扬声器

30b 第二扬声器

30c 第三扬声器

30d 第四扬声器

40 显示部

50 控制装置

200 检测物通知系统

210 周围监测装置

220 检测物通知装置

221 框体部

222a 第一区域灯

222b 第二区域灯

222c 第三区域灯

222d 第四区域灯

223 状态通知灯

224 蜂鸣器

225 控制装置

501 图像解析部

502 操作判定部

503 重要检测物确定部

504 通知控制部

505 显示控制部

506 存储部

具体实施方式

第一实施方式

以下，对本发明的第一实施方式的工业车辆1进行说明。

工业车辆1例如是图1所示的叉车。但是，也可以是轮式装载机等建设机械、装卸装置和具有后轮转向等的类似机构的车辆、或者具有类似课题的车辆。

如图1所示，工业车辆1包括操作装置10、第一相机20a、第二相机20b、第三相机20c、第四相机20d、第一扬声器30a、第二扬声器30b、第三扬声器30c、第四扬声器30d、显示部40、控制装置50。

其中，将第一相机20a、第二相机20b、第三相机20c、第四相机20d统称为拍摄装置20。另外，将第一扬声器30a、第二扬声器30b、第三扬声器30c、第四扬声器30d统称为通知装置30。

操作装置10是在驾驶员对工业车辆1进行移动或者装卸作业时接受操作的装置。例如，操作装置10是决定工业车辆1的前进和后退的变速杆、决定工业车辆1的转向角的方向盘、用于调整工业车辆1的速度、加速度的踏板以及制动器等。

拍摄装置20以多个相机分别拍摄工业车辆1的各外周方向的方式设置，拍摄工业车辆1的整个周围。

例如，如图1所示，第一相机20a、第二相机20b、第三相机20c、第四相机20d分别设置于工业车辆1的上部前方、上部右侧、上部后方、上部左侧。并且，例如，第一相机20a对图2所示的第一拍摄区域A1进行拍摄。类似地，第二相机20b、第三相机20c、第四相机20d分别拍摄图2所示的第二拍摄区域A2、第三拍摄区域A3、第四拍摄区域A4。

此外，在本公开的第一实施方式中，在工业车辆1的上部前方、上部右侧、上部后方、上部左侧分别设置有相机，但在其他实施方式中，相机也可以设置为不同的朝向。另外，在其他实施方式中，通过多个相机具备鱼眼镜头等，从而能够在拍摄工业车辆1的整个周围的同时减少相机的台数。另外，其他实施方式所涉及的拍摄装置20也可以通过相机反复进行旋转来拍摄工业车辆1的整个周围。另外，在4个相机形成死角的情况下，也可以设置5台以上的相机。这些相机所检测的检测对象包括人物。另外，在此所谓死角，是指工业车辆1可能接触的检测对象不被拍摄到的区域。

(通知装置30)

通知装置30在控制装置50的控制下输出声音。

例如，如图1所示，第一扬声器30a、第二扬声器30b、第三扬声器30c、第四扬声器30d分别设置在驾驶席的右前方、右后方、左后方、左前方。并且，在由控制装置50在拍摄装置20拍摄到的图像中检测出检测对象的情况下，设置在与该检测对象的位置对应的方向上的扬声器输出声音。

由此，驾驶员能够获知检测对象存在于哪个方向。

另外，在通过控制装置50检测出多个检测对象的情况下，多个扬声器中的、设置在与基于工业车辆1的状态而确定的一个检测对象的位置对应的方向上的扬声器输出与从其他扬声器输出的声音不同的声音(音色不同的声音、音量不同的声音等)。此外，所谓工业车辆1的状态，是指包括工业车辆1与检测对象的距离、工业车辆1的转向角以及工业车辆1的行进方向中的至少一个的状态。另外，基于工业车辆1的状态而确定的一个检测对象是指根据工业车辆1与检测对象的距离、从工业车辆1的转向角推定的工业车辆1的移动范围、以及从行进方向推定的工业车辆1的移动范围中的至少一个而确定的最应该注意的检测对象。由此，驾驶员能够获知多个检测对象中的、更应注意的检测对象存在于哪个方向。

(显示部40)

显示部40在控制装置50的控制下，显示与拍摄装置20拍摄到的图像有关的信息。图3是表示第一实施方式中的显示部40的显示例的图。在本实施方式中，显示部40的显示区被划分为区域显示区Ra、大图像显示区Rb、小图像显示区Rc。

例如，如图3所示，在显示部40的小图像显示区Rc中缩小显示第一相机20a拍摄到的第一拍摄区域A1的图像、第二相机20b拍摄到的第二拍摄区域A2的图像、第三相机20c拍摄到的第三拍摄区域A3的图像、第四相机20d拍摄到的第四拍摄区域A4的图像。

另外，在显示部40的区域显示区Ra中显示能够知道检测对象被检测到的区域的图像。区域显示区Ra分为作为右前方的区域的第一区域R1、作为左前方的区域的第二区域R2、作为左后方的区域的第三区域R3、以及作为右后方的区域的第四区域R4。另外，在区域显示区Ra的中心显示表示工业车辆1的外形的图像，在该图像中的设置相机的位置显示相机图标。具体而言，在第一区域R1、第二区域R2、第三区域R3、第四区域R4中的、第二区域R2中检测出检测对象的情况下，显示部40在区域显示区Ra中，将第二区域R2以与未检测出检测对象的第一区域R1、第三区域R3以及第四区域R4不同的方式进行显示。例如，在工业车辆1的左前方检测到检测对象的情况下，使显示部40的显示区域中的第二区域R2点亮(使第二区域R2的明度高于其他区域)。另外，显示部40将区域显示区Ra中显示的相机图标中的、与拍摄到检测对象的相机对应的图标以与其他相机对应的图标不同的方式来显示。

另外，在检测对象在多个区域被检测到的情况下，显示部40在区域显示区Ra中，将多个区域中的最应该注意的区域以与检测出检测对象的其他区域不同的方式显示。具体而言，在第一区域R1、第二区域R2、第三区域R3、第四区域R4中的、第二区域R2以及第四区域R4中检测出检测对象，并且第二区域R2是最应该注意的区域的情况下，显示部40如图3所示在区域显示区Ra中以与第四区域R4不同的方式显示第二区域R2。例如，显示部40使第二区域R2闪烁，使第四区域R4点亮。另外，如图3所示，显示部40将包括拍摄到最应该注意的检测对象的相机20a拍摄到的检测对象的图像放大显示在大图像显示区Rb中。

由此，驾驶员能够获知检测对象存在于哪个方向。另外，在检测对象存在于多个区域的情况下，驾驶员能够直观地获知最应该注意的检测对象是哪个检测对象。

此外，最应该注意的检测对象由控制装置50确定。关于最应该注意的检测对象由控制装置50如何确定，将在后面叙述。

另外，例如，如图3所示，在放大显示检测出的该检测对象的图像的情况下，显示部40也可以在大图像显示区Rb显示拍摄了该图像的相机的信息。例如，显示部40可以在放大显示的图像内显示表示是第一相机20a所拍摄的“前方相机”、表示是第二相机20b所拍摄的“右侧相机”、表示是第三相机20c所拍摄的“后方相机”、表示是第四相机20d所拍摄的“左侧相机”等能够知道是哪个相机拍摄到的图像的信息。由此，驾驶员能够更明确地获知多个检测对象中更应该注意的检测对象存在于哪个方向。

(控制装置50)

控制装置50是基于工业车辆1的状态来控制通知装置30以及显示部40的装置。如图4所示，控制装置50具备图像解析部501、操作判定部502、重要检测物确定部503(确定部的一例)、通知控制部504(控制部的一例)、显示控制部505(控制部的一例)、存储部506。

图像解析部501判定在拍摄装置20拍摄到的图像中是否检测出检测对象。

例如，图像解析部501预先存储包括人物的检测对象的特征。然后，图像解析部501按照第一相机20a、第二相机20b、第三相机20c、第四相机20d的顺序反复获取拍摄到的图像。图像解析部501在每次获取图像时，使用模式识别的技术，在判定预先存储的包括人物的检测对象包含在获取的图像中的情况下，判断为在获取的图像中检测出检测对象。

图像解析部501在获取的图像中检测出检测对象的情况下，确定在该图像的左右哪一侧检测到检测对象。

例如，图像解析部501在图像中使用模式识别技术检测检测对象时，根据与预先存储的检测对象的特征的一致度最高的部分包括在图像的左右哪一侧，来确定在图像的左右哪一侧检测到检测对象。

另外，图像解析部501在获取的图像中检测出检测对象的情况下，确定从第一相机20a、第二相机20b、第三相机20c、第四相机20d中的哪个相机获取了检测出的图像。

另外，图像解析部501在获取的图像中检测出检测对象的情况下，推定检测出的检测对象与工业车辆1之间的距离。

例如，图像解析部501预先存储与检测对象的尺寸对应的图像尺寸(像素数)，根据所存储的图像尺寸与在图像内检测出的检测对象的尺寸(像素数)之比，推定从工业车辆1到检测对象的距离。

另外，例如，预先知道第一相机20a、第二相机20b、第三相机20c、第四相机20d各自的拍摄性能、工业车辆1中的设置位置以及拍摄方向。因此，图像解析部501预先知道由进深方向的距离以及横向的距离表示的拍摄范围，能够推定拍摄到的图像是表示距工业车辆1何种程度的距离的范围的图像。即，图像解析部501能够在拍摄装置20所拍摄的图像中，推定例如从图像的上下左右中的最下部向上方的一个像素所表示的距离(即进深方向上的距离)和从图像的最下部中央向左右的一个像素所表示的距离。因此，图像解析部501通过确定检测对象在图像内的何处被检测到(例如，以图像的最下部的中央为基准，在向上方向上错开几个像素、在左右方向上错开了多少像素的位置检测到检测对象)，能够推定从工业车辆1到检测对象的距离。

另外，例如，在拍摄装置20是立体相机的情况下，图像解析部501通过对立体相机拍摄到的各拍摄定时的一对拍摄图像使用三角测量技术，能够推定从工业车辆1到检测对象的距离。此外，也可以通过设置距离传感器来测定与检测对象的距离。

然后，每次在获取的图像中检测到检测对象时，图像解析部501将检测结果的图像、表示在图像的左右哪一侧检测到检测对象的检测位置信息、表示拍摄到包括检测对象的图像的相机的第一检测相机信息、以及表示从工业车辆1到检测对象的距离的距离信息输出到重要检测物确定部503。

操作判定部502从设置于工业车辆1的未图示的传感器以及操作装置10的状态确定由驾驶员对工业车辆1进行的操作的内容。

例如，操作判定部502从设置于工业车辆1的未图示的传感器获取当前的工业车辆1的车速。另外，操作判定部502获取因操作装置10的变化而输出的信号，或者定期地获取表示操作装置10的状态的信号。在此，操作判定部502从设置于工业车辆1的未图示的传感器以及操作装置10获取的工业车辆1的车辆状态除了车速以外，还包括驾驶员旋转方向盘时的工业车辆1的转向角、驾驶员将变速杆切换为前进或后退时的工业车辆1的行进方向、驾驶员踩踏板、制动器的状态。

重要检测物确定部503从操作判定部502获取操作信息。重要检测物确定部503在从图像解析部501接收到检测结果的图像、检测位置信息、第一检测相机信息以及距离信息的情况下，基于操作信息以及距离信息，确定工业车辆1的状态。

重要检测物确定部503在确定了工业车辆1的状态的情况下，将确定出的时刻与工业车辆1的状态建立关联的工业车辆状态信息、以及检测结果的图像、检测位置信息、第一相机信息保存于例如存储部506。

重要检测物确定部503判定是否在从当前追溯了拍摄装置20拍摄工业车辆1的整个周围所需时间的时间内(以下，记载为“判定时间内”)将工业车辆状态信息保存于存储部506。即，第一实施方式所涉及的工业车辆1具备四个相机。因此，在按规定的图像获取周期逐一选择相机来进行拍摄处理的情况下，判定时间为图像获取周期的4倍的时间。

例如，重要检测物确定部503在存储部506中没有判定时间内的工业车辆状态信息的情况下，判定为在判定时间内未检测出检测对象。另一方面，重要检测物确定部503在存储部506中存在判定时间内的其他工业车辆状态信息的情况下，判定为检测到检测对象。即，意味着在拍摄工业车辆1的整个周围期间检测出1次检测对象。进而，重要检测物确定部503在存储部506中存在判定时间内的工业车辆状态信息的情况下，判定为检测出多个检测对象。

重要检测物确定部503在判定为在判定时间内检测出多个检测对象的情况下，基于工业车辆状态信息所示的工业车辆1的状态，确定整个周围的检测对象中的最应该注意的检测对象。

例如，重要检测物确定部503将存在于工业车辆1的行进方向的检测对象中最接近于工业车辆1的位置的检测对象确定为最应该注意的检测对象。

重要检测物确定部503在确定了最应该注意的检测对象的情况下，将表示拍摄了该检测对象的相机是哪个相机的第二检测相机信息及其检测位置信息输出给通知控制部504及显示控制部505。

重要检测物确定部503在判定为在判定时间内仅检测出1次检测对象的情况下，将检测出的相机信息作为第二检测相机信息，与其检测位置信息一起输出给通知控制部504和显示控制部505。

通知控制部504在判定为从重要检测物确定部503接收到第二检测相机信息以及检测位置信息的情况下，基于第二检测相机信息以及检测位置信息，从设置于检测对象所在方向的扬声器输出声音。

具体而言，第二检测相机信息表示第一相机20a，检测位置信息表示在图像的右侧检测到检测对象的情况下，或者，第二检测相机信息表示第二相机20b，检测位置信息表示在图像的左侧检测到检测对象的情况下，通知控制部504控制通知装置30，使得从第一扬声器30a输出声音。另外，第二检测相机信息表示第二相机20b，检测位置信息表示在图像的右侧检测到检测对象的情况下，或者，第二检测相机信息表示第三相机20c，检测位置信息表示在图像的左侧检测到检测对象的情况下，通知控制部504控制通知装置30，使得从第二扬声器30b输出声音。

类似地，基于第二检测相机信息和检测位置信息，控制通知装置30，使得从第三扬声器30c、第四扬声器30d输出声音。

通知控制部504判定为从重要检测物确定部503接收到第二检测相机信息以及检测位置信息，并且，基于存储于存储部506的工业车辆状态信息在判定时间内检测出多个检测对象的情况下，从设置于检测对象所在方向的多个扬声器输出声音。

但是，通知控制部504基于第二检测相机信息和检测位置信息来控制通知装置30，使得从与其他扬声器输出的声音不同的方式输出从与最应该注意的检测对象对应的扬声器输出的声音。

具体而言，第二检测相机信息表示第一相机20a，检测位置信息表示在图像的右侧检测到检测对象的情况下，或者，第二检测相机信息表示第二相机20b，检测位置信息表示在图像的左侧检测到检测对象的情况下，通知控制部504控制通知装置30，使得从第一扬声器30a输出的声音以与从其他扬声器输出的声音不同的方式输出。

另外，类似地，基于第二检测相机信息和检测位置信息，控制通知装置30，使得以与从其他扬声器输出的声音不同的方式输出第二扬声器30b、第三扬声器30c、第四扬声器30d。

显示控制部505获取拍摄装置20拍摄到的图像，并使所获取的图像显示于显示部40的小图像显示区Rc。

例如，显示控制部505与图像解析部501按照第一相机20a、第二相机20b、第三相机20c、第四相机20d的顺序反复获取拍摄到的图像的定时同步地从拍摄装置20获取与图像解析部501获取的图像相同的图像。并且，如图3所示，显示控制部505将所获取的第一相机20a拍摄到的第一拍摄区域A1的图像、第二相机20b拍摄到的第二拍摄区域A2的图像、第三相机20c拍摄到的第三拍摄区域A3的图像、第四相机20d拍摄到的第四拍摄区域A4的图像缩小显示在小图像显示区Rc。

另外，显示控制部505在从重要检测物确定部503获取到第二检测相机信息以及检测位置信息的情况下，基于第二检测相机信息以及检测位置信息，使检测出检测对象的区域以与未检测出检测对象的区域不同的方式显示于显示部40的区域显示区Ra。

例如，在第一区域R1、第二区域R2、第三区域R3、第四区域R4中的、第二区域R2中检测出检测对象的情况下，显示控制部505使第二区域R2点亮等，以与未检测出检测对象的第一区域R1、第三区域R3以及第四区域R4不同的方式显示于显示部40的区域显示区Ra。

另外，显示控制部505将包括该相机所拍摄到的检测对象的图像放大并显示于显示部40的大图像显示区Rb。

显示控制部505判定为从重要检测物确定部503接收到第二检测相机信息以及检测位置信息，并且，基于记录于存储部506的工业车辆状态信息在判定时间内检测出多个检测对象的情况下，使多个区域中的最应该注意的区域以与检测出检测对象的其他区域不同的方式显示于显示部40的区域显示区Ra。

具体而言，在第一区域R1、第二区域R2、第三区域R3、第四区域R4中的、第二区域R2以及第四区域R4中检测出检测对象、第二区域R2是最应该注意的区域的情况下，显示控制部505在区域显示区Ra中使第二区域R2闪烁，使第四区域R4点亮。另外，显示控制部505使包括拍摄了最应该注意的检测对象的相机20a拍摄到的检测对象的图像放大并显示于显示部40的大图像显示区Rb。

其中，第一扬声器30a的位置与第一区域R1对应。第二扬声器30b的位置与第二区域R2对应。第三扬声器30c的位置与第三区域R3对应。第四扬声器30d的位置与第四区域R4对应。因此，显示控制部505通过使用与通知控制部504确定与检测对象的位置对应的扬声器的方法类似的方法，能够确定与检测对象的位置对应的第一区域R1、第二区域R2、第三区域R3、第四区域R4。

另外，例如，如图3所示，显示控制部505将检测出的该检测对象的图像放大并使其显示于显示部40的大图像显示区Rb的情况下，也可以使显示部40在大图像显示区Rb内显示表示是第一相机20a拍摄到的“前方相机”、表示是第二相机20b拍摄到的“右侧相机”、表示是第三相机20c拍摄到的“后方相机”、表示是第四相机20d拍摄到的“左侧相机”等知道是哪个相机拍摄到的图像的信息。

存储部506存储控制装置50进行的处理所需的各种信息。

例如，存储部506存储将时刻与工业车辆1的状态建立关联的工业车辆状态信息以及检测结果的图像、检测位置信息、第一检测相机信息。

(工业车辆1的动作)

接着，对工业车辆1进行的处理进行说明。

在此，对图5所示的控制装置50的处理流程进行说明。

控制装置50按规定的图像获取周期执行图5所示的处理。其中，假设拍摄装置20拍摄工业车辆1的整个周围。控制装置50的图像解析部501确定按照第一相机20a、第二相机20b、第三相机20c、第四相机20d的顺序进行拍摄的1个相机(步骤S1)。图像解析部501从确定的相机获取图像(步骤S2)。另外，显示控制部505根据拍摄的相机，在显示部40的小图像显示区Rc的规定的位置显示所获取的图像(步骤S3)。

图像解析部501对预先存储的检测对象的特征与拍摄装置20拍摄到的图像进行比较，判定在该图像中是否检测出检测对象(步骤S4)。

图像解析部501在获取的图像中未检测出检测对象的情况下(在步骤S1中为“否”)，跳到步骤S11。

另外，图像解析部501在获取的图像中检测出检测对象的情况下(步骤S1中“是”)，确定在该图像的左右哪一侧检测到检测对象(步骤S5)。

例如，图像解析部501在图像中使用模式识别技术来检测检测对象时，根据与预先存储的检测对象的特征一致的部分包括在图像的左右哪一侧，确定在图像的左右哪一侧检测到检测对象。

接着，图像解析部501获取在步骤S1中确定出的相机的信息(拍摄性能、工业车辆1中的设置位置以及拍摄方向)(步骤S6)。

另外，图像解析部501在获取的图像中检测出检测对象的情况下，基于在步骤S2中获取的图像，推定检测出的检测对象与工业车辆1之间的距离(步骤S7)。

例如，图像解析部501预先存储与检测对象的尺寸对应的图像尺寸(像素数)，根据所存储的图像尺寸与在图像内检测出的检测对象的尺寸(像素数)之比，能够推定从工业车辆1到检测对象的距离。

然后，每次在获取的图像中检测到检测对象时，图像解析部501将检测结果的图像、表示在图像的左右哪一侧检测到检测对象的检测位置信息、表示拍摄包括检测对象的图像的相机的第一检测相机信息、以及表示从工业车辆1到检测对象的距离的距离信息输出到重要检测物确定部503。

重要检测物确定部503从操作判定部502获取操作信息(步骤S8)。操作判定部502例如根据设置于工业车辆1的未图示的传感器以及操作装置10的状态来确定由驾驶员对工业车辆1进行的操作的内容。

重要检测物确定部503基于操作信息以及距离信息，确定工业车辆1的状态(步骤S9)，将确定出的时刻和工业车辆状态信息、以及检测结果的图像、检测位置信息、第一检测相机信息保存于存储部506(步骤S10)。接着，重要检测物确定部503基于存储部506的信息，判断在判定时间内是否检测到检测对象(步骤S11)。判定时间是图像获取周期的4倍的时间。即，重要检测物确定部503判断在步骤S2中获取的图像及在此之前获取的其他3个相机拍摄到的图像中是否检测出检测对象。

重要检测物确定部503在判定时间内检测到多个检测对象的情况下(在步骤S11中为多个)，生成表示拍摄了最应该注意的检测对象的相机的第二检测相机信息(步骤S12)。重要检测物确定部503在判定时间内仅检测出1次检测对象的情况下(在步骤S11中为1个)，将拍摄到检测出的检测对象的相机作为第二检测相机信息(步骤S13)。在判定时间内1次也未检测到检测对象的情况下(在步骤S11中“否”)，使通知控制部504的通知、显示控制部505的显示等的通报停止(步骤S14)。

重要检测物确定部503将第二检测相机信息和检测位置信息输出到通知控制部504和显示控制部505。

通知控制部504在判定时间内检测到多个检测对象的情况下(在步骤S11中为多个)，从设置于检测对象所在的方向的多个扬声器输出声音。此时，通知控制部504使得从与最应该注意的检测对象对应的扬声器输出的声音的方式与从其他扬声器输出的声音的方式不同(步骤S15)。通知控制部504在判定时间内仅检测出1次检测对象的情况下(在步骤S11中为1个)，从设置于检测对象所在方向的扬声器输出声音(步骤S16)。

显示控制部505在判定时间内检测到多个检测对象的情况下(在步骤S11中为多个)，将检测到检测对象的多个区域以与未检测出检测对象的区域不同的方式显示。此时，显示控制部505将与最应该注意的检测对象对应的区域以与检测出检测对象的其他区域不同的方式显示(步骤S17)。显示控制部505在判定时间内仅检测出1次检测对象的情况下(在步骤S11中为1个)，将检测出检测对象的区域以与未检测出检测对象的区域不同的方式显示(步骤S18)。

显示控制部505使在步骤S12或者步骤S13中生成的第二检测相机信息所表示的相机所拍摄的图像放大显示于显示部40的大图像显示区Rb。此时，显示控制部505在放大显示的图像内显示知道是哪个相机拍摄到的图像的信息(步骤S19)。

(作用、效果)

以上说明了本发明的一个实施方式的工业车辆1。

在本发明的一个实施方式的工业车辆1的控制装置50中，重要检测物确定部503在工业车辆1的周围检测出多个检测对象的情况下，基于工业车辆1的状态，从多个检测对象中确定一个检查对象。通知控制部504以及显示控制部505针对所确定的一个检测对象，以与检测到的其他检测对象不同的方式进行通报。

由此，与驾驶员通过听声音而获知检测出检测对象之后观察显示器的显示来获知检测对象所在的位置的情况相比，能够直观地获知所确定的检测对象所在的位置。

具体而言，在检测出多个检测对象的情况下，通知控制部504通过以与其他检测对象不同的方式使用通知装置30来通报最应该注意的检测对象，驾驶员只要听声音，就能够直观地获知检测对象所在的方向。另外，在检测出多个检测对象的情况下，显示控制部505通过以与其他检测对象不同的方式使用显示部40来通报最应该注意的检测对象，驾驶员仅通过观察显示就能够直观地获知检测对象所在的方向。

另外，在该情况下，驾驶员也能够直观地获知最应该注意的检测对象。

第二实施方式

第一实施方式所涉及的工业车辆1通过1个组件进行拍摄图像的显示和检测到检测对象的区域的通知。与此相对，第二实施方式所涉及的工业车辆分别具备作为进行拍摄图像的显示的组件的周围监测装置和作为进行检测出检测对象的区域的通知的组件的检测物通知装置。这是因为，根据用户的不同，除了存在仅希望安装周围监测装置的情况以外，在用于生成俯瞰图像的图像区域比用于进行检测的图像区域狭小的情况下，未必能够将检测出的检测对象显示在俯瞰图像内。另外，即使在俯瞰图像内能够显示的情况下，在生成俯瞰图像时检测对象的形状发生较大变化等，有时无法适当地进行检测，或者无法进行适当显示。

图6是第二实施方式所涉及的检测物通知系统200的外观图。第二实施方式所涉及的工业车辆1具备图6所示的检测物通知系统200来代替第一实施方式所涉及的第一扬声器30a、第二扬声器30b、第三扬声器30c、第四扬声器30d、显示部40以及控制装置50。

检测物通知系统200具备周围监测装置210和检测物通知装置220。

周围监测装置210将第一相机20a、第二相机20b、第三相机20c、第四相机20d拍摄到的图像变换为俯瞰图像并显示。在俯瞰图像的中心显示有表示工业车辆1的图像。

检测物通知装置220构成为从上方覆盖周围监测装置210的框体。检测物通知装置220通知存在于工业车辆1附近的检测对象的存在。

周围监测装置210和检测物通知装置220分别单独地动作。即，周围监测装置210不控制检测物通知装置220，检测物通知装置220不控制周围监测装置210。

(周围监测装置210)

图7是第二实施方式的周围监测装置210所显示的图像的例子。周围监测装置210显示通过对第一相机20a、第二相机20b、第三相机20c、第四相机20d拍摄到的图像进行加工而生成的俯瞰图像P1、和第一相机20a、第二相机20b、第三相机20c、或者第四相机20d的任一个拍摄到的原图像P2。原图像P2可以根据所拍摄的相机进行旋转或反转显示。例如，周围监测装置210使拍摄后方的第三相机20a拍摄到的原图像P2上下反转显示，使用者能够容易地理解该原图像P2拍摄的是后方。

此外，在本实施方式中，在各相机拍摄到的图像中，用于检测的部分和用于显示的部分也可以不同。例如，检测物通知装置220使用图像的整个区域进行检测，与此相对，周围监测装置210也可以对图像的一部分进行裁剪而生成俯瞰图像P1。

(检测物通知装置220)

检测物通知装置220具备框体部221、第一区域灯222a、第二区域灯222b、第三区域灯222c、第四区域灯222d、状态通知灯223、蜂鸣器224、控制装置225。第一区域灯222a、第二区域灯222b、第三区域灯222c、第四区域灯222d以及状态通知灯223是显示部的一例。

框体部221是长方体的框体，以从上方覆盖周围监测装置210的方式设置。在框体部221的前表面中的与周围监测装置210的显示器对应的部分设置有矩形的开口。

第一区域灯222a是L字型的灯。第一区域灯222a以包围框体部221的开口的右上部分的方式设置。

第二区域灯222b是L字型的灯。第二区域灯222b以包围框体部221的开口的左上部分的方式设置。

第三区域灯222c是L字型的灯。第三区域灯222c以包围框体部221的开口的左下部分的方式设置。

第四区域灯222d是L字型的灯。第四区域灯222d以包围框体部221的开口的右下部分的方式设置。

状态通知灯223设置在第一区域灯222a和第二区域灯222b之间。状态通知灯223表示检测物通知装置220的状态。例如，在检测物通知装置220正常工作的情况下，状态通知灯223点亮为绿色。另外，在检测物通知装置220的检测对象的检测功能未正常工作的情况下，状态通知灯223点亮为红色。另外，在检测物通知装置220未工作的情况下，状态通知灯223熄灭。

蜂鸣器224在由控制装置225检测出检测对象时发出警告音。

第一区域灯222a、第二区域灯222b、第三区域灯222c、第四区域灯222d以及状态通知灯223例如由LED等构成。

控制装置225设置在框体部221的内部。控制装置225控制第一区域灯222a、第二区域灯222b、第三区域灯222c、第四区域灯222d、状态通知灯223以及蜂鸣器224。

第二实施方式的控制装置225具有与第一实施方式的控制装置50相似的结构。即，控制装置225具备图像解析部501、操作判定部502、重要检测物确定部503、通知控制部504、显示控制部505、存储部506。另一方面，第二实施方式的控制装置225的动作与第一实施方式的控制装置50不同。

(检测物通知装置220的动作)

若控制装置225启动，则显示控制部505使状态通知灯223点亮为绿色。然后，控制装置225按判定时间执行图8所示的处理。首先，控制装置225的图像解析部501按图像获取周期逐一选择第一相机20a、第二相机20b、第三相机20c、第四相机20d(步骤S101)，针对所选择的相机，进行以下的步骤S102至步骤S105的处理。

图像解析部501获取由在步骤S101中选择的相机拍摄的图像(步骤S102)。图像解析部501解析所获取的图像，判定在该图像中是否映现出检测对象(步骤S103)。即，图像解析部501判定是否从获取的图像中检测出检测对象。在从图像中检测到检测对象的情况下(步骤S103：是)，图像解析部501基于图像中的映现出检测对象的位置，确定检测出检测对象的区域(步骤S104)。另外，图像解析部501基于获取的图像和在步骤S101中选择的相机的信息，推定工业车辆1与检测对象的距离(步骤S105)。

图像解析部501对各相机的拍摄图像进行检测对象的检测处理后，判定针对全部拍摄图像的图像解析是否正常完成(步骤S106)。在至少一个拍摄图像的图像解析异常结束的情况下(在步骤S106中为“否”)，显示控制部505使状态通知灯223点亮为红色(步骤S107)，结束处理。由此，即使在第一区域灯222a、第二区域灯222b、第三区域灯222c、第四区域灯222d均未点亮的状态下，使用者也能够认识到这不是因为不存在检测对象，而是因为检测功能未正常工作。

在全部拍摄图像都正常完成了图像解析的情况下(步骤S106中“是”)，图像解析部501判定是否在第一区域R1、第二区域R2、第三区域R3以及第四区域R4的至少1个中检测出检测对象(步骤S108)。

在第一区域R1、第二区域R2、第三区域R3以及第四区域R4中的任一个都未检测出检测对象的情况下(在步骤S108中为“否”)，显示控制部505使第一区域灯222a、第二区域灯222b、第三区域灯222c、第四区域灯222d全部熄灭。另外，通知控制部504使蜂鸣器224的发音停止(步骤S109)，结束处理。

在第一区域R1、第二区域R2、第三区域R3以及第四区域R4的至少一个中检测出检测对象的情况下(在步骤S108中为“是”)，重要检测物确定部503将检测出检测对象的区域中的、在步骤S105中确定出的距离最短的区域确定为检测出最应该注意的检测对象的区域(步骤S110)。

显示控制部505使在步骤S110中确定出的区域以第一方式点亮，使检测到检测对象的其他区域以第二方式点亮(步骤S111)。例如，显示控制部505可以使在步骤S110中确定出的区域以相对高的明度点亮，使检测到检测对象的其他区域以相对低的明度点亮。另外，例如，显示控制部505可以使在步骤S110中确定出的区域点亮为红色，使检测到检测对象的其他区域点亮为黄色。另外，例如，显示控制部505也可以使在步骤S110中确定出的区域点亮，使检测出检测对象的其他区域闪烁。

图像解析部501判定第一区域R1、第二区域R2、第三区域R3以及第四区域R4中是否存在从未检测出检测对象的状态变化为检测到的状态的区域(步骤S112)。在从未检测出检测对象的状态变化为检测到的状态的区域至少存在1个的情况下(步骤S112中“是”)，通知控制部504判定蜂鸣器224是否正在发出警告音(步骤S113)。

在蜂鸣器224尚未发出警告音的情况下(在步骤S113中为“否”)，通知控制部504使蜂鸣器224发出警告音，开始蜂鸣器鸣响时间的计测(步骤S114)，结束处理。

另一方面，在蜂鸣器224正在发出警告音的情况下(在步骤S113中为“是”)，通知控制部504将蜂鸣器鸣响时间复位，再次开始计测(步骤S115)，结束处理。

在不存在从未检测出检测对象的状态变化为检测到的状态的区域的情况下(在步骤S112中为“否”)，通知控制部504判定蜂鸣器224是否正在发出警告音(步骤S116)。

在蜂鸣器224尚未发出警告音的情况下(步骤S116中“否”)，通知控制部504继续蜂鸣器224停止的状态，结束处理。

另一方面，在蜂鸣器224正在发出警告音的情况下(步骤S116中“是”)，通知控制部504判定蜂鸣器鸣响时间是否为规定的蜂鸣器时间以上(步骤S117)。在蜂鸣器鸣响时间小于规定的蜂鸣器时间的情况下(在步骤S117中为“否”)，通知控制部504使蜂鸣器224的警告音的发音继续(步骤S118)，结束处理。

另一方面，在蜂鸣器鸣响时间为规定的蜂鸣器时间以上的情况下(在步骤S117中为“是”)，通知控制部504使蜂鸣器224停止(步骤S119)，结束处理。由此，通知控制部504能够防止在一个区域持续检测出检测对象的期间蜂鸣器一直鸣响，并且在检测到新的检测对象的情况下，再次使蜂鸣器鸣响。

(作用和效果)

这样，在第二实施方式所涉及的检测物通知系统200中，检测物通知装置220的灯222沿着周围监测装置210的外周设置。由此，即使在无法控制周围监测装置210的情况下，检测物通知装置220也能够适当地显示检测对象的方向。

第三实施方式

第一实施方式所涉及的工业车辆1具备4个相机。与此相对，第三实施方式所涉及的工业车辆1具备8个相机。图9是表示第三实施方式的工业车辆的相机配置的图。

第三实施方式所涉及的工业车辆1具备对左斜前方进行拍摄的相机20e、拍摄右斜前方的相机20f、从车身前部拍摄左方向的相机20g、从车身前部拍摄右方向的相机20h、从车身后部拍摄左方向的相机20i、从车身后部拍摄右方向的相机20j、拍摄左斜后方的相机20k、拍摄右斜后方的相机20l。

第三实施方式的各相机的拍摄范围跨越多个区域。另一方面，图像中的两个区域的边界线不一定是图像的中心线。因此，第三实施方式所涉及的控制装置50预先存储按相机划分区域的边界线，通过判定检测对象是在该边界线的左侧还是右侧来确定检测对象所在的区域。另外，边界线可以与图像的Y轴平行地设定，也可以以倾斜的方式设定。另外，边界线可以是直线也可以是曲线。

其它实施方式

另外，在本发明的一个实施方式中，说明了拍摄装置20具备第一相机20a、第二相机20b、第三相机20c、第四相机20d。然而，在本发明的其他实施方式中，拍摄装置20只要能够在不产生大的死角的情况下拍摄工业车辆1的整个周围即可，拍摄装置20所包括的相机的台数以及相机所设置的位置并无限定。

另外，根据工业车辆1的大小、相机的可拍摄范围，在本发明的一实施方式中例示的4台相机的情况下，死角有可能过大。在这样的情况下，例如，拍摄装置20也可以具备5台以上的相机，使死角变得更小。

另外，在本发明的一个实施方式中，说明了通知装置30具备第一扬声器30a、第二扬声器30b、第三扬声器30c、第四扬声器30d。然而，在本发明的其他实施方式中，通知装置30只要是能够在检测出检测对象的情况下从以工业车辆1为基准的该检测对象所在的位置对应的方向或区域输出声音的扬声器即可，扬声器的台数以及扬声器的设置位置并无限定。

另外，在本发明的一个实施方式中，说明了显示控制部505将拍摄装置20分别拍摄到的图像缩小显示的情况。然而，在本发明的其他实施方式中，显示控制部505也可以在检测到检测对象的情况下，仅放大显示包括该检测对象的图像。

此外，在本发明的一个实施方式中，说明了显示控制部505将拍摄了工业车辆1的后方的图像原样显示于显示部40的情况。但是，在本发明的其他实施方式中，显示控制部505也可以使拍摄了工业车辆1的后方的图像左右反转而显示于显示部40(即，与倒车监测类似地显示于显示部)。另外，在本发明的其他实施方式中，显示控制部505也可以对拍摄了工业车辆1的周围的图像进行加工而生成(车辆的)俯瞰影像，并使生成的俯瞰影像显示于显示部40。

此外，在本发明的一个实施方式中，说明了图像解析部501针对所获取的图像整体检测检测对象的情况。然而，在本发明的其他实施方式中，图像解析部501也可以仅对获取的图像的一部分(例如，图像的下半部分、即拍摄区域中的靠近工业车辆1的一半的区域)检测检测对象。即，在本发明的其他实施方式中，即使在获取的图像的一部分以外的区域中映现出检测对象，图像解析部501也不判断为检测对象。并且，在该情况下，由于在图像中映现出检测对象而不判断为检测对象，通知控制部504进行从扬声器输出声音的控制。

另外，本发明的实施方式中的处理也可以在进行适当的处理的范围内更换处理的顺序。

本发明的实施方式中的存储部506、其他存储装置的各个也可以在进行适当的信息的发送接收的范围内设置于任意位置。另外，存储部506、其他存储装置的各个也可以在进行适当的信息的发送接收的范围内存在多个并分散地存储数据。

对本发明的实施方式进行了说明，但上述的控制装置50、其他的控制装置也可以在内部具有计算机系统。而且，上述的处理的过程以程序的形式存储在计算机可读取的记录介质中，通过计算机读取并执行该程序来进行上述处理。以下示出计算机的具体例。

图10是表示至少一个实施方式的计算机的结构的概略框图。

如图10所示，计算机5具备CPU6、主存储器7、存储装置8、接口9。

例如，上述的控制装置50、其他的控制装置分别安装于计算机5。而且，上述的各处理部的动作以程序的形式存储在存储装置8中。CPU6从存储装置8读出程序并在主存储器7中展开，按照该程序执行上述处理。另外，CPU6按照程序，在主存储器7中确保与上述的各存储部对应的存储区域。

作为存储装置8的例子，可举出HDD(Hard Disk Drive)、SSD(Solid StateDrive)、磁盘、光磁盘、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(DigitalVersatile Disc Read Only Memory)、半导体存储器等。存储装置8可以是与计算机5的总线直接连接的内部介质，也可以是经由接口9或通信线路与计算机5连接的外部介质。另外，在通过通信线路将该程序发布给计算机5的情况下，接收到发布的计算机5可以将该程序在主存储器7中展开，执行上述处理。在至少一个实施方式中，存储装置8是非临时性的有形的存储介质。

另外，上述程序也可以实现上述功能的一部分。并且，上述程序也可以是能够通过与已经记录在计算机系统中的程序的组合来实现上述功能的文件、即所谓的差分文件(差分程序)。

另外，在其他实施方式中，控制装置127在上述结构之外或者代替上述结构可以具有PLD(Programmable Logic Device)等专用LSI(Large Scale Integrated Circuit)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、以及与这些类似的处理装置。作为PLD的例子，可以例举PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(FieldProgrammable Gate Array)。在这种情况下，由处理器实现的功能的一部分或者全部可以由该集成电路来实现。

对本发明的几个实施方式进行了说明，但这些实施方式是例子，不限定发明的范围。这些实施方式可以在不脱离发明的主旨的范围内进行各种追加、省略、置换、变更。

Claims (9)

1.一种控制装置，包括：

图像解析部，用于判定在包括多个相机的拍摄装置的拍摄图像中是否检测到检测物，并输出：表示从工业车辆到所述检测物的距离的距离信息、表示在所述拍摄图像的左右哪一侧检测到所述检测物的检测位置信息、以及表示拍摄到包括所述检测物的所述拍摄图像的相机的检测相机信息；

操作判定部，用于将由驾驶者对所述工业车辆进行的操作的内容确定为操作信息；

确定部，在所述工业车辆的周围检测到多个检测物的情况下，基于根据所述操作信息和所述距离信息确定的所述工业车辆的状态，从多个所述检测物中确定一个检测物；

控制部，基于拍摄了由所述确定部确定出的一个检测物的相机的信息、和在确定该检测物时所使用的拍摄图像，使所述确定部确定出的一个检测物的存在位置所对应的方向或者区域而来的通知，以与检测到的其他检测物的存在位置所对应的方向或者区域而来的通知所不同的方式进行。

2.根据权利要求1所述的控制装置，其特征在于，

所述状态包括所述工业车辆与所述检测物的距离、所述工业车辆的车轮的转向角以及所述工业车辆的行进方向中的至少一个。

3.根据权利要求1所述的控制装置，其特征在于，

所述控制部使所述确定部确定出的一个检测物以与检测到的其他检测物不同的方式显示于显示部。

4.根据权利要求1所述的控制装置，其特征在于，

所述控制部基于拍摄到由所述确定部确定的一个检测物的相机的信息，使在确定所述一个检测物时所使用的拍摄图像显示于显示部。

5.根据权利要求4所述的控制装置，其特征在于，

所述控制部基于所述拍摄图像中的该检测物的位置和所述相机的信息，确定在所述显示部中显示的所述检测物的位置。

6.根据权利要求1至5中任一项所述的控制装置，其特征在于，

还具有根据所述拍摄图像生成所述工业车辆的周围的俯瞰图像的周围显示部，

所述控制部沿着所述周围显示部的外缘使所述确定部所确定的一个检测物以与检测到的其他检测物不同的方式显示于显示部。

7.根据权利要求1至5中任一项所述的控制装置，其特征在于，

所述控制部从与所述确定部确定出的一个检测物的位置对应的扬声器输出与所述其他检测物不同的声音。

8.一种控制方法，包括：

判定在包括多个相机的拍摄装置的拍摄图像中是否检测到检测物，并输出表示从工业车辆到所述检测物的距离的距离信息；

将由驾驶者对所述工业车辆进行的操作的内容确定为操作信息；

在所述工业车辆的周围检测到多个检测物的情况下，基于根据所述操作信息和所述距离信息确定的所述工业车辆的状态，从多个所述检测物中确定一个检测物，

基于拍摄了确定出的所述一个检测物的相机的信息、和在确定该检测物时所使用的拍摄图像，使确定出的所述一个检测物的存在位置所对应的方向或者区域而来的通知，以与检测到的其他检测物的存在位置所对应的方向或者区域而来的通知所不同的方式进行。

9.一种记录有程序的非暂时性记录介质，所述程序使计算机执行以下步骤：

判定在包括多个相机的拍摄装置的拍摄图像中是否检测到检测物，并输出表示从工业车辆到所述检测物的距离的距离信息；

将由驾驶者对所述工业车辆进行的操作的内容确定为操作信息；

在所述工业车辆的周围检测到多个检测物的情况下，基于根据所述操作信息和所述距离信息确定的所述工业车辆的状态，从多个所述检测物中确定一个检测物，

基于拍摄了所确定出的所述一个检测物的相机的信息、和在确定该检测物时所使用的拍摄图像，使确定出的所述一个检测物的存在位置所对应的方向或者区域而来的通知，以与检测到的其他检测物的存在位置所对应的方向或者区域而来的通知所不同的方式进行。

Images