CN108026714A - 施工机械用周边监视系统 - Google Patents

施工机械用周边监视系统 Download PDF

Info

Publication number
CN108026714A
CN108026714A CN201680053174.1A CN201680053174A CN108026714A CN 108026714 A CN108026714 A CN 108026714A CN 201680053174 A CN201680053174 A CN 201680053174A CN 108026714 A CN108026714 A CN 108026714A
Authority
CN
China
Prior art keywords
image
construction machinery
identification
monitoring system
person detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680053174.1A
Other languages
English (en)
Inventor
清田芳永
大槻俊介
相泽晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015233979A external-priority patent/JP6515021B2/ja
Priority claimed from JP2015233980A external-priority patent/JP6419677B2/ja
Priority claimed from JP2015233978A external-priority patent/JP6515020B2/ja
Priority claimed from JP2015233976A external-priority patent/JP6662622B2/ja
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN108026714A publication Critical patent/CN108026714A/zh
Pending legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

周边监视系统(100)具备:人物检测部(34),检测挖土机周边存在的人;及控制部(35),控制搭载于挖土机的输出装置(50)。控制部(35)将包含使用安装于挖土机的摄像装置(40)的摄像图像而生成的图像部分及挖土机图标的输出图像显示于显示器,且在挖土机图标的周边的图像部分中,强调与人物检测部(34)检测到的人的存在方向对应的一侧的图像部分。

Description

施工机械用周边监视系统
技术领域
本发明涉及一种监视施工机械周边的施工机械用周边监视系统。
背景技术
已知有具备检测挖土机周边存在的物体(人)的传感器的挖土机(参考专利文献1)。该挖土机在挖土机的右侧检测到物体(人)时从设置于驾驶室内的右壁的扬声器输出警报,且将拍摄挖土机的右侧的摄像机的实时取景图像显示于显示器。并且,在挖土机的左侧检测到物体(人)时从设置于驾驶室内的左壁的扬声器输出警报,且将拍摄挖土机的左侧的摄像机的实时取景图像显示于显示器。
以往技术文献
专利文献
专利文献1:日本特开2014-183500号公报
发明内容
发明要解决的技术课题
然而,上述挖土机没有将传感器检测到的物体(人)与显示于显示器的图像内的物体(人)建立对应关联。因此,存在观察显示器的操作人员无法辨识传感器检测到的物体(人)是图像内的哪一物体(人)的可能性。
鉴于上述情况,希望提供一种能够使操作人员轻松地辨识通过施工机械检测到的人在显示图像内的哪一区域存在的施工机械用周边监视系统。
用于解决技术课题的手段
本发明的实施例所涉及的施工机械用周边监视系统具备:人物检测部,检测所述施工机械周边存在的人;及控制部,控制搭载于所述施工机械的输出装置,所述控制部将包含使用安装于所述施工机械的摄像装置的摄像图像而生成的图像部分及所述施工机械的图标的输出图像显示于显示装置,且在所述图标周边的图像部分中,强调与所述人物检测部检测到的人的存在方向对应的一侧的图像部分。
发明效果
根据上述机构,提供一种能够使操作人员轻松地辨识通过施工机械检测到的人在显示图像内的哪一区域存在的施工机械用周边监视系统。
附图说明
图1是搭载有本发明的实施例所涉及的周边监视系统的挖土机的侧视图。
图2是表示周边监视系统的结构例的功能框图。
图3是后方摄像机的摄像图像的例子。
图4是表示从摄像图像截取对象图像时所使用的几何关系的一例的示意图。
图5是从上面观察挖土机后方的实空间的图。
图6A是后方摄像机的摄像图像的一例。
图6B是截取了摄像图像中的对象图像的区域的图。
图6C是对对象图像进行标准化的标准化图像。
图7A1是摄像图像中的对象图像区域的一例。
图7A2是对象图像的标准化图像的一例。
图7B1是摄像图像中的对象图像区域的另一例。
图7B2是对象图像的标准化图像的另一例。
图7C1是摄像图像中的对象图像区域的又一例。
图7C2是对象图像的标准化图像的又一例。
图8是表示对象图像区域与识别处理不适合区域之间的关系的图。
图9是表示标准化图像的例子的图。
图10是表示从摄像图像截取对象图像时所使用的几何关系的另一例的示意图。
图11是表示摄像图像中的特征图像的一例的图。
图12是表示图像提取处理的一例的流程的流程图。
图13是表示识别部的结构例的功能框图。
图14A是通过提取部提取的作为对象图像的标准化图像的一例。
图14B是表示对图14A的对象图像设定的7个区域的图。
图14C是表示图14B的一区域中的各像素的亮度的直方图的图。
图15A是表示识别部的人物识别能力的概念图的一例。
图15B是表示识别部的人物识别能力的概念图的另一例。
图15C是表示识别部的人物识别能力的概念图的又一例。
图16A是表示标准化图像分割为HOG块的状态的图。
图16B是表示标准化图像的中央的HOG块分割为4个区块的状态的图。
图16C是表示4个区块的另一结构例的图。
图17是表示识别处理的流程的流程图。
图18是表示识别处理的流程的流程图。
图19是表示周边监视处理的一例的流程的流程图。
图20是表示限制解除处理的一例的流程的流程图。
图21A是输出图像的例子。
图21B是输出图像的例子。
图21C是输出图像的例子。
图22是表示检测状态与框及区域的显示颜色之间的对应关系的对应表。
图23是作为输出图像的视点变换图像的例子。
图24是包含视点变换图像的输出图像的例子。
图25A是包含视点变换图像的输出图像的例子。
图25B是包含视点变换图像的输出图像的例子。
图25C是包含视点变换图像的输出图像的例子。
图25D是包含视点变换图像的输出图像的例子。
图25E是包含视点变换图像的输出图像的例子。
图26A是包含视点变换图像的输出图像的例子。
图26B是包含视点变换图像的输出图像的例子。
具体实施方式
图1是搭载有本发明的实施例所涉及的周边监视系统100的作为施工机械的挖土机的侧视图。在挖土机的下部行走体1中经由回转机构2以旋转自如的方式搭载有上部回转体3。在上部回转体3中安装有动臂4。在动臂4的前端安装有斗杆5,在斗杆5的前端安装有铲斗6。动臂4、斗杆5及铲斗6构成挖掘附件,且分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。并且,在上部回转体3中设置有驾驶室10,且搭载有引擎等动力源。并且,在上部回转体3的上部安装有摄像装置40。具体而言,在上部回转体3的后端上部、左端上部及右端上部安装有后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R。并且,在驾驶室10内设置有控制器30及输出装置50。
图2是表示周边监视系统100的结构例的功能框图。周边监视系统100主要包含控制器30、摄像装置40及输出装置50。
控制器30为进行挖土机的驱动控制的控制装置。在本实施例中,控制器30由包含CPU及内部存储器的运算处理装置构成,使CPU执行存储于内部存储器中的驱动控制用程序而实现各种功能。
并且,控制器30根据各种装置的输出判定在挖土机的周边是否存在人,并根据该判定结果控制各种装置。具体而言,控制器30接收摄像装置40及输入装置41的输出,并执行分别与提取部31、识别部32、跟踪部33及控制部35对应的软件程序。而且,根据该执行结果向机械控制装置51输出控制命令而执行挖土机的驱动控制,或者,从输出装置50输出各种信息。另外,控制器30可以是图像处理专用的控制装置。
摄像装置40为拍摄挖土机周围的图像的装置,将所拍摄的图像输出至控制器30。在本实施例中,摄像装置40为采用CCD等成像元件的广角摄像机,且在上部回转体3的上部安装成光轴朝向斜下方。
输入装置41为接收操作人员的输入的装置。在本实施例中,输入装置41包含操作装置(操作杆、操作踏板等)、门锁杆、设置于操作装置的前端的按钮、附属于车载显示器的按钮及触控面板等。
输出装置50为输出各种信息的装置,例如包含显示各种图像信息的车载显示器、语音输出各种语音信息的车载扬声器、警报蜂鸣器及警报灯等。在本实施例中,输出装置50根据来自控制器30的控制命令输出各种信息。
机械控制装置51为控制挖土机的动作的装置,例如包含液压系统中的控制工作油的流动的控制阀、门锁阀及引擎控制装置等。
提取部31为从摄像装置40所拍摄的摄像图像提取识别处理对象图像的功能要件。具体而言,提取部31通过提取基于局部性亮度梯度或边缘的简单特征、基于霍夫变换等的几何特征及与根据亮度分割的区域的面积或纵横尺寸比相关的特征等的运算量较少的图像处理(以下,设为“前段图像辨识处理”。)而提取识别处理对象图像。识别处理对象图像(以下,设为“对象图像”。)是成为后续的图像处理对象的图像部分(摄像图像的一部分),包含人物候选图像。人物候选图像为被视为人物图像的可能性高的图像部分(摄像图像的一部分)。
识别部32为识别提取部31所提取的对象图像中所包含的人物候选图像是否为人物图像的功能要件。具体而言,识别部32通过使用了以HOG(方向梯度直方图(Histogramsof Oriented Gradients))特征量为代表的图像特征量描述和通过机器学习生成的识别器的图像辨识处理等运算量较多的图像处理(以下,设为“后段图像辨识处理”。)识别人物候选图像是否为人物图像。基于提取部31的对象图像的提取越是高精度,识别部32将人物候选图像作为人物图像来识别的比例就越大。另外,在夜间、恶劣的天气时等不适合于拍摄的环境下无法获得所希望的质量的摄像图像的情况等时,识别部32可以将所有的人物候选图像识别为人物图像,将提取部31所提取的对象图像中的所有人物候选图像识别为人物。这是为了防止人物的漏检。
接着,参考图3对后方摄像机40B所拍摄的挖土机后方的摄像图像中的人物图像的显示方法进行说明。另外,图3的2个摄像图像为后方摄像机40B的摄像图像的例子。并且,图3的点线圆表示存在人物图像,而实际摄像图像中没有显示。
后方摄像机40B为广角摄像机,且安装在从斜上方俯视人物的高度上。因此,摄像图像中的人物图像的显示方法根据从后方摄像机40B观察人物的存在方向而大为不同。例如,摄像图像中的人物图像显示为越靠近摄像图像的左右端部越倾斜。这是由广角摄像机的广角镜头引起的像崩溃而导致的。并且,越靠近后方摄像机40B,头部显示越大。并且,导致腿部进入挖土机车身的死角而无法看见。这些是由后方摄像机40B的设置位置而引起的。因此,对摄像图像不实施任何加工而通过图像处理识别出该摄像图像中所包含的人物图像比较困难。
因此,本发明的实施例所涉及的周边监视系统100通过对对象图像进行标准化来促进对象图像中所包含的人物图像的识别。另外,“标准化”表示将对象图像转换为规定尺寸及规定形状的图像。在本实施例中,摄像图像中能够取各种形状的对象图像通过射影变换而转换为规定尺寸的长方形图像。另外,作为射影变换,例如可使用8个变量的射影变换矩阵。
在此,参考图4~图6C对周边监视系统100对对象图像进行标准化的处理(以下,设为“标准化处理”。)的一例进行说明。另外,图4是表示提取部31从摄像图像截取对象图像时所使用的几何关系的一例的示意图。
图4的箱体BX为实空间上的虚拟立体物体,在本实施例中,为以8个顶点A~H确定的虚拟长方体。并且,点Pr为为了参考对象图像而预先设定的参考点。在本实施例中,参考点Pr为作为人的假想站立位置而预先设定的点,且位于以4个顶点A~D确定的四边形ABCD的中心。并且,箱体BX的尺寸根据人物的朝向、步幅及身高等而设定。在本实施例中,四边形ABCD及四边形EFGH为正方形,一边的长度例如为800mm。并且,长方体的高度例如为1800mm。即,箱体BX为宽800mm×纵深800mm×高1800mm的长方体。
以4个顶点A、B、G、H确定的四边形ABGH形成与摄像图像中的对象图像的区域对应的虚拟平面区域TR。并且,作为虚拟平面区域TR的四边形ABGH相对于水平面即虚拟地面倾斜。
另外,在本实施例中,为了确定参考点Pr与虚拟平面区域TR之间的关系而采用作为虚拟长方体的箱体BX。然而,只要能够将面向摄像装置40的方向且相对于虚拟地面倾斜的虚拟平面区域TR与任意参考点Pr以建立关联的方式进行设定,则可以采用使用了其他虚拟立体物体的关系等的其他几何关系,也可以采用函数、变换表等其他数学关系。
图5是从上面观察挖土机后方的实空间的图,表示使用参考点Pr1、Pr2并参考了虚拟平面区域TR1、TR2时的后方摄像机40B与虚拟平面区域TR1、TR2之间的位置关系。另外,在本实施例中,参考点Pr能够配置于虚拟地面上的虚拟网格的各格点上。但是,参考点Pr可以不规则地配置于虚拟地面上,也可以等间隔地配置于从后方摄像机40B向虚拟地面的投影点以放射状延伸的线段上。例如,各线段每隔1度以放射状延伸,参考点Pr在各线段上以100mm间隔配置。
如图4及图5所示,当使用参考点Pr1并参考虚拟平面区域TR1时,以四边形ABFE(参考图4。)确定的箱体BX的第1面以与后方摄像机40B正对的方式配置。即,从上面观察时,连结后方摄像机40B与参考点Pr1的线段和以与参考点Pr1建立关联的方式配置的箱体BX的第1面正交。相同地,当使用参考点Pr2并参考虚拟平面区域TR2时,箱体BX的第1面也以与后方摄像机40B正对的方式配置。即,从上面观察时,连结后方摄像机40B与参考点Pr2的线段和以与参考点Pr2建立关联的方式配置的箱体BX的第1面正交。该关系在参考点Pr配置于任意格点上的情况下也仍成立。即,箱体BX以其第1面始终与后方摄像机40B正对的方式配置。
图6A~图6C表示由摄像图像生成标准化图像的处理的流程的图。具体而言,图6A是后方摄像机40B的摄像图像的一例,呈现实空间上的以与参考点Pr建立关联的方式配置的箱体BX。并且,图6B是截取了摄像图像中的对象图像的区域(以下,设为“对象图像区域TRg”。)的图,且与呈现于图6A的摄像图像中的虚拟平面区域TR对应。并且,图6C表示对具有对象图像区域TRg的对象图像进行了标准化的标准化图像TRgt。
如图6A所示,在实空间上以与参考点Pr1建立关联的方式配置的箱体BX确定实空间上的虚拟平面区域TR的位置,而且,确定与虚拟平面区域TR对应的摄像图像上的对象图像区域TRg。
如此,只要确定实空间上的参考点Pr的位置,则唯一地确定实空间上的虚拟平面区域TR的位置,也唯一地确定摄像图像中的对象图像区域TRg。而且,提取部31能够对具有对象图像区域TRg的对象图像进行标准化而生成规定尺寸的标准化图像TRgt。在本实施例中,标准化图像TRgt的尺寸例如为纵64像素×横32像素。
图7A1~图7C2是表示摄像图像、对象图像区域及标准化图像之间的关系的图。具体而言,图7A1表示摄像图像中的对象图像区域TRg3,图7A2表示具有对象图像区域TRg3的对象图像的标准化图像TRgt3。并且,图7B1表示摄像图像中的对象图像区域TRg4,图7B2表示具有对象图像区域TRg4的对象图像的标准化图像TRgt4。相同地,图7C1表示摄像图像中的对象图像区域TRg5,图7C2表示具有对象图像区域TRg5的对象图像的标准化图像TRgt5。
如图7A1~图7C2所示,摄像图像中的对象图像区域TRg5大于摄像图像中的对象图像区域TRg4。这是因为与对象图像区域TRg5对应的虚拟平面区域和后方摄像机40B之间的距离小于与对象图像区域TRg4对应的虚拟平面区域和后方摄像机40B之间的距离。相同地,摄像图像中的对象图像区域TRg4大于摄像图像中的对象图像区域TRg3。这是因为与对象图像区域TRg4对应的虚拟平面区域和后方摄像机40B之间的距离小于与对象图像区域TRg3对应的虚拟平面区域和后方摄像机40B之间的距离。即,所对应的虚拟平面区域与后方摄像机40B之间的距离越大,摄像图像中的对象图像区域越小。另一方面,标准化图像TRgt3、TRgt4、TRgt5均为相同尺寸的长方形图像。
如此,提取部31能够将摄像图像中能够取各种形状及尺寸的对象图像标准化成规定尺寸的长方形图像,且能够对包含人物图像的人物候选图像进行标准化。具体而言,提取部31在标准化图像的规定区域配置推断为人物候选图像的头部的图像部分(以下,设为“头部图像部分”。)。并且,在标准化图像的另一规定区域配置推断为人物候选图像的躯体部的图像部分(以下,设为“躯体部图像部分”。),且在标准化图像的又一规定区域配置推断为人物候选图像的腿部的图像部分(以下,设为“腿部图像部分”。)。并且,提取部31能够在抑制了相对于标准化图像的形状的人物候选图像的倾斜(像崩溃)的状态下获取标准化图像。
接着,参考图8对对象图像区域包含对人物图像的识别造成不良影响的不适合于识别的图像区域(以下,设为“识别处理不适合区域”。)时的标准化处理进行说明。识别处理不适合区域为不可能存在人物图像的已知的区域,例如包含映出有挖土机的车身的区域(以下,设为“车身映出区域”。)及超出摄像图像的区域(以下,设为“超出区域”。)等。另外,图8是表示对象图像区域与识别处理不适合区域之间的关系的图,与图7C1及图7C2对应。并且,图8左图的反斜线阴影线区域与超出区域R1对应,正斜线阴影线区域与车身映出区域R2对应。
在本实施例中,当对象图像区域TRg5包含超出区域R1及车身映出区域R2的一部分时,提取部31在对这些识别处理不适合区域进行遮掩处理之后,生成具有对象图像区域TRg5的对象图像的标准化图像TRgt5。另外,提取部31可以在生成标准化图像TRgt5之后,对标准化图像TRgt5中的与识别处理不适合区域对应的部分进行遮掩处理。
图8右图表示标准化图像TRgt5。并且,在图8右图中,反斜线阴影线区域表示与超出区域R1对应的遮掩区域M1,正斜线阴影线区域表示与车身映出区域R2的一部分对应的遮掩区域M2。
如此,提取部31通过对识别处理不适合区域的图像进行遮掩处理,防止识别处理不适合区域的图像对基于识别部32的识别处理造成影响。通过该遮掩处理,识别部32不会受到识别处理不适合区域的图像的影响,而能够使用标准化图像中的除遮掩区域以外的区域的图像而识别出是否为人物图像。另外,提取部31可以用除遮掩处理以外的其他任意的公知方法来防止识别处理不适合区域的图像对基于识别部32的识别处理造成影响。
接着,参考图9对提取部31生成的标准化图像的特征进行说明。另外,图9是表示标准化图像的例子的图。并且,图9所示的14张标准化图像中,越是与图的左端近的标准化图像包含存在于离后方摄像机40B更近的位置上的人物候选的图像,标准化图像越靠近图的右端,包含在离后方摄像机40B更远的位置上存在的人候选的图像。
如图9所示,提取部31无论实空间上的虚拟平面区域TR与后方摄像机40B之间的后方水平距离(图5所示的Y轴方向的水平距离)如何,能够在任意标准化图像内都以大致相同的比例来配置头部图像部分、躯体部图像部分及腿部图像部分等。因此,提取部31能够减少识别部32执行识别处理时的运算负荷,且能够提高该识别结果的可靠性。另外,上述的后方水平距离为与实空间上的虚拟平面区域TR和后方摄像机40B之间的位置关系相关的信息的一例,提取部31在所提取的对象图像中附加该信息。并且,与上述位置关系相关的信息包含连结与虚拟平面区域TR对应的参考点Pr和后方摄像机40B的线段相对于后方摄像机40B的光轴的俯视角度等。
通过以上结构,周边监视系统100由面向摄像装置40的方向且与相对于水平面即虚拟地面倾斜的虚拟平面区域TR对应的对象图像区域TRg生成标准化图像TRgt。因此,能够实现考虑了人的高度方向及纵深方向的显示方法的标准化。其结果,即使在使用了以从斜上方拍摄人的方式安装于施工机械的摄像装置40的摄像图像的情况下,也能够更可靠地检测施工机械的周围存在的人。尤其,即使在人接近摄像装置40的情况下,也能够由在摄像图像上占充分大小的区域的对象图像生成标准化图像,因此能够可靠地检测该人。
并且,周边监视系统100以由实空间上的虚拟长方体即箱体BX的4个顶点A、B、G、H形成的矩形区域来定义虚拟平面区域TR。因此,能够将实空间上的参考点Pr与虚拟平面区域TR以几何的方式建立对应关联,而且,能够将实空间上的虚拟平面区域TR与摄像图像中的对象图像区域TRg以几何方式建立对应关联。
并且,提取部31对对象图像区域TRg中所包含的识别处理不适合区域的图像进行遮掩处理。因此,识别部32不会受到包含车身映出区域R2的识别处理不适合区域的图像的影响,而能够使用标准化图像中的除遮掩区域以外的区域的图像而识别出是否为人物图像。
并且,提取部31能够对每一参考点Pr提取对象图像。并且,各对象图像区域TRg经由所对应的虚拟平面区域TR与作为人的假想站立位置而预先设定的参考点Pr中的1个建立关联。因此,周边监视系统100通过以任意方法提取人存在的可能性高的参考点Pr,能够提取包含人物候选图像的可能性高的对象图像。在该情况下,能够防止导致对包含人物候选图像的可能性低的对象图像实施基于运算量较多的图像处理的识别处理,从而能够实现人物检测处理的高速化。
接着,参考图10及图11对提取部31提取包含人物候选图像的可能性高的对象图像的处理的一例进行说明。另外,图10是表示提取部31从摄像图像截取对象图像时所使用的几何关系的一例的示意图,与图4对应。并且,图11是表示摄像图像中的特征图像的一例的图。另外,特征图像为表示人物的特征部分的图像,优选为表示离实空间上的地面的高度不易变化的部分的图像。因此,特征图像例如包含安全帽的图像、肩部的图像、头部的图像及安装在人身上的反射板或标记的图像等。
尤其,安全帽其形状大致为球体,且具有其投影像投影在摄像图像上时不依赖于拍摄方向而始终接近圆形的特征。并且,安全帽的表面为硬质且具有光泽或半光泽,并且具有其投影像投影在摄像图像上时容易产生局部高亮度区域及以该区域为中心的放射状的亮度梯度的特征。因此,安全帽的图像作为特征图像尤其合适。另外,该投影像接近圆形这一特征及容易产生以局部高亮度区域为中心的放射状亮度梯度这一特征等可以为了从摄像图像找出安全帽的图像的图像处理而利用。并且,从摄像图像找出安全帽的图像的图像处理例如包含亮度平滑处理、高斯平滑处理、亮度极大点搜索处理及亮度极小点搜索处理等。
在本实施例中,提取部31通过前段图像辨识处理找出摄像图像中的安全帽图像(严格而言是能够推断为安全帽的图像)。这是因为认为在挖土机的周围工作的人员会佩戴安全帽。而且,提取部31从所找出的安全帽图像的位置导出关联性最高的参考点Pr。在这基础上,提取部31提取与该参考点Pr对应的对象图像。
具体而言,提取部31利用图10所示的几何关系,并从摄像图像中的安全帽图像的位置导出关联性高的参考点Pr。另外,图10的几何关系在确定实空间上的虚拟头部位置HP的方面上与图4的几何关系不同,但在其他方面上相同。
虚拟头部位置HP表示假想为存在于参考点Pr上的人的头部位置,且配置于参考点Pr的正上方。在本实施例中,配置于参考点Pr上方高度为1700mm的位置。因此,只要确定实空间上的虚拟头部位置HP,则唯一地确定实空间上的参考点Pr的位置,也唯一地确定实空间上的虚拟平面区域TR的位置。并且,也唯一地确定摄像图像中的对象图像区域TRg。而且,提取部31能够对具有对象图像区域TRg的对象图像进行标准化而生成规定尺寸的标准化图像TRgt。
相反,只要确定实空间上的参考点Pr的位置,则唯一地确定实空间上的虚拟头部位置HP,也唯一地确定实空间上的与虚拟头部位置HP对应的摄像图像上的头部图像位置AP。因此,头部图像位置AP能够以与预先设定的各参考点Pr建立对应关联的方式预先设定。另外,头部图像位置AP可以从参考点Pr实时导出。
因此,提取部31通过前段图像辨识处理在后方摄像机40B的摄像图像内搜索安全帽图像。图11上图表示提取部31已找出安全帽图像HRg的状态。而且,当已找出安全帽图像HRg时,提取部31决定该代表位置RP。另外,代表位置RP为由安全帽图像HRg的大小及形状等导出的位置。在本实施例中,代表位置RP为包含安全帽图像HRg的安全帽图像区域的中心像素的位置。图11下图是图11上图中的以白线划分的矩形图像区域即安全帽图像区域的放大图,表示该安全帽图像区域的中心像素的位置为代表位置RP。
然后,提取部31例如使用最近邻搜索算法导出位于代表位置RP的最靠近处的头部图像位置AP。图11下图表示在代表位置RP的附近预先设定有6个头部图像位置AP1~AP6,且其中的头部图像位置AP5为位于代表位置RP的最靠近处的头部图像位置AP。
而且,提取部31利用图10所示的几何关系从所导出的最近的头部图像位置AP顺着虚拟头部位置HP、参考点Pr、虚拟平面区域TR而提取所对应的对象图像区域TRg。然后,提取部31对具有所提取的对象图像区域TRg的对象图像进行标准化而生成标准化图像TRgt。
如此,提取部31将摄像图像中的人物的特征图像的位置即安全帽图像HRg的代表位置RP与预先设定的头部图像位置AP中的1个(头部图像位置AP5)建立对应关联而提取对象图像。
另外,提取部31可以代替利用图10所示的几何关系而利用直接将头部图像位置AP与参考点Pr、虚拟平面区域TR或对象图像区域TRg建立对应关联的参考表并提取与头部图像位置AP对应的对象图像。
并且,提取部31也可以使用爬山算法、均值漂移(Mean-shift)算法等除最近邻搜索算法以外的其他公知的算法而由代表位置RP导出参考点Pr。例如,当使用爬山算法时,提取部31导出位于代表位置RP附近的多个头部图像位置AP,且使代表位置RP与这些多个头部图像位置AP分别对应的参考点Pr相关联。此时,提取部31以代表位置RP与头部图像位置AP越接近越加大权重的方式对参考点Pr进行加权。而且,对多个参考点Pr的权重的分布进行爬山算法,并从具有最接近权重极大点的权重的参考点Pr提取对象图像区域TRg。
接着,参考图12对控制器30的提取部31提取对象图像的处理(以下,设为“图像提取处理”。)的一例进行说明。另外,图12是表示图像提取处理的一例的流程的流程图。
首先,提取部31在摄像图像内搜索安全帽图像(步骤ST1)。在本实施例中,提取部31通过前段图像辨识处理对后方摄像机40B的摄像图像进行光栅扫描而找出安全帽图像。
当在摄像图像中找到安全帽图像HRg时(步骤ST1的“是”),提取部31获取安全帽图像HRg的代表位置RP(步骤ST2)。
然后,提取部31获取位于所获取的代表位置RP的最靠近处的头部图像位置AP(步骤ST3)。
然后,提取部31提取与所获取的头部图像位置AP对应的对象图像(步骤ST4)。在本实施例中,提取部31利用图10所示的几何关系,并顺着摄像图像中的头部图像位置AP、实空间上的虚拟头部位置HP、实空间上作为人的假想站立位置的参考点Pr及实空间上的虚拟平面区域TR的对应关系而提取对象图像。
另外,当在摄像图像中未找到安全帽图像HRg时(步骤ST1的“否”),提取部31不提取对象图像而将处理转移到步骤ST5。
然后,提取部31判定是否遍及摄像图像整体搜索了安全帽图像(步骤ST5)。
当判定为尚未对摄像图像整体进行搜索时(步骤ST5的“否”),提取部31对摄像图像的另一区域执行步骤ST1~步骤ST4的处理。
另一方面,当判定为结束了遍及摄像图像整体的安全帽图像的搜索时(步骤ST5的“是”),提取部31结束这次图像提取处理。
如此,首先,提取部31找出安全帽图像HRg,从所找出的安全帽图像HRg的代表位置RP经头部图像位置AP、虚拟头部位置HP、参考点(假想站立位置)Pr及虚拟平面区域TR确定对象图像区域TRg。而且,通过提取并标准化具有所确定的对象图像区域TRg的对象图像,能够生成规定尺寸的标准化图像TRgt。
或者,提取部31首先获取头部图像位置AP中的1个,并且当在与所获取的头部图像位置AP对应的安全帽图像区域找到了安全帽图像HRg时,由此时的头部图像位置AP经虚拟头部位置HP、参考点(假想站立位置)Pr及虚拟平面区域TR确定对象图像区域TRg。而且,通过提取并标准化具有所确定的对象图像区域TRg的对象图像,能够生成规定尺寸的标准化图像TRgt。
通过以上结构,周边监视系统100的提取部31找出摄像图像中作为特征图像的安全帽图像,并通过将该安全帽图像的代表位置RP与作为规定图像位置的头部图像位置AP中的1个建立对应关联而提取对象图像。因此,能够以简单的系统结构锁定成为后段图像辨识处理的对象的图像部分。
另外,提取部31可以首先从摄像图像找出安全帽图像HRg,导出与该安全帽图像HRg的代表位置RP对应的头部图像位置AP中的1个,并提取与该头部图像位置AP中的1个对应的对象图像。或者,提取部31也可以首先获取头部图像位置AP中的1个,当在包含与该头部图像位置AP中的1个对应的特征图像的位置的规定区域即安全帽图像区域内存在安全帽图像时,提取与该头部图像位置AP中的1个对应的对象图像。
并且,提取部31可以利用如图10所示那样的规定的几何关系,并从摄像图像中的安全帽图像的代表位置RP提取对象图像。在该情况下,规定的几何关系表示摄像图像中的对象图像区域TRg、与对象图像区域TRg对应的实空间上的虚拟平面区域TR、与虚拟平面区域TR对应的实空间上的参考点Pr(人的假想站立位置)、与参考点Pr对应的虚拟头部位置HP(与人的假想站立位置对应的人物的特征部分的实空间上的位置即虚拟特征位置)及与虚拟头部位置HP对应的摄像图像中的头部图像位置AP(与虚拟特征位置对应的摄像图像中的规定图像位置)之间的几何关系。
或者,提取部31可以分别对摄像图像中的多个规定图像部分进行标准化而生成多个标准化图像,并将这些标准化图像中包含安全帽图像的标准化图像作为对象图像来提取。多个规定图像部分为例如预先在摄像图像上设定的多个对象图像区域TRg。对象图像区域TRg(参考图6。)与实空间上的虚拟平面区域TR对应,虚拟平面区域TR与实空间上的参考点Pr对应。而且,识别部32识别提取部31所提取的对象图像是否为人物图像。在该情况下,提取部31在已生成1个标准化图像的阶段判定在该标准化图像中是否包含安全帽图像。但是,也可以在已生成多个标准化图像的阶段统一判定在这些多个标准化图像的各图像中是否包含安全帽图像。并且,也可以在已生成所有标准化图像的阶段统一判定在这些所有标准化图像的各图像中是否包含安全帽图像。并且,提取部31还可以在已对规定图像部分的一部分进行标准化的阶段判定在该局部性标准化的图像中是否包含安全帽图像。
已知有如下人体检测装置,即,具有图像传感器及感知热量的热电堆阵列,重复摄像范围和热检测范围,并且仅将热电堆阵列的输出所表示的像人体的范围限定为脸部提取范围而减少进行图像识别处理时的不必要的运算处理量。
然而,上述装置需要并列设置图像传感器和热电堆阵列且正确地重复摄像范围和热检测范围,因此导致系统结构变得复杂。
鉴于上述情况,希望提供一种能够以更简单的系统结构来检测施工机械周边的人的施工机械用周边监视系统。
接着,参考图13对识别部32的详细内容进行说明。图13是表示识别部32的结构例的功能框图。
识别部32主要包含亮度过滤器部32a、图像特征量计算部32b、通用识别部32c、特殊识别部32d、图案过滤器部32e及调整部32f。
亮度过滤器部32a为根据对象图像中的图像特征的偏差识别是否为人物图像的辅助识别部的一例。辅助识别部辅助基于图像特征量计算部32b计算出的图像特征量的识别。但是,也可以省略亮度过滤器部32a。
在本实施例中,在通用识别部32c的识别结果出来之前执行基于亮度过滤器部32a的识别。因此,防止在亮度过滤器部32a中识别为非人物图像的对象图像成为基于通用识别部32c的识别处理的对象,从而能够防止进行无用的识别处理。具体而言,亮度过滤器部32a在提取部31所提取的对象图像的亮度的偏差为规定值以上时识别为该对象图像为非人物图像。这是为了防止在根据基于通用识别部32c及特殊识别部32d的图像特征量的识别中的误报。“误报”表示输出错误的识别结果,例如,包含尽管为非人物图像但仍识别为人物图像。另一方面,当该对象图像的亮度的偏差小于规定值时,暂时识别为该对象图像是人物图像。尤其,当进行基于HOG特征量的识别时,亮度梯度直方图被标准化。因此,当基于对象图像中的路面图像的微小的明暗差的亮度梯度图案与基于人物存在的亮度梯度图案相似时,有时会导致识别该路面图像为人物图像。亮度过滤器部32a能够防止导致这种路面图像被识别为人物图像。例如,亮度的偏差因夏季的阳光而引起的强烈的阴影、路面上的白线及路缘石等原因而具有逐渐变大的趋势。亮度过滤器部32a能够防止导致包含这种原因的图像被识别为人物图像。
图14A~图14C是对基于亮度过滤器部32a的识别处理进行说明的图。图14A为通过提取部31提取的作为对象图像的标准化图像TRgt的一例。图14B表示对图14A的对象图像设定的7个区域RG1~RG7。区域RG1相当于标准化图像TRgt整体的区域。区域RG2及区域RG3为用以连结标准化图像TRgt的右上顶点与左下顶点的对角线来划分的2个区域。区域RG4及区域RG5为用连结标准化图像TRgt的左上顶点与右下顶点的对角线来划分的2个区域。区域RG6为标准化图像TRgt的上一半区域,区域RG7为标准化图像TRgt的下一半区域。
图14C的上图表示图14B的区域RG1的各像素的亮度的直方图。图14C的下图表示进行合计图14C的上图的直方图中的相邻的柱条(Bin)的值的调整之后的调整后直方图。
图14A的对象图像包含路面上的白线的图像。如图14A所示,当对象图像在局部上具有较强的明暗差但整体上具有较弱的明暗差时,亮度过滤器部32a识别为该对象图像是非人物图像。
具体而言,如图14B所示,亮度过滤器部32a对对象图像设定7个区域RG1~RG7。而且,分别对7个区域RG1~RG7执行以下处理。以下,以对区域RG1的处理为一例进行说明,但对区域RG2~RG7也适用相同的处理。
首先,亮度过滤器部32a计算出区域RG1的有效像素比例。“有效像素比例”表示区域RG1内的所有像素数中所占的有效像素数的比例。“有效像素数”表示存在于遮掩区域以外的区域的像素的数量(非遮掩像素数)。
当有效像素比例为规定值(例如50%)以下时,亮度过滤器部32a识别为对象图像是人物图像。因为推断为有效像素数少而无法进行适当的识别。即,当无法进行适当的识别时,亮度过滤器部32a为了防止导致将人物图像错误地识别为非人物图像而暂时识别为人物图像,并将最终的识别委托给后续的识别处理。
当有效像素比例大于规定值时,亮度过滤器部32a将区域RG1的各像素的亮度分类为16级灰度而生成亮度直方图。
例如,如图14C的上图所示,亮度过滤器部32a通过比特移位运算将区域RG1的各像素的256级灰度的亮度值转换为16级灰度来进行分类。
而且,亮度过滤器部32a对图14C的上图的直方图中的相邻的2个柱条值进行合计而调整该直方图。图14C的下图表示该调整后的直方图。具体而言,图14C的下图的第1灰度的柱条值为图14C的上图的第1灰度的柱条值和第2灰度的柱条值的合计。相同地,图14C的下图的第2灰度的柱条值为图14C的上图的第2灰度的柱条值和第3灰度的柱条值的合计。
而且,当该调整后的直方图中的任一柱条值为规定值TH1以上时,亮度过滤器部32a识别为该对象图像是非人物图像。另一方面,当该调整后的直方图的各柱条值均小于规定值TH1时,暂时识别为该对象图像是人物图像。因为路面图像等中具有因整体上为弱的明暗差而亮度集中在特定范围内的趋势,与此相反人物图像中具有因较强的明暗差而亮度向广范围分散的趋势。在图14C的下图的例子中,由于第4灰度的柱条值为规定值TH1以上,因此亮度过滤器部32a识别为该对象图像是非人物图像。并且,在本实施例中,亮度过滤器部32a在相邻的2个柱条值的合计成为规定值TH1以上的时刻识别为非人物图像,并中止其他相邻的2个柱条的合计处理。在图14C的下图的例子中,亮度过滤器部32a中止第5灰度以后的柱条值的计算。
如此,亮度过滤器部32a分别根据区域RG1~RG7个别识别对象图像是否为人物图像。例如,当有效像素比例足够高且在亮度的直方图中存在强烈的偏差时,识别为对象图像是非人物图像。
而且,亮度过滤器部32a根据7个识别结果输出基于亮度过滤器部32a的最终的识别结果。例如,当所有7个识别结果为“是非人物图像”时,亮度过滤器部32a识别为对象图像是非人物图像。
并且,当因对象图像的亮度的偏差大而识别为对象图像是非人物图像时,亮度过滤器部32a可以通过输出装置50向操作人员通知该情况。
在上述例子中,实际上,亮度过滤器部32a将256级灰度的亮度转换为16级灰度而进行分类之后再次转换为8级灰度并进行分类。即,进行2个阶段的转换。这是因为,与将256级灰度的亮度直接转换为8级灰度的情况(1个阶段的转换的情况)相比,能够正确地继承与对象图像的亮度相关的图像特征。但是,亮度过滤器部32a也可以在将256级灰度的亮度直接转换为8级灰度而进行分类的基础上进行使用了规定值TH1的识别。并且,也可以进行3个阶段以上的转换,最终的灰度也可以是8级灰度以外。
并且,在上述例子中,将区域内的总像素数(空缺像素的数量除外。)的77%的像素数用作规定值TH1。但是,也可以将其他像素数用作规定值TH1。空缺像素的数量例如表示遮掩区域的像素数。
图像特征量计算部32b计算出对象图像的图像特征量。在本实施例中,图像特征量计算部32b将纵64像素×横32像素的对象图像分割为纵4像素×横4像素的128个HOG块,并按每一HOG块计算出作为图像特征量(HOG特征量)的亮度梯度直方图。
通用识别部32c为通过使用了多个模拟图像(教师图像)的机器学习生成的通用识别器。在本实施例中,通用识别部32c例如以如下方式设定,即,识别结果为真阳性(TruePositive)的模拟图像的数量相对于总模拟图像数的比率即真阳性率达到95%,且识别结果为真阴性(True Negative)的模拟图像的数量相对于总模拟图像数的比率即真阴性率达到95%。“真阳性”表示将人物图像正确地识别为人物图像,“真阴性”表示将非人物图像正确地识别为非人物图像。
特殊识别部32d为通过使用了前级的识别器的识别结果为假阳性(FalsePositive)的多个模拟图像的机器学习生成的识别器。“假阳性”表示将非人物图像错误地识别为人物图像。“假阴性(False Negative)”表示将人物图像错误地识别为非人物图像。在本实施例中,特殊识别部32d包含通过使用了通用识别器的识别结果为假阳性的模拟图像的机器学习生成的第1特殊识别器~第4特殊识别器。通用识别器的识别结果为假阳性的模拟图像例如通过K平均算法等聚类(分类)于规定数(例如,与特殊识别器的数量相同的数量,在本实施例中为4)的群集中。而且,通过使用了各群集中所包含的模拟图像的机器学习生成对应的特殊识别器。
由通用识别部32c及特殊识别部32d构成级联式识别器。具体而言,基于第4特殊识别器的识别仅对基于第3特殊识别器的识别中识别为人物图像的对象图像进行。相同地,基于第3特殊识别器的识别仅对基于第2特殊识别器的识别中识别为人物图像的对象图像进行,基于第2特殊识别器的识别仅对基于第1特殊识别器的识别中识别为人物图像的对象图像进行。并且,基于第1特殊识别器的识别仅对基于通用识别部32c的识别中识别为人物图像的对象图像进行。但是,特殊识别部32d可以由1个、2个或3个特殊识别器构成,也可以由5个以上的特殊识别器构成。
图15A~图15C是表示识别部32的人物识别能力的概念图。具体而言,图15A~图15C表示通过通用识别部32c识别为人物图像的对象图像所属的范围、通过通用识别部32c识别为非人物图像的对象图像所属的范围、通过特殊识别部32d识别为人物图像的对象图像所属的范围及通过特殊识别部32d识别为非人物图像的对象图像所属范围的组合的3个例子。
分别在图15A~图15C中,被实线包围的大致矩形的范围D表示非人物图像所属的范围。范围D的外侧表示人物图像所属的范围。并且,被点线圆包围的范围G表示通过通用识别部32c识别为非人物图像的对象图像所属的范围。范围G的外侧表示通过通用识别部32c识别为人物图像的对象图像所属的范围。并且,被单点划线圆包围的范围S1表示通过第1特殊识别器识别为非人物图像的对象图像所属的范围。范围S1的外侧表示通过第1特殊识别器识别为人物图像的对象图像所属的范围。相同地,被单点划线圆包围的范围S2、S3、S4表示通过第2、第3、第4特殊识别器识别为非人物图像的对象图像所属的范围。范围S2、S3、S4的外侧表示通过第2、第3、第4特殊识别器识别为人物图像的对象图像所属的范围。
由以上关系可知,分别在图15A~图15C中,用黑色涂抹的区域RG1表示基于识别部32的识别结果成为假阳性的对象图像所属的范围。即,表示尽管是非人物图像,但导致仍由通用识别部32c及特殊识别部32d中的任一个识别为人物图像的对象图像所属的范围。以点阴影表示的区域RG2表示基于识别部32的识别结果成为假阴性的对象图像所属的范围。即,表示尽管是人物图像,但导致仍由特殊识别部32d识别为非人物图像的对象图像所属的范围。因此,区域RG1越大误报越多,区域RG2越大漏报越多。
另外,在图15A~图15C的3个例子中,识别部32的人物识别能力大致相等。即,各例子中的区域RG1的总面积及区域RG2的总面积大致相等,真阳性率、真阴性率、假阳性率及假阴性率也大致相等。
另一方面,图15A的范围G小于图15B的范围G,图15B的范围G小于图15C的范围G。并且,图15A的范围G完全包含于范围D内。这表示基于通用识别部32c的识别的真阴性率为100%(没有误报)。并且,图15C的范围G大大超出范围D。这表示基于通用识别部32c的识别的假阴性率较高(漏报较多)。
图15A的范围S1~S4大于图15B的范围S1~S4,图15B的范围S1~S4大于图15C的范围S1~S4。并且,图15C的范围S1~S4完全包含于范围D内。这表示基于特殊识别部32d的识别的真阴性率为100%(没有误报)。并且,图15A的范围S1~S4大大超出范围D。这表示基于特殊识别部32d的识别的假阴性率较高(漏报较多)。
因此,具有以图15B表示的特性的识别部32与具有以图15A表示的特性的识别部32相比,不改变人物识别能力而能够减少基于通用识别部32c的识别中的误报。并且,具有以图15B表示的特性的识别部32与具有以图15C表示的特性的识别部32相比,不改变人物识别能力而能够减少基于特殊识别部32d的识别中的误报。
图案过滤器部32e为辅助识别部的另一例。在本实施例中,在通用识别部32c的识别结果出来之后执行基于图案过滤器部32e的识别。因此,能够推翻通用识别部32c错误的识别结果。具体而言,当判断为构成作为通用识别部32c的通用识别器的多个弱识别器的各识别结果的偏差不适合作为人物图像时,图案过滤器部32e识别为该对象图像是非人物图像。在该情况下,即使在通用识别部32c识别为人物图像的情况下,图案过滤器部32e也识别为非人物图像。这是为了防止根据基于通用识别部32c及特殊识别部32d的图像特征量的识别中的误报。另一方面,当判断为该识别结果的偏差适合作为人物图像时,识别为该对象图像是人物图像。即,不会推翻基于通用识别部32c的识别结果。但是,也可以省略图案过滤器部32e。
“弱识别器”为通过使用了多个模拟图像的机器学习生成的强识别器的构成要件。强识别器例如为通用识别器及第1~第4特殊识别器等。强识别器的识别结果基于构成要件即多个弱识别器的各识别结果的加权多数表决。
“识别结果”例如以表示人物相似度的值即“人物度”来表示。“人物度”成为人物相似度越高绝对值越大的正值,且成为人物相似度越低绝对值越大的负值。“人物度”的零值能够用作表示人物图像与非人物图像之间的识别边界的值(以下,设为“识别边界值”。)。在该情况下,若“人物度”值为零以上,则识别为人物图像,若“人物度”值小于零,则识别为非人物图像。但是,识别边界值可以是正值也可以是负值。识别边界值能能够用作调整分别基于通用识别部32c及特殊识别部32d的识别的误报的发生趋势的调整参数。
弱识别器与强识别器相同地通过使用了多个模拟图像的机器学习而生成。在本实施例中,弱识别器以分别与1个对象图像中的128个HOG块建立对应关联的方式生成,且按每一HOG块输出识别结果。
图16A~图16C是表示作为对象图像的标准化图像TRgt与弱识别器之间的关系的概念图。图16A表示纵64像素×横32像素的标准化图像TRgt分割为纵16块×横8块的128个HOG块的状态。图16B表示标准化图像TRgt的中央的84个HOG块分割为4个区块SC1~SC4的状态。标准化图像TRgt用2个对角线分割为4个区块SC1~SC4。图16C表示4个区块SC1~SC4的另一结构例。
基本上,作为强识别器的通用识别部32c及特殊识别部32d的各识别结果基于如图16A所示那样的128个弱识别器的各识别结果的加权多数表决。强识别器例如若通过加权多数表决导出的人物度为零以上则输出是人物图像的识别结果,若小于零则输出是非人物图像的识别结果。
本实施例的识别部32与强识别器另行具有4个复合型弱识别器。4个复合型弱识别器为第1~第4复合型弱识别器。第1复合型弱识别器的识别结果基于分别与属于图16B所示的区块SC1的22个HOG块对应的22个弱识别器的各识别结果的加权多数表决。22个弱识别器也是构成通用识别器的弱识别器。关于第2~第4复合型弱识别器的识别结果也相同。
图案过滤器部32e根据复合型弱识别器的各识别结果的组合(识别结果图案),判断构成作为通用识别部32c的通用识别器的多个弱识别器的各识别结果的偏差作为人物图像是否适合。而且,当判断为识别结果的偏差不适合作为人物图像时,即便基于通用识别部32c的识别结果为人物图像,也识别为该对象图像是非人物图像。
在本实施例中,由第1~第4复合型弱识别器的各识别结果的组合生成16道识别结果图案。而且,将16道识别结果图案中的至少1个作为正常图案来预先设定,将除此以外的识别结果图案作为异常图案来预先设定。正常图案例如包含第1~第4复合型弱识别器的所有识别结果是“人物图像”的情况。异常图案例如包含第1~第4复合型弱识别器中2个以上的识别结果是“非人物图像”的情况。
当第1~第4复合型弱识别器的各识别结果的组合属于正常图案时,图案过滤器部32e判断为构成通用识别器的多个弱识别器的各识别结果的偏差适合作为人物图像。而且,识别为所关联的对象图像是人物图像。即,不会推翻基于通用识别部32c的识别结果。另一方面,当第1~第4复合型弱识别器的各识别结果的组合属于异常图案时,判断为构成通用识别器的多个弱识别器的各识别结果的偏差不适合作为人物图像。而且,即便基于通用识别部32c的识别结果为人物图像,也识别为所关联的对象图像是非人物图像。
属于4个复合型弱识别器中的1个的弱识别器也可以属于4个复合型弱识别器中的另一个或多个复合型弱识别器。例如,如图16C所示,被双点划线包围的区块SC1的一部分可以与被单点划线包围的区块SC2的一部分重复,区块SC1的其他部分可以与被虚线包围的区块SC3的一部分重复。并且,被实线包围的区块SC4的一部分可以与区块SC2的一部分重复,区块SC4的其他部分可以与区块SC3的一部分重复。并且,各区块可以彼此分开配置。例如,在2个区块之间可以存在不属于任何区块的弱识别器。
并且,复合型弱识别器的数量可以是1个、2个及3个中的任一方式,也可以是5个以上。
并且,在上述例子中,当判断为构成通用识别器的多个弱识别器的各识别结果的偏差不适合作为人物图像时,即便基于通用识别器的识别结果为人物图像,图案过滤器部32e也识别为对象图像是非人物图像。但是,当判断为构成特殊识别器的多个弱识别器的各识别结果的偏差不适合作为人物图像时,即便基于特殊识别器的识别结果为人物图像,图案过滤器部32e也可以识别为对象图像是非人物图像。
并且,当因多个弱识别器的各识别结果的偏差不适合作为人物图像而识别为对象图像是非人物图像时,图案过滤器部32e可以通过输出装置50向操作人员通知该情况。
调整部32f为对识别部32的特性进行调整的功能要件。在本实施例中,调整部32f根据经由输入装置41输入的操作人员的命令变更与通用识别部32c及特殊识别部32d中的至少一个相关的调整参数。调整参数为用于调整识别部32的特性的参数,包含与构成识别部32的多个识别器的各特性相关的信息。在本实施例中,调整参数为用于调整误报的发生趋势的参数,例如为识别边界值。
调整部32f例如通过变更识别边界值,改变基于通用识别部32c及特殊识别部32d中的至少一个的识别的真阳性率及假阳性率中的至少一个。具体而言,调整部32f根据操作人员的命令从人物识别能力大致相等的预先登录的多个特性设定(预设数据)中选择1个特性设定。人物识别能力大致相等的多个特性设定例如为图15A~图15C所示的识别部32的3个不同的特性设定。调整部32f例如根据操作人员通过触控面板等的输入,将如图15B所示那样的当前的特性设定切换为如图15A所示那样的特性设定。但是,调整部32f可以直接变更识别边界值来代替从预先登录的多个特性设定中选择1个特性设定。
多个特性设定例如分别与1个或多个使用环境建立了对应关联。例如,作为挖土机的使用环境的废料场与图15A所示的特性设定建立对应关联,作为挖土机的使用环境的道路施工现场与图15C所示的特性设定建立对应关联。各特性设定由与通用识别部32c相关的调整参数值和与特殊识别部32d相关的调整参数值的组合(以下,设为“调整参数组”。)构成。因此,从多个特性设定中选择1个特性设定表示从多个调整参数组中选择1个调整参数组。调整参数组的选择可以用任何方法来进行。调整部32f例如可以通过使操作人员在画面上选择废料场、道路施工现场及疏浚施工现场等的挖土机的使用环境类型,从多个调整参数组中选出1个调整参数组。
并且,当察觉到误报的发生时,操作人员可以使用输入装置41向识别部32通知误报发生的情况及成为误报原因的对象图像。在该情况下,调整部32f可以根据所通知的内容从预先登录的多个特性设定中自动选择更适当的特性设定。更适当的特性设定例如为关于该对象图像难以产生误报的特性设定。
通过该结构,调整部32f例如通过将图15A的特性设定切换为图15B的特性设定,能够维持人物识别能力的同时减少基于通用识别部32c的误报(使背景整体紊乱的误报)。该切换表示降低基于通用识别部32c的识别的假阳性率且增大基于特殊识别部32d的识别的真阳性率。其结果,能够减缓导致映出废料场等特定使用环境的摄像图像整体上都产生误报这一状况。
并且,调整部32f例如通过将图15C的特性设定切换为图15B的特性设定,能够维持人物识别能力的同时减少基于特殊识别部32d的误报(集中在特定部位的误报)。该切换表示降低基于特殊识别部32d的识别的假阳性率且增大基于通用识别部32c的识别的真阳性率。其结果,能够减缓导致将特定的牌匾等图像识别为重复人物图像这一状况。
并且,调整部32f无需按每一使用环境使用不同的学习样本并重新生成识别器这一复杂的作业,而能够简单且迅速地调整由识别部32引起的误报的发生趋势。其结果,能够灵活地应对按每一使用环境产生不同的误报的趋势。
并且,在上述例子中,调整部32f作为调整参数采用识别边界值,但也可以采用其他值。例如,可以采用根据提取部31及跟踪部33等的特性而值发生变化的另一调整参数。或者,也可以将与对象图像的灰度化相关的值用作调整参数。
并且,调整部32f可以根据挖土机的使用环境切换识别器的连接方法。例如,调整部32f可以变更基于级联连接的通用识别器及第1~第4特殊识别器各自的识别顺序。识别顺序等与连接方法相关信息包含于特性设定。如此,调整部32f能够从预先登录的多个特性设定中选择1个特性设定而生成级联式识别器且进行调整。
并且,当判断为通过调整参数组的切换也无法改变由识别部32而引起的误报的发生趋势时,调整部32f可以向操作人员通知其情况。这是为了向操作人员传达基于新模拟图像的机器学习的必要性。
通过以上结构,搭载于在各种使用环境下使用的挖土机的周边监视系统100通过使用适合使用环境的调整参数组能够调整人物识别能力的特性。其结果,周边监视系统100能够抑制特定的使用环境下产生的特定的误报。
接着,参考图17对基于识别部32的识别处理的流程进行说明。图17是表示识别处理的流程的流程图,识别部32每次获取对象图像时重复执行该识别处理。
首先,识别部32的亮度过滤器部32a判定对象图像的亮度的偏差是否小(步骤ST11)。在本实施例中,当对象图像的各像素的亮度的直方图的柱条值均小于规定值时,亮度过滤器部32a判定为对象图像的亮度的偏差小。
当判定为对象图像的亮度的偏差小时(步骤ST11的“是”),识别部32的图像特征量计算部32b计算出对象图像的图像特征量(步骤ST12)。在本实施例中,图像特征量计算部32b将纵64像素×横32像素的对象图像分割为纵4像素×横4像素的128个HOG块,并且按每一HOG块计算出作为图像特征量(HOG特征量)的亮度梯度直方图。而且,识别部32的通用识别部32c及特殊识别部32d分别根据图像特征量计算部32b计算出的HOG特征量识别对象图像是人物图像还是非人物图像。
然后,识别部32的图案过滤器部32e判定通用识别部32c是否将对象图像识别为人物图像(步骤ST13)。
而且,当判定为基于通用识别部32c的识别结果为人物图像时(步骤ST13的“是”),图案过滤器部32e判定构成通用识别部32c的多个复合型弱识别器的各识别结果的组合即识别结果图案是否适合(步骤ST14)。
而且,当判定为识别结果图案适合时(步骤ST14的“是”),识别部32将对象图像作为人物图像来识别(步骤ST15)。
另一方面,当判定为对象图像的亮度的偏差大时(步骤ST11的“否”),或者判定为基于通用识别部32c的识别结果为非人物图像时(步骤ST13的“否”),或者判定为识别结果图案不适合时(步骤ST14的“否”),识别部32将对象图像作为非人物图像来识别(步骤ST16)。
如此,周边监视系统100与基于识别器的识别另行地根据亮度的偏差、构成通用识别器的多个弱识别器的各识别结果的偏差等图像特征的偏差辅助识别是否为人物图像。因此,能够抑制导致特定的背景图像等被识别为人物图像而提高人物识别能力。
接着,参考图18对基于识别部32的识别处理的流程进行说明。图18是表示识别处理的另一例的流程的流程图,识别部32在每次获取对象图像时重复执行该识别处理。图18的识别处理在具有步骤ST13A这一方面上与图17的识别处理不同,但在其他方面上相同。因此,省略相同部分的说明,而对不同部分进行详细说明。
当判定为基于通用识别部32c的识别结果为人物图像时(步骤ST13的“是”),识别部32判定通用识别部32c作为识别结果而输出的人物度是否为规定值以下(步骤ST13A)。该规定值例如为远大于识别边界值的值。
而且,当判定人物度为规定值以下时(步骤ST13A的“是”),识别部32的图案过滤器部32e判定构成通用识别部32c的多个复合型弱识别器的各识别结果的组合即识别结果图案是否适合(步骤ST14)。之后的处理与图17的识别处理相同。
另一方面,当判定为人物度大于规定值时(步骤ST13A的“否”),识别部32并不判定识别结果图案是否适合,而将对象图像作为人物图像来识别(步骤ST15)。
如此,在图18的识别处理中,当通过通用识别部32c判定为对象图像确实是人物图像时,省略基于图案过滤器部32e的辅助识别。
其结果,图18的识别处理能够实现与基于图17的识别处理的效果相同的效果的同时减少处理负荷。
在此,再次参考图2对控制器30的其他功能要件继续进行说明。
跟踪部33为跟踪识别部32每隔规定时间输出的识别结果而输出最终的人物检测结果的功能要件。在本实施例中,当连续的规定次数份的与同一人相关的识别结果满足规定条件时,跟踪部33判定为所对应的人物候选图像为人物图像。即,判定为在所对应的三维位置(实际位置)上存在人。根据其实际位置判定是否为同一人。具体而言,跟踪部33在基于识别部32的第1次识别处理中根据识别为人物图像的图像中所映现的人的实际位置(参考点PrI)导出该人在规定时间内能够到达的范围。根据挖土机的最大转速、挖土机的最大行驶速度及人的最大移动速度等设定能够到达的范围。而且,只要在第2次识别处理中识别为人物图像的图像中所映现的人的实际位置(参考点PrII)在该范围内,则判定为同一人。关于第3次以后的识别处理也相同。而且,跟踪部33例如在连续的6次识别结果中4次识别为同一人的人物图像的情况下,判定为在所对应的三维位置上存在人。并且,即使在第1次识别处理中识别为人物图像的情况下,当之后连续的3次识别处理中没有识别出同一人的人物图像时,也判定为在所对应的三维位置上不存在人。
如此,提取部31、识别部32及跟踪部33的组合构成根据摄像装置40的摄像图像检测在挖土机的周边是否存在人的人物检测部34。
通过该结构,人物检测部34能够抑制误报(尽管不存在人但判定为存在人的情况)、漏报(尽管存在人但判定为不存在人的情况)等的发生。
并且,人物检测部34根据识别为人物图像的图像中所映现的人的实际位置的变化,能够判断出人物是接近挖土机还是远离挖土机。而且,人物检测部34可以在该人的实际位置离挖土机的距离小于规定值时向控制部35输出控制命令来输出警报。在该情况下,人物检测部34可以根据挖土机的动作信息(例如转速、回转方向、行驶速度、行驶方向等)调整规定值。
并且,人物检测部34可以判别至少2个阶段的人物检测状态及人物不检测状态来进行辨识。例如,可以是如下方式,即,将满足与距离相关的条件及与可靠性相关的条件中的至少一个的状态判断为第1人物检测状态(警戒状态),将满足两者的状态判断为第2人物检测状态(警报状态)。与距离相关的条件例如包含识别为人物图像的图像中所映现的人的实际位置离挖土机的距离小于规定值。与可靠性相关的条件例如包含连续的6次识别结果中4次识别为同一人的人物图像。在第1人物检测状态(警戒状态)下,输出虽然准确度低但响应快的作为预备性警报的第1警报。第1警报例如为小音量的提示音,当均不满足2个条件时自动停止。在第2人物检测状态(警报状态)下,输出虽然准确度高但响应慢的作为正式警报的第2警报。第2警报例如为大音量的旋律音,即便不满足至少一个条件也不会自动停止,而其停止需要操作人员的操作。
控制部35为控制各种装置的功能要件。在本实施例中,控制部35根据经由输入装置41的操作人员的输入而控制各种装置。例如,根据通过触控面板输入的图像切换命令而切换显示于车载显示器的画面上的显示图像。显示图像包含后方摄像机40B的实时取景图像、右侧方摄像机40R的实时取景图像、左侧方摄像机40L的实时取景图像及视点变换图像等。视点变换图像例如为由多个摄像机的摄像图像合成的鸟瞰图像(从位于挖土机正上方的虚拟视点观察的图像)。
并且,控制部35根据构成人物检测部34的跟踪部33的最终的人物检测结果控制各种装置。例如,根据跟踪部33的最终的人物检测结果向机械控制装置51输出控制命令而在第1状态与第2状态之间切换挖土机的状态。第1状态包含挖土机的动作限制被解除的状态及警报的输出已停止的状态等。第2状态包含限制或停止了挖土机的动作的状态及正在输出警报的状态等。在本实施例中,当根据跟踪部33的最终的人物检测结果判定为在挖土机周边的规定范围内存在人时,控制部35向机械控制装置51输出控制命令而将挖土机的状态从第1状态切换为第2状态。例如,停止挖土机的动作。在该情况下,基于操作人员的操作设成无效。基于操作人员的操作的无效化例如通过将操作装置设为不反应的状态来实现。具体而言,通过向门锁阀输出控制命令而从液压系统断开操作装置来强制形成无操作状态以停止挖土机的动作。或者,可以向引擎控制装置输出控制命令来停止引擎。或者,也可以通过向控制流入于液压致动器的工作油的流量的控制阀输出控制命令而改变控制阀的开口面积及开口面积变化速度等来限制液压致动器的动作。在该情况下,最大转速、最大行驶速度等降低。并且,也可以通过关闭控制阀来停止液压致动器的动作。
并且,当在将挖土机的状态设为第2状态之后满足规定的解除条件时,控制部35将挖土机的状态恢复为第1状态。即,当在限制或停止了挖土机的动作之后满足规定的解除条件时,解除该限制或停止。规定的解除条件例如包含“判定为在挖土机周边的规定范围内不存在人”(以下,设为“第1解除条件”。)。并且,规定的解除条件例如追加包含“确保了挖土机不移动的状态”(以下,设为“第2解除条件”。)。并且,规定的解除条件可以包含“通过操作人员确认了在挖土机周边没有人”(以下,设为“第3解除条件”。)。另外,在本实施例中,利用标记来管理挖土机的动作是否被限制或停止以及是否分别满足第1解除条件、第2解除条件及第3解除条件。
第1解除条件例如包含“控制部35根据构成人物检测部34的跟踪部33的最终的人物检测结果判定为在挖土机周边的规定范围内不存在人”。
第2解除条件例如包含“所有操作装置经规定时间以上成为中立位置”、“门锁杆已下落(操作装置成为无效)”、“操作人员的手脚已从所有操作装置离开”及“已进行规定的按钮操作”等。“所有操作装置成为中立位置”例如由控制部35根据来自各操作装置的命令的有无及检测各操作装置的操作量的传感器的输出值等进行检测。“经规定时间以上”这一条件具有防止导致只瞬间性地成为中立位置就满足第2解除条件的效果。“操作人员的手脚已从操作装置已离开”例如由控制部35根据拍摄驾驶室内的摄像机的摄像图像及安装于操作装置(例如操作杆的把手)的静电传感器的输出等进行检测。“已进行规定的按钮操作”例如当在车载显示器的画面上显示有“是否确保了挖土机不移动的状态?”这一信息的状态下按下了确认按钮(例如喇叭按钮或在相同画面上显示的软件按钮)时由控制部35进行检测。例如,当已进行对驾驶座上的手柄、按钮及面板等的操作输入这一基于操作人员的解除操作时,控制部35可以判断为“确保了挖土机不移动的状态”。
例如,当在车载显示器的画面上显示有“是否确认了在挖土机周边没有人?”这一信息的状态下按下了确认按钮时,满足第3解除条件。另外,可以省略第3解除条件。
当在规定的解除条件中包含第3解除条件时,若满足第1解除条件及第2解除条件,则挖土机成为能够解除限制的状态。能够解除限制的状态表示只要操作人员确认到在挖土机周边没有人便能够解除限制的状态。
关于分别满足第1解除条件、第2解除条件及第3解除条件的顺序并无限制。例如,即使在判定为以第3解除条件、第2解除条件及第1解除条件的顺序满足条件的情况下,控制部35也会解除挖土机的动作的限制或停止。
并且,控制部35可以在满足规定的解除条件之后经过了规定的等待时间时解除该限制或停止。以免突然的解除给操作人员带来慌乱。
并且,当限制或停止了挖土机的动作时,控制部35可以向作为输出装置50的车载显示器输出控制命令,显示包含成为该原因的人物图像的摄像图像。例如,当仅在左侧方摄像机40L的摄像图像中包含人物图像时,可以单独显示左侧方摄像机40L的实时取景图像。或者,当在左侧方摄像机40L的摄像图像及后方摄像机40B的摄像图像中分别包含人物图像时,可以同时排列显示2个摄像机的各实时取景图像,也可以显示包含2个摄像机的摄像图像的1个合成图像(例如视点变换图像)。并且,也可以显示表示限制中或停止中的图像及解除方法的指南等。并且,也可以强调显示与识别为人物图像的人物候选图像对应的图像部分。例如,也可以以规定颜色显示对象图像区域TRg的轮廓线。并且,当设定了满足规定的解除条件之后的等待时间时,可以向操作人员通知满足规定的解除条件时存在等待时间。例如,在显示存在等待时间的情况的基础上,还可以显示等待时间的倒计时。并且,当等待时间中输出了警报时,可以随着等待时间的经过而逐渐降低该警报音量。
并且,当限制或停止了挖土机的动作时,控制部35可以向作为输出装置50的车载扬声器输出控制命令,在成为该原因的人存在的一侧输出警报。在该情况下,车载扬声器例如由设置于驾驶室内的右壁的右侧方扬声器、设置于左壁的左侧方扬声器及设置于后壁的后方扬声器构成。而且,当仅在左侧方摄像机40L的摄像图像中包含人物图像时,控制部35仅从左侧方扬声器输出警报。或者,控制部35可以使用包含多个扬声器的环绕系统而对声音进行定位。
并且,当人物检测部34将人物候选图像识别为人物图像时,控制部35可以不进行限制或停止挖土机的动作而仅输出警报。在该情况下,如上所述,控制部35也可以将满足与距离相关的条件及与可靠性相关的条件中的至少一个的状态判断为第1人物检测状态(警戒状态),将满足两者的状态判断为第2人物检测状态(警报状态)。而且,与限制或停止挖土机的动作的情况相同地,当满足规定的解除条件时,控制部35可以停止第2人物检测状态(警报状态)下的警报。这是因为与能够自动停止的第1人物检测状态(警戒状态)下的警报不同,第2人物检测状态(警报状态)下的警报的停止需要操作人员的操作。
接着,参考图19对控制器30的控制部35对挖土机的周边进行监视的处理(以下,设为“周边监视处理”。)的一例进行说明。图19是表示周边监视处理的一例的流程的流程图,控制器30以规定的控制周期重复执行该周边监视处理。
首先,控制部35判定在挖土机周边是否存在人(步骤ST21)。在本实施例中,控制部35根据跟踪部33的最终的人物检测结果判定在挖土机周边是否存在人。
然后,当判定为在挖土机周边存在人时(步骤ST21的“是”),控制部35限制或停止挖土机的动作(步骤ST22)。在本实施例中,控制部35例如当判定为当前的人物检测状态为第2人物检测状态(警报状态)时判定为在挖土机周边存在人而停止挖土机的动作。
此时,控制部35向作为输出装置50的车载扬声器输出控制命令而输出第2警报。并且,向作为输出装置50的车载显示器输出控制命令而显示包含成为限制或停止的原因的人物图像的摄像图像。
当判定为在挖土机周边不存在人时(步骤ST21的“否”),控制部35判定是否已限制或停止挖土机的动作(步骤S13)。在本实施例中,控制部35参考所对应的标记的值而判定是否已限制或停止挖土机的动作。
当判定为已限制或停止挖土机的动作时(步骤ST23的“是”),控制部35执行用于解除该限制或停止的处理(以下,设为“限制解除处理”。)(步骤ST24)。
当判定为未限制或停止挖土机的动作时(步骤ST23的“否”),控制部35不执行限制解除处理而结束这次挖土机周边监视处理。
接着,参考图20对控制器30的控制部35解除挖土机的动作的限制或停止的处理进行说明。图20是表示限制解除处理的一例的流程的流程图。
首先,控制部35判定是否满足第1解除条件(步骤ST31)。在本实施例中,控制部35判定在挖土机周边的规定范围内是否存在人。具体而言,判定当前的人物检测状态是否脱离了第2人物检测状态(警报状态)。也可以判定是否脱离了第1人物检测状态(警戒状态)及第2人物检测状态(警报状态)。
当判定为满足第1解除条件时(步骤ST31的“是”),控制部35判定是否满足第2解除条件(步骤ST32)。在本实施例中,控制部35判定是否确保了挖土机不移动的状态。具体而言,判定门锁杆是否已下落(操作装置是否成为无效)。
当判定为满足第2解除条件时(步骤ST32的“是”),控制部35判定是否满足第3解除条件(步骤ST33)。在本实施例中,控制部35判定由操作人员是否确认了在挖土机周边没有人。具体而言,判定在车载显示器的画面上显示有“是否确认了在挖土机周边没有人?”这一信息的状态下是否按下了确认按钮。
当判定为满足第3解除条件时(步骤ST33的“是”),控制部35解除挖土机的动作的限制或停止(步骤ST34)。
此时,控制部35向作为输出装置50的车载扬声器输出控制命令而停止第2警报的输出。并且,向作为输出装置50的车载显示器输出控制命令而停止包含成为限制或停止的原因的人物图像的摄像图像的显示。例如,再次显示在输出第2警报之前所显示的实时取景图像。并且,控制部35也可以显示传达挖土机的动作的限制或停止已解除的信息。
另外,当判定为不满足第1解除条件时(步骤ST31的“否”)、判定为不满足第2解除条件时(步骤ST32的“否”),或者判定为不满足第3解除条件时(步骤ST33的“否”),控制部35不解除挖土机的动作的限制或停止而结束这次限制解除处理。
通过以上结构,当判定为在挖土机周边存在人时,控制器30能够限制或停止挖土机的动作。
并且,当在限制或停止挖土机的动作之后判定为在挖土机周边不存在人时,控制器30只在判定为确保了挖土机不移动的状态时,能够解除该限制或停止。并且,控制器30只在判定为确保了挖土机不移动的状态且判定为由操作人员确认到在挖土机周边没有人时,能够解除该限制或停止。因此,控制器30能够防止导致解除了该限制或停止时无意间挖土机移动。
接着,参考图21A~图21C对周边监视处理的执行中显示于车载显示器的输出图像的一例进行说明。图21A~图21C为根据后方摄像机40B的摄像图像生成的输出图像的例子。图21A表示在挖土机周边的规定范围内没有人时的输出图像的例子,图21B表示第1人物检测状态下的输出图像的例子,图21C表示第2人物检测状态下的输出图像的例子。
具体而言,图21A~图21C的输出图像包含摄像机图像部分G1及指示器部分G2。摄像机图像部分G1为显示根据1个或多个摄像机的摄像图像生成的图像的部分。指示器部分G2为显示挖土机周边的多个区域的各人物检测状态/人物不检测状态的部分。在摄像机图像部分G1中,重叠显示于摄像机图像上的线段L1表示自挖土机的距离为规定的第1距离(例如5米)。并且,重叠显示于摄像机图像上的线段L2表示自挖土机的距离为规定的第2距离(例如2.5米)。在指示器部分G2中,描绘于挖土机图标CG1周围的部分圆的外周线L1g表示自挖土机的距离为规定的第1距离(例如5米),且与摄像机图像部分G1的线段L1对应。并且,描绘于挖土机图标CG1周围的部分矩形的外周线L2g表示自挖土机的距离为规定的第2距离(例如2.5米),且与摄像机图像部分G1的线段L2对应。
部分圆分割为6个区域A1~A6,部分矩形分割为3个区域B1~B3。
在图21A所示的状态下,控制器30检测挖土机的右后方存在的人。然而,由于该人的实际位置为第1距离以远,因此控制器30并不强调显示该人物图像,也不输出第1警报。但是,控制器30可以以白色框来显示所对应的对象图像区域TRg的轮廓线等来强调显示该人物图像,也可以输出第1警报。并且,无论是否已对人物进行检测,仍可以显示“周边监视处理执行中”等信息。这是为了使操作人员能够辨识正在执行周边监视处理。
在图21B所示的第1人物检测状态下,控制器30检测在挖土机的右后方的第1距离以内且第2距离以远存在的人。因此,控制器30强调显示该人物图像且输出第1警报。具体而言,控制器30在摄像机图像部分G1中以黄色框F1来显示对应的对象图像区域TRg的轮廓线。并且,在指示器部分G2中,以黄色来显示与该人的实际位置对应的区域A4。但是,可以省略黄色框的显示。并且,也可以显示传达是第1人物检测状态(警戒状态)的信息。
在图21C所示的第2人物检测状态下,控制器30检测挖土机的右后方的第2距离以内存在的人。因此,控制器30强调显示该人物图像且输出第2警报。具体而言,控制器30在摄像机图像部分G1中以红色框F2来显示对应的对象图像区域TRg的轮廓线。并且,在指示器部分G2中,以红色来显示与该人的实际位置对应的区域B2。并且,控制器30在限制了挖土机动作的基础上,闪烁显示传达是第2人物检测状态(警报状态)的信息即“挖土机动作限制中”。但是,可以省略传达是第2人物检测状态(警报状态)的信息的显示。
并且,在图21A~图21C中,在画面的左侧显示摄像机图像部分G1,在画面的右侧显示指示器部分G2,但可以在画面的右侧显示摄像机图像部分G1,在画面的左侧显示指示器部分G2。并且,也可以在分割为上下的画面的一侧显示摄像机图像部分G1,在另一侧显示指示器部分G2。并且,可以省略指示器部分G2的显示。
并且,区域A1~A6的各扩展角度为45度,区域B1~B3的各扩展角度为90度。该扩展角度的差异根据第1人物检测状态(警戒状态)和第2人物检测状态(警报状态)的性质的差异。具体而言,第1人物检测状态(警戒状态)为输出虽然准确度低但响应快的预备性警报的状态,离挖土机较远处的较广的空间范围成为监视范围。因此,若加大区域A1~A6的扩展角度,则与各区域对应的监视范围与其显示范围一同变大,从而导致难以分辨成为第1警报的原因的人的实际位置。这是因为变得不管在广监视范围的哪一位置均会显示相同的显示结果。另一方面,第2人物检测状态(警报状态)为输出虽然准确度高但响应慢的正式警报的状态,离挖土机较近处的较窄的空间范围成为监视范围。因此,若减小区域B1~B3的扩展角度,则与各区域对应的监视范围与其显示范围一同变小,从而难以分辨成为第2警报的原因的人处于哪一方向。这是因为显示范围小而变得不易看见。因此,如图21A~图21C所示,优选将区域A1~A6的各扩展角度设定为小于区域B1~B3的各扩展角度。
并且,在图21A~图21C中,对显示有后方摄像机40B的实时取景图像时在后方摄像机40B的摄像图像中检测到人物图像的情况进行说明。然而,上述说明也同样适用于显示有后方摄像机40B的实时取景图像时在左侧方摄像机40L及右侧方摄像机40R中的至少一个的摄像图像中检测到人物图像的情况。在该情况下,显示于摄像机图像部分G1的输出图像可以从后方摄像机40B的实时取景图像自动切换为其他摄像机的实时取景图像或由多个摄像机的摄像图像合成的视点变换图像。例如,在显示有后方摄像机40B的实时取景图像时在左侧方摄像机40L的摄像图像中检测到人物图像的情况下,控制器30可以将显示于摄像机图像部分G1的输出图像切换为左侧方摄像机40L的实时取景图像。
如此,控制器30将包含使用安装于挖土机的后方摄像机40B的摄像图像而生成的摄像机图像部分G1及挖土机图标CG1的输出图像显示于车载显示器。而且,在挖土机图标CG1周边存在的图像部分(区域A1~A6及区域B1~B3)中,强调与人物检测部34检测到的人的存在方向对应的一侧的图像部分(图21B的区域A4、图21C的区域B2)。因此,控制器30能够以操作人员能够从其他图像部分区别的方式显示与人物检测部34检测到的人对应的输出图像上的图像部分。具体而言,能够以操作人员能够区别的方式显示人物是否存在、是近还是远、从挖土机观察在哪一方向上存在人等。
接着,参考图22对检测状态与框及区域的显示颜色之间的关系进行说明。图22是表示检测状态与框及区域的显示颜色之间的对应关系的对应表。
对应表的第1行表示,当检测状态既不是第1人物检测状态(警戒状态)也不是第2人物检测状态(警报状态)时,不显示对象图像区域的轮廓线,也不对指示器部分G2的任何区域进行着色。
第2行表示,当检测状态为警戒状态时,与成为导致警戒状态的原因的人物图像对应的对象图像区域的轮廓线显示为黄色框,且区域A1~A6的某个显示为黄色。
第3行目表示,当检测状态为警报状态时,与成为导致警报状态的原因的人物图像对应的对象图像区域的轮廓线显示为红色框,且区域B1~B3的某个显示为红色。
第4行表示,当检测状态为警戒状态且为警报状态时,与成为导致警戒状态的原因的图像对应的轮廓线显示为黄色框,且与成为导致警报状态的原因的人物图像对应的轮廓线显示为红色框。并且表示,区域A1~A6中与成为导致警戒状态的原因的人物图像对应的区域显示为黄色,区域B1~B3中与成为导致警报状态的原因的人物图像对应的区域显示为红色。
通过以上结构,当判定为在挖土机周边存在人时,控制器30输出警报且强调显示该人物图像部分。因此,操作人员能够在画面上确认成为警报的原因的人。并且,操作人员即使在发生误报的情况下也能够在画面上确认成为该误报的原因的物体是什么物体。
并且,当成为第1人物检测状态(警戒状态)时,控制器30起初在摄像机图像部分G1显示作为人物检测标记的框图像,且改变指示器部分G2的对应区域的颜色。因此,能够防止导致连与虽然识别为人物图像但其可靠性尚低的人物候选图像对应的框图像也显示且导致显示图像的复杂化。另外,在上述实施例中,作为人物检测标记显示框图像,但也可以将反转显示图像等其他强调图像用作人物检测标记。
并且,能够区别地强调显示成为导致第1人物检测状态(警戒状态)的原因的人物图像和成为导致第2人物检测状态(警报状态)的原因的人物图像。并且,使摄像机图像部分G1中的框图像的颜色与指示器部分G2中的区域的颜色对应。因此,操作人员能够在画面上确认成为第2警报的原因的人。并且,在上述实施例中,控制器30根据检测状态使摄像机图像部分G1中的框图像的颜色及指示器部分G2中的区域的颜色不同。但是,控制器30也可以根据检测状态使闪烁/点亮状态、透射率等除颜色以外的属性不同。
接着,参考图23对周边监视处理的执行中显示于车载显示器的输出图像的另一例进行说明。图23是根据后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R的各摄像图像生成的作为输出图像的视点变换图像的例子。在本实施例中,视点变换图像为操作人员监视挖土机周边时所利用的图像(以下,设为“周边监视图像”。)。周边监视图像例如为组合了从正上方观察挖土机周边时的路面图像与配置于该路面图像周围的从水平方向观察挖土机周边时的水平图像的图像。图23表示第1人物检测状态和第2人物检测状态并存时的输出图像的例子。图23的输出图像包含与图21A~图21C的摄像机图像部分G1对应的视点变换图像部分G3。与图21A~图21C的指示器部分G2对应的部分合并于视点变换图像部分G3。具体而言,图21A~图21C的挖土机图标CG1与图23的挖土机图标CG2对应,图21A~图21C的区域A1~A6与图23的区域C1~C6对应。并且,图21A~图21C的区域B1与图23的区域C1及C2的组合对应,图21A~图21C的区域B2与图23的区域C3及C4的组合对应,图21A~图21C的区域B3与图23的区域C5及C6的组合对应。重叠显示于视点变换图像上的线段L3表示自挖土机的距离为规定的第3距离(例如2.5米)。
在图23所示的检测状态下,控制器30检测在挖土机的左侧方的第1距离(例如5米)以内且第3距离以远存在的人(成为导致第1人物检测状态的原因的人)。并且,检测在挖土机的后方的第3距离以内存在的人(成为导致第2人物检测状态的原因的人)。因此,控制器30强调显示这些人物图像,输出第2警报,且限制挖土机的动作。具体而言,控制器30在与成为导致第1人物检测状态的原因的人对应的参考点Pr的位置上显示作为人物检测标记的黄色圆MA1,且以黄色显示与该位置对应的区域C2。并且,在与成为导致第2人物检测状态的原因的人对应的参考点Pr的位置上显示作为人物检测标记的红色圆MA2,且以红色显示与该位置对应的区域C3及C4的组合。并且,控制器30可以在限制了挖土机动作的基础上,闪烁显示传达是第2人物检测状态(警报状态)的信息即“挖土机动作限制中”。并且,可以省略黄色圆MA1的显示。这是为了便于观察画面。
如此,控制器30将包含使用安装于挖土机的后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R的各摄像图像而生成的视点变换图像部分G3和挖土机图标CG2的输出图像显示于车载显示器。而且,在挖土机图标CG2周边存在的图像部分(区域C1~C6)中,强调与人物检测部34检测到的人的存在方向对应的一侧的图像部分(图23的区域C2及区域C4)。因此,控制器30能够以操作人员能够从其他图像部分区别的方式显示与人物检测部34检测到的人对应的输出图像上的图像部分。具体而言,能够以操作人员能够区别的方式显示人物是否存在、是近还是远、从挖土机观察在哪一方向上存在人等。
接着,参考图24对周边监视处理的执行中显示于车载显示器的输出图像的又一例进行说明。图24是包含根据后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R的各摄像图像生成的视点变换图像的输出图像的例子。与图23的情况相同地,图24表示第1人物检测状态和第2人物检测状态并存时的输出图像的例子。图24的输出图像包含指示器部分G2及视点变换图像部分G3。描绘在挖土机图标CG1周围的部分矩形的外周线L2g表示自挖土机的距离为规定的第3距离(例如2.5米),且与视点变换图像部分G3的线段L3对应。
在图24所示的检测状态下,控制器30检测在挖土机的左侧方的第1距离(例如5米)以内且第3距离以远存在的人(成为导致第1人物检测状态的原因的人)。并且,检测在挖土机的后方的第3距离以内存在的人(成为导致第2人物检测状态的原因的人)。因此,控制器30强调显示这些人物图像,输出第2警报,且限制挖土机的动作。具体而言,控制器30在与成为导致第1人物检测状态的原因的人对应的参考点Pr的位置上显示作为人物检测标记的黄色圆MA1,且以黄色显示与该位置对应的指示器部分G2的区域A2。并且,在与成为导致第2人物检测状态的原因的人对应的参考点Pr的位置上显示作为人物检测标记的红色圆MA2,且以红色显示与该位置对应的指示器部分G2的区域B2。并且,控制器30在限制了挖土机动作的基础上,闪烁显示传达是第2人物检测状态(警报状态)的信息即“挖土机动作限制中”。另外,可以省略黄色圆MA1的显示。这是为了便于观察画面。
通过以上结构,控制器30能够实现与显示了图21A~图21C的输出图像的情况相同的效果。
如此,当判定为在挖土机周边存在人时,控制器30限制或停止挖土机的动作且显示该人物图像。而且,当在限制或停止挖土机的动作之后判定为在挖土机周边不存在人时,只在判定为确保了挖土机不移动的状态时,判定为能够解除该限制或停止。而且,实际上经过了规定的等待时间时解除该限制或停止。因此,能够更适当地解除根据人物的检测而执行的挖土机的动作限制。
并且,当限制或停止了挖土机的动作时,控制器30能够从成为该原因的人存在的一侧向操作人员输出警报。因此,在操作人员观察车载显示器的画面之前,能够使操作人员辨识人物存在的方向。操作人员通过根据警报传过来的方向听觉辨识人物存在的方向之后观察车载显示器的画面,能够视觉确认在所辨识的方向上存在人。如此,控制器30通过警报与显示的协作来向操作人员通知人物存在的方向,因此能够使操作人员在短时间内辨识挖土机周边的状况。
这是因为当在辨识到通过警报检测到人的情况下仍不知道该人的存在方向时,操作人员需要首先观察画面整体而找出该人存在于哪一方向上。另一方面,这是因为当在观察画面之前已知该人的存在方向时,操作人员只观察画面的一部分(与其存在方向对应的部分)便能够视觉确认该人的存在。
接着,参考图25A~图25E对周边监视处理的执行中显示于车载显示器的输出图像的又一例进行说明。图25A~图25E分别为包含根据多个摄像图像生成的作为视点变换图像的周边监视图像的输出图像的例子。描绘在挖土机图标CG2周围的线段L3表示自挖土机的距离为规定的第3距离(例如2.5米)。
在本实施例中,周边监视图像为在将后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R的各摄像图像投影在空间模型上的基础上,将投影在该空间模型上的投影图像再次投影在另一二维平面上而获得的图像。“空间模型”为虚拟空间上的摄像图像的投影对象,由包含除周边监视图像所处的平面以外的平面或曲面的一个或多个平面或曲面构成。
控制部35向作为输出装置50的显示装置输出控制命令,且相对放大显示显示于显示装置的画面上的周边监视图像的一部分。在本实施例中,控制部35局部放大显示显示于显示装置的画面上的周边监视图像的特定的图像部分。例如,控制部35生成并显示从不同的虚拟视点观察虚拟空间上的周边监视图像时的图像,来局部放大显示周边监视图像中的特定的图像部分。特定的图像部分例如为挖土机的操作人员须关注的图像部分等重要度高的图像部分,以下,也称为“关注图像部分”。在本实施例中,从挖土机观察的关注图像部分的方向为1个,且不会将2个以上的方向上存在的图像部分同时用作关注图像部分。但是,本发明并不排除将2个以上的方向上存在的图像部分同时用作关注图像部分。并且,从挖土机观察的关注图像部分的方向可以限定于图21A所示的6个区域A1~A6的方向,或者也可以限定于3个区域B1~B3的方向。并且,关注图像部分的大小及形状可以固定,也可以以动态决定。
“局部放大显示”例如表示以将周边监视图像的关注图像部分与其他图像部分维持平滑连结的状态下局部放大显示。
具体而言,控制部35通过放大镜处理、射影变换及标度变换等,以纵深方向显示周边监视图像的大致整体,并且局部放大显示周边监视图像中的关注图像部分。关注图像部分例如为与实空间上判定为人物存在的位置对应的图像部分、与下部行走体1的行进方向上存在的空间对应的图像部分及与上部回转体3的后方存在的空间对应的图像部分等。以下,将显示周边监视图像的大致整体的同时对关注图像部分进行局部放大的处理称为“局部放大处理”。“周边监视图像的大致整体”表示周边监视图像的周缘部可以从画面超出。并且,当将与判定为在实空间上存在人的位置对应的图像部分设为关注图像部分时,局部放大显示的关注图像部分中所包含的人的图像以大于规定尺寸的方式显示。例如,自挖土机在规定距离(例如12m)内的人物图像在显示装置的画面上以大于规定尺寸(例如7mm×7mm)的方式显示。自挖土机的距离例如为该人与挖土机(例如,上部回转体3的侧面或后面)之间的最短距离、从驾驶室10的中心位置至该人的距离及从挖土机的回转轴至该人的距离等。
图25A表示包含执行局部放大处理之前的周边监视图像的输出图像。图25A的输出图像表示在挖土机的后方的第3距离以内存在工作人员W1的状况。
图25B表示包含执行局部放大处理之后的周边监视图像的输出图像的一例。与图25A的情况相同地,图25B的输出图像表示在挖土机的后方的第3距离以内存在工作人员W1的状况。在该例子中,当人物检测部34检测到人时,控制部35执行局部放大处理。具体而言,控制部35将与人物检测部34检测到的人的实空间上的位置对应的图像部分用作关注图像部分。而且,在画面内旋转周边监视图像,以使该关注图像部分位于画面内的中央下部,并对该关注图像部分进行局部放大。周边监视图像的旋转例如以与挖土机的回转中心对应的周边监视图像的中心为旋转轴来执行。周边监视图像的旋转与关注图像部分的放大顺序不同。并且,可以省略周边监视图像的旋转。并且,可以缩小关注图像部分以外的图像部分。例如,可以以离关注图像部分越远的图像部分显示为越小的方式缩小。
当在挖土机周边检测到多个人时,控制部35将与离挖土机最近的人的位置对应的图像部分用作关注图像部分。或者,控制部35可以根据检测到的人与挖土机之间的距离、下部行走体1的方向及上部回转体3的方向等计算出从挖土机观察的各方向的危险度,并将与该危险度最高的方向上存在的空间对应的图像部分用作关注图像部分。
控制部35可以在因工作人员W1而导致第1人物检测状态(警戒状态)时执行局部放大处理,也可以在因工作人员W1而导致第2人物检测状态(警报状态)时执行局部放大处理。
图25C表示包含执行局部放大处理之后的周边监视图像的输出图像的另一例。图25C的输出图像表示在挖土机的左侧方的第3距离以内存在工作人员W2的状况。该例子中,与图25B的情况相同地,控制部35将与人物检测部34检测到的人的实空间上的位置对应的图像部分用作关注图像部分。而且,在画面内旋转周边监视图像,以使该关注图像部分位于画面内的中央下部,并对该关注图像部分进行局部放大。
并且,控制部35可以根据工作人员W2的移动而在画面内旋转周边监视图像,以使移动中的工作人员W2的图像始终位于画面内的中央下部。即,可以根据关注图像部分的显示位置的变化而在画面内旋转周边监视图像。这是为了相互抵消关注图像部分的显示位置的变化。
图25D表示包含执行局部放大处理之后的周边监视图像的输出图像的又一例。与图25C的情况相同地,图25D的输出图像表示在挖土机的左侧方的第3距离以内存在工作人员W2的状况。
图25D的输出图像在工作人员W2的图像周围显示有框F3这一方面上与图25C的输出图像不同,但在其他方面上相同。如此,控制部35可以显示如框F3那样的用于强调工作人员W2的实际位置的图像。这是为了使观察输出图像的操作人员更便于辨识与工作人员W2相关的信息(工作人员的存在与否、从挖土机观察的存在方向等)。
控制部35根据工作人员W2的移动而在画面内旋转周边监视图像,以使移动中的工作人员W2的图像始终位于框F3内。在该情况下,框F3的位置被固定。但是,控制部35可以在画面内不旋转周边监视图像,而根据画面内的工作人员W2的图像的移动而使框F3移动。
图25E表示包含执行局部放大处理之后的周边监视图像的输出图像的又一例。描绘在挖土机图标CG2周围的线段L4表示自挖土机的距离为规定的第4距离(例如5.0米)。图25E的输出图像表示在挖土机的左侧方的第4距离以内存在工作人员W3且在挖土机的后方的第4距离以内存在工作人员W4的状况。
该例子中,控制部35以实线来显示与图21A~图21C所示的指示器部分G2的区域A2、区域A3对应的区域A2x及区域A3x的边界。实线的颜色(黄色)表示工作人员W3及工作人员W4分别成为导致第1人物检测状态(警戒状态)的原因。并且,控制部35显示传达当前的人物检测状态的信息图像MS1。信息图像MS1示出了当前的人物检测状态成为第1人物检测状态(警戒状态)。
并且,控制部35将与在离挖土机最近处的工作人员W3的位置对应的图像部分用作关注图像部分。因此,控制部35局部放大包含工作人员W3的图像的关注图像部分且在画面内旋转周边监视图像,以使该关注图像部分位于画面内的中央下部。
并且,控制部35例如在工作人员W3进入到与图21A~图21C所示的指示器部分G2的区域B1对应的区域B1x时以实线来显示该区域B1x的轮廓。在该情况下,实线的颜色(红色)表示工作人员W3成为导致第2人物检测状态(警报状态)的原因。图25E中,为了便于说明区域B1x的位置,以虚线来表示区域B1x的边界,但实际上该虚线并未显示。
如上所述,控制部35将与人物检测部34检测到的人的实空间上的位置对应的图像部分用作关注图像部分。而且,能够通过局部放大显示该关注图像部分而使该关注图像部分醒目。因此,观察到包含执行局部放大处理之后的周边监视图像的输出图像的操作人员能够一眼辨识出与工作人员W1相关的信息(工作人员的存在与否、从挖土机观察的存在方向等)。并且,能够在画面内旋转周边监视图像,以使该关注图像部分始终位于画面内的特定部分(例如中央下部)。因此,当输出了警报等时,操作人员只观看该画面内的特定部分,便能够一眼辨识与工作人员W1相关的信息。
如此,控制器30将包含周边监视图像部分及挖土机图标CG2的输出图像显示于车载显示器,且在挖土机图标CG2周边存在的图像部分中,强调与人物检测部34检测到的人的存在方向对应的一侧的图像部分(例如,图25B中在挖土机图标CG2的后方存在的图像部分)。因此,控制器30能够以操作人员能够从其他图像部分区别的方式显示与人物检测部34检测到的人对应的输出图像上的图像部分。具体而言,能够以操作人员能够区别的方式显示人物是否存在、是近还是远及从挖土机观察在哪一方向上存在人等。
接着,参考图26A及图26B对周边监视处理的执行中显示于车载显示器的输出图像的又一例进行说明。与图25A~图25E的各图相同地,图26A及图26B分别为包含根据3个摄像图像生成的周边监视图像的输出图像的例子。
图26A及图26B均表示包含执行局部放大处理之后的周边监视图像的输出图像的一例。但是,图26A及图26B的输出图像在操作了作为操作装置的行走杆时实施局部放大处理这一方面上,与人物检测部34检测到人时实施局部放大处理的图25A~图25E的输出图像不同。并且,图26A及图26B的输出图像在将与下部行走体1的行进方向上存在的空间对应的图像部分用作关注图像部分这一方面上,与将与人物检测部34检测到的人的实空间上的位置对应的图像部分用作关注图像部分的图25A~图25E的输出图像不同。
在本实施例中,当在挖土机周边没有检测到人物时且行走杆被操作时,控制部35执行局部放大处理。并且,当根据行走杆的操作而在执行局部放大处理之后检测到人时,控制部35将与检测到的人的实空间上的位置对应的图像部分重新用作关注图像部分的基础上,执行局部放大处理。但是,当根据行走杆的操作而执行局部放大处理之后检测到人时,控制部35可以继续执行执行中的局部放大处理。相反,当根据挖土机周边的人的检测而执行局部放大处理之后进行了行走杆的操作时,控制部35可以将与下部行走体1的行进方向上存在的空间对应的图像部分重新用作关注图像部分的基础上,执行局部放大处理。并且,当根据挖土机周边的人的检测而执行局部放大处理之后进行了行走杆的操作时,控制部35可以继续执行执行中的局部放大处理。
并且,控制部35可以在挖土机周边未检测到人且未操作了行走杆时执行局部放大处理。在该情况下,控制部35例如可以将与存在于上部回转体3的后方的空间对应的图像部分用作关注图像部分。或者,也可以将与存在于下部行走体1的前方的空间对应的图像部分用作关注图像部分。
图26A表示包含根据行走杆的操作而执行局部放大处理之后的周边监视图像的输出图像的一例。图26A的输出图像表示下部行走体1相对于上部回转体3向右斜后方行进的状况。该例子中,控制部35将与下部行走体1的行进方向上存在的空间对应的图像部分用作关注图像部分。下部行走体1的行进方向例如由上部回转体3相对于下部行走体1的回转角度导出。这是因为以上部回转体3的长边方向为基准唯一地决定下部行走体1的行进方向。具体而言,下部行走体1的行进方向根据分别安装于下部行走体1及上部回转体3的一对方位传感器、安装于上部回转体3的陀螺仪等角速度传感器、安装于回转机构2的分解器及旋转编码器等旋转角度传感器等的输出而导出。
而且,控制部35在画面内旋转周边监视图像,以使关注图像部分位于画面内的中央上部,并对关注图像部分进行局部放大。周边监视图像的旋转例如以与挖土机的回转中心对应的周边监视图像的中心为旋转轴来执行。周边监视图像的旋转与关注图像部分的放大顺序不同。并且,可以省略周边监视图像的旋转。并且,可以缩小关注图像部分以外的图像部分。例如,可以以离关注图像部分越远的图像部分显示为越小的方式缩小。重叠显示于周边监视图像上的箭头AR1表示下部行走体1的行进方向。履带图像LR1为摄像装置40拍摄的下部行走体1的图像。
图26B表示包含根据行走杆的操作而执行局部放大处理之后的周边监视图像的输出图像的另一例。图26B的输出图像表示下部行走体1相对于上部回转体3向右斜后方行进的状况。该例子中,控制部35将与下部行走体1的行进方向上存在的空间对应的图像部分用作关注图像部分。而且,在将挖土机图标CG2的挖掘附件朝向画面上方的状态下,对该关注图像部分进行局部放大。可以缩小关注图像部分以外的图像部分。例如,可以以离关注图像部分越远的图像部分显示为越小的方式缩小。重叠显示于周边监视图像上的箭头AR2表示下部行走体1的行进方向。履带图像LR1为摄像装置40拍摄的下部行走体1的图像。
如上所述,控制部35将与下部行走体1的行进方向上存在的空间对应的图像部分用作关注图像部分。而且,通过局部放大显示该关注图像部分而能够使该关注图像部分醒目。因此,观察了包含执行局部放大处理之后的周边监视图像的输出图像的操作人员能够一眼辨识出与挖土机的行进方向相关的信息(障碍物的存在与否等)。并且,能够在画面内旋转周边监视图像,以使该关注图像部分始终位于画面内的特定部分(例如中央上部)。因此,操作人员在输出了警报等时只观察该画面内的特定部分便能够一眼辨识出与挖土机的行进方向相关的信息。
并且,控制部35可以根据对行走杆的操作的有无以外的其他车辆信息执行局部放大处理。例如,可以在回转操作杆被操作时,执行局部放大处理。在该情况下,控制部35可以将与挖掘附件的回转方向上存在的空间对应的图像部分用作关注图像部分。
并且,当检测到的人的位置在上部回转体3的后方时,控制部35可以移动周边监视图像,以使与该人的位置对应的关注图像部分位于画面中央,并对该关注图像部分进行局部放大。或者,当检测到的人的位置在下部行走体1的行进方向上时,控制部35可以移动周边监视图像,以使与该人的位置对应的关注图像部分位于画面中央,并对该关注图像部分进行局部放大。
以上,对本发明的优选实施例进行了说明,但本发明并不限制于上述实施例,在不脱离本发明的范围内,能够对上述实施例加以各种变形及替换。
例如,在上述实施例中,周边监视系统100作为辅助基于图像特征量的识别的辅助识别部而具备亮度过滤器部32a及图案过滤器部32e这两者。然而,本发明并不限定于该结构。例如,周边监视系统100可以作为辅助识别部仅具备亮度过滤器部32a,也可以作为辅助识别部仅具备图案过滤器部32e。在仅将其中任一个作为辅助识别部来具备的情况下,与不具备辅助识别部的结构相比,周边监视系统100也能够提高人物识别能力。
并且,在上述实施例中,设想了使用在挖土机的上部回转体3上安装的摄像装置40的摄像图像来对人进行检测的情况,但本发明并不限定于该结构。也能够适用于使用安装于移动式起重机、固定式起重机、起重磁铁设备及叉车等其他施工机械的主体部的摄像装置的摄像图像的结构中。
并且,在上述实施例中,使用3个摄像机来拍摄挖土机的死角区域,但也可以使用1个、2个或4个以上的摄像机来拍摄挖土机的死角区域。
并且,在上述实施例中,使用摄像装置40的摄像图像来进行人物检测,但也可以使用超声波传感器、激光雷达、热释传感器及毫米波雷达等的输出来进行人物检测。
并且,在上述实施例中,分别对多个摄像图像分别适用人物检测处理,但也可以对由多个摄像图像生成的1个合成图像适用人物检测处理。
并且,本申请主张基于2015年11月30日于日本申请的日本专利申请第2015-233976号、第2015-233978号、第2015-233979号及第2015-233980号的优先权,并将这些日本专利申请的全部内容通过参考援用于本说明书中。
符号说明
1-下部行走体,2-回转机构,3-上部回转体,4-动臂,5-斗杆,6-铲斗,7-动臂缸,8-斗杆缸,9-铲斗缸,10-驾驶室,30-控制器,31-提取部,32-识别部,33-跟踪部,34-人物检测部,35-控制部,40-摄像装置,40B-后方摄像机,40L-左侧方摄像机,40R-右侧方摄像机,41-输入装置,50-输出装置,51-机械控制装置,100-周边监视系统,AP、AP1~AP6-头部图像位置,BX-箱体,G1-摄像机图像部分,G2-指示器部分,G3-视点变换图像部分,HD-头部,HP-虚拟头部位置,HRg-安全帽图像,M1、M2-遮掩区域,Pr、Pr1、Pr2、Pr10~Pr12-参考点,R1-超出区域,R2-车身映出区域,RP-代表位置,TR、TR1、TR2、TR10~TR12-虚拟平面区域,TRg、TRg3、TRg4、TRg5-对象图像区域,TRgt、TRgt3、TRgt4、TRgt5-标准化图像。

Claims (31)

1.一种施工机械用周边监视系统,其具备:
人物检测部,检测施工机械周边存在的人;及
控制部,控制搭载于所述施工机械的输出装置,
所述控制部将包含使用安装于所述施工机械的摄像装置的摄像图像而生成的图像部分及所述施工机械的图标的输出图像显示于显示装置,且强调所述图标周边的图像部分中的与所述人物检测部检测到的人的存在方向对应的一侧的图像部分。
2.根据权利要求1所述的施工机械用周边监视系统,其中,
所述控制部,
在所述人物检测部检测到所述施工机械周边存在的人时输出警报,且
能够区别地显示与所述人物检测部检测到的人对应的所述输出图像上的图像部分。
3.根据权利要求2所述的施工机械用周边监视系统,其中,
所述人物检测部判别并辨识至少2个阶段的人物检测状态及人物不检测状态,
所述至少2个阶段的人物检测状态包含满足与自所述施工机械的距离相关的条件及与人物检测结果的可靠性相关的条件中的至少一个条件的第1人物检测状态和满足两个条件的第2人物检测状态,
所述控制部能够区别地显示与导致所述第1人物检测状态的人物对应的所述输出图像上的图像部分和与导致所述第2人物检测状态的人物对应的所述输出图像上的图像部分。
4.根据权利要求3所述的施工机械用周边监视系统,其中,
所述控制部使通过所述人物检测部辨识出所述第1人物检测状态时输出的警报的内容与通过所述人物检测部辨识出所述第2人物检测状态时输出的警报的内容不同。
5.根据权利要求3或4所述的施工机械用周边监视系统,其中,
所述输出图像包含表示所述施工机械周边的多个区域各自的人物检测状态/人物不检测状态的部分,
所述控制部以用不同的颜色能够区别的方式显示所述第1人物检测状态的区域、所述第2人物检测状态的区域及所述人物不检测状态的区域。
6.根据权利要求2至5中任一项所述的施工机械用周边监视系统,其中,
所述输出图像包含使用多个所述摄像装置的各摄像图像而合成的视点变换图像。
7.根据权利要求1所述的施工机械用周边监视系统,其中,
所述控制部将使用安装于所述施工机械的多个所述摄像装置各自的摄像图像而合成的周边监视图像显示于所述显示装置的画面上,且相对放大显示该周边监视图像的一部分。
8.根据权利要求7所述的施工机械用周边监视系统,其中,
所述控制部以纵深方向显示所述周边监视图像整体的同时相对放大显示所述周边监视图像的一部分。
9.根据权利要求7或8所述的施工机械用周边监视系统,其中,
当所述人物检测部检测到人时,所述控制部相对放大显示所述周边监视图像的一部分。
10.根据权利要求7或8所述的施工机械用周边监视系统,其中,
所述控制部将所述周边监视图像中的1个图像部分用作关注图像部分,且局部放大显示所述关注图像部分。
11.根据权利要求10所述的施工机械用周边监视系统,其中,
所述控制部在所述画面内旋转所述周边监视图像,以使所述关注图像部分位于所述画面的中央下部或中央上部。
12.根据权利要求10或11所述的施工机械用周边监视系统,其中,
所述关注图像部分为与所述人物检测部检测到的人中的离所述施工机械最近的人的位置对应的图像部分。
13.根据权利要求12所述的施工机械用周边监视系统,其中,
所述人物检测部检测自所述施工机械存在于规定距离内的人,
局部放大显示的所述关注图像部分中所包含的、通过所述人物检测部检测到的人物的图像显示于所述显示装置的所述画面上的尺寸大于规定尺寸。
14.根据权利要求10或11所述的施工机械用周边监视系统,其中,
所述施工机械具备下部行走体及以旋转自如的方式搭载于所述下部行走体的上部回转体,
所述关注图像部分为与所述下部行走体的行进方向上的空间对应的图像部分或者与所述上部回转体的后方的空间对应的图像部分。
15.根据权利要求10至14中任一项所述的施工机械用周边监视系统,其中,
所述控制部根据所述关注图像部分的显示位置的变化,在所述画面内旋转所述周边监视图像,以相互抵消所述关注图像部分的显示位置的变化。
16.根据权利要求1所述的施工机械用周边监视系统,其中,
所述人物检测部使用所述摄像装置的摄像图像而检测所述施工机械的周边存在的人,
所述人物检测部具备:
提取部,将所述摄像图像的一部分作为对象图像来提取;及
识别部,通过图像辨识处理识别所述提取部所提取的对象图像中所包含的图像是否为人物的图像,
所述识别部根据通过机器学习而生成的识别器的识别结果和根据所述对象图像中的图像特征的偏差而辅助识别所述对象图像中所包含的图像是否为人物的图像的辅助识别部的识别结果,识别所述对象图像中所包含的图像是否为人物的图像。
17.根据权利要求16所述的施工机械用周边监视系统,其中,
所述辅助识别部将所述对象图像分割为多个区域而按每一区域识别是否为人物的图像,并根据所述多个区域各自的识别结果识别所述对象图像中所包含的图像是否为人物的图像。
18.根据权利要求17所述的施工机械用周边监视系统,其中,
所述多个区域的至少2个区域重复。
19.根据权利要求16至18中任一项所述的施工机械用周边监视系统,其中,
在所述识别器的识别结果出来之后执行基于所述辅助识别部的识别。
20.根据权利要求16至19中任一项所述的施工机械用周边监视系统,其中,
所述提取部转换所述对象图像而生成规定尺寸的长方形的标准化图像,
所述标准化图像通过2个对角线分割为4个区域,
所述辅助识别部分别在所述4个区域中识别是否为人物的图像,并根据所述4个区域各自的识别结果识别所述对象图像中所包含的图像是否为人物的图像。
21.根据权利要求16所述的施工机械用周边监视系统,其中,
所述辅助识别部根据所述对象图像中的作为图像特征的亮度的偏差,识别是否为人物的图像。
22.根据权利要求21所述的施工机械用周边监视系统,其中,
在所述识别器的识别结果出来之前执行基于所述辅助识别部的识别。
23.根据权利要求1所述的施工机械用周边监视系统,其中,
所述人物检测部使用所述摄像装置的摄像图像而检测所述施工机械的周边存在的人,
所述人物检测部具备:
提取部,将所述摄像图像的一部分作为对象图像来提取;
识别部,由通过图像辨识处理识别所述提取部所提取的对象图像中所包含的图像是否为人物的图像的多个识别器构成;及
调整部,变更调整参数而调整所述多个识别器的特性,
所述调整参数包含与所述多个识别器的连接方法相关的信息或者与所述多个识别器各自的特性相关的信息。
24.根据权利要求23所述的施工机械用周边监视系统,其中,
所述调整参数包含与人物度相关的识别边界值。
25.根据权利要求24所述的施工机械用周边监视系统,其中,
所述调整部通过变更所述识别边界值,维持所述识别部的人物识别能力的同时调整由所述识别部而引起的误报的发生趋势。
26.根据权利要求23至25中任一项所述的施工机械用周边监视系统,其中,
所述识别部具有通过机器学习生成的通用识别部及通过使用了所述通用识别部的识别结果为假阳性的图像的机器学习生成的特殊识别部,
所述调整部改变基于所述通用识别部及所述特殊识别部中的至少一个识别部的识别的真阳性率及假阳性率中的至少一个。
27.根据权利要求26所述的施工机械用周边监视系统,其中,
所述调整部降低基于所述通用识别部的识别的假阳性率,且增大基于所述特殊识别部的识别的真阳性率。
28.根据权利要求26所述的施工机械用周边监视系统,其中,
所述调整部降低基于所述特殊识别部的识别的假阳性率,且增大基于所述通用识别部的识别的真阳性率。
29.根据权利要求23至28中任一项所述的施工机械用周边监视系统,其中,
所述识别部包含特性与通用识别器不同的多个特殊识别器,
所述通用识别器及所述多个特殊识别器构成级联式识别器,
所述调整部从预先登录的多个预设数据中选择1个预设数据来生成并调整级联式识别器。
30.根据权利要求29所述的施工机械用周边监视系统,其中,
所述调整部根据经由输入装置输入的操作人员的命令,从所述多个预设数据中选择1个预设数据。
31.根据权利要求29所述的施工机械用周边监视系统,其中,
所述调整部从所述多个预设数据中自动选择1个预设数据。
CN201680053174.1A 2015-11-30 2016-11-25 施工机械用周边监视系统 Pending CN108026714A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2015233979A JP6515021B2 (ja) 2015-11-30 2015-11-30 作業機械用周辺監視システム
JP2015-233979 2015-11-30
JP2015-233976 2015-11-30
JP2015-233980 2015-11-30
JP2015233980A JP6419677B2 (ja) 2015-11-30 2015-11-30 作業機械用周辺監視システム
JP2015233978A JP6515020B2 (ja) 2015-11-30 2015-11-30 作業機械用周辺監視システム
JP2015-233978 2015-11-30
JP2015233976A JP6662622B2 (ja) 2015-11-30 2015-11-30 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
PCT/JP2016/085043 WO2017094626A1 (ja) 2015-11-30 2016-11-25 作業機械用周辺監視システム

Publications (1)

Publication Number Publication Date
CN108026714A true CN108026714A (zh) 2018-05-11

Family

ID=58796726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053174.1A Pending CN108026714A (zh) 2015-11-30 2016-11-25 施工机械用周边监视系统

Country Status (4)

Country Link
US (1) US11697920B2 (zh)
EP (1) EP3385457A4 (zh)
CN (1) CN108026714A (zh)
WO (1) WO2017094626A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166751A (zh) * 2019-06-03 2019-08-23 三一汽车制造有限公司 臂架设备、臂架设备安全预警装置及方法
CN111310736A (zh) * 2020-03-26 2020-06-19 上海同岩土木工程科技股份有限公司 一种保护区内车辆卸载堆土的快速识别方法
CN111762100A (zh) * 2019-04-02 2020-10-13 奇美车电股份有限公司 车用摄影系统与物件检测方法
CN112012269A (zh) * 2019-05-29 2020-12-01 纳博特斯克有限公司 操纵辅助系统及方法、维护辅助方法以及建筑机械
CN112585323A (zh) * 2018-10-15 2021-03-30 日立建机株式会社 液压挖掘机
CN113192646A (zh) * 2021-04-25 2021-07-30 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
CN114787454A (zh) * 2020-01-24 2022-07-22 住友重机械工业株式会社 施工机械、信息处理装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735592B2 (ja) * 2016-04-08 2020-08-05 キヤノン株式会社 画像処理装置及びその制御方法、画像処理システム
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
WO2018100928A1 (ja) * 2016-11-30 2018-06-07 キヤノン株式会社 画像処理装置および方法
KR102508693B1 (ko) * 2017-02-22 2023-03-09 스미토모 겐키 가부시키가이샤 쇼벨
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
CN109790702B (zh) * 2017-09-07 2021-07-06 日立建机株式会社 工程机械
FI20176052A1 (en) * 2017-11-24 2019-05-25 Novatron Oy Control of earthmoving machinery
WO2019111859A1 (ja) 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
JP7119442B2 (ja) * 2018-03-13 2022-08-17 株式会社大林組 監視システム、監視方法及び監視プログラム
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
WO2020101006A1 (ja) * 2018-11-14 2020-05-22 住友重機械工業株式会社 ショベル、ショベルの制御装置
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
JP7005546B2 (ja) * 2019-03-15 2022-01-21 株式会社東芝 画像認識装置、画像認識方法および画像認識プログラム
JP7257240B2 (ja) * 2019-04-24 2023-04-13 株式会社小松製作所 作業機械を制御するためのシステムおよび方法
JP7189074B2 (ja) * 2019-04-26 2022-12-13 日立建機株式会社 作業機械
WO2020235448A1 (ja) * 2019-05-17 2020-11-26 コベルコ建機株式会社 作業機械および作業機械の制御方法
DE102019216405A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zur Verhinderung von Personenschäden bei einem Betrieb einer mobilen Arbeitsmaschine
WO2021111562A1 (ja) * 2019-12-04 2021-06-10 三菱電機株式会社 機械学習装置の異常検出装置、人検出システム、および機械学習装置の異常検出方法
EP4015714B1 (en) * 2019-12-27 2024-08-21 Hitachi Construction Machinery Co., Ltd. Construction machine
JP7428052B2 (ja) * 2020-03-31 2024-02-06 コベルコ建機株式会社 作業機械の周囲検知装置
JP7409240B2 (ja) * 2020-07-02 2024-01-09 株式会社豊田自動織機 障害物検出装置及び障害物検出方法
JP7031047B1 (ja) 2021-07-21 2022-03-07 株式会社エクサウィザーズ 画像処理方法、コンピュータプログラム及び画像処理装置
JP7031048B1 (ja) 2021-07-21 2022-03-07 株式会社エクサウィザーズ 画像処理方法、コンピュータプログラム及び画像処理装置
JP2023047506A (ja) * 2021-09-27 2023-04-06 ヤンマーホールディングス株式会社 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
US20230287659A1 (en) * 2022-03-14 2023-09-14 Volvo Construction Equipment Ab Display system for construction machine
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL
US20240246510A1 (en) * 2023-01-20 2024-07-25 Caterpillar Inc. Machine security system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240504A1 (en) * 2007-03-29 2008-10-02 Hewlett-Packard Development Company, L.P. Integrating Object Detectors
US20110228980A1 (en) * 2009-10-07 2011-09-22 Panasonic Corporation Control apparatus and vehicle surrounding monitoring apparatus
US20120114177A1 (en) * 2010-11-09 2012-05-10 Canon Kabushiki Kaisha Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置
CN103797789A (zh) * 2011-09-16 2014-05-14 日立建机株式会社 工作机械的周围监视装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4694032B2 (ja) 2001-05-02 2011-06-01 株式会社小松製作所 作業機械の表示装置
JP4604606B2 (ja) 2004-08-18 2011-01-05 ソニー株式会社 顔検出装置及び顔検出方法、並びにコンピュータ・プログラム
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
AU2012268476B2 (en) * 2011-06-07 2014-05-15 Komatsu Ltd. Perimeter monitoring device for work vehicle
JP5974433B2 (ja) * 2011-08-03 2016-08-23 日本精機株式会社 周辺画像表示装置
JP6077803B2 (ja) 2012-09-04 2017-02-08 株式会社アクティオ 作業機械の安全装置
JP6352592B2 (ja) 2013-03-19 2018-07-04 住友重機械工業株式会社 ショベル
JP6545430B2 (ja) 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
JP6324665B2 (ja) * 2013-05-16 2018-05-16 住友建機株式会社 作業機械用周辺監視装置
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6134668B2 (ja) * 2014-02-18 2017-05-24 日立建機株式会社 作業車両の障害物検知装置
JP2015168973A (ja) 2014-03-06 2015-09-28 住友建機株式会社 建設機械用監視装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
WO2015125979A1 (ja) 2015-04-28 2015-08-27 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
CN105934945B (zh) * 2015-07-31 2019-07-05 株式会社小松制作所 作业机械的显示系统、显示装置和显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240504A1 (en) * 2007-03-29 2008-10-02 Hewlett-Packard Development Company, L.P. Integrating Object Detectors
US20110228980A1 (en) * 2009-10-07 2011-09-22 Panasonic Corporation Control apparatus and vehicle surrounding monitoring apparatus
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置
US20120114177A1 (en) * 2010-11-09 2012-05-10 Canon Kabushiki Kaisha Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
CN103797789A (zh) * 2011-09-16 2014-05-14 日立建机株式会社 工作机械的周围监视装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG FAN: "Gradient skewness tensors and local illumination detection for images", 《JOURNAL OF COMPUTATIONAL AND APPLIED MATHEMATICS》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585323A (zh) * 2018-10-15 2021-03-30 日立建机株式会社 液压挖掘机
US11739503B2 (en) 2018-10-15 2023-08-29 Hitachi Construction Machinery Co., Ltd. Hydraulic excavator
CN111762100A (zh) * 2019-04-02 2020-10-13 奇美车电股份有限公司 车用摄影系统与物件检测方法
CN111762100B (zh) * 2019-04-02 2022-05-10 奇美车电股份有限公司 车用摄影系统与物件检测方法
CN112012269A (zh) * 2019-05-29 2020-12-01 纳博特斯克有限公司 操纵辅助系统及方法、维护辅助方法以及建筑机械
CN110166751A (zh) * 2019-06-03 2019-08-23 三一汽车制造有限公司 臂架设备、臂架设备安全预警装置及方法
CN114787454A (zh) * 2020-01-24 2022-07-22 住友重机械工业株式会社 施工机械、信息处理装置
CN111310736A (zh) * 2020-03-26 2020-06-19 上海同岩土木工程科技股份有限公司 一种保护区内车辆卸载堆土的快速识别方法
CN113192646A (zh) * 2021-04-25 2021-07-30 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
CN113192646B (zh) * 2021-04-25 2024-03-22 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置

Also Published As

Publication number Publication date
EP3385457A4 (en) 2019-03-13
WO2017094626A1 (ja) 2017-06-08
US11697920B2 (en) 2023-07-11
EP3385457A1 (en) 2018-10-10
US20180258616A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
CN108026714A (zh) 施工机械用周边监视系统
CN107925745B (zh) 施工机械用周边监视系统
CN106462961B (zh) 施工机械用人检测系统以及挖土机
JP6419677B2 (ja) 作業機械用周辺監視システム
JP6662622B2 (ja) 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
JP7084521B2 (ja) ショベル
CN106462962B (zh) 施工机械用人检测系统以及挖土机
JP2017102604A (ja) 作業機械用周辺監視システム
CN102917171A (zh) 基于像素的小目标定位方法
JP6755672B2 (ja) 作業機械用周辺監視システム
CN110499802A (zh) 一种用于挖掘机的图像识别方法和设备
JP2017158033A (ja) 作業機械用周辺監視システム
JP6878025B2 (ja) 作業機械用周辺監視システム
JP6515021B2 (ja) 作業機械用周辺監視システム
Zou et al. Active pedestrian detection for excavator robots based on multi-sensor fusion
JP7077356B2 (ja) 作業機械用周辺監視システム
JP6515020B2 (ja) 作業機械用周辺監視システム
JP2021025223A (ja) 作業機械
JP4846203B2 (ja) 画像領域設定装置及び画像領域設定方法
JP2023093109A (ja) 建設機械、及び情報処理装置
CN109033929B (zh) 一种查处未成年人危险驾驶行为的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination