CN106462961B - 施工机械用人检测系统以及挖土机 - Google Patents

施工机械用人检测系统以及挖土机 Download PDF

Info

Publication number
CN106462961B
CN106462961B CN201580021860.6A CN201580021860A CN106462961B CN 106462961 B CN106462961 B CN 106462961B CN 201580021860 A CN201580021860 A CN 201580021860A CN 106462961 B CN106462961 B CN 106462961B
Authority
CN
China
Prior art keywords
image
region
virtual
detection system
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580021860.6A
Other languages
English (en)
Other versions
CN106462961A (zh
Inventor
清田芳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN106462961A publication Critical patent/CN106462961A/zh
Application granted granted Critical
Publication of CN106462961B publication Critical patent/CN106462961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/40—Dippers; Buckets ; Grab devices, e.g. manufacturing processes for buckets, form, geometry or material of buckets

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

人体检测系统(100)使用以从斜上方拍摄人体的方式安装于挖土机的摄像装置(40)的摄像图像来检测存在于挖土机的周边的人体。人体检测系统(100)具有：抽取部(31)，抽取摄像图像的一部分作为识别处理对象图像；及识别部(32)，通过图像处理来识别抽取部(31)所抽取的识别处理对象图像中所包含的图像是否为人体图像。摄像图像中的识别处理对象图像区域(TRg)对应于实际空间中的规定尺寸的虚拟平面区域(TR)。虚拟平面区域(TR)在实际空间中朝向摄像装置(40)的方向且相对于水平面倾斜。

Description

施工机械用人检测系统以及挖土机
技术领域
本发明涉及一种检测存在于施工机械周围的人的施工机械用人检测系 统、以及挖土机。
背景技术
已知有如下的人检测系统，其将三维空间中的水平面上的圆柱区域定 义为人体所存在的区域，将通过该圆柱的中心轴的切割面中与照相机正对 的切割面作为该照相机的智能窗(Smart Window(SW))(参考非专利文献1。)。 并且，该系统将照相机图像上的SW立体变换为适合于特征抽取及识别器 的矩形。
现有技术文献
专利文献
非专利文献1：李媛、伊藤诚也、三好雅则、藤吉弘亘、金子俊一，“基 于智能窗变换(Smart Window Transform)与边缘检测识别器(Edge-based Classifier)识别器的人物检测”，2011年度精密工学会秋季大会学术讲演会 讲演论文集，第920-921页
发明内容
发明要解决的课题
然而，上述系统将通过圆柱的中心轴的切割面(三维空间中的铅垂面) 作为SW。因此，随着人体靠近安装于从斜上方俯视人体的位置上的照相机， 照相机图像上的SW的面积变小，有可能无法检测存在于照相机附近的人 体。
鉴于上述情况，期望提供一种能够使用以从斜上方拍摄人体的方式安 装于施工机械的摄像装置的摄像图像来更可靠地检测存在于施工机械周围 的人体的施工机械用人体检测系统。
用于解决课题的手段
本发明的一个实施例所涉及的施工机械用人体检测系统使用以从斜上 方拍摄人体的方式安装于施工机械的摄像装置的摄像图像来检测存在于该 施工机械周边的人体，该施工机械用人体检测系统具有：抽取部，抽取所 述摄像图像的一部分作为识别处理对象图像；及识别部，通过图像处理来 识别所述抽取部所抽取的识别处理对象图像中所包含的图像是否为人体图 像，所述摄像图像中的所述识别处理对象图像的区域对应于实际空间中的 规定尺寸的虚拟平面区域，在实际空间中，所述虚拟平面区域朝向所述摄 像装置的方向且相对于水平面倾斜。
发明的效果
通过上述机构，可以提供一种能够使用以从斜上方拍摄人体的方式安 装于施工机械的摄像装置的摄像图像来更可靠地检测存在于施工机械周围 的人体的施工机械用人体检测系统。
附图说明
图1是搭载有本发明的实施例所涉及的人体检测系统的挖土机的侧视 图。
图2是表示人体检测系统的结构例的功能块图。
图3A是后方照相机的摄像图像的例子。
图3B是后方照相机的摄像图像的例子。
图4是表示从摄像图像中切出识别处理对象图像时所使用的几何学关 系的一例的示意图。
图5是挖土机后方的实际空间的俯视图。
图6A是后方照相机的摄像图像的一例。
图6B是切出摄像图像中的识别处理对象图像区域而成的图。
图6C是将具有识别处理对象图像区域的识别处理对象图像标准化而 成的标准化图像的一例。
图7A1是表示摄像图像中的识别处理对象图像区域的图。
图7A2是表示具有识别处理对象图像区域的识别处理对象图像的标准 化图像的图。
图7B1是表示摄像图像中的识别处理对象图像区域的图。
图7B2是表示具有识别处理对象图像区域的识别处理对象图像的标准 化图像的图。
图7C1是表示摄像图像中的识别处理对象图像区域的图。
图7C2是表示具有识别处理对象图像区域的识别处理对象图像的标准 化图像的图。
图8A是表示识别处理对象图像区域与识别处理不适合区域之间的关 系的图。
图8B是表示包含与超出区域相对应的屏蔽区域和与车身映入区域的 一部分相对应的屏蔽区域的标准化图像的图。
图9是表示标准化图像的例子的图。
图10是说明实际空间中的虚拟平面区域和后方照相机之间的后方水 平距离、与标准化图像中的头部图像部分的大小之间的关系的图。
图11是表示从摄像图像中切出识别处理对象图像时所使用的几何学关 系的另一例的示意图。
图12A是表示摄像图像中的特征图像的一例的图。
图12B是作为特征图像的安全帽图像的放大图。
图13是搭载有照明装置的挖土机的侧视图。
图14是表示图像抽取处理的一例的流程的流程图。
图15是表示图像抽取处理的另一例的流程的流程图。
具体实施方式
图1是作为搭载有本发明的实施例所涉及的人体检测系统100的施工 机械的挖土机的侧视图。挖土机的下部行走体1上经由转动机构2搭载有 上部转动体3。上部转动体3上安装有动臂4。在动臂4的前端安装有斗杆 5，在斗杆5的前端安装有铲斗6。动臂4、斗杆5及铲斗6构成挖掘装置， 通过动臂缸7、斗杆缸8及铲斗缸9分别被液压驱动。并且，上部转动体3 上设有驾驶舱10，且搭载有引擎等动力源。并且，在上部转动体3的上部 安装有摄像装置40。具体而言，在上部转动体3的后端上部、左端上部、 右端上部安装有后方照相机40B、左侧方照相机40L、右侧方照相机40R。 并且，在驾驶舱10内设有控制器30及输出装置50。
图2是表示人体检测系统100的结构例的功能块图。人体检测系统100 主要包含控制器30、摄像装置40及输出装置50。
控制器30为进行挖土机的驱动控制的控制装置。本实施例中，控制器 30由包含CPU及内部存储器的运算处理装置构成，使CPU执行存储于内 部存储器的驱动控制用程序来实现各种功能。
并且，控制器30根据各种装置的输出来判定挖土机的周边是否存在人 体，并根据该判定结果来控制各种装置。具体而言，控制器30接收摄像装 置40的输出，并执行分别与抽取部31及识别部32对应的软件程序。并且， 根据该实行结果来执行挖土机的驱动控制，或者从输出装置50输出各种信 息。另外，控制器30也可以是图像处理专用的控制装置。
摄像装置40为拍摄挖土机周围的图像的装置，对控制器30输出所拍 摄的图像。本实施例中，摄像装置40为采用CCD等摄像元件的广角照相 机，在上部转动体3的上部安装成光轴朝向斜下方。
输出装置50为输出各种信息的装置，例如包含显示各种图像信息的车 载显示器、声音输出各种声音信息的车载扬声器等。本实施例中，输出装 置50根据来自控制器30的控制指令来输出各种信息。
抽取部31为从摄像装置40所拍摄的摄像图像中抽取识别处理对象图 像的功能要件。具体而言，抽取部31通过运算量比较少的图像处理(以下， 设为“前级图像辨识处理”。)来抽取识别处理对象图像。前级图像辨识处 理包含抽取基于局部的亮度梯度或边缘的简单特征、基于霍夫(Hough)变换 等的几何学特征、与根据亮度而分割的区域的面积或纵横尺寸比有关的特 征等的图像处理。识别处理对象图像为成为后续的图像处理的对象的图像 部分(摄像图像的一部分)，包含人体候选图像。人体候选图像是为人体图像 的可能性较高的图像部分(摄像图像的一部分)。
识别部32为识别抽取部31所抽取的识别处理对象图像中所包含的人 体候选图像是否为人体图像的功能要件。具体而言，识别部32通过运算量 比较多的图像处理(以下，设为“后级图像辨识处理”。)来识别人体候选图 像是否为人体图像。后级图像辨识处理包含使用了以HOG(方向梯度直方图 (Histograms of Oriented Gradients))特征量为代表的图像特征量记述和通过 机器学习而生成的识别器的图像辨识处理等。基于抽取部31的识别处理对 象图像的抽取的精确度越高，识别部32将人体候选图像识别为人体图像的 比例越高。另外，在夜间、恶劣天气时等不适合进行拍摄的环境下无法得 到所希望品质的摄像图像的情况等，识别部32可以将所有的人体候选图像 识别为人体图像。即，可以将抽取部31所抽取的识别处理对象图像中的所 有的人体候选图像识别为人体。这是为了防止人体的检测遗漏。
接着，参考图3A及图3B对后方照相机40B所拍摄的挖土机后方的摄 像图像中的人体图像的观察方法进行说明。另外，图3A及图3B的2个摄 像图像为后方照相机40B的摄像图像的例子。并且，图3A及图3B的虚线 圆表示人体图像的存在，不显示于实际的摄像图像中。
后方照相机40B为广角照相机，且安装于从斜上方俯视人体的高度。 因此，摄像图像中的人体图像的观察方法根据从后方照相机40B观察的人 体的存在方向而有很大不同。例如，摄像图像中的人体图像越是靠近摄像 图像的左右端部，越倾斜地显示。这是因为由广角照相机的广角透镜引起 的图像歪斜。并且，越靠近后方照相机40B，头部显示得越大。并且，脚 部进入挖土机车身的死角而导致观察不到。这些情况是由于后方照相机 40B的设置位置而导致。因此，对摄像图像不实施任何加工是很难通过图 像处理来识别该摄像图像中所包含的人体图像。
因此，本发明的实施例所涉及的人体检测系统100通过将识别处理对 象图像标准化来促进识别处理对象图像中所包含的人体图像的识别。另外， “标准化”是指将识别处理对象图像变换为规定尺寸及规定形状的图像。 本实施例中，在摄像图像中可呈现各种形状的识别处理对象图像是通过投 影变换而变换为规定尺寸的长方形图像。另外，作为投影变换，例如使用8 个变量的投影变换矩阵。
在此，参考图4～图6C对人体检测系统100将识别处理对象图像标准 化的处理(以下，设为“标准化处理”。)的一例进行说明。另外，图4是表 示抽取部31从摄像图像中切出识别处理对象图像时所使用的几何学关系的 一例的示意图。
图4的方框BX为实际空间中的虚拟立体物，本实施例中，是由8个 顶点A～H确定的虚拟长方体。并且，点Pr是为了参考识别处理对象图像 而预先设定的参考点。本实施例中，参考点Pr是作为人体的假想站立位置 而预先设定的点，位于由4个顶点A～D确定的四边形ABCD的中心。并 且，方框BX的尺寸是根据人体的朝向、步幅、身高等而设定的。本实施 例中，四边形ABCD及四边形EFGH为正方形，一边的长度例如为800mm。 并且，长方体的高度例如为1800mm。即，方框BX为宽度800mm×纵深 800mm×高度1800mm的长方体。
由4个顶点A、B、G、H确定的四边形ABGH形成与摄像图像中的识 别处理对象图像的区域相对应的虚拟平面区域TR。并且，作为虚拟平面区 域TR的四边形ABGH相对于作为水平面的虚拟地面倾斜。
另外，本实施例中，为了确定参考点Pr与虚拟平面区域TR之间的关 系而采用作为虚拟长方体的方框BX。然而，只要能够将朝向摄像装置40 的方向且相对于虚拟地面倾斜的虚拟平面区域TR与任意的参考点Pr建立 关联而确定，则没有限制。例如，可以采用使用了其他虚拟立体物的关系 等其他的几何学关系，也可以采用函数、变换表等其他的数学关系。
图5是挖土机后方的实际空间的俯视图，表示使用参考点Pr1、Pr2参 考虚拟平面区域TR1、TR2的情况下的后方照相机40B与虚拟平面区域 TR1、TR2之间的位置关系。另外，本实施例中，参考点Pr能够配置于虚 拟地面上的虚拟栅格的格子点的每一个上。但是，参考点Pr可以不规则地 配置于虚拟地面上，也可以等间隔配置于从后方照相机40B向虚拟地面的 投影点以放射状延伸的线段上。例如，各线段可以以1度刻度放射状延伸， 参考点Pr可以以100mm间隔配置于各线段上。
如图4及图5所示，在使用参考点Pr1参考虚拟平面区域TR1的情况 下，由四边形ABFE(参考图4。)确定的方框BX的第1面以与后方照相机 40B正对的方式配置。即，俯视观察时连结后方照相机40B和参考点Pr1 的线段与有关参考点Pr1而配置的方框BX的第1面正交。同样地，在使 用参考点Pr2参考虚拟平面区域TR2的情况下，方框BX的第1面也以与 后方照相机40B正对的方式配置。即，俯视观察时连结后方照相机40B和 参考点Pr2的线段与有关参考点Pr2而配置的方框BX的第1面正交。该关 系在参考点Pr配置于任一格子点上的情况下均成立。即，方框BX以其第 1面始终与后方照相机40B正对的方式配置。
图6A～图6C是表示由摄像图像生成标准化图像的处理的流程的图。具 体而言，图6A是后方照相机40B的摄像图像的一例，表示有关实际空间 中的参考点Pr而配置的方框BX。并且，图6B是切出摄像图像中的识别处 理对象图像的区域TRg(以下，设为“识别处理对象图像区域TRg”。)而成 的图，对应于在图6A的摄像图像中映出的虚拟平面区域TR。并且，图6C 表示将具有识别处理对象图像区域TRg的识别处理对象图像标准化而成的 标准化图像TRgt。
如图6A所示，在实际空间上有关参考点Pr1而配置的方框BX确定实 际空间中的虚拟平面区域TR的位置，并且确定与虚拟平面区域TR相对应 的摄像图像上的识别处理对象图像区域TRg。
如此，若实际空间中的参考点Pr的位置被确定，则实际空间中的虚拟 平面区域TR的位置唯一地确定，摄像图像中的识别处理对象图像区域TRg 也被唯一地确定。并且，抽取部31能够将具有识别处理对象图像区域TRg 的识别处理对象图像标准化而生成规定尺寸的标准化图像TRgt。本实施例 中，标准化图像TRgt的尺寸例如为纵64像素×横32像素。
图7(A1)～图7(C2)是表示摄像图像、识别处理对象图像区域及标准化 图像之间的关系的图。具体而言，图7A1表示摄像图像中的识别处理对象 图像区域TRg3，图7A2表示具有识别处理对象图像区域TRg3的识别处理 对象图像的标准化图像TRgt3。并且，图7B1表示摄像图像中的识别处理 对象图像区域TRg4，图7B2表示具有识别处理对象图像区域TRg4的识别 处理对象图像的标准化图像TRgt4。同样地，图7C1表示摄像图像中的识 别处理对象图像区域TRg5，图7C2表示具有识别处理对象图像区域TRg5 的识别处理对象图像的标准化图像TRgt5。
如图7(A1)～图7(C2)所示，摄像图像中的识别处理对象图像区域TRg5 大于摄像图像中的识别处理对象图像区域TRg4。这是因为与识别处理对象 图像区域TRg5相对应的虚拟平面区域与后方照相机40B之间的距离小于 与识别处理对象图像区域TRg4相对应的虚拟平面区域与后方照相机40B 之间的距离。同样地，摄像图像中的识别处理对象图像区域TRg4大于摄 像图像中的识别处理对象图像区域TRg3。这是因为与识别处理对象图像区域TRg4相对应的虚拟平面区域与后方照相机40B之间的距离小于与识别 处理对象图像区域TRg3相对应的虚拟平面区域与后方照相机40B之间的 距离。即，相对应的虚拟平面区域与后方照相机40B之间的距离越大，摄 像图像中的识别处理对象图像区域越小。另一方面，标准化图像TRgt3、 TRgt4、TRgt5均为相同尺寸的长方形图像。
如此，抽取部31将在摄像图像中呈现各种形状及尺寸的识别处理对象 图像标准化为规定尺寸的长方形图像，并将包含人体图像的人体候选图像 标准化。具体而言，抽取部31在标准化图像的规定区域配置人体候选图像 的推断为头部的图像部分(以下，设为“头部图像部分”。)。并且，在标准 化图像的其他的规定区域配置人体候选图像的推断为胴体部的图像部分 (以下，设为“胴体部图像部分”。)，且在标准化图像的另一其他的规定区域配置人体候选图像的推断为脚部的图像部分(以下，设为“脚部图像部 分”。)。并且，抽取部31能够在抑制人体候选图像相对于标准化图像的形 状的倾斜(图像歪斜)的状态下获取标准化图像。
接着，参考图8A及图8B对识别处理对象图像区域包含对人体图像的 识别带来负面影响的不适合于识别的图像区域(以下，设为“识别处理不适 合区域”。)的情况的标准化处理进行说明。识别处理不适合区域为人体图 像无法存在的已知区域，例如包含映入有挖土机的车身的区域(以下，设为 “车身映入区域”。)、从摄像图像中超出的区域(以下，设为“超出区域”。) 等。另外，图8A及图8B是表示识别处理对象图像区域与识别处理不适合 区域之间的关系的图，对应于图7C1及图7C2。并且，图8A的向右下倾 斜的斜线阴影区域对应于超出区域R1，向左下倾斜的斜线阴影区域对应于 车身映入区域R2。
本实施例中，当识别处理对象图像区域TRg5包含超出区域R1及车身 映入区域R2的一部分时，抽取部31对这些识别处理不适合区域进行屏蔽 处理。并且，在进行屏蔽处理之后，生成具有识别处理对象图像区域TRg5 的识别处理对象图像的标准化图像TRgt5。另外，抽取部31也可以在生成 标准化图像TRgt5之后，对与标准化图像TRgt5中的识别处理不适合区域 相对应的部分进行屏蔽处理。
图8B表示标准化图像TRgt5。并且，图8B中，向右下倾斜的斜线阴 影区域表示与超出区域R1相对应的屏蔽区域M1，向左下倾斜的斜线阴影 区域表示与车身映入区域R2的一部分相对应的屏蔽区域M2。
如此，抽取部31通过对识别处理不适合区域的图像进行屏蔽处理来防 止识别处理不适合区域的图像对基于识别部32的识别处理带来影响。通过 该屏蔽处理，识别部32能够不受识别处理不适合区域的图像的影响而使用 标准化图像中的屏蔽区域以外的区域的图像来识别是否为人体图像。另外， 抽取部31也可以利用屏蔽处理以外的其他任意的公知方法来避免识别处理 不适合区域的图像对基于识别部32的识别处理带来影响。
接着，参考图9对抽取部31所生成的标准化图像的特征进行说明。另 外，图9是表示标准化图像的例子的图。并且，图9所示的14张标准化图 像，越是靠近图左端的标准化图像，包含存在于越靠近后方照相机40B的 位置的人体候选的图像，越是靠近图右端的标准化图像，包含存在于越远 离后方照相机40B的位置的人体候选的图像。
如图9所示，抽取部31能够与实际空间中的虚拟平面区域TR与后方 照相机40B之间的后方水平距离(图5所示的Y轴方向的水平距离)无关地， 在任何标准化图像内都以大致相同的比例配置头部图像部分、胴体部图像 部分、脚部图像部分等。因此，抽取部31能够减少识别部32执行识别处 理时的运算负荷，且能够提高该识别结果的可靠性。另外，上述的后方水 平距离为与实际空间中的虚拟平面区域TR与后方照相机40B之间的位置 关系有关的信息的一例，抽取部31对所抽取的识别处理对象图像附加该信 息。并且，与上述位置关系有关的信息包含连结与虚拟平面区域TR相对 应的参考点Pr和后方照相机40B的线段相对于后方照相机40B的光轴的俯 视角度等。
接着，参考图10对实际空间中的虚拟平面区域TR与后方照相机40B 之间的后方水平距离与标准化图像中的头部图像部分的大小之间的关系进 行说明。另外，图10上图是表示在距后方照相机40B的后方水平距离分别 不同的3个参考点Pr10、Pr11、P12处存在人体的情况的头部图像部分的 大小L10、L11、L12的图，横轴对应于后方水平距离。并且，图10下图 是表示后方水平距离与头部图像部分的大小之间的关系的曲线图，纵轴对 应于头部图像部分的大小，横轴对应于后方水平距离。另外，图10上图及 图10下图的横轴是共用的。并且，本实施例中，将照相机高度设为2100mm， 将头部HD的中心距地面的高度设为1600mm，将头部的直径设为250mm。
如图10上图所示，在参考点Pr10所示的位置存在人体的情况下，头 部图像部分的大小L10相当于从后方照相机40B观察的头部HD投影在虚 拟平面区域TR10的投影像的大小。同样地，在参考点Pr11、Pr12所示的 位置存在人体的情况下，头部图像部分的大小L11、L12相当于从后方照相 机40B观察的头部HD投影在虚拟平面区域TR11、TR12的投影像的大小。 另外，标准化图像中的头部图像部分的大小随着投影像的大小而变化。
并且，如图10下图所示，标准化图像中的头部图像部分的大小在后方 水平距离为D1(例如700mm)以上时维持大致相同的大小，但在后方水平距 离小于D1时急剧增大。
因此，识别部32根据后方水平距离来改变识别处理的内容。例如，当 使用监督学习的(机器学习)的方法时，识别部32以规定的后方水平距离(例 如650mm)为边界，对识别处理中所使用的学习样本进行分组。具体而言， 将学习样本分为近距离用组和远距离用组。通过该结构，识别部32能够更 高精确度地识别人体图像。
通过以上结构，人体检测系统100由与朝向摄像装置40的方向且相对 于作为水平面的虚拟地面倾斜的虚拟平面区域TR相对应的识别处理对象 图像区域TRg生成标准化图像TRgt。因此，能够实现考虑到人体的高度方 向及纵深方向的观察方法的标准化。其结果，即使在使用以从斜上方拍摄 人体的方式安装于施工机械的摄像装置40的摄像图像的情况下，也能够更 可靠地检测存在于施工机械周围的人体。尤其，即使在人体靠近摄像装置 40的情况下，也能够由占据摄像图像上的足够大小的区域的识别处理对象 图像生成标准化图像，因此能够可靠地检测该人体。
并且，人体检测系统100定义虚拟平面区域TR来作为由实际空间中 的虚拟长方体即方框BX的4个顶点A、B、G、H形成的矩形区域。因此， 能够将实际空间中的参考点Pr与虚拟平面区域TR在几何学上建立对应， 进而能够将实际空间中的虚拟平面区域TR与摄像图像中的识别处理对象 图像区域TRg在几何学上建立对应。
并且，抽取部31对识别处理对象图像区域TRg中所包含的识别处理 不适合区域的图像进行屏蔽处理。因此，识别部32能够不受包含车身映入 区域R2的识别处理不适合区域的图像的影响而使用标准化图像中的屏蔽 区域以外的区域的图像来识别是否为人体图像。
并且，在抽取了识别处理对象图像的情况下，作为与虚拟平面区域TR 与摄像装置40之间的位置关系有关的信息，抽取部31将两者间的后方水 平距离附加于该识别处理对象图像中。并且，识别部32根据该后方水平距 离来改变识别处理的内容。具体而言，识别部32以规定的后方水平距离(例 如650mm)为边界，对识别处理中所使用的学习样本进行分组。通过该结构， 识别部32能够更高精确度地识别人体图像。
并且，抽取部31能够按每个参考点Pr抽取识别处理对象图像。并且， 识别处理对象图像区域TRg的每一个经由相对应的虚拟平面区域TR与作 为人体的假想站立位置而预先设定的参考点Pr中的1个建立关联。因此， 人体检测系统100能够利用任意的方法来抽取人体的存在可能性高的参考 点Pr，由此能够抽取包含人体候选图像的可能性高的识别处理对象图像。 在该情况下，能够防止对包含人体候选图像的可能性低的识别处理对象图像实施基于运算量比较多的图像处理的识别处理，能够实现人体检测处理 的高速化。
接着，参考图11、图12A、及图12B对抽取部31抽取包含人体候选 图像的可能性高的识别处理对象图像的处理的一例进行说明。另外，图11 是表示抽取部31从摄像图像中切出识别处理对象图像时所使用的几何学关 系的一例的示意图，对应于图4。并且，图12A及图12B是表示摄像图像 中的特征图像的一例的图。另外，特征图像为表示人体的特征部分的图像， 优选为表示距实际空间中的地面的高度难以变化的部分的图像。因此，特 征图像例如包含安全帽的图像、肩膀的图像、头部的图像、安装于人体的 反射板或标记的图像等。
尤其，安全帽具有如下特征：其形状为大致球体，其投影像投影在摄 像图像上时与摄像方向无关地始终接近圆形。并且，安全帽具有如下特征： 其表面为硬质且具有光泽或半光泽，在其投影像投影在摄像图像上时容易 产生局部的高亮度区域和以该区域为中心的放射状的亮度梯度。因此，安 全帽的图像尤其适合作为特征图像。另外，可以为了从摄像图像中找出安 全帽的图像的图像处理而利用其投影像接近圆形的特征、容易产生以局部 的高亮度区域为中心的放射状的亮度梯度的特征等。并且，从摄像图像中 找出安全帽的图像的图像处理例如包含亮度平滑处理、高斯平滑处理、亮 度极大点搜索处理、亮度极小点搜索处理等。
并且，为了稳定地实现在摄像图像中容易产生以局部的高亮度区域为 中心的放射状的渐变(亮度梯度)的特征，可以在摄像装置40附近设置照明 装置。在该情况下，照明装置例如安装于照明装置41的上方，以照射摄像 装置40的摄像区域。
图13是搭载有照明装置41的挖土机的侧视图。具体而言，在后方照 相机40B、左侧方照相机40L、右侧方照相机40R的上方安装有后方灯41B、 左侧方灯41L、右侧方灯41R。
通过该结构，照明装置能够强调以由来自安全帽的反射光形成的摄像 图像中的局部的高亮度区域为中心的放射状的亮度梯度。并且，照明装置 能够使难以与背景色区分的颜色的安全帽显眼，并且即使在室内、夜间等 环境光少的场所也能够使安全帽显眼。
本实施例中，抽取部31通过前级图像辨识处理来找出摄像图像中的安 全帽图像(严密地说是能够推断为安全帽的图像)。这是因为可以认为在挖土 机周围工作的人体佩戴了安全帽。并且，抽取部31从找出的安全帽图像的 位置导出关联性最高的参考点Pr。而且，抽取部31抽取与该参考点Pr相 对应的识别处理对象图像。
具体而言，抽取部31利用图11所示的几何学关系，从摄像图像中的 安全帽图像的位置导出关联性高的参考点Pr。另外，图11的几何学关系在 确定实际空间中的虚拟头部位置HP的方面与图4的几何学关系不同，在 其他方面相同。
虚拟头部位置HP表示假想为存在于参考点Pr上的人体的头部位置， 配置于参考点Pr的正上方。本实施例中，配置于参考点Pr上的高度1700mm 处。因此，若实际空间中的虚拟头部位置HP被确定，则实际空间中的参 考点Pr的位置唯一地确定，实际空间中的虚拟平面区域TR的位置也唯一 地确定。并且，摄像图像中的识别处理对象图像区域TRg也唯一地确定。 并且，抽取部31能够将具有识别处理对象图像区域TRg的识别处理对象 图像标准化而生成规定尺寸的标准化图像TRgt。
相反地，若实际空间中的参考点Pr的位置被确定，则实际空间中的虚 拟头部位置HP唯一地确定，与实际空间中的虚拟头部位置HP相对应的摄 像图像上的头部图像位置AP也唯一地确定。因此，头部图像位置AP能够 与预先设定的参考点Pr的每一个建立对应而预先设定。另外，可以从参考 点Pr实时导出头部图像位置AP。
因此，抽取部31通过前级图像辨识处理，在后方照相机40B的摄像图 像内搜索安全帽图像。图12A表示抽取部31找出安全帽图像HRg的状态。 并且，抽取部31在找出安全帽图像HRg时确定其代表位置RP。另外，代 表位置RP为根据安全帽图像HRg的大小、形状等导出的位置。本实施例 中，代表位置RP为包含安全帽图像HRg的安全帽图像区域的中心像素的 位置。图12B是图12A中以白线隔开的矩形图像区域即安全帽图像区域的 放大图，表示该安全帽图像区域的中心像素的位置为代表位置RP。
然后，抽取部31例如使用最近邻搜索算法来导出位于代表位置RP的 最近邻的头部图像位置AP。图12B表示在代表位置RP附近预先设定有6 个头部图像位置AP1～AP6，其中的头部图像位置AP5为位于代表位置RP 的最近邻的头部图像位置AP。
并且，抽取部31利用图11所示的几何学关系，从所导出的最近邻的 头部图像位置AP参照虚拟头部位置HP、参考点Pr、虚拟平面区域TR而 抽取相对应的识别处理对象图像区域TRg。然后，抽取部31将具有所抽取 的识别处理对象图像区域TRg的识别处理对象图像标准化而生成标准化图 像TRgt。
如此，抽取部31通过将摄像图像中的人体的特征图像的位置即安全帽 图像HRg的代表位置RP与预先设定的头部图像位置AP中的1个(头部图 像位置AP5)建立对应来抽取识别处理对象图像。
另外，抽取部31也可以利用将头部图像位置AP与参考点Pr、虚拟平 面区域TR、或识别处理对象图像区域TRg直接建立对应的参考表来代替 利用图11所示的几何学关系，从而抽取与头部图像位置AP相对应的识别 处理对象图像。
并且，抽取部31也可以利用爬山算法、均值漂移(Mean-shift)算法等最 近邻搜索算法以外的其他公知的算法从代表位置RP导出参考点Pr。例如， 当利用爬山算法时，抽取部31导出位于代表位置RP附近的多个头部图像 位置AP，并将代表位置RP和与这些多个头部图像位置AP的每一个相对 应的参考点Pr建立关联。此时，抽取部31以代表位置RP与头部图像位置 AP越接近、权重变得越大的方式对参考点Pr赋予权重。并且，根据多个 参考点Pr的权重的分布，从具有最接近权重极大点的权重的参考点Pr抽 取识别处理对象图像区域TRg。
接着，参考图14对控制器30的抽取部31抽取识别处理对象图像的处 理(以下，设为“图像抽取处理”。)的一例进行说明。另外，图14是表示图 像抽取处理的一例的流程的流程图。
首先，抽取部31在摄像图像内搜索安全帽图像(步骤ST1)。本实施例 中，抽取部31通过前级图像辨识处理对后方照相机40B的摄像图像进行光 栅扫描并找出安全帽图像。
当在摄像图像中找出安全帽图像HRg时(步骤ST1的是)，抽取部31 获取安全帽图像HRg的代表位置RP(步骤ST2)。
然后，抽取部31获取位于所获取的代表位置RP的最近邻的头部图像 位置AP(步骤ST3)。
然后，抽取部31抽取与所获取的头部图像位置AP相对应的识别处理 对象图像(步骤ST4)。本实施例中，抽取部31利用图11所示的几何学关系， 参照摄像图像中的头部图像位置AP、实际空间中的虚拟头部位置HP、作 为实际空间中的人体的假想站立位置的参考点Pr、及实际空间中的虚拟平 面区域TR的对应关系来抽取识别处理对象图像。
另外，当在摄像图像中没有找出安全帽图像HRg时(步骤ST1的否)， 抽取部31不抽取识别处理对象图像而将处理过渡到步骤ST5。
然后，抽取部31判定是否在整个摄像图像中搜索了安全帽图像(步骤 ST5)。
当判定为还没有对整个摄像图像进行搜索时(步骤ST5的否)，抽取部 31对摄像图像的其他的区域实施步骤ST1～步骤ST4的处理。
另一方面，当判定为在整个摄像图像中已完成安全帽图像的搜索时(步 骤ST5的是)，抽取部31结束本次的图像抽取处理。
如此，抽取部31首先找出安全帽图像HRg，并从找出的安全帽图像 HRg的代表位置RP经头部图像位置AP、虚拟头部位置HP、参考点(假想 站立位置)Pr、虚拟平面区域TR而确定识别处理对象图像区域TRg。并且， 抽取具有所确定的识别处理对象图像区域TRg的识别处理对象图像并进行 标准化，由此能够生成规定尺寸的标准化图像TRgt。
接着，参考图15对图像抽取处理的另一例进行说明。另外，图15是 表示图像抽取处理的另一例的流程的流程图。
首先，抽取部31获取头部图像位置AP中的1个(步骤ST11)。然后， 抽取部31获取与该头部图像位置AP相对应的安全帽图像区域(步骤ST12)。 本实施例中，安全帽图像区域为对头部图像位置AP的每一个预先设定的 规定尺寸的图像区域。
然后，抽取部31在安全帽图像区域内搜索安全帽图像(步骤ST13)。本 实施例中，抽取部31通过前级图像辨识处理对安全帽图像区域内进行光栅 扫描来找出安全帽图像。
当在安全帽图像区域内找出了安全帽图像HRg时(步骤ST13的是)， 抽取部31抽取与此时的头部图像位置AP相对应的识别处理对象图像(步骤 ST14)。本实施例中，抽取部31利用图11所示的几何学关系，参照摄像图 像中的头部图像位置AP、实际空间中的虚拟头部位置HP、作为实际空间 中的人体的假想站立位置的参考点Pr、及实际空间中的虚拟平面区域TR 的对应关系来抽取识别处理对象图像。
另外，当在安全帽图像区域内没有找出安全帽图像HRg时(步骤ST13 的否)，抽取部31不抽取识别处理对象图像而将处理过渡到步骤ST15。
然后，抽取部31判定是否已获取所有的头部图像位置AP(步骤ST15)。 并且，当判定为还未获取所有的头部图像位置AP时(步骤ST15的否)，抽 取部31获取未获取的其他的头部图像位置AP，并执行步骤ST11～步骤ST14 的处理。另一方面，当判定为已获取所有的头部图像位置AP时(步骤ST15 的是)，抽取部31结束本次的图像抽取处理。
如此，抽取部31首先获取头部图像位置AP中的1个。并且，当在与 所获取的头部图像位置AP相对应的安全帽图像区域找出安全帽图像HRg 时，从此时的头部图像位置AP经虚拟头部位置HP、参考点(假想站立位 置)Pr、虚拟平面区域TR而确定识别处理对象图像区域TRg。并且，抽取 具有所确定的识别处理对象图像区域TRg的识别处理对象图像并进行标准化，由此能够生成规定尺寸的标准化图像TRgt。
通过以上结构，人体检测系统100的抽取部31找出摄像图像中的作为 特征图像的安全帽图像，并将该安全帽图像的代表位置RP与作为规定图像 位置的头部图像位置AP中的1个建立对应，由此抽取识别处理对象图像。 因此，能够以简单的系统结构来锁定成为后级图像辨识处理的对象的图像 部分。
另外，抽取部31也可以首先从摄像图像中找出安全帽图像HRg，导出 与该安全帽图像HRg的代表位置RP相对应的头部图像位置AP中的1个， 并抽取与该头部图像位置AP中的1个相对应的识别处理对象图像。或者， 抽取部31可以首先获取头部图像位置AP中的1个，当在包含与该头部图 像位置AP中的1个相对应的特征图像的位置的规定区域即安全帽图像区 域内存在安全帽图像时，获取与该头部图像位置AP中的1个相对应的识 别处理对象图像。
并且，抽取部31可以利用如图11所示的规定的几何学关系，从摄像 图像中的安全帽图像的代表位置RP抽取识别处理对象图像。在该情况下， 规定的几何学关系表示摄像图像中的识别处理对象图像区域TRg、与识别 处理对象图像区域TRg相对应的实际空间中的虚拟平面区域TR、与虚拟 平面区域TR相对应的实际空间中的参考点Pr(人体的假想站立位置)、与参 考点Pr相对应的虚拟头部位置HP(与人体的假想站立位置相对应的人体的 特征部分在实际空间中的位置即虚拟特征位置)、及与虚拟头部位置HP相 对应的摄像图像中的头部图像位置AP(与虚拟特征位置相对应的摄像图像 中的规定图像位置)之间的几何学关系。
以上，对本发明的优选实施例进行了详细说明，但本发明并不限于上 述实施例，在不脱离本发明的范围的情况下，能够对上述实施例施加各种 变形及替换。
例如，上述实施例中，假想了使用安装于挖土机的上部转动体3上的 摄像装置40的摄像图像来检测人体的情况，但本发明并不限定于该结构。 例如，也可以应用于使用安装于起重机、起重磁铁设备等的主体部的摄像 装置的摄像图像的结构。
并且，上述实施例中，使用3个照相机拍摄了挖土机的死角区域，但 也可以使用1个、2个、或4个以上的照相机拍摄挖土机的死角区域。
并且，本申请主张基于2014年6月3日申请的日本专利申请 2014-115226号的优先权，并将该日本专利申请的全部内容通过参考援用于 本申请中。
符号的说明
1-下部行走体，2-转动机构，3-上部转动体，4-动臂，5-斗杆，6-铲斗， 7-动臂缸，8-斗杆缸，9-铲斗缸，10-驾驶舱，30-控制器，31-抽取部，32- 识别部，40-摄像装置，40B-后方照相机，40L-左侧方照相机，40R-右侧方 照相机，41-照明装置，41B-后方灯，41L-左侧方灯，41R-右侧方灯，50- 输出装置，100-人体检测系统，AP、AP1～AP6-头部图像位置，BX-方框， HD-头部，HP-虚拟头部位置，HRg-安全帽图像，M1、M2-屏蔽区域，Pr、 Pr1、Pr2、Pr10～Pr12-参考点，R1-超出区域，R2-车身映入区域，RP-代表 位置，TR、TR1、TR2、TR10～TR12-虚拟平面区域，TRg、TRg3、TRg4、 TRg5-识别处理对象图像区域，TRgt、TRgt3、TRgt4、TRgt5-标准化图像。

Claims (11)

1.一种施工机械用人检测系统，其使用安装于施工机械的摄像装置的摄像图像来检测存在于该施工机械的周边的人，所述施工机械用人检测系统具有：
抽取部，抽取所述摄像图像的一部分作为对象图像；及
识别部，识别所述对象图像中所包含的图像是否为人的图像，
所述对象图像对应于实际空间中的虚拟平面区域，
在实际空间中，所述虚拟平面区域朝向所述摄像装置的方向且从摄像方向观察相对于水平面向纵深方向倾斜，
所述摄像装置倾斜为映入有所述施工机械的车身的一部分的程度地安装于所述施工机械。
2.根据权利要求1所述的施工机械用人检测系统，其中，
所述虚拟平面区域为由实际空间中的规定尺寸的虚拟长方体的4个顶点形成的矩形区域。
3.根据权利要求1所述的施工机械用人检测系统，其中，
所述识别部对所述对象图像中所包含的不必要区域的图像进行屏蔽处理，
所述不必要区域包含映入有所述施工机械的车身的区域。
4.根据权利要求1所述的施工机械用人检测系统，其中，
所述识别部根据所述虚拟平面区域与所述摄像装置之间的距离来改变识别处理的内容。
5.根据权利要求1所述的施工机械用人检测系统，其中，
所述对象图像分别与预先设定的参考点中的1个建立关联，
所述抽取部能够按每个所述参考点抽取所述对象图像。
6.根据权利要求1所述的施工机械用人检测系统，其中，
在所述水平面上配置有虚拟栅格，
所述虚拟平面区域与所述虚拟栅格的格子点关联地配置。
7.根据权利要求2所述的施工机械用人检测系统，其中，
所述虚拟长方体为纵长。
8.根据权利要求2所述的施工机械用人检测系统，其中，
在所述水平面上配置有虚拟栅格，
所述矩形区域与所述虚拟栅格的格子点关联地配置。
9.根据权利要求2所述的施工机械用人检测系统，其中，
所述虚拟长方体的第1面以与所述摄像装置正对的方式配置。
10.根据权利要求1所述的施工机械用人检测系统，其中，
所述对象图像为，越接近所述摄像图像的左右端部则越相对于所述摄像图像的纵轴倾斜。
11.一种挖土机，使用摄像装置的摄像图像来检测存在于周边的人，在所述挖土机中，
具有控制装置，该控制装置抽取所述摄像图像的一部分作为对象图像，且识别所述对象图像中所包含的图像是否为人的图像，
所述对象图像对应于实际空间中的虚拟平面区域，
在实际空间中，所述虚拟平面区域朝向所述摄像装置的方向且从摄像方向观察相对于水平面向纵深方向倾斜，
所述摄像装置倾斜为映入有所述挖土机的车身的一部分的程度地安装于所述挖土机。
CN201580021860.6A 2014-06-03 2015-05-27 施工机械用人检测系统以及挖土机 Active CN106462961B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-115226 2014-06-03
JP2014115226 2014-06-03
PCT/JP2015/065287 WO2015186588A1 (ja) 2014-06-03 2015-05-27 建設機械用人物検知システム

Publications (2)

Publication Number Publication Date
CN106462961A CN106462961A (zh) 2017-02-22
CN106462961B true CN106462961B (zh) 2021-04-09

Family

ID=54766661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580021860.6A Active CN106462961B (zh) 2014-06-03 2015-05-27 施工机械用人检测系统以及挖土机

Country Status (5)

Country Link
US (1) US10824853B2 (zh)
EP (1) EP3154025B1 (zh)
JP (2) JP6434507B2 (zh)
CN (1) CN106462961B (zh)
WO (1) WO2015186588A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928447B2 (en) * 2013-12-20 2018-03-27 Intel Corporation Social circle and relationship identification
EP3154024B1 (en) * 2014-06-03 2023-08-09 Sumitomo Heavy Industries, Ltd. Human detection system for construction machine
CN108431337A (zh) * 2015-12-28 2018-08-21 住友建机株式会社 铲土机
JP6755672B2 (ja) * 2016-02-25 2020-09-16 住友重機械工業株式会社 作業機械用周辺監視システム
JP6812432B2 (ja) 2016-07-05 2021-01-13 住友建機株式会社 ショベル
JP1577338S (zh) * 2016-08-30 2017-05-29
JP6360583B1 (ja) * 2017-03-29 2018-07-18 大成建設株式会社 建設機械用機械学習装置、建設機械および建設機械用機械学習方法
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
US20190102902A1 (en) * 2017-10-03 2019-04-04 Caterpillar Inc. System and method for object detection
DE102017011147A1 (de) * 2017-12-01 2019-06-06 Bomag Gmbh Verfahren zum von außerhalb einer sich, insbesondere autonom, über den Bodenuntergrund fortbewegenden Baumaschine wahrnehmbaren Anzeigen, dass die Baumaschine mit einer Personendetektionseinrichtung eine Person erkannt hat, Baumaschine sowie System zum Betrieb einer oder mehrerer, insbesondere autonom, fahrender Baumaschinen
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
WO2021010467A1 (ja) * 2019-07-18 2021-01-21 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
USD969878S1 (en) 2019-09-30 2022-11-15 Kubota Corporation Backhoe loader
JP7077356B2 (ja) * 2020-04-21 2022-05-30 住友重機械工業株式会社 作業機械用周辺監視システム
TWI808490B (zh) * 2021-09-16 2023-07-11 中華電信股份有限公司 施工區域的監視裝置和監視方法
TWI836618B (zh) * 2022-09-21 2024-03-21 中華電信股份有限公司 工安雲系統、工安事件偵測方法與電腦可讀媒體

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4135123B2 (ja) 1998-05-13 2008-08-20 日産自動車株式会社 表示処理装置
JP2003009140A (ja) 2001-06-26 2003-01-10 Mitsubishi Motors Corp 歩行者検出装置
CN101739686B (zh) * 2009-02-11 2012-05-30 北京智安邦科技有限公司 运动目标跟踪方法及其系统
KR101751405B1 (ko) * 2010-10-22 2017-06-27 히다치 겡키 가부시키 가이샤 작업 기계의 주변 감시 장치
US8675090B2 (en) * 2010-12-15 2014-03-18 Panasonic Corporation Image generating apparatus, image generating method, and recording medium
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
EP2720458A4 (en) * 2011-06-09 2015-02-25 Aisin Seiki IMAGING DEVICE
JP5935118B2 (ja) * 2012-05-30 2016-06-15 株式会社日立製作所 物体検出装置および物体検出方法
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
JP6072064B2 (ja) * 2012-11-08 2017-02-01 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
EP3000229A4 (en) * 2013-05-21 2017-05-03 Transocean Sedco Forex Ventures Limited Computer vision collision avoidance in drilling operations
WO2015198410A1 (ja) * 2014-06-25 2015-12-30 株式会社日立製作所 外界認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多摄像机视频监控中运动目标检测与跟踪;梁华;《中国博士学位论文全文数据库 信息科技辑》;20110415(第04期);I140-108 *

Also Published As

Publication number Publication date
EP3154025A1 (en) 2017-04-12
JP2019053753A (ja) 2019-04-04
US20170083760A1 (en) 2017-03-23
EP3154025A4 (en) 2017-07-12
JP6434507B2 (ja) 2018-12-05
US10824853B2 (en) 2020-11-03
CN106462961A (zh) 2017-02-22
EP3154025B1 (en) 2021-10-13
WO2015186588A1 (ja) 2015-12-10
JPWO2015186588A1 (ja) 2017-05-25
JP6997066B2 (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
CN106462961B (zh) 施工机械用人检测系统以及挖土机
CN106462962B (zh) 施工机械用人检测系统以及挖土机
CN111953942B (zh) 施工机械用周边监视系统
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN107615334B (zh) 物体识别装置以及物体识别系统
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
US9117115B2 (en) Exterior environment recognition device and exterior environment recognition method
US8855367B2 (en) Environment recognition device and environment recognition method
KR20130112536A (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
JP2017158033A (ja) 作業機械用周辺監視システム
JP6755672B2 (ja) 作業機械用周辺監視システム
JP2017102604A (ja) 作業機械用周辺監視システム
JP2010086268A (ja) 車両用表示体認識装置
JPH10221074A (ja) 三次元座標測定方法
JP7077356B2 (ja) 作業機械用周辺監視システム
Mori et al. Classification of pole-like objects using point clouds and images captured by mobile mapping systems
TWI589468B (zh) 行人偵測系統
JP2017102606A (ja) 作業機械用周辺監視システム
JP2010151582A (ja) カメラキャリブレーションターゲット、およびカメラキャリブレーション方法
US20240312223A1 (en) Image processing apparatus
JP2014219845A (ja) 画像処理装置
JP2017102605A (ja) 作業機械用周辺監視システム
JP2011248441A (ja) 画像処理装置及び移動体位置推定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant