CN107506685A - 物体判别装置 - Google Patents

物体判别装置 Download PDF

Info

Publication number
CN107506685A
CN107506685A CN201710362282.3A CN201710362282A CN107506685A CN 107506685 A CN107506685 A CN 107506685A CN 201710362282 A CN201710362282 A CN 201710362282A CN 107506685 A CN107506685 A CN 107506685A
Authority
CN
China
Prior art keywords
parameter
region
specific
pixel
border
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710362282.3A
Other languages
English (en)
Other versions
CN107506685B (zh
Inventor
宫里和宏
大杉雅道
泽田英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN107506685A publication Critical patent/CN107506685A/zh
Application granted granted Critical
Publication of CN107506685B publication Critical patent/CN107506685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供一种物体判别装置，能够高精度地对映现在图像中的物体进行判别。物体判别装置(13)具备：第1特定单元(131)，其在图像中特定映现有物体的第1区域(231)；第2特定单元(134)，其在第1区域内，特定图像特征量的梯度的大小成为预定量以上的物体的边界(301)中的、图像特征量的梯度的方向成为一个方向且在第1区域内的分布范围比图像特征量的梯度的方向成为其它方向的其它边界部分大的特定边界部分(302)；及判别单元(136)，其基于表示第1区域的长度的第1参数(A)和表示特定边界部分的长度的第2参数(B)，对物体进行判别。

Description

物体判别装置
技术领域
本发明涉及能够对映现在图像中的物体进行判别的物体判别装置的技术领域。
背景技术
已知对映现在用相机拍摄到的图像中的物体进行判别的物体判别装置。作为这样的物体判别装置的一例，在专利文献1中记载了对映现在图像中的物体是否是烟状的物体进行判别的物体判别装置。专利文献1中记载的物体判别装置，根据由立体相机拍摄到的一对图像，算出视差，基于所算出的视差，在图像中特定映现有成为判别对象的物体的对象物区域。之后，专利文献1中记载的物体判别装置，基于对象物区域的边缘强度，对映现在对象物区域中的物体是否是烟状的物体进行判别。具体而言，物体判别装置制作所提取的边缘强度的直方图，特定通过按边缘强度从高到低的顺序累积所制作的直方图而得到的累积强度成为整体的N％以上的边缘强度EN，在特定出的边缘强度EN成为阈值S以下的情况下，判别为映现在对象物区域中的物体是烟状的物体。
另外，物体判别装置的其他的例子记载于专利文献2～专利文献7。但是，专利文献2～专利文献7中记载的物体判别装置，与专利文献1中记载的物体判别装置相比较，与本申请发明的关联性不那么大，所以省略其详细的说明。
现有技术文献
专利文献
专利文献1：日本特开2012-118698号公报
专利文献2：日本特开2015-075826号公报
专利文献3：日本特开2014-215718号公报
专利文献4：日本特开2014-010771号公报
专利文献5：日本特开2013-206328号公报
专利文献6：日本特开2013-203337号公报
专利文献7：日本特开2016-001435号公报
发明内容
发明要解决的问题
专利文献1中记载的物体判别装置，基于边缘强度的强弱，对物体是否是烟状的物体进行判别。能够进行这样的判别的理由在于，烟状的物体的边缘强度相对于不同于烟状的物体的其他物体(例如，护栏、桩、电线杆等人工构造物)的边缘强度变弱的倾向强。
然而，在烟状的物体的颜色(或者，亮度等其他任意的特性，以下在本段落及下一段落中相同)与该物体的背景的颜色较大地不同的情况下，同烟状的物体的颜色与该物体的背景的颜色没有那么较大地不同的情况相比较，烟状的物体的边缘强度变强。因此，尽管映现在对象物区域中的物体是烟状的物体，也有可能判定为上述的边缘强度EN不为阈值S以下。其结果，有可能在本来应该判别为映现在图像中的物体是烟状的物体的状况下，会错误地判别为映现在图像中的物体不是烟状的物体(例如，是人工构造物)。
同样，在不同于映现在图像中的烟状的物体的其他物体的颜色与该其他物体的背景的颜色没有那么较大地不同的情况下，同映现在图像中的其他物体的颜色与该其他物体的背景的颜色较大地不同的情况相比较，其他物体的边缘强度变弱。因此，尽管映现在对象物区域中的物体不是烟状的物体，也有可能判定为上述的边缘强度EN成为阈值S以下。其结果，有可能在本来应该判定为映现在图像中的物体是与烟状的物体不同的其他物体(例如，是人工构造物)的状况下，会错误地判别为映现在图像中的物体不是其他物体(例如，是烟状的物体)。
这样，在仅基于边缘强度的强弱来对映现在图像中的物体进行判别的物体判别装置中，存在其判别精度不一定良好这一技术问题。
对本发明想要解决的课题，举出上述课题。本发明的课题在于，提供一种能够精度更高地对映现在图像中的物体进行判别的物体判别装置。
用于解决课题的技术方案
<1>
公开的物体判别装置具备：第1特定单元，其在图像中特定映现有可能成为判别对象的物体的第1区域；第2特定单元，其在所述第1区域内，特定图像特征量的梯度的大小成为预定量以上的所述物体的边界中的特定边界部分，所述特定边界部分是所述图像特征量的梯度的方向成为一个方向且与所述图像特征量的梯度的方向成为不同于所述一个方向的其它方向的其它边界部分相比在所述第1区域内的分布范围大的边界部分；以及判别单元，其基于表示所述第1区域的长度的第1参数和表示所述特定边界部分的长度的第2参数，对所述物体进行判别。
如在后面参照附图详细地说明的那样，不依赖于物体的颜色(或者，亮度等其他任意的特性，以下在本段落中相同)与该物体的背景的颜色的关系，第1及第2参数的至少一方主要根据物体的种类变化。因而，公开的物体判别装置与仅基于图像特征量的梯度的大小对物体进行判别的比较例的物体判别装置相比较，能够高精度地对物体进行判别。
<2>
在公开的物体判别装置的另一形态中，所述判别单元基于所述第1参数与所述第2参数之间的相对关系，对所述物体进行判别。
如在后面参照附图详细地说明的那样，不依赖于物体的颜色(或者，亮度等其他任意特性，以下在本段落中相同)与该物体的背景的颜色的关系，第1及第2参数的相对关系主要根据物体的种类变化。因而，根据该形态，判别单元基于第1及第2参数的相对关系，能够高精度地对物体进行判别。
<3>
在如上述那样基于第1及第2参数的相对关系对物体进行判别的物体判别装置的另一形态中，所述判别单元，在所述相对关系是第1关系的情况下，判别为所述物体是烟，所述第1关系是作为在所述物体是烟的情况下能够被观测的所述相对关系而被预先规定的，所述判别单元，在所述相对关系是第2关系的情况下，判别为所述物体是人工构造物，所述第2关系与所述第1关系不同，并且所述第2关系是作为在所述物体是人工构造物的情况下能够被观测的所述相对关系而被预先规定的。
物体是烟的情况下的第1及第2参数的相对关系与物体是人工构造物的情况下的第1及第2参数的相对关系能够比较容易地识别。因而，根据本形态，判别单元基于第1及第2参数的相对关系，能够高精度地对物体是否是烟及是否是人工构造物进行判别。
<4>
在如上述那样基于第1及第2参数的相对关系对物体进行判别的物体判别装置的另一形态中，所述相对关系包括所述第1参数与所述第2参数的比及所述第1参数与所述第2参数的差分中的至少一方。
根据本形态，判别单元基于第1及第2参数的比及差分中的至少一方，能够高精度地对物体进行判别。
<5>
在如上述那样基于比及差分中的至少一方对物体进行判别的物体判别装置的另一形态中，所述判别单元，在所述比比第1阈值小或所述差分比第2阈值大的情况下，判别为所述物体是烟，所述判别单元，在所述比比作为所述第1阈值以上的第3阈值大或所述差分比作为所述第2阈值以下的第4阈值小的情况下，判别为所述物体是人工构造物。
如在后面使用附图详细地说明的那样，物体是烟的情况下的第1及第2参数的比比物体是人工构造物的情况下的第1及第2参数的比小的可能性高。而且，物体是烟的情况下的第1及第2参数的差分比物体是人工构造物的情况下的第1及第2参数的差分大的可能性高。因而，根据本形态，判别单元基于第1及第2参数的比及差分中的至少一方，能够高精度地对物体是否是烟及是否是人工构造物进行判别。
<6>
在公开的物体判别装置的另一形态中，所述第1参数将通过连结所述第1区域的外缘上的2点而得到的第1线段的长度表示为所述第1区域的长度，所述第2参数将通过对所述第1线段投影所述特定边界部分而得到的第2线段的长度表示为所述特定边界部分的长度。
根据本形态，第1及第2参数成为能够高精度地对物体进行判别的参数。
<7>
在如上述那样第1参数表示第1线段的长度的物体判别装置的另一形态中，所述第1区域的形状是矩形，所述第1线段是所述第1区域的一个边。
根据本形态，第1及第2参数成为能够高精度地对物体进行判别的参数。
<8>
在如上述那样，第1线段是第1区域的一个边的物体判别装置的另一形态中，所述一个边是所述第1区域的长边。
如在后面详细说明的那样，物体判别装置能够使用物体的边界是否包含遍及第1区域的至少一部分地呈直线状地延伸的边界部分这一判别基准，对物体进行判别。在此，包括人工构造物、烟等的物体具有在三维空间中沿着某方向(例如，垂直方向或水平方向)延伸的形状的可能性高。因此，遍及第1区域的至少一部分地呈直线状延伸的边界部分也沿着与物体在三维空间中延伸的方向对应的第1区域的长边延伸的可能性高。因而，通过使用表示第1区域的长边的长度的第1参数及表示通过将特定边界部分向该长边投影而得到的第2线段的长度的第2参数，能够期待物体判别装置的判别精度的提高。
<9>
在公开的物体判别装置的另一形态中，所述第1特定单元通过利用第1解析方法对所述图像进行解析来特定所述第1区域，所述物体判别装置还具备第3特定单元，所述第3特定单元利用所述第1解析方法或不同于所述第1解析方法的第2解析方法对所述图像进行解析，在所述图像中特定映现有能够从判别对象中排除的预定物的第2区域，所述第2特定单元，在不与所述第2区域重复的所述第1区域内特定所述特定边界部分，另一方面，不在与所述第2区域重复的所述第1区域内特定所述特定边界部分。
根据本形态，由于第2特定单元可以不在与第2区域重复的第1区域内对特定边界部分特定，所以能够减少物体判别装置的处理负荷。而且，由于预定物被从判别对象中排除，所以能够抑制由于预定物被误判别为是与本来的物体不同的物体而引起的判别精度的恶化。
<10>
在公开的物体判别装置的另一形态中，所述第1特定单元，通过利用第1解析方法对所述图像进行解析来特定所述第1区域，所述物体判别装置还具备第3特定单元，所述第3特定单元利用所述第1解析方法或不同于所述第1解析方法的第2解析方法对所述图像进行解析，在所述图像中特定映现有能够从判别对象中排除的预定物的第2区域，所述判别单元，基于所述第1参数和所述第2参数以及所述第3特定单元的特定结果，对所述物体进行判别。
根据本形态，判别单元能够考虑能够从判别对象中排除的预定物，对物体进行判别。因此，能够抑制由于预定物被误判别为是与本来的物体不同的物体(也就是说，有可能成为判别对象的物体之一)而引起的判别精度的恶化。
<11>
在公开的物体判别装置的另一形态中，所述边界由构成所述图像的多个第1像素中的所述图像特征量的梯度的大小成为所述预定量以上的多个第2像素构成，所述特定边界部分由所述多个第2像素中的、所述图像特征量的梯度的方向成为所述一个方向且数量比所述图像特征量的梯度的方向成为所述其它方向的多个第4像素多的多个第3像素构成，所述第2参数使用与所述多个第3像素的数量相关的指标，表示所述特定边界部分的长度。
根据本形态，从构成图像的像素这一观点来定义边界、特定边界部分及第2参数。
附图说明
图1是示出本实施方式的车辆的构成的框图。
图2的(a)是示出护栏的边界的一例的俯视图，图2的(b)是示出桩的边界的一例的俯视图，图2的(c)是示出烟的边界的一例的俯视图。
图3是示出物体判别工作的流程的流程图。
图4的(a)是示出立体物区域的一例的俯视图，图4的(b)是示出人/车区域的一例的俯视图，图4的(c)是示出对象区域的一例的俯视图。
图5的(a)是示出构成对象图像的各像素的图像特征量的示意图，图5的(b)是示出对象物的边界的一例的俯视图。
图6的(a)及图6的(b)分别是示出用于对构成边界的像素进行分类的角度范围的俯视图。
图7的(a)及图7的(b)分别是示出由梯度的方向相同的像素构成的边界部分的俯视图。
图8的(a)及图8的(b)分别是在对象区域上示出第1及第2参数的算出工作的示意图。
图9是示出判别用参数的出现频度与阈值的关系的曲线图。
图10的(a)～图10的(c)分别是示出第1参数所表示的对象的另一例的俯视图。
图11是示出特定边界部分包括遍及对象区域的至少一部分地呈直线状延伸的多个边界部分的例子的俯视图。
图12是示出判别用参数的出现频度与多个阈值的关系的曲线图。
图13是示出变形例的物体判别工作的流程的流程图。
附图标记的说明
1车辆；11相机；12LIDAR；13ECU；131立体物区域特定部；132人/车特定部；133对象区域特定部；134边界特定部；135判别参数算出部；136物体判别部；231立体物区域；232人/车区域；233对象区域；301边界；302特定边界部分
具体实施方式
以下，参照附图，对本发明的物体判别装置的实施方式进行说明。以下，使用搭载有本发明的物体判别装置的实施方式的车辆1来进行说明。但是，本发明的物体判别装置的实施方式也可以搭载于与车辆1不同的任意装置。
(1)车辆的构成
首先，参照图1的框图，对本实施方式的车辆1的构成进行说明。如图1所示，车辆1具备：相机11、LIDAR(Light Detection and Ranging，激光雷达)12、以及作为“物体判别装置”的一个具体例的ECU(Electrical Control Unit，电控单元)13。
相机11是对车辆1的前方的外部状况进行拍摄的拍摄设备。相机11拍摄到的图像向ECU13输出。
LIDAR12通过朝向车辆的前方射出光并且检测由存在于车辆1的前方的物体反射后的光来检测表示到物体的距离的距离信息。LIDAR12检测到的距离信息向ECU13输出。
ECU13进行用于对映在相机11拍摄到的图像中的物体是何种物体进行判别的物体判别工作。为了进行物体判别工作，ECU13，作为在ECU13的内部逻辑上被实现的处理模块，具备：作为“第1特定单元”的一个具体例的立体物区域特定部131、作为“第3特定单元”的一个具体例的人/车特定部132、对象区域特定部133、作为“第2特定单元”的一个具体例的边界特定部134、判别参数算出部135、作为“判别单元”的一个具体例的物体判别部136。关于这些处理模块的工作的详情，将在后面详细说明(参照图3等)，以下对其概要进行简单说明。
立体物区域特定部131基于从相机11输出的图像及从LIDAR12输出的距离信息，在图像内特定映现有立体物(也就是说，立体或三维的物体)的立体物区域231。立体物区域特定部131，将特定结果向对象区域特定部133通知。此外，立体物区域231是“第1区域”的一个具体例。
人/车特定部132，基于从相机11输出的图像，在图像内特定映现有人或车的人/车区域232。人/车特定部132将特定结果向对象区域特定部133通知。此外，人/车区域232是“第2区域”的一个具体例。
对象区域特定部133基于立体物区域231及人/车区域232，特定成为物体判别工作的对象的对象区域233。
边界特定部134特定对象区域233所包括的物体(以下，称为“对象物”)的边界301。本实施方式中的“边界301”的意思是：能够区分对象物和与对象物不同的其他物体或背景的线段(或线状的区域)、以及能够区分对象物中的一部分和对象物的其他部分的线段(或线状的区域)中的至少一方。这样的边界301，与图像特征量的梯度成为预定量以上(也就是说，与相邻的像素之间的图像特征量的变化量为一定量以上)的像素一致。换言之，边界301与这样的像素存在的区域一致。
边界特定部134还特定与所特定的边界301中的至少一部分相当的特定边界部分302。特定边界部分302，与图像特征量的梯度的方向相同的像素(也就是说，这样的像素存在的区域)一致。
判别参数算出部135，基于对象区域特定部133的特定结果及边界特定部134的特定结果，算出判别参数P。
物体判别部136基于判别参数算出部135所算出的判别参数P，对映在对象区域233中的对象物是何种物体进行判别。具体而言，物体判别部136能够对对象物是否是烟(更具体而言，是否是存在是烟的可能性的候选，以下相同)进行判别。物体判别部136也能够除了对对象物是否是烟进行判别之外或者代替该判别，而对对象物是否是人工构造物(典型地，设置在道路上的人工构造物，例如护栏、桩、电线杆等)(更具体而言，是否是存在是人工构造物的可能性的候选，以下相同)进行判别。以下，为了方便说明，对物体判别部136能够对对象物是否是烟或者是否是人工构造物进行判别的例子进行说明。
(2)物体判别工作
接着，对ECU13进行的物体判别工作进行说明。
(2-1)物体判别工作的概要
首先，参照图2的(a)～图2的(c)，对物体判别工作的概要进行说明。
图2的(a)用实线示出在映现有可能成为对象物的一例的护栏(也就是说，人工构造物)的对象区域233内被特定的边界301的一例。如图2的(a)所示，护栏的边界301包括遍及对象区域233的整体(或根据情况，一部分，以下相同)呈直线状延伸的边界部分301a(参照粗的实线)。
图2的(b)用实线示出在映现有可能成为对象物的一例的桩(所谓的路锥(conepole)，也即是人工构造物)的对象区域233内被特定的边界301的一例。如图2的(b)所示，桩的边界301包括遍及对象区域233的整体(或根据情况，一部分)呈直线状延伸的边界部分301a(参照粗的实线)。此外，虽然没有图示，但可能成为对象物的一例的电线杆(也即是，人工构造物)的边界301也应该包括遍及对象区域233的整体地呈直线状延伸的边界部分301a。
图2的(c)用实线示出在映现有可能成为对象物的一例的烟的对象区域233内被特定的边界301的一例。如图2的(c)所示，烟的边界301不包括遍及对象区域233的整体地呈直线状延伸的边界部分301a。
从图2的(a)～图2的(c)可知，烟的边界301不包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a，另一方面，人工构造物的边界301包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a。也就是说，对象区域233内的烟的边界301的分布形态与对象区域233内的人工构造物的边界301的分布形态不同。本实施方式的物体判别工作，基于这样的烟的边界301的分布形态与人工构造物的边界301的分布形态的差异，对对象物是否是烟或者是否是人工构造物进行判别。
(2-2)物体判别工作的具体的流程
接着，参照图3的流程图，对物体判别工作的具体的流程进行说明。如图3所示，立体物区域特定部131及人/车特定部132分别从相机11取得图像(步骤S11)。而且，立体物区域特定部131从LIDAR12取得距离信息。此外，在步骤S11中取得的图像是成为物体判别工作的对象的图像，所以以下适当称为“对象图像”。另外，以下说明的步骤S12～步骤S21的工作，基于在步骤S11中取得的对象图像及距离信息来进行。因而，ECU13实质上可以说是在每次取得对象图像及距离信息时反复进行物体判别工作(尤其是，步骤S12～步骤S21的工作)。换言之，ECU13实质上可以说是以对象图像及距离信息的取得为触发，开始物体判别工作。
之后，立体物区域特定部131基于距离信息，在对象图像中特定立体物区域231(步骤S12)。以下，对特定立体物区域231的工作的一例进行简单说明，但立体物区域特定部131也可以使用与以下说明的方法不同的方法来特定立体物区域231。例如，立体物区域特定部131基于距离信息，将对象图像上的二维的坐标系变换为三维的坐标系。之后，立体物区域特定部131在三维的坐标系上，将处于比道路面、地面高的位置且距车辆1的距离处于预定阈值以内的对象图像中的小区域的集合分类为一个区域群。此时，考虑到立体物是沿着三维的坐标系上某方向(例如垂直方向、水平方向、或与它们相交的倾斜方向)延伸的物体的可能性高，立体物区域特定部131也可以将距车辆1的距离处于预定阈值以内且沿着某方向相连的对象图像中的小区域的集合分类为一个区域群。之后，立体物区域特定部131将通过在二维的坐标系上连结各区域群的坐标的最小值及最大值而得到的矩形的区域特定为立体物区域231。通过连结各区域群的坐标的最小值及最大值而得到的矩形的区域成为立体物区域231，所以立体物区域231具有映在立体物区域231中的立体物越大则越大这一性质。
在对象图像中映现有单个立体物的情况下，立体物区域特定部131特定映现有该立体物的单个立体物区域231。另一方面，在对象图像映现有多个立体物的情况下，立体物区域特定部131特定分别映现有不同的立体物的多个立体物区域231。因而，各立体物区域231原则上相当于映现有单个立体物的区域。此外，图4的(a)示出在对象图像映现有多个立体物的情况下特定的多个立体物区域231。具体而言，图4的(a)示出特定了映现有作为立体物的护栏的立体物区域231a、映现有作为立体物的车的立体物区域231b、映现有作为立体物的烟的立体物区域231c、映现有作为立体物的电线杆的立体物区域231d、映现有作为立体物(具体而言，步行者)的立体物区域231e的例子。
在步骤S12的工作之后(或与该工作并行地)，人/车特定部132在对象图像中特定人/车区域232(步骤S13)。以下，对特定人/车区域232的工作的一例进行简单说明，但人/车特定部132也可以使用与以下说明的方法不同的方法来特定人/车区域232。人/车特定部132通过利用与立体物区域特定部131为了特定立体物区域231而使用的解析方法不同的解析方法对对象图像进行解析，来特定人/车区域232。作为这样的解析方法的一例，可举出基于表示人或车的模板图像的图案匹配法。不过，人/车特定部132也可以通过利用与立体物区域特定部131为了特定立体物区域231而使用的解析方法相同或类似的解析方法对对象图像进行解析，来特定人/车区域232。此外，图4的(b)示出特定了映现有车的人/车区域232a和映现有人的人/车区域232b的例子。
之后，对象区域特定部133基于在步骤S12中特定出的立体物区域231及在步骤S13中特定出的人/车区域232，特定对象区域233(步骤S14)。具体而言，对象区域特定部133将不与人/车区域232重复的立体物区域231设定为对象区域233。另一方面，对象区域特定部133不将与人/车区域232重复的立体物区域231设定为对象区域233。此外，图4的(c)示出基于图4的(a)所示的立体物区域231及图4的(b)所示的人/车区域232特定出的对象区域233。具体而言，图4的(a)所示的立体物区域231b及231e分别与图4的(b)所示的人/车区域232a及232b重复。因而，图4的(a)所示的立体物区域231a、231c及231d分别被设定为对象区域233a、233b及233c。另一方面，图4的(a)所示的立体物区域231b及231e都不被设定为对象区域233。
之后，ECU13对于在步骤S14中特定出的各对象区域233，进行步骤S15～步骤S20的工作。
具体而言，首先，边界特定部134通过对对象区域233进行解析，来特定映在对象区域233中的物体的边界301(步骤S15)。在此，如上所述，边界301与图像特征量的梯度成为预定量以上的像素所存在的区域一致。在图像特征量的梯度成为预定量以上的像素所存在的区域在对象图像中仅存在一个的情况下，边界301与这样的仅一个区域一致。在图像特征量的梯度成为预定量以上的像素所存在的区域在对象图像中存在多个的情况下，边界301与这样的多个区域的集合一致。因而，边界特定部134，如图5的(a)所示，基于构成对象区域233的各像素的图像特征量，算出图像特征量的梯度。在此所说的“梯度”不仅意味着根据某像素的图像特征量的分别沿着水平方向及垂直方向的导数特定的向量(典型地，二维向量)，也可以意味着能够特定某像素的图像特征量的变化程度的任意参数。之后，边界特定部134特定图像特征量的梯度成为预定量以上的像素。其结果，特定出的像素所存在的区域成为映在对象区域233中的对象物的边界301。例如，图5的(b)示出在映现有可能成为对象物的一例的护栏的对象区域233中被特定的边界301的一例。另外，此外，构成对象图像的各像素是上述的“第1像素”的一个具体例，构成边界301的各像素(也就是说，图像特征量的梯度成为预定量以上的各像素)是上述的“第2像素”的一个具体例。
此外，图5的(a)所示的箭头，表示梯度的方向(也就是说，二维向量的朝向，在某像素中图像特征量的变化程度相对大或成为最大的特定的方向)。图5的(a)示出将图像特征量以变小的方式变化的方向规定为梯度的方向的例子，但也可以将图像特征量以变大的方式变化的方向规定为梯度的方向。
在图像特征量是亮度(或明度)的情况下，图像特征量的梯度成为预定量以上的像素，与所谓的狭义的边缘一致。因此，边界特定部134也可以通过进行所谓的边缘检测，来特定亮度的梯度成为预定量以上的像素，将该特定出的像素所存在的区域特定为边界301。当然，图像特征量也可以是与亮度不同的任意的参数(例如，彩度、色相等)。
不过，边界特定部134也可以不直接使用图像特征量或者不直接算出图像特征量的梯度，而是通过对对象区域实施所希望的图像解析，将图像特征量的梯度成为预定量以上的像素(或者能够定义为与像素相关联或与像素无关的对象图像上的区域)特定为边界301。
之后，边界特定部134通过解析在步骤S15中特定出的边界301，来特定与边界301的至少一部分相当的特定边界部分302(步骤S16)。特定边界部分302是图像特征量的梯度的方向相同的像素所存在的区域。此外，在此所说的“梯度的方向相同”的状态，不仅包括梯度的方向真正完全相同的状态，还包括虽然梯度的方向有偏差但梯度的方向的偏差从防止物体判别工作的精度的恶化这一观点来看被抑制为小到能够视为梯度的方向实质上相同的程度的状态。作为梯度的方向的偏差被抑制为小的状态的一例，可以举出使用图6的(a)及图6的(b)在后面说明的、梯度的方向虽然不完全相同但包含于某角度范围的状态。
不过，图像特征量的梯度的方向相同的像素所存在的区域，根据梯度的方向在对象图像内存在多个的可能性高。例如，在对象图像内，至少存在图像特征量的梯度的方向成为第1方向的区域和图像特征量的梯度的方向成为第2方向的区域的可能性高。特定边界部分302是这样的与梯度的方向对应的多个区域中在对象区域233内的分布范围成为最大的区域。此外，在本实施方式中所说的“分布范围”意味着由具有共同的特性的像素的集合构成的某区域所分布的范围(也就是说，某区域所占的、所处的或所存在的范围)。因此，对象区域233内的分布范围意味着在对象区域233内某区域所分布的范围(也就是所占的、所处的或所存在的范围)。某区域的尺寸越大，则该某区域所分布的范围会越大，所以可以说，某区域的分布范围与该某区域的尺寸(例如，后述的长度、大小、面积等)等价。
为了特定这样的特定边界部分302，边界特定部134，首先基于各像素的图像特征量的梯度的方向，将构成边界301的各像素分类。例如，如图6的(a)所示，边界特定部134，在二维坐标系上以等角度间隔分割360度，由此定义N(其中，N是2以上的整数)个角度范围。边界特定部134，对各像素的梯度的方向是N个角度范围中的哪一个角度范围所包含的方向进行判定。其结果，边界特定部134将各像素分类为属于包含各像素的梯度的方向的角度范围的像素。
通常，利用使用了图6的(a)所示的N个角度范围的分类，能够特定可以充分确保物体判别工作的精度的特定边界部分302。然而，根据情况，在通过使用了N个角度范围的分类而特定出的特定边界部分302，物体判别工作的精度有可能恶化。具体而言，各像素的梯度的方向有可能与对应于相邻的2个角度范围的边界附近的方向一致。在该情况下，虽然某2个像素的梯度的方向实质上相同，但有可能判定为这2个像素的梯度的方向不是相同角度范围所包含的方向。这样的分类有可能导致在特定对象区域233内的分布范围成为最大的像素所存在的区域即特定边界部分302时的精度的恶化。因此，边界特定部134也可以为了预先防止物体判别精度的恶化，除了定义图6的(a)所示的N个角度范围之外，还定义通过如图6的(b)所示那样在二维坐标系上使N个角度范围错开比各角度范围的角度的幅度小的角度(例如，与各角度范围的角度的幅度的一半相当的角度)而得到的新的N个角度范围。在该情况下，边界特定部134对各像素的梯度的方向是原来的N个角度范围及新的N个角度范围中的哪一个角度范围所包含的方向进行判定。
之后，边界特定部134算出被分类为各角度范围的像素的总数。在此，如果考虑到对象图像由像素的单位构成，分类为某角度范围的像素的总数越多，则分类为某角度范围的像素的对象图像内的分布范围越大。也就是说，分类为某角度范围的像素的总数，可以说是与分类为某角度范围的像素的分布范围等价(也就是说，是表示分布范围的参数的一例)。因而，边界特定部134，为了特定分布范围成为最大的像素被分类到的角度范围，而特定分类后的像素的总数成为最大的角度范围。之后，边界特定部134将被分类为特定出的角度范围的像素所存在的区域特定为特定边界部分302。例如，图7的(a)及图7的(b)，分别将构成护栏的边界301的像素中的被分类为某角度范围的像素所存在的线状的区域的一例与该像素的图像特征量的梯度的方向一并示出。在图7的(a)及图7的(b)所示的例子中，被分类为图7的(a)所示的角度范围的像素的总数，比被分类为图7的(b)所示的角度范围的像素的总数多。也就是说，被分类为图7的(a)所示的角度范围的像素的分布范围，比被分类为图7的(b)所示的角度范围的像素的分布范围大。因此，边界特定部134不会将被分类为图7的(b)所示的角度范围的像素所存在的区域特定为特定边界部分302。另一方面，在被分类为图7的(a)所示的角度范围的像素的总数成为最大的情况下，边界特定部134将被分类为图7的(a)所示的角度范围的像素所存在的区域特定为特定边界部分302。此外，被分类为图7的(a)所示的角度范围的各像素(也就是说，构成特定边界部分302的各像素)是上述的“第3像素”的一个具体例，被分类为图7的(b)所示的角度范围的各像素(也就是说，虽然不构成特定边界部分302，但构成边界301并且图像特征量的梯度的方向相同的多个像素的各像素)是上述的“第4像素”的一个具体例。
之后，判别参数算出部135，基于在步骤S14中特定出的对象区域233及在步骤S16中特定出的特定边界部分302，算出判别参数P(步骤S17)。判别参数P是基于与对象区域233关联的第1参数A及与特定边界部分302关联的第2参数B确定的参数。以下，对于判别参数P的算出方法的一个具体例，参照图8的(a)进行说明。图8的(a)示出在映现有可能成为对象物的一例的护栏的对象区域233中特定的边界301的一例。另外，在图8的(a)中，用粗线示出特定边界部分302。
如图8的(a)所示，第1参数A表示沿着对象区域233的长边排列的一列的像素的数。判别参数算出部135通过解析对象区域233，算出沿着对象区域233的长边排列的像素的数。在图8的(a)所示的例子中，沿着对象区域233的长边排列的像素的数是40，所以第1参数A表示40这一数值。
另一方面，第2参数B表示沿着对象区域233的长边排列的一列像素中在将特定边界部分302向对象区域233的长边投影了的情况下特定边界部分302被投影的像素的数。也就是说，第2参数B表示沿着对象区域233的长边排列的一列像素中将构成特定边界部分302的像素向对象区域233的长边投影了的情况下构成特定边界部分302的像素被投影的像素的数。判别参数算出部135通过解析对象区域233，特定在将特定边界部分302向对象区域233的长边投影了的情况下特定边界部分302被投影的像素，并且算出该特定出的像素的数。在图8的(a)所示的例子中，特定边界部分302被投影的像素的数是38，所以第2参数B表示38这一数值。
此外，图8的(b)示出从映现有可能成为对象物的一例的烟的对象区域233特定的第1参数A及第2参数B的一例。在图8的(b)所示的例子中，沿着对象区域233的长边排列的一列像素的数是40，所以第1参数A表示40这一数值。此外，在图8的(b)所示的例子中，在将特定边界部分302向对象区域233的长边投影了的情况下特定边界部分302被投影的像素的数是9，所以第2参数B表示9这一数值。
之后，判别参数算出部135算出第2参数B相对于第1参数A的比率(也就是说，B/A)。第2参数B相对于第1参数A的比率被用作判别参数P。因此，判别参数P实质上也可以说是表示向对象区域233的长边投影的特定边界部分302相对于对象区域233的长边的分布率。
再次，在图3中，之后，物体判别部136对在步骤S17中算出的判别参数P是否比预定的阈值TH1大进行判定(步骤S18)。在步骤S18的判定的结果是判定为判别参数P比阈值TH1大的情况下(步骤S18：是)，物体判别部136判别为对象物是人工构造物(步骤S19)。另一方面，在步骤S18的判定的结果是判定为判别参数P比阈值TH1小的情况下(步骤S18：否)，物体判别部136判别为对象物是烟(步骤S20)。此外，在判定为判别参数P与阈值TH1相同的情况下，物体判别部136既可以判别为对象物是烟，又可以判定为对象物是人工构造物。ECU13将在步骤S14中特定出的全部对象区域233作为对象，反复进行以上的步骤S15～步骤S20的工作(步骤S21)。
在此，如图8的(a)所示，在对象物是人工构造物的情况下，该对象物的边界301包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a。这样的边界部分301a由于呈直线状延伸，所以由图像特征量的梯度的方向相同的多个像素构成的可能性高。因此，作为图像特征量的梯度的方向相同的像素所存在的区域的特定边界部分302，包括这样的边界部分301a的可能性高。因此，在对象物是人工构造物的情况下，与对象物不是人工构造物(例如，是烟)的情况相比较，第2参数B变大。换言之，在对象物是人工构造物的情况下，与对象物不是人工构造物的情况相比较，第2参数B表示更接近第1参数A的值。其结果，判别参数P相对变大。因而，在判别参数P比阈值TH1大的情况下，与判别参数P比阈值TH1小的情况相比较，对象物是人工构造物的可能性高。另一方面，如图8的(b)所示，在对象物是烟的情况下，该对象物的边界301不包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a。也就是说，特定边界部分302不包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a的可能性高。因此，在对象物是烟的情况下，与对象物不是烟(例如，是人工构造物)的情况相比较，第2参数B变小。换言之，在对象物是烟的情况下，与对象物不是烟(例如，是人工构造物)的情况相比较，第2参数B表示更背离第1参数A的值。其结果，判别参数P相对地变小。因而，在判别参数P比阈值TH1小的情况下，与判别参数P比阈值TH1大的情况相比较，对象物是烟的可能性高。因而，物体判别部136通过将判别参数P与阈值TH1进行比较，能够对对象物是否是烟或是否是人工构造物进行判别。
优选地，阈值TH1被设定能够区别会在对象物是烟的情况下算出的判别参数P与会在对象物是人工构造物的情况下算出的判别参数P的适当值。例如，在对象物是多个不同的烟的情况下分别算出的判别参数P的出现频度，如图9所示，在以相对较小的判别参数P1为中心的区域中，相对变大。另一方面，例如，在对象物是多个不同的人工构造物的情况下分别算出的判别参数P的出现频度，如图9所示，在以相对较大的判别参数P2(其中，P2>P1)为中心的区域中相对变大。因而，阈值TH1也可以设定为能够将在对象物是多个不同的烟的情况下分别算出的判别参数P的分布与在对象物是多个不同的人工构造物的情况下分别算出的判别参数P的分布分离开的适当值。
如以上说明的那样，本实施方式的ECU13能够基于烟的边界301的分布形态与人工构造物的边界301的分布形态的差异，对对象物是否是烟或是否是人工构造物进行判别。在此，即使是映在对象图像中的烟的颜色(或其他任意特性，以下在本段落中相同)与该烟的背景的颜色较大地不同的情况下，烟的边界301不包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a的情况也没有改变。因此，即使是烟的颜色与背景的颜色较大地不同的情况下，也与烟的颜色与背景的颜色没有那么较大地不同的情况同样，第2参数B相对地变小，所以判别参数P会相对地变小。因而，即使是烟的颜色与背景的颜色较大地不同的情况下，ECU13也能够以与烟的颜色与背景的颜色没有那么较大地不同的情况同样的精度，对对象物是否是烟进行判别。同样，即使是映在对象图像中的人工构造物的颜色与该人工构造物的背景的颜色没有那么较大地不同的情况下，人工构造物的边界301包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a的情况也没有改变。因此，即使是人工构造物的颜色与背景的颜色没有那么较大地不同的情况下，也与人工构造物的颜色与背景的颜色较大地不同的情况同样，第2参数B相对地变大，所以判别参数P会相对地变大。因而，即使是人工构造物的颜色与背景的颜色没有那么较大地不同的情况下，ECU13也能够以与人工构造物的颜色与背景的颜色较大地不同的情况同样的精度，对对象物是否是人工构造物进行判别。因此，ECU13与仅基于边缘强度的强弱(也就是说，作为图像特征量的一例的亮度的梯度的大小其本身)对映现在图像中的物体进行判别的比较例的物体判别装置相比较，能够高精度地对对象物进行判别。
而且，ECU13能够基于人/车特定部132的特定结果，将立体物区域231的一部分从对象区域233排除。因而，ECU13也可以不对立体物区域231的一部分进行用于特定边界301、特定边界部分302的处理。其结果，能够减少物体判别工作所需的处理负荷。而且，能够抑制由于人、车被误判别为烟、人工构造物而引起的判别精度的恶化。
而且，ECU13能够使用表示沿着对象区域233的长边排列的一列像素的数的第1参数A及表示沿着对象区域233的长边排列的一列像素中特定边界部分302被投影的像素的数的第2参数B，对物体进行判别。也就是说，ECU13能够使用与对象区域233的长边的长度关联的判别参数P，对物体进行判别。在此，如上所述，包括人工构造物、烟等的对象物，在三维空间中沿着某方向延伸的可能性高。因此，遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a，沿着对象区域233的长边延伸的可能性高。因而，在使用与对象区域233的长边有关的判别参数P的情况下，会在对象物是烟的情况下算出(也就是说，在沿着对象区域233的长边呈直线状延伸的可能性高的边界部分301a不存在的情况下算出)的判别用参数P，取能够明确地与会在对象物是人工构造物的情况下算出(也就是说，在沿着对象区域233的长边呈直线状延伸的可能性高的边界部分301a存在的情况下算出)的判别用参数P分离的数值的可能性会变高。因而，能够期待物体的判别精度的提高。
(3)变形例
在上述的说明中，边界特定部134特定被分类了的像素的总数成为最大的角度范围，并且将被分类为特定出的角度范围的像素所存在的区域特定为特定边界部分302。然而，关于特定边界部分302，也可以特定虽然被分类后的像素的总数没有成为最大但成为预定数以上的一个角度范围，并且将被分类为特定出的一个角度范围的像素所存在的区域特定为特定边界部分302。换言之，关于特定边界部分302，也可以特定虽然被分类后的像素的对象区域233内的分布范围没有成为最大但成为预定范围以上的一个角度范围，并且将被分类为特定出的一个角度范围的像素所存在的区域特定为特定边界部分302。该情况下的预定数(或预定范围)，可以基于上述的烟的边界301的分布形态与人工构造物的边界301的分布形态的差异来设定。具体而言，人工构造物的边界301有可能包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a。因此，构成人工构造物的边界301的像素中图像特征量的梯度的方向相同的像素的数变多到能够构成遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a的程度的可能性相对高。因此，能够构成遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a的像素的数，也可以被设定为预定数。或者，在对象区域233内能够分布成能够构成遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a的程度的像素的分布范围，也可以被设定为预定范围。
料想：在梯度的方向成为一个方向的像素的数比梯度的方向成为与一个方向不同的另一个方向的像素的数大的情况下，与梯度的方向成为另一个方向的像素相比，梯度的方向成为一个方向的像素构成呈直线状延伸的边界部分301a的可能性高。因此，边界特定部134也可以特定比被分类为另一个角度范围的像素的总数多的数量的像素被分类到的一个角度范围，并且将被分类为所特定出的一个角度范围的像素所存在的区域特定为特定边界部分302。换言之，关于特定边界部分302，也可以特定对象区域233内的分布范围比被分类为另一角度范围的像素的分布范围大的一个角度范围，并且将被分类到所特定出的一个角度范围的像素所存在的区域特定为特定边界部分302。
在上述的说明中，第1参数A表示沿着对象区域233的长边排列的一列像素的数。在此，对象区域233的长边越长，则沿着对象区域233的长边排列的一列像素的数也会越多。因而，沿着对象区域233的长边排列的一列像素的数可以说是与对象区域233的长边的长度等价。因此，第1参数A也可以是虽然与沿着对象区域233的长边排列的像素的数不同但表示对象区域233的长边的长度的任意参数。换言之，第1参数A也可以是对象区域233的长边的长度越长则越大的任意参数。
或也可以如图10的(a)所示，第1参数A是表示对象区域233的短边的长度的任意参数。也就是说，第1参数A也可以是对象区域233的短边越长则越大的任意参数。或第1参数A也可以如图10的(b)所示，是表示通过连结对象区域233的外缘上的2点而得到的线段的长度(例如，线段本身的长度、或沿着对象区域233的长边或短边的线段的长度)的任意参数。也就是说，第1参数A也可以是通过连结对象区域233的外缘上的2点而得到的线段越长则越大的任意参数。此外，图10的(c)示出对象区域233的对角线作为通过连结对象区域233的外缘上的2点而得到的线段的一例。在任一情况下，第1参数A都是对象区域233的尺寸越大则能够变得越大的参数。因此，第1参数A实质上可以说是表示对象区域233的尺寸(尤其是长度)的参数。
在上述的说明中，第2参数B表示沿着对象区域233的长边排列的一列像素中的在将特定边界部分302向对象区域233的长边投影了的情况下特定边界部分302被投影的像素的数。在此，特定边界部分302越长(尤其是，在沿着对象区域233的长边的方向上越长)，则特定边界部分302被投影的像素的数也越多。因而，特定边界部分302被投影的像素的数可以说是与特定边界部分302的长度(尤其是，沿着第1参数A表示长度的对象区域233的长边的长度)等价。因此，第2参数B也可以是虽然与特定边界部分302被投影的像素的数不同但表示特定边界部分302的长度的任意参数。换言之，第2参数B也可以是特定边界部分302的长度越长则越大的任意参数。
此外，在对象物是烟的情况下，特定边界部分302，如图8的(b)所示，成为分别包括少数的像素的多个区域的可能性高。即使在该情况下，纵使构成特定边界部分302的各区域极短，只要能够用长度这一维度特定，则特定边界部分302也能够用长度这一维度特定。具体而言，例如，特定边界部分302能够用构成特定边界部分302的多个区域的长度的总和这一参数特定。不过，在对象物是烟的情况下，特定边界部分302的长度，实质上可以说是与特定边界部分302的对象区域233内的分布范围(尤其是，沿着对象区域233的长边的方向上的分布范围)等价。此外，在对象物是人工构造物(或其他物体)的情况下，特定边界部分302的长度，实质上也可以说是与特定边界部分302的对象区域233内的分布范围(尤其是，沿着对象区域233的长边的方向上的分布范围)等价。
以下，对表示特定边界部分302的长度的任意参数的一例进行说明。若将特定边界部分302向对象区域233的长边投影，则在长边上，规定特定边界部分302被投影的线段即投影线段。特定边界部分302的长度越长，则该投影线段的长度越长。因此，第2参数B也可以是表示通过将特定边界部分302向对象区域233的长边投影而得到的投影线段的长度的任意参数。在第1参数A表示对象区域233的短边的长度的情况下，第2参数B也可以是表示通过将特定边界部分302向对象区域233的短边投影而得到的投影线段的长度的任意参数。在第1参数A表示通过连结对象区域233的外缘上的2点而得到的线段的长度的情况下，第2参数B也可以是表示通过将特定边界部分302向这样的线段投影而得到的投影线段的长度的任意参数。或第2参数B也可以是表示特定边界部分302本身的长度的任意参数。例如，第2参数B可以表示构成特定边界部分302的像素的数。在任一情况下，第2参数B都是特定边界部分302的尺寸越大则能够变得越大的参数。因此，第2参数B实质上可以说是表示特定边界部分302的尺寸(尤其是长度)的参数。
如图11所示，存在如下情况：在某对象区域233内，遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a存在多个。在此，在构成多个边界部分301a的多个像素的图像特征量的梯度的方向相同的情况下，特定边界部分302会包括这多个边界部分301a。在该情况下，第2参数B也可以表示沿着对象区域233的长边排列的一列像素中在将多个边界部分301a的至少一个向对象区域233的长边投影了的情况下该至少一个边界部分301a被投影的像素的数。例如，第2参数B可以表示沿着对象区域233的长边排列的一列像素中在仅将某一个边界部分301a向对象区域233的长边投影了的情况下该某一个边界部分301a被投影的像素的数。例如，第2参数B也可以表示沿着对象区域233的长边排列的一列像素中在将多个边界部分301a全部向对象区域233的长边投影了的情况下至少一个边界部分301a被投影的像素的数。或第2参数B也可以是与多个边界部分301a的至少一个的长度相关的任意参数。例如，第2参数B可以表示多个边界部分301a的长度的总和。例如，第2参数B也可以表示多个边界部分301a中某一个的长度。不过，从提高判别精度这一观点来说，第2参数B优选是考虑了构成特定边界部分302的多个边界部分301a的全部长度的参数。
如上所述，本实施方式的物体判别工作是以人工构造物的边界301包括遍及对象区域233的至少一部分地呈直线状延伸的边界部分301a为前提的工作。因此，为了提高对对象物是否是人工构造物进行判别的精度，优选在对象物是人工构造物的情况下特定的特定边界部分302是呈直线状延伸的边界部分301a，另一方面在对象物是人工构造物的情况下特定的特定边界部分302不是呈直线状延伸的边界部分301a。因此，边界特定部134也可以在算出第2参数B时，进行用于将构成特定边界部分302的像素(例如边缘)中的以呈直线状延伸的方式分布的像素提取的处理，并且将该提取的像素对对象区域233的长边投影。作为用于提取以呈直线状延伸的方式分布的像素的处理的一例，可举出如下处理：通过对构成特定边界部分302的像素实施霍夫(Hough)变换等线段检测处理而特定能够从构成特定边界部分302的像素特定的线段，将构成特定边界部分302的像素中的处于距所特定出的线段预定距离以内的像素提取为呈直线状延伸的像素。
在上述的说明中，作为与判别参数P比较的阈值，使用了单个阈值TH1。然而，在研究图9所示的曲线图时，在判别用参数P处于上述阈值TH1附近的情况下，对象物有可能既不是烟也不是人工构造物。另外，在判别用参数P比上述判别参数P1小很多的情况下，对象物有可能不是烟。另外，在判别用参数P比上述判别参数P2大很多的情况下，对象物有可能不是人工构造物。因此，作为与判别参数P比较的阈值，也可以使用多个阈值TH。例如，如图12所示，物体判别部136也可以在判别参数P比预定的阈值TH2(其中，TH2<P1)大且比预定的阈值TH3(其中，P1<TH3≤TH1)小的情况下，判别为对象物是烟。物体判别部136也可以在判别参数P比预定的阈值TH4(其中，TH1≤TH4<P2)大且比预定的阈值TH5(其中，P2<TH5)小的情况下，判别为对象物是人工构造物。物体判别部136也可以在判别参数P比阈值TH2小、比阈值TH3大且比阈值TH4小、或比阈值TH5大的情况下，判别为对象物是与烟及人工构造物不同的其他物体。在该情况下，物体的判别精度提高。
在上述的说明中，判别参数P是第2参数B相对于第1参数A的比率。然而，判别参数P也可以是第1参数A与第2参数B的差分。在该情况下，物体判别部136将差分与预定的阈值TH6进行比较来对物体进行判别。具体而言，在差分比阈值TH6小的情况下，物体判别部136可以判别为对象物是人工构造物。在差分比阈值TH6大的情况下，物体判别部136可以判别为对象物是烟。此外，阈值TH6也可以根据与阈值TH1相同的观点设定。
第1参数A与第2参数B的比率及差分，均相当于表示第1参数A与第2参数B之间的相对关系的参数。因而，判别参数P也可以是表示第1参数A与第2参数B之间的相对关系的任意参数。在该情况下，在相对关系处于第1关系的情况下，物体判别部136可以判别为对象物是人工构造物。在相对关系处于第2关系(或不处于第1关系)的情况下，物体判别部136可以判别为对象物是烟。此外，第1关系及第2关系也可以根据与阈值TH1相同的观点设定。
在上述的说明中，立体物区域231及对象区域233(进而，人/车区域232)是矩形的区域。然而，立体物区域231及对象区域233(进而，人/车区域232)也可以是与矩形不同的形状(例如，多边形、圆形或椭圆形)的区域。在该情况下，第1参数A也可以是表示沿着通过连结对象区域233的外缘上的2点而得到的线段(或曲线)排列的一列像素的数的任意参数(或与上述的第1参数A的变形例对应的任意参数)。第2参数B也可以是表示沿着通过连结对象区域233的外缘上的2点而得到的线段(或曲线)排列的一列像素中在将特定边界部分302向该线段或曲线投影了的情况下特定边界部分302被投影的像素的数的任意参数(或与上述的第2参数B的变形例对应的任意参数)。
人/车特定部132所特定的人/车区域232用于将立体物区域231的一部分从对象区域233排除。也就是说，人/车特定部132可以说是特定了与能够从应通过物体判别工作判别的对象物排除的物体相当的人及车。因此，人/车特定部132也可以除了在特定映现有人或车的人/车区域232之外或者代替该特定，而特定映现有能够从应通过物体判别工作判别的对象物中排除的物体的排除区域。在该情况下，对象区域特定部133将不与排除区域重复的立体物区域231设定为对象区域233，另一方面，不将与排除区域重复的立体物区域231设定为对象区域233。
在上述的说明中，人/车特定部132的特定结果是为了将立体物区域231的一部分从对象区域233排除而由对象区域特定部133使用。然而，人/车特定部132的特定结果也可以在物体判别部136对物体进行判别时使用。关于这样的物体判别工作的变形例的流程，参照图13进行说明。此外，进行物体判别工作的变形例的车辆1的构成本身与图1所示的车辆1的构成相同(不过，在代替人/车特定部132的特定结果向对象区域特定部133通知而向物体判别部136通知这一点上不同)，所以省略车辆1的构成的说明。
如图13所示，在变形例中，也进行步骤S11～步骤S13的工作。在变形例中，对象区域特定部133不考虑人/车区域232，直接将立体物区域231设定为对象区域233(步骤S31)。之后，在变形例中，也进行步骤S15～步骤S18的工作。在判定为判别参数P比阈值TH1大的情况下(步骤S18：是)，物体判别部136判别为对象物是人工构造物(步骤S19)。在判定为判别参数P比阈值TH1小的情况下(步骤S18：否)，物体判别部136对成为了物体判别工作的对象的对象区域233是否与人/车区域232重复进行判定(步骤S32)。在判定为对象区域233不与人/车区域232重复的情况下(步骤S32：否)，物体判别部136判别为对象物是烟(步骤S20)。在判定为对象区域233与人/车区域232重复的情况下(步骤S32：是)，物体判别部136判别为对象物是既不是烟也不是人工构造物的其他物体(步骤S33)。根据这样的物体判别工作的变形例，与为了将立体物区域231的一部分从对象区域233排除而由对象区域特定部133使用人/车特定部132的特定结果的情况同样，物体的判别精度提高。
车辆1也可以不具备相机11。在该情况下，车辆1可以对位于车辆1的外部的相机拍摄到的图像，进行上述的物体判别工作。
车辆1也可以除了LIDAR12之外或代替LIDAR12，具备能够检测距离信息的任意传感器。作为这样的传感器的一例，可举出立体相机、雷达。此外，在车辆1具备立体相机的情况下，立体相机也可以被用作相机11。或车辆1也可以不具备LIDAR12(或能够检测距离信息的任意传感器)。在该情况下，车辆1可以从位于车辆1的外部的LIDAR(或能够检测距离信息的任意传感器)取得距离信息。
ECU13也可以不具备人/车特定部132及对象区域特定部133。在该情况下，立体物区域231直接被设定成对象区域233。
上述的实施方式及变形例的构成要件的至少一部分能够与实施方式及变形例的构成要件的至少另一部分适当组合。实施方式及变形例的构成要件的至少一部分也可以不被使用。
此外，本发明能够在不违反能够从权利要求书及说明书整体理解到的发明的要旨或构思的范围内适当变更，伴随有这样的变更的物体判别装置也包含于本发明的技术构思。

Claims (11)

1.一种物体判别装置，其特征在于，具备：
第1特定单元，其在图像中特定映现有可能成为判别对象的物体的第1区域；
第2特定单元，其在所述第1区域内，特定图像特征量的梯度的大小成为预定量以上的所述物体的边界中的特定边界部分，所述特定边界部分是所述图像特征量的梯度的方向成为一个方向且与所述图像特征量的梯度的方向成为不同于所述一个方向的其它方向的其它边界部分相比在所述第1区域内的分布范围大的边界部分；以及
判别单元，其基于表示所述第1区域的长度的第1参数和表示所述特定边界部分的长度的第2参数，对所述物体进行判别。
2.根据权利要求1所述的物体判别装置，其特征在于，
所述判别单元，基于所述第1参数与所述第2参数之间的相对关系，对所述物体进行判别。
3.根据权利要求2所述的物体判别装置，其特征在于，
所述判别单元，在所述相对关系是第1关系的情况下，判别为所述物体是烟，所述第1关系是作为在所述物体是烟的情况下能够被观测的所述相对关系而被预先规定的，
所述判别单元，在所述相对关系是第2关系的情况下，判别为所述物体是人工构造物，所述第2关系与所述第1关系不同，并且所述第2关系是作为在所述物体是人工构造物的情况下能够被观测的所述相对关系而被预先规定的。
4.根据权利要求2或3所述的物体判别装置，其特征在于，
所述相对关系包括所述第1参数与所述第2参数的比以及所述第1参数与所述第2参数的差分中的至少一方。
5.根据权利要求4所述的物体判别装置，其特征在于，
所述判别单元，在所述比比第1阈值小或所述差分比第2阈值大的情况下，判别为所述物体是烟，
所述判别单元，在所述比比作为所述第1阈值以上的第3阈值大或所述差分比作为所述第2阈值以下的第4阈值小的情况下，判别为所述物体是人工构造物。
6.根据权利要求1～5中任一项所述的物体判别装置，其特征在于，
所述第1参数将通过连结所述第1区域的外缘上的2点而得到的第1线段的长度表示为所述第1区域的长度，
所述第2参数将通过对所述第1线段投影所述特定边界部分而得到的第2线段的长度表示为所述特定边界部分的长度。
7.根据权利要求6所述的物体判别装置，其特征在于，
所述第1区域的形状是矩形，
所述第1线段是所述第1区域的一个边。
8.根据权利要求7所述的物体判别装置，其特征在于，
所述一个边是所述第1区域的长边。
9.根据权利要求1～8中任一项所述的物体判别装置，其特征在于，
所述第1特定单元通过利用第1解析方法对所述图像进行解析来特定所述第1区域，
所述物体判别装置还具备第3特定单元，所述第3特定单元利用所述第1解析方法或不同于所述第1解析方法的第2解析方法对所述图像进行解析，在所述图像中特定映现有能够从判别对象中排除的预定物的第2区域，
所述第2特定单元，在不与所述第2区域重复的所述第1区域内特定所述特定边界部分，另一方面，不在与所述第2区域重复的所述第1区域内特定所述特定边界部分。
10.根据权利要求1～8中任一项所述的物体判别装置，其特征在于，
所述第1特定单元，通过利用第1解析方法对所述图像进行解析来特定所述第1区域，
所述物体判别装置还具备第3特定单元，所述第3特定单元利用所述第1解析方法或不同于所述第1解析方法的第2解析方法对所述图像进行解析，在所述图像中特定映现有能够从判别对象中排除的预定物的第2区域，
所述判别单元，基于所述第1参数和所述第2参数以及所述第3特定单元的特定结果，对所述物体进行判别。
11.根据权利要求1～10中任一项所述的物体判别装置，其特征在于，
所述边界由构成所述图像的多个第1像素中的所述图像特征量的梯度的大小成为所述预定量以上的多个第2像素构成，
所述特定边界部分由所述多个第2像素中的、所述图像特征量的梯度的方向成为所述一个方向且数量比所述图像特征量的梯度的方向成为所述其它方向的多个第4像素多的多个第3像素构成，
所述第2参数使用与所述多个第3像素的数量相关的指标，表示所述特定边界部分的长度。
CN201710362282.3A 2016-06-14 2017-05-22 物体判别装置 Active CN107506685B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016118233A JP6508134B2 (ja) 2016-06-14 2016-06-14 物体判別装置
JP2016-118233 2016-06-14

Publications (2)

Publication Number Publication Date
CN107506685A true CN107506685A (zh) 2017-12-22
CN107506685B CN107506685B (zh) 2021-01-12

Family

ID=60419919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710362282.3A Active CN107506685B (zh) 2016-06-14 2017-05-22 物体判别装置

Country Status (4)

Country Link
US (1) US10380743B2 (zh)
JP (1) JP6508134B2 (zh)
CN (1) CN107506685B (zh)
DE (1) DE102017209631B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738088A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像处理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3651091B1 (de) * 2018-11-07 2023-04-26 Adolf Würth GmbH & Co. KG Lagerverwaltungssystem mit positionsermittlung von lagergütern und zugeordneten lagerbereichen
KR102205325B1 (ko) * 2019-06-14 2021-01-21 경북대학교 산학협력단 라인 검출 방법
US11107238B2 (en) * 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
JP2022186023A (ja) * 2021-06-04 2022-12-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446349A (zh) * 2010-09-29 2012-05-09 奥林巴斯株式会社 图像处理装置和图像处理方法
US20120133739A1 (en) * 2010-11-30 2012-05-31 Fuji Jukogyo Kabushiki Kaisha Image processing apparatus
US20130011016A1 (en) * 2010-04-13 2013-01-10 International Business Machines Corporation Detection of objects in digital images
US20140099020A1 (en) * 2012-10-05 2014-04-10 Industry Academic Cooperation Foundation Keimyung University Method of detecting smoke of forest fire using spatiotemporal bof of smoke and random forest

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS50826A (zh) 1973-04-28 1975-01-07
JP3505362B2 (ja) * 1997-08-13 2004-03-08 名古屋電機工業株式会社 車両検出方法
US7245315B2 (en) * 2002-05-20 2007-07-17 Simmonds Precision Products, Inc. Distinguishing between fire and non-fire conditions using cameras
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4864043B2 (ja) * 2008-05-13 2012-01-25 株式会社豊田中央研究所 画像処理装置、方法及びプログラム
WO2012022958A1 (en) * 2010-08-19 2012-02-23 Bae Systems Plc Sensor data processing
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
KR101237089B1 (ko) 2011-10-12 2013-02-26 계명대학교 산학협력단 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
JP2013206328A (ja) 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 物体検出装置
JP5600332B2 (ja) 2012-03-29 2014-10-01 富士重工業株式会社 運転支援装置
JP2014010771A (ja) 2012-07-02 2014-01-20 Toshiba Corp 車両検知装置
JP2014215718A (ja) 2013-04-23 2014-11-17 株式会社東芝 車両検知装置、および、車両検知システム
JP6204782B2 (ja) 2013-10-07 2017-09-27 日立建機株式会社 オフロードダンプトラック
JP6445775B2 (ja) * 2014-04-01 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法
JP6329438B2 (ja) 2014-06-12 2018-05-23 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6236363B2 (ja) * 2014-06-30 2017-11-22 本田技研工業株式会社 対象物認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130011016A1 (en) * 2010-04-13 2013-01-10 International Business Machines Corporation Detection of objects in digital images
CN102446349A (zh) * 2010-09-29 2012-05-09 奥林巴斯株式会社 图像处理装置和图像处理方法
US20120133739A1 (en) * 2010-11-30 2012-05-31 Fuji Jukogyo Kabushiki Kaisha Image processing apparatus
CN102567713A (zh) * 2010-11-30 2012-07-11 富士重工业株式会社 图像处理装置以及图像处理方法
US20140099020A1 (en) * 2012-10-05 2014-04-10 Industry Academic Cooperation Foundation Keimyung University Method of detecting smoke of forest fire using spatiotemporal bof of smoke and random forest

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738088A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像处理装置

Also Published As

Publication number Publication date
US20170358089A1 (en) 2017-12-14
CN107506685B (zh) 2021-01-12
JP6508134B2 (ja) 2019-05-08
US10380743B2 (en) 2019-08-13
DE102017209631B4 (de) 2022-09-01
DE102017209631A1 (de) 2017-12-14
JP2017224110A (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
CN107506685A (zh) 物体判别装置
US8947508B2 (en) Image processing apparatus
US8385599B2 (en) System and method of detecting objects
CN105608441B (zh) 一种车型识别方法及系统
US9197860B2 (en) Color detector for vehicle
CN108537782A (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN106504289B (zh) 一种室内目标检测方法及装置
CN104484680B (zh) 一种多模型多阈值组合的行人检测方法
KR101246120B1 (ko) 전후면 번호판 영상 기반 차량번호 인식 시스템
RU2395787C2 (ru) Способ обнаружения объектов
US8396297B2 (en) Supervised edge detection using fractal signatures
CN106991448A (zh) 一种人像比对处理方法
CN108460348A (zh) 基于三维模型的道路目标检测方法
JP6375911B2 (ja) カーブミラー検出装置
CN104252707B (zh) 对象检测方法和装置
CN105631868A (zh) 一种基于图像分类的深度信息提取方法
KR101860616B1 (ko) 식별기 생성 장치 및 패턴 검출 장치
JP5867267B2 (ja) 歩行者検出装置及び歩行者検出方法
CN103955929B (zh) 图像局部边缘模式与非边缘模式判断方法及判断装置
CN107273804A (zh) 基于支持向量机和深度特征的行人识别方法
TWI498831B (zh) 產生可變形狀之適應性動態區域之系統與其控制方法
TWI589468B (zh) 行人偵測系統
JP2014186710A (ja) 画像処理技術を用いたしいたけの等級判別装置
TWI741317B (zh) 行人辨識方法與系統
CN111986221B (zh) 一种基于灰度或位置信息的边缘评价方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant