CN115038990A - 物体识别方法及物体识别装置 - Google Patents

物体识别方法及物体识别装置 Download PDF

Info

Publication number
CN115038990A
CN115038990A CN202080095068.6A CN202080095068A CN115038990A CN 115038990 A CN115038990 A CN 115038990A CN 202080095068 A CN202080095068 A CN 202080095068A CN 115038990 A CN115038990 A CN 115038990A
Authority
CN
China
Prior art keywords
candidate
boundary position
boundary
partial region
point group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080095068.6A
Other languages
English (en)
Inventor
黑飞朋子
野田邦昭
池上尭史
松尾治夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Publication of CN115038990A publication Critical patent/CN115038990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明的物体识别方法中，沿着规定方向检测本车辆(1)周边的物体(100、101)的表面上的多个位置而获取点组，生成本车辆周边的拍摄图像，将所获取的点组中包含的点进行分组而划分为物体候补点组(p1～p21)，提取出物体候补点组中包含的点即物体候补点中的、相邻的物体候补点之间的距本车辆的距离变化从规定阈值以下变为比规定阈值大的位置(p1、p7、p10、p21)，作为物体(100、101)的外端位置即边界位置候补，通过图像识别处理，提取出在拍摄图像上检测出人(100)的区域作为部分区域(R)，在拍摄图像上，在规定方向上的边界位置候补(p1、p7、p10、p21)的位置与部分区域(R)的外端位置即边界位置一致的情况下，识别为在部分区域(R)中存在行人。

Description

物体识别方法及物体识别装置
技术领域
本发明涉及一种物体识别方法及物体识别装置。
背景技术
在下述专利文献1中记载了如下技术：对由激光雷达检测出行人的点组进行分组，以提取行人候补点组，基于根据图像识别的行人识别结果确定检测区域的位置，从行人候补点组中提取检测区域中包含的点组，并检测为行人。
现有技术文献
专利文献
专利文献1：日本特开2010－071942号公报
发明要解决的课题
但是，在现有技术中，有可能将描绘在物体(例如公共汽车或有轨电车的车身)上的人的图像(绘画或照片)或车辆内的乘员误检测为行人。
发明内容
本发明的目的在于提高存在于本车辆的周边的行人的检测精度。
本发明的一方式的物体识别方法中，沿着规定方向检测出本车辆的周边的物体表面上的多个位置而获取点组，生成本车辆的周边的拍摄图像，将所获取的点组中包含的点进行分组而划分为物体候补点组，提取物体候补点组中包含的点即物体候补点中的、相邻的物体候补点之间的距本车辆的距离变化从规定阈值以下变为比规定阈值大的位置，作为物体的外端位置即边界位置候补，通过图像识别处理，提取在拍摄图像上检测出人的区域作为部分区域，在拍摄图像上，在规定方向上的边界位置候补的位置与部分区域的外端位置即边界位置一致的情况下，识别为在部分区域中存在行人。
发明效果
根据本发明的一方式，能够提高存在于本车辆的周边的行人的检测精度。
本发明的目的和优点通过使用专利请求的范围所示的要素及其组合来实现。上述的一般的记述和以下的详细的记述两者都只是例示和说明，应该理解为不是如请求的范围那样限定本发明。
附图说明
图1是表示实施方式的车辆控制装置的概略结构例的图。
图2是图1所示的摄像机和测距传感器的说明图。
图3是实施方式的物体识别方法的概略说明图。
图4A是第一实施方式的物体识别控制器的功能结构例的块图。
图4B是变形例的物体识别控制器的功能结构例的块图。
图5A是表示根据由图1的测距传感器得到的点组区分的物体候补点组的一例的图。
图5B是表示物体候补点组的稀疏处理(间拔处理)的示例。
图5C是表示根据物体候补点组计算出的近似曲线的一例的图。
图5D是表示边界位置候补的一例的图。
图6是曲率的计算方法的一例的说明图。
图7A是表示图1的摄像机的拍摄图像的一例的图。
图7B是表示部分区域的边界区域的一例的图。
图8是与行人关联的点组的提取例的说明图。
图9是第一实施方式的物体识别方法的一例的流程图。
图10是表示在多个层中获取的点组的一例的图。
图11是第二实施方式的物体识别控制器的功能结构例的块图。
图12A是表示多个层的边界位置候补的一例的图。
图12B是包含多个层的边界位置候补的包含区域的说明图。
图13是与行人关联的点组的提取例的说明图。
图14是第二实施方式的物体识别方法的一例的流程图。
图15A是表示根据多个层的边界位置候补计算出的近似直线的一例的图。
图15B是表示多个层的边界位置候补的重心的一例的图。
图16A是作为主扫描中的激光的光轴的轨迹而得到的轨迹平面的一例的说明图。
图16B是作为主扫描中的激光的光轴的轨迹而得到的轨迹平面的一例的说明图。
图16C是与轨迹平面不垂直的二维平面的一例的说明图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
(第一实施方式)
(结构)
本车辆1搭载有实施方式的车辆控制装置2。车辆控制装置2识别本车辆1周边的物体，并基于本车辆1周边有无物体来控制本车辆的行驶。车辆控制装置2是请求范围中记载的“物体识别装置”的一例。
车辆控制装置2具备：物体传感器10、物体识别控制器11、行驶控制部12和促动器13。
物体传感器10是检测本车辆1周边的物体的传感器。物体传感器10具备摄像机14和测距传感器15。
摄像机14拍摄本车辆1的周边并生成拍摄图像。参照图2。例如，摄像机14拍摄本车辆1的周边的视野V1内的物体100和101，生成拍摄有物体100和101的拍摄图像。
在此，假设本车辆1周边的物体100是行人，物体101是在接近行人100的场所存在的停车车辆的情况。
参照图1。测距传感器15向本车辆1的周边射出测距用的射出波，并接收该射出波的来自物体表面的反射波，检测出物体表面的反射点的位置。
测距传感器15例如是激光雷达、毫米波雷达、LIDAR(Light Detection andRanging(光探测与测距)、Laser Imaging Detection and Ranging(激光成像探测与测距))、激光测距仪(LRF：Laser Range－Finder)。以下，使用射出激光作为测距用的射出波的测距传感器15的例子进行说明。
参照图2。测距传感器15通过在搜索范围V2内固定上下方向的射出角度而使水平方向的射出角度发生变化，从而使激光的射出轴(光轴)在主扫描方向上发生变化，利用激光扫描本车辆1的周边。由此，测距传感器15沿着主扫描方向检测搜索范围V2内的物体表面上的多个点的位置，获取这些多个点作为点组。
在图2中用“×”标记表示点组中包含的各个点。在其他附图中也同样。另外，如上所述，由于激光在主扫描方向上以规定的等角度间隔射出，因此，构成点组的各个点在主扫描方向上的间隔为大致一定间隔。
另外，在以下的说明中，将测距传感器15的激光的光轴方向、即从测距传感器15的位置(即本车辆1的位置)朝向点组的各个点的方向标记为“进深方向”。
测距传感器15可以仅在上下方向的单一的射出角度射出激光而沿着单一的主扫描线进行扫描，也可以在上下方向使射出角度发生变化而进行副扫描。在进行副扫描时，在上下方向的多个角度的每一个上固定射出角度而使水平方向的射出角度发生变化，在上下方向的不同的射出角度的每一个上使激光的射出轴在主扫描方向上发生变化。
在上下方向的各个射出角度中通过主扫描被扫描的各个区域有时被称为“层”或“扫描层”。
在测距传感器15仅在上下方向的单一的射出角度射出激光而进行扫描的情况下，仅扫描单一的层。在测距传感器15在上下方向上使射出角度发生变化来进行副扫描的情况下，扫描多个层。各个层的上下方向位置由激光的上下方向的射出角度决定。扫描多个层的激光雷达有时被称为“多层激光雷达(Multilayer laser radar)”或“多层激光雷达”。
在第一实施方式中，对测距传感器15扫描单个层的情况进行说明。在第二实施方式中对测距传感器15扫描多个层的情况进行说明。
参照图1。物体识别控制器11是基于物体传感器10的检测结果来识别本车辆1周边的物体的电子控制单元(Electronic Control Unit)。物体识别控制器11包括处理器16及其周边部件。处理器16例如可以是CPU(Central Processing Unit)或MPU(Micro－Processing Unit)。
周边部件包括存储装置17等。存储装置17可以具备半导体存储装置、磁存储装置以及光学存储装置中的任一个。存储装置17可以包括寄存器、高速缓冲存储器、作为主存储装置使用的ROM(Read Only Memory)以及RAM(Random Access Memory)等存储器。
以下说明的物体识别控制器11的功能例如通过处理器16执行存储在存储装置17中的计算机程序来实现。
另外，物体识别控制器11也可以由用于执行以下说明的各信息处理的专用硬件形成。
例如，物体识别控制器11也可以具备在通用的半导体集成电路中设定的功能性的逻辑电路。例如，物体识别控制器11可以具有现场可编程门阵列(FPGA：Field－Programmable Gate Array)等可编程逻辑设备(PLD：Programmable Logic Device)等。
行驶控制部12是控制本车辆1的行驶的控制器。行驶控制部12基于物体识别控制器11对本车辆1周边的物体的识别结果来驱动促动器13，执行本车辆1的转向控制、加速控制、或减速控制中的至少一个。
例如，行驶控制部12包含处理器及其周边部件。处理器例如可以是CPU或MPU。在周边部件中包含存储装置。存储装置可以包含寄存器、高速缓冲存储器、ROM、RAM等存储器、半导体存储装置、磁存储装置、光学存储装置。行驶控制部12也可以是专用的硬件。
促动器13根据来自行驶控制部12的控制信号，操作本车辆1的转向机构、加速器开度以及制动装置，产生本车辆1的车辆行为。促动器13具备：转向器促动器、加速器开度促动器和制动控制促动器。转向器促动器控制本车辆1的转向机构的转向方向和转向量。加速器开度促动器控制本车辆1的加速器开度。制动控制促动器控制本车辆1的制动装置的制动动作。
接着，对物体识别控制器11对本车辆1周边的物体的识别处理进行说明。
物体识别控制器11基于作为物体传感器10设置的摄像机14和测距传感器15的检测结果，检测本车辆1周边的物体，识别检测出的物体的类型和属性。例如，物体识别控制器11通过基于摄像机14的拍摄图像的图像识别处理，识别本车辆1周边的物体的类型(车辆、行人、道路构造物等)。
另外，例如物体识别控制器11基于通过测距传感器15得到的点组信息来检测本车辆1周边的物体的大小和形状，并基于大小和形状来识别本车辆1周边的物体的类型(车辆、行人、道路构造物等)。
但是，仅通过由测距传感器15得到的点组信息，有时难以判别具有与人体相同直径的圆柱状构造物(例如设置在人行横道和人行道之间的杆)和行人。
另外，仅通过基于拍摄图像的图像识别处理，有可能将描绘在物体(例如公共汽车、有轨电车的车身)上的人的图像(绘画、照片)、车辆的乘员误检测为行人，这样的误检测有可能妨碍本车辆1的行驶控制。
例如，在自适应巡航控制(ACC)那样的定速行驶/车间距离控制中假定行人的速度为零的情况下，有可能将前行车辆的乘员或描绘在前行车辆上的图像误检测为行人而不经意地紧急减速。
因此，实施方式的物体识别控制器11并用通过测距传感器15得到的点组信息和基于摄像机14的拍摄图像的图像识别处理来识别行人。
参照图3。首先，物体识别控制器11根据接近程度对由测距传感器15获取的点组中包含的点进行分组(clustering分类)，提取各个物体，划分为作为表示提取出的物体的点组的候补的物体候补点组。
在图3的示例中，行人100存在于接近停车车辆101的位置，行人100和停车车辆101的点组p1～p21被提取为一个物体候补点组。物体候补点组p1～p21中所包含的各个点被称为“物体候补点”。
而且，物体识别控制器11提取物体候补点的进深方向(激光的光轴方向)上的位置变化(即，从本车辆1到物体候补点的距离变化)相对于相邻的物体候补点之间的主扫描方向上的位置变化的比例从规定阈值以下的比例成为比规定阈值大的比例的位置，作为物体的主扫描方向上的外端位置的边界位置的候补、即边界位置候补。
另外，在激光雷达中，如上所述，相邻的物体候补点之间的主扫描方向上的位置变化(主扫描方向上的间隔)为大致一定间隔。因此，距本车辆1的距离变化相对于相邻的物体候补点之间的主扫描方向上的位置变化的比例，仅依赖于距本车辆1的距离变化而变化。因此，距本车辆1的距离变化相对于相邻的物体候补点之间的主扫描方向上的位置变化的比例从规定阈值以下的比例变为比规定阈值大的比例的位置，是指相邻的物体候补点之间的距本车辆1的距离变化从规定阈值以下变为比规定阈值大的位置。
在图3的例子中，物体候补点p7以及p10是位于行人100与停车车辆101的边界的点，因此，相邻的物体候补点之间的距本车辆的距离变化比较大，被提取为边界位置候补。另外，由于物体候补点p1和p21是物体候补点组p1～p21的边缘，因此被提取为边界位置候补。
另一方面，在物体候补点p2～p6、p8、p9以及p11～p20的范围内，由于相邻的物体候补点之间的距本车辆的距离变化比较小，所以不作为边界位置候补提取。
接着，物体识别控制器11通过对摄像机14的拍摄图像执行图像识别处理，在拍摄图像内提取检测出人的部分区域R。另外，提取拍摄图像内的检测出人的部分区域R的方法，例如应用如下公知的方法来检测人，即，使用公知的脸部识别来识别与所识别出的脸部连续的构成要素，预先存储人的整体形状的图案并使用图案匹配来进行识别、或者进行简化，基于拍摄图像中的物体的纵横比在人的纵横比的范围内的情况来进行识别等，能够提取包含检测到的人的区域作为部分区域R。
在拍摄图像上，在边界位置候补的位置与主扫描方向上的部分区域R和其他区域的边界位置一致的情况下，物体识别控制器11识别为在部分区域R中存在行人。物体识别控制器11将位于部分区域R内的物体候补点识别为行人。另外，以下将在拍摄图像上的主扫描方向上的部分区域R与其他区域的边界位置仅记载为部分区域R的边界位置。
在图3的示例中，边界位置候补p7和p10的位置与部分区域R的边界位置一致。因此，物体识别控制器11识别为行人100存在于部分区域R中，并将位于部分区域R中的物体候补点p7～p10识别为行人。
如上所述，物体识别控制器11判断在通过图像识别处理检测到人的部分区域R中是否存在立体物，在部分区域R中存在立体物的情况下，能够将立体物识别为行人。由此，能够正确地判定由测距传感器15检测出的点组是否为行人。另外，能够防止将描绘在物体上的人的图像或车辆内的乘员误检测为行人。由此，能够提高存在于本车辆1周边的行人100的检测精度。
接着，将参照图4A详细描述物体识别控制器11的功能结构的示例。物体识别控制器11具备：物体候补点组提取部20、边界位置候补提取部21、部分区域提取部22、比较部23和物体识别部24。
测距传感器15获取的点组被输入到物体候补点组提取部20。另外，摄像机14生成的拍摄图像被输入到部分区域提取部22。
另外，车辆控制装置2也可以代替测距传感器15及摄像机14而具备立体摄像机18。
参照图4B。立体摄像机18根据由多个摄像机拍摄的多个图像生成视差图像，从视差图像获取在规定的主扫描方向上排列的像素，由此获取表示本车辆1的周边物体的表面上的多个位置的点组。
立体摄像机18将所获取的点组输入到物体候补点组提取部20。在此基础上，立体摄像机18将由多个摄像机拍摄的多个图像中的任一个作为本车辆周边的拍摄图像输入到部分区域提取部22。
参照图4A。物体候补点组提取部20根据彼此的点的接近程度对从测距传感器15得到的点组进行分组，提取各个物体，划分为表示提取出的物体的点组的候补、即物体候补点组。在接近程度的计算中，可以使用以测距传感器15为原点的r－θ坐标系或XYZ坐标系。
图5A表示物体候补点组的一例。图中的“×”符号表示包含在物体候补点组中的各个物体候补点。在图5A的示例中，行人100存在于接近停车车辆101的位置，行人100和停车车辆101的物体候补点的集合被提取为一个物体候补点组。
边界位置候补提取部21从由物体候补点组提取部20提取的物体候补点组中提取物体的边界位置的候补(即，边界位置候补)。
参照图5B。首先，边界位置候补提取部21对由物体候补点组提取部20提取的物体候补点组进行稀疏(间拔)处理，减少包含在物体候补点组中的物体候补点的数量，简化物体候补点组。边界位置候补提取部21例如可以使用体素网格或二维网格等现有的方法来对物体候补点组进行稀疏处理。通过对物体候补点组进行稀疏处理，能够降低后述的处理中的处理负荷。但是，在原来的物体候补点组不密集，不需要降低处理负荷的情况下，也可以不对物体候补点组进行稀疏处理而直接使用。
接着，边界位置候补提取部21提取如上述那样进行稀疏处理后的物体候补点组中的、在主扫描方向上相邻的物体候补点之间的进深方向(激光的光轴方向)上的位置变化、即物体候补点之间的距本车辆1的距离变化从规定阈值以下变为比规定阈值大的位置，作为物体的边界位置的候补即边界位置候补。另外，规定阈值是通过实验等预先确定的能够提取物体的边界位置的程度的距离变化的阈值。
具体地，如图5C所示，边界位置候补提取部21通过对简化后的物体候补点组进行曲线近似来计算近似曲线L。作为近似曲线L的计算方法，可以利用各种现有的方法。另外，例如，近似曲线L可以解释为短的线段(即点列)的集合体。在点组稀疏的情况下，也可以将物体候补点彼此从端点连接而生成近似曲线L。
边界位置候补提取部21计算每个物体候补点的近似曲线L的曲率ρ。边界位置候补提取部21提取曲率ρ比规定阈值大的位置作为边界位置候补。例如，如图5D所示，边界位置候补提取部21提取曲率ρ比规定曲率大的物体候补点p1、p2和p3的位置作为边界位置候补。另外，边界位置候补提取部21提取位于物体候补点组的边缘的物体候补点p4和p5的位置作为边界位置候补。
即，在图5D中，在作为相邻的物体候补点的物体候补点p1和物体候补点p1－1中，物体候补点之间的距本车辆1的距离差(距离变化)几乎没有。因此，在物体候补点p1和物体候补点p1－1之间，距离变化为规定阈值以下。另一方面，由于在作为相邻的物体候补点的物体候补点p1和物体候补点p1－2之间距离变化大，所以物体候补点之间的距离变化大于规定阈值。因此，提取相邻物体候补点之间的距离变化从规定阈值以下变为比规定阈值大的位置即物体候补点p1作为边界位置候补。另外，以相同的方式提取物体候补点p3作为边界位置候补。
另外，在相邻的物体候补点p2和物体候补点p2－2之间，物体候补点之间的距离几乎没有变化，所以物体候补点之间的距离变化为规定阈值以下。另一方面，由于在相邻的物体候补点p2－1和物体候补点p2之间距离变化大，所以物体候补点之间的距离变化大于规定阈值。因此，提取物体候补点之间的距离变化从规定阈值或更小变为大于规定阈值的位置即物体候补点p2作为边界位置候补。
在本实施方式中，为了简化上述那样的边界位置候补的提取处理，对物体候补点组进行曲线近似来计算近似曲线L，基于各个物体候补点的近似曲线L的曲率ρ是否为规定的曲率以上，来提取边界位置候补。即，利用在物体候补点之间的距离变化从规定阈值以下变为比规定阈值大的位置上近似曲线的曲率ρ变大的情况，进行使用了近似曲线L的边界位置候补的提取。另外，规定的曲率是与上述的距离变化中的规定阈值对应地设定的曲率。以下，在本实施方式中，记载为使用对物体候补点组进行曲线近似而得到的近似曲线L的曲率来提取边界位置候补。
例如，边界位置候补提取部21可以如下计算近似曲线L的曲率ρ。参照图6。将关注的物体候补点设为pc，将隔着物体候补点pc而相邻的物体候补点设为pa及pb。若将以物体候补点pa、pb以及pc为顶点的三角形的、顶点pa、pb以及pc的对边的各自的长度设为a、b以及c，则与三角形外接的圆的半径R能够通过下式计算。
R＝abc/((a+b+c)(b+c－a)(c+a－b)(a+b－c))1/2
计算出物体候补点pc的曲率ρ作为半径R的倒数(ρ＝1/R)。
也可以代替曲率ρ，边界位置候补提取部21计算出每个物体候补点的近似曲线L的法向矢量。边界位置候补提取部21可以提取法向矢量的无机变化量大于规定值的位置作为边界位置候补。
参照图3A。部分区域提取部22对摄像机14拍摄的图像执行图像识别处理，识别拍摄图像中拍摄的人。部分区域提取部22提取通过图像识别处理检测出人的部分区域R。
图7A表示摄像机14的拍摄图像的一例。部分区域提取部22例如提取包围识别出的人(行人100)的矩形区域作为部分区域R。
另外，例如，部分区域提取部22可以提取由检测到的人所占据的像素(pixel)、即具有表示人的属性的像素的集合体作为部分区域R。在该情况下，计算出包含这些像素的外形线。
参照图3A。比较部23基于摄像机14和测距传感器15的搭载位置和姿态以及摄像机14的内部参数(视角等)，将由边界位置候补提取部21提取出的边界位置候补p1～p5投影到摄像机14的拍摄图像的图像坐标系。即，将边界位置候补p1～p5的坐标变换为图像坐标系上的坐标。
比较部23判定在图像上(在图像坐标系上)，在主扫描方向上的边界位置候补p1～p5中的任何一个的位置是否与部分区域R的边界位置一致。
比较部23例如通过以下的方法来判定边界位置候补的位置与部分区域R的边界位置是否一致。参照图7B。
比较部23设定部分区域R的边界线中分别包含与主扫描方向交叉的边界线b1和b2的边界区域r1和r2。
现在，部分区域R是矩形，将其四边中与主扫描方向交叉的一对边分别设为边界线b1及b2，将剩余的边设为边界线b3及b4。
比较部23例如可以将以边界线b1为中心的宽度w的区域设定为边界区域r1，将以边界线b2为中心的宽度w的区域设定为边界区域r2。
边界区域r1的宽度w以及r2的宽度w的合计例如可以设定为与部分区域R的宽度W(边界线b3以及b4的长度)相等。在该情况下，边界区域r1成为将部分区域R向图7B中的左方向偏移了仅W/2的区域，边界区域r2成为将部分区域R向右方向偏移了仅W/2的区域。
另外，例如比较部23也可以用连结边界线b3的中央点和边界线b4的中央点的线分割部分区域R，将边界线b1侧的区域设定为边界区域r1，将边界线b2侧的区域设定为边界区域r2。在该情况下，边界区域r1成为图7B中部分区域R的左半部分的区域，边界区域r2成为右半部分的区域。
然后，在这些边界区域r1和r2双方都包含边界位置候补的任一个的情况下，比较部23判断为边界位置候补与部分区域R的边界位置一致。在该情况下，比较部23识别为在部分区域R中存在行人。
另一方面，在边界区域r1和r2的任一个都不包含边界位置候补的情况下、或者边界区域r1和r2中的任意一方不包含边界位置候补的情况下，则判断为边界位置候补与部分区域R的边界位置不一致。在该情况下，比较部23识别为在部分区域R中不存在行人。
在比较部23识别为在部分区域R中存在行人的情况下，物体识别部24将由物体候补点组提取部20提取出的物体候补点组(即，稀疏处理之前的物体候补点组)投影到拍摄图像的图像坐标系。
如图8所示，物体识别部24提取部分区域R中包含的物体候补点组，并将其识别为与行人100相关联的点组。物体识别部24计算出包含提取出的点组的圆、矩形、立方体、圆柱等图形，将计算出的图形识别为行人100。物体识别部24将识别结果输出给行驶控制部12。
在物体识别部24识别到行人100的情况下，行驶控制部12判断本车辆1的预定行驶轨迹是否与行人100干涉。在本车辆1的预定行驶轨迹与行人100干涉的情况下，行驶控制部12以使本车辆1避开行人100而行驶的方式驱动促动器13，控制本车辆1的转向机构的转向方向或转向量、加速器开度、或者制动装置的制动力中的至少一个。
(动作)
接着，参照图9说明第一实施方式的车辆控制装置2的动作的一例。
在步骤S1中，测距传感器15沿着规定方向检测本车辆1的周边物体的表面上的多个位置，获取点组。
在步骤S2中，物体候补点组提取部20对从测距传感器15得到的点组进行分组，划分为物体候补点组。
在步骤S3中，边界位置候补提取部21对由物体候补点组提取部20提取的物体候补点组进行稀疏处理并简化。边界位置候补提取部21通过对简化后的物体候补点组进行曲线近似来计算近似曲线。
在步骤S4中，边界位置候补提取部21计算每个物体候补点的近似曲线的曲率ρ。边界位置候补提取部21判定是否存在曲率ρ比规定曲率大的位置。在存在曲率ρ比规定曲率大的位置的情况下(步骤S4：是)，处理进入步骤S5。在不存在曲率ρ比规定曲率大的位置的情况下(步骤S4：否)，处理进入步骤S11。
在步骤S5中，边界位置候补提取部21提取曲率ρ比规定曲率大的位置作为边界位置候补。
在步骤S6中，部分区域提取部22对摄像机14的拍摄图像执行图像识别处理，提取在拍摄图像中检测出人的部分区域。
在步骤S7中，比较部23将边界位置候补提取部21提取的边界位置候补投影到摄像机14的拍摄图像的图像坐标系。
在步骤S8中，比较部23判定在图像坐标系中主扫描方向上的边界位置候补是否与部分区域的边界位置一致。在边界位置候补与部分区域的边界位置一致的情况下(步骤S8：是)，比较部23识别为在部分区域中存在行人，处理进入步骤S9。在边界位置候补与部分区域的边界位置不一致的情况下(步骤S8：否)，比较部23识别为在部分区域中不存在行人，处理进入步骤S11。
在步骤S9中，物体识别部24将由物体候补点组提取部20提取的物体候补点组投影到拍摄图像的图像坐标系。
在步骤S10中，物体识别部24切出部分区域中包含的物体候补点组，并将其识别为行人100。
在步骤S11中，物体识别控制器11判定本车辆1的点火开关(IGN)是否断开。在点火开关未断开的情况下(步骤S11：否)，处理返回到步骤S1。在点火开关断开的情况下(步骤S11：是)，处理结束。
(第一实施方式的效果)
(1)测距传感器15沿着规定的主扫描方向检测本车辆1的周边物体的表面上的多个位置，获取点组。摄像机14生成本车辆1周边的拍摄图像。物体候补点组提取部20对所获取的点组中包含的点进行分组，划分为物体候补点组。边界位置候补提取部21提取物体候补点组所包含的点中的、在主扫描方向上相邻的物体候补点之间的距本车辆1的距离变化从规定阈值以下变为比规定阈值大的位置，作为物体的主扫描方向上的外端位置的边界位置的候补即边界位置候补。部分区域提取部22通过图像识别处理，提取在拍摄图像上检测出人的拍摄图像的部分区域。在拍摄图像上的边界位置候补的位置与部分区域的边界位置一致的情况下，比较部23识别为在部分区域中存在行人。
由此，判断通过图像识别处理检测出人的部分区域中是否存在立体物，并在部分区域中存在立体物的情况下，能够将立体物识别为行人。因此，能够正确地判定由测距传感器15检测出的点组是否为行人。另外，能够防止将描绘在物体上的人的图像或车辆的乘员误检测为行人。由此，能够提高存在于本车辆周边的行人的检测精度。
(2)在边界位置候补的位置与部分区域的边界位置一致的情况下，物体识别部24可以将投影到拍摄图像的图像坐标系上的物体候补点组中位于部分区域内的点组识别为行人。
因此，在行人的点组可能包含在分组的物体候补点组中的情况下，能够切出该点组。
(3)边界位置候补提取部21可以提取根据物体候补点组计算出的近似曲线的曲率为规定值以上的位置作为边界位置候补。
这样，通过检测出物体候补点组的近似曲线的曲率变大的位置，能够高精度地检测物体的边界位置。
(4)测距传感器15可以是射出测距用的射出波并在主扫描方向上扫描本车辆1的周边的传感器。由此，能够高精度地检测本车辆1周边的物体的位置。
(5)测距传感器15可以对根据测距用的射出波的上下方向的射出角度而确定的每个层，利用射出波在主扫描方向上扫描本车辆1的周边，由此获取点组。边界位置候补提取部21可以通过计算每个层的近似曲线来提取边界位置候补。因此，能够为每个层提取边界位置候补。
(6)作为具有与测距传感器15和摄像机14的组合同等的功能的构成要素，也可以具备立体摄像机18。立体摄像机18生成本车辆1周边的立体图像，并根据立体图像检测出本车辆1的周边物体的表面上的位置作为点组。
由此，不搭载使用测距用的射出波的测距传感器，仅通过立体摄像机18就能够同时获取点组和拍摄图像双方。另外，能够防止依赖于测距传感器15和摄像机14的安装精度的点组与拍摄图像之间的位置误差。
(第二实施方式)
接着，说明第二实施方式。第二实施方式的测距传感器15在激光的上下方向上使射出角度变化并进行副扫描，扫描上下方向的射出角度不同的多个层。
参照图10。测距传感器15沿着4条主扫描线扫描本车辆1周边的物体100和101，获取4个层SL1、SL2、SL3和SL4各自中的点组。
参照图11。第二实施方式的物体识别控制器11具有与参照图4A说明的第一实施方式的物体识别控制器11相同的结构，对于相同的功能省略重复说明。第二实施方式的物体识别控制器11具备边界候补计算部25。
另外，在第二实施方式中，也可以与第一实施方式同样地使用立体摄像机18来代替测距传感器15和摄像机14。
物体候补点组提取部20通过与第一实施方式相同的处理，将在多个层SL1～SL4中分别获取的点组按每个层划分为物体候补点组。
边界位置候补提取部21通过与第一实施方式相同的处理来提取每个层的边界位置候补。
参照图12A。例如，边界位置候补提取部21提取层SL1中的边界位置候补p11～p15、层SL2中的边界位置候补p21～p25、层SL3中的边界位置候补p31～p35、以及层SL4中的边界位置候补p41～p45。
参照图11，边界候补计算部25根据接近程度对多个层的边界位置候补进行分组，划分为边界位置候补组。即，多个层的接近的边界位置候补被判断为在多个层中检测出的边界位置，并划分为同一边界位置候补组。
具体地，边界候补计算部25计算多个层的边界位置候补中的相邻的层的边界位置候补之间的间隔，并将间隔短于规定值的边界位置候补划分为同一边界位置候补组。
参照图12A。由于相邻的层SL1和SL2的边界位置候补p11和p21彼此接近且间隔比规定值短，所以边界候补计算部25将SL1和SL2划分为同一边界位置候补组gb1。另外，由于相邻的层SL2和SL3的边界位置候补p21和p31彼此接近且间隔比规定值短，所以边界候补计算部25将边界位置候补p31也划分为边界位置候补组gb1。另外，由于相邻的层SL3和SL4的边界位置候补p31和p41彼此接近且间隔比规定值短，所以边界候补计算部25将边界位置候补p41也划分为边界位置候补组gb1。
这样，边界候补计算部25将边界位置候补p11、p21、p31和p41划分为同一边界位置候补组gb1。
同样地，边界候补计算部25将边界位置候补p12、p22、p32和p42划分为同一边界位置候补组gb2。边界候补计算部25将边界位置候补p13、p23、p33和p43划分为同一边界位置候补组gb3。边界候补计算部25将边界位置候补p14、p24、p34和p44划分为同一边界位置候补组gb4。边界候补计算部25将边界位置候补p15、p25、p35和p45划分为同一边界位置候补组gb5。
然后，边界候补计算部25计算出包含各个边界位置候补组的柱状的包含区域作为物体的边界候补。
参照图12B。边界候补计算部25分别计算出分别包含边界位置候补组gb1、gb2、gb3、gb4和gb5的圆柱形的包含区域rc1、rc2、rc3、rc4和rc5。包含区域rc1～rc5的形状可以不是圆柱，边界候补计算部25可以计算出具有诸如三棱柱或四棱柱的适当形状的柱状的包含区域。
参照图11。比较部23将边界候补计算部25计算出的包含区域投影到摄像机14的拍摄图像的图像坐标系。比较部23判定包含区域rc1～rc5中的任一个是否与部分区域R的边界区域r1及r2重叠(重复)。
在边界区域r1和r2的双方都与包含区域rc1～rc5中的任一个重叠的情况下，比较部23识别为在部分区域R中存在行人。另一方面，在边界区域r1和r2都不与包含区域rc1～rc5中的任一个重叠的情况下、或者在边界区域r1和r2中的任一个不与包含区域rc1～rc5中的任一个重叠的情况下，比较部23识别为在部分区域R中不存在行人。
在比较部23识别为在部分区域R中存在行人的情况下，物体识别部24将由物体候补点组提取部20提取出的多个层的物体候补点组(即，稀疏处理前的物体候补点组)投影到拍摄图像的图像坐标系。
如图13所示，物体识别部24提取出部分区域R中包含的多个层的物体候补点组，识别为与行人100相关联的点组。物体识别部24计算出包含提取出的点组的圆、矩形、立方体、圆柱等图形，并将计算出的图形识别为行人100。物体识别部24将识别结果输出给行驶控制部12。
(动作)
接着，参照图14说明第二实施方式的车辆控制装置2的动作的一例。在步骤S21中，测距传感器15对上下方向的射出角度不同的多个层进行扫描，在多个层的各个层获取点组。
在步骤S22中，物体候补点组提取部20将在多个层中分别获取的点组按每个层划分到物体候补点组。
在步骤S23中，边界位置候补提取部21针对每个层计算物体候补点组的近似曲线。
在步骤S24中，边界位置候补提取部21计算近似曲线的曲率ρ。边界位置候补提取部21判定是否存在曲率ρ比规定值大的位置。在存在曲率ρ比规定值大的位置的情况下(步骤S24：是)，处理进入步骤S25。在不存在曲率ρ比规定值大的位置的情况下(步骤S24：否)，处理进入步骤S31。
在步骤S25中，边界位置候补提取部21针对每个层提取边界位置候补。边界候补计算部25根据接近程度对多个层的边界位置候补进行分组，划分为边界位置候补组。边界候补计算部25计算出包含各个边界位置候补组的柱状的包含区域作为物体的边界候补。
步骤S26的处理与参照图9说明的步骤S6的处理相同。
在步骤S27中，比较部23将边界候补计算部25计算出的包含区域投影到摄像机14的拍摄图像的图像坐标系。
在步骤S28中，比较部23判定包含区域是否与部分区域的边界区域重叠。在包含区域与部分区域的边界区域重叠的情况下(步骤S28：是)，比较部23识别为在部分区域中存在行人，并使处理进入步骤S29。在包含区域与部分区域的边界区域不重叠的情况下(步骤S28：否)，比较部23识别为在部分区域中不存在行人，并使处理进入步骤S31。
步骤S29～S31的处理与参照图9说明的步骤S9～S11的处理相同。
(第二实施方式的变形例)
(1)参照图15A。边界候补计算部25可以代替包含区域rc1～rc5而计算边界位置候补组gb1～gb5的近似直线L1～L5。比较部23将边界候补计算部25计算出的近似直线L1～L5投影到摄像机14的拍摄图像的图像坐标系。比较部23判定近似直线L1～L5的位置中的任一个是否与部分区域R的边界位置一致。
在部分区域R的边界区域r1以及r2的双方中包含近似直线L1～L5中的任一个的情况下，比较部23判断为近似直线的位置与部分区域R的边界位置一致。在该情况下，比较部23识别为在部分区域R中存在行人。
另一方面，在边界区域r1和r2都不包含近似直线L1～L5的情况下、或者在边界区域r1和r2的任意一方不包含近似直线L1～L5的情况下，判断为近似直线的位置与部分区域R的边界位置不一致。在该情况下，比较部23识别为在部分区域R中不存在行人。
(2)参照图15B。边界候补计算部25可以代替包含区域rc1～rc5而计算边界位置候补组gb1～gb5的重心g1～g5。比较部23将边界候补计算部25计算出的重心g1～g5投影到摄像机14的拍摄图像的图像坐标系。比较部23判定重心g1～g5的位置中的任一个是否与部分区域R的边界位置一致。
在部分区域R的边界区域r1以及r2的双方中包含重心g1～g5的任一个的情况下，比较部23判断为重心的位置与部分区域R的边界位置一致。在该情况下，比较部23识别为在部分区域R中存在行人。
另一方面，在边界区域r1和r2都不包含重心g1～g5的情况下、或者在边界区域r1和r2的任意一方不包含重心g1～g5的情况下，判断为重心的位置与部分区域R的边界位置不一致。在该情况下，比较部23识别为在部分区域R中不存在行人。
(3)参照图16A、图16B及图16C。边界位置候补提取部21可以将多个层SL1～SL4的物体候补点组投影到同一二维平面pp上，并根据投影到二维平面pp上的物体候补点组计算近似曲线来提取边界位置候补。由此，与扫描单个层的第一实施方式同样地能够进行边界位置候补处理，并且能够减少计算量。另外，能够省略边界候补计算部25。
在此，若将与激光的光轴方向垂直的平面设置为二维平面pp时，则进深方向(激光的光轴方向)的坐标不同的点被投影到二维平面pp上的同一坐标上，并且物体候补点组的进深方向的位置信息消失，从而不能计算曲率ρ。因此，二维平面pp优选如下设定。
图16A中的平面pl1和pl3是在层SL1和SL3中的主扫描方向上的扫描中作为激光的光轴的轨迹而分别获得的轨迹平面。图16B中的平面pl2和pl4是在层SL2和SL4中的主扫描方向上的扫描中作为激光的光轴的轨迹而分别获得的轨迹平面。
二维平面pp优选设定为不与这些轨迹平面pl1～pl4垂直。优选的是，二维平面pp设定为与轨迹平面pl1～pl4大致平行。
(4)可以设定投影多个层的物体候补点组的多个二维平面，并将不同高度的物体候补点组投影到不同的二维平面上。
例如，可以设定多个高度范围，如包含图16A和16B中的层SL1和SL2的物体候补点组的第一高度范围和包含层SL3和SL4的物体候补点组的第二高度范围。
边界位置候补提取部21可以将第一高度范围的物体候补点组彼此投影到同一二维平面上，将第二高度范围的物体候补点组彼此投影到同一二维平面上，并将第一高度范围的物体候补点组和第二高度范围的物体候补点组投影到不同的二维平面上。
(第二实施方式的效果)
(1)测距传感器15可以通过针对测距用的射出波的上下方向的射出角度不同的多个层的每个层，用射出波在规定方向上扫描本车辆1的周边来获取点组。边界位置候补提取部21可以将多个层的物体候补点组投影到同一二维平面pp上，并根据投影到二维平面pp上的物体候补点组计算出近似曲线来提取边界位置候补。二维平面pp优选不垂直于作为主扫描方向的扫描中的射出波的射出轴的轨迹而得到的平面pl1～pl4。
通过这样将多个层的物体候补点组投影到同一二维平面pp上，能够减少近似曲线的计算量。
(2)可以设定多个高度范围，并将不同高度的物体候补点组投影到不同的二维平面上。例如，可以将同一高度范围的物体候补点组投影到同一二维平面上，将不同高度范围的物体候补点组投影到不同的二维平面上。
在层数多的情况下，若将这些层的点组全部投影到同一二维平面上，则投影到二维平面上的坐标的偏差变大，近似曲线被平滑化。因此，通过按照每个一定的高度范围投影到不同的二维平面上进行曲线近似，能够抑制近似曲线的平滑化。
(3)边界候补计算部25可以将接近的边界位置候补进行分组而划分为边界位置候补组，并计算出边界位置候补组的重心。在重心的位置与部分区域的边界位置一致的情况下，比较部23可以识别为在部分区域中存在行人。
因此，可以减少在多个层中检测出的边界位置候补与部分区域的边界位置的比较所需的计算量。
(4)边界候补计算部25可以将接近的边界位置候补进行分组而划分为边界位置候补组，并根据边界位置候补组计算出近似直线。在近似直线的位置与部分区域的边界位置一致的情况下，比较部23可以识别为行人位于部分区域中。
由此，能够减少在多个层中检测出的边界位置候补与部分区域的边界位置的比较所需的计算量。
(5)边界候补计算部25可以将接近的边界位置候补进行分组而划分为边界位置候补组，并计算出包括边界位置候补组的区域即包含区域。在包含区域与部分区域的边界区域重叠的情况下，比较部23可以识别为行人位于部分区域中。
由此，能够减少在多个层中检测出的边界位置候补与部分区域的边界位置的比较所需的计算量。
在此记载的所有的示例以及条件的用语，是为了帮助读者理解本发明和为了技术的进展而由发明人给出的概念，意图在于教育的目的的用语，不应该解释为是限定于与具体记载的上述示例以及条件、以及表示本发明的优越性以及劣等性相关的本说明书中的例子。虽然详细说明了本发明的实施方式，但应该理解为在不脱离本发明的精神和范围的情况下，可以对其进行各种变更、置换和修改。
符号说明
1：本车辆；2：车辆控制装置；10：物体传感器；11：物体识别控制器；12：行驶控制部；13：促动器；14：摄像机；15：测距传感器；16：处理器；17：存储装置；18：立体摄像机；20：物体候补点组提取部；21：边界位置候补提取部；22：部分区域提取部；23：比较部；24：物体识别部；25：边界候补计算部。

Claims (12)

1.一种物体识别方法，其特征在于，
沿着规定方向检测本车辆的周边的物体表面上的多个位置而获取点组，
生成所述本车辆的周边的拍摄图像，
对所获取的所述点组中包含的点进行分组而划分为物体候补点组，
提取出所述物体候补点组中包含的点即物体候补点中的、相邻的物体候补点之间的距所述本车辆的距离变化从规定阈值以下变为比规定阈值大的位置，作为物体的外端位置即边界位置候补，
通过图像识别处理，提取出在所述拍摄图像上检测出人的区域作为部分区域，
在所述拍摄图像上，在所述规定方向上的所述边界位置候补的位置与所述部分区域的外端位置即边界位置一致的情况下，识别为在所述部分区域中存在行人。
2.如权利要求1所述的物体识别方法，其特征在于，
在所述边界位置候补的位置与所述部分区域的边界位置一致的情况下，将投影到所述拍摄图像的图像坐标系上的所述物体候补点组中的位于所述部分区域内的点组识别为行人。
3.如权利要求1或2所述的物体识别方法，其特征在于，
提取出根据所述物体候补点组计算出的近似曲线的曲率为规定值以上的位置，作为所述边界位置候补。
4.如权利要求3所述的物体识别方法，其特征在于，
通过对根据测距用的射出波的上下方向的射出角度而确定的每个层，利用所述射出波在所述规定方向上扫描所述本车辆的周边来获取所述点组，
对所述每个层计算出所述近似曲线，以提取所述边界位置候补。
5.如权利要求3所述的物体识别方法，其特征在于，
通过对测距用的射出波的上下方向的射出角度不同的多个层的每个层，利用所述射出波在所述规定方向上扫描所述本车辆的周边来获取所述点组，
将所述多个层的所述物体候补点组投影到同一二维平面上，并根据投影到所述二维平面上的所述物体候补点组计算出所述近似曲线，以提取所述边界位置候补，
所述二维平面是相对于作为所述规定方向的扫描中的所述射出波的射出轴的轨迹而得到的平面不垂直的平面。
6.如权利要求5所述的物体识别方法，其特征在于，
设定多个高度范围，
将同一所述高度范围的所述物体候补点组投影到同一所述二维平面上，将不同高度范围的所述物体候补点组投影到不同的所述二维平面上。
7.如权利要求1～6中任一项所述的物体识别方法，其特征在于，
对接近的所述边界位置候补进行分组而划分为边界位置候补组，
计算出所述边界位置候补组的重心，
在所述重心的位置与所述部分区域的边界位置一致的情况下，识别为在所述部分区域中存在行人。
8.如权利要求1～6中任一项所述的物体识别方法，其特征在于，
对接近的所述边界位置候补进行分组而划分为边界位置候补组，
根据所述边界位置候补组计算出近似直线，
在所述近似直线的位置与所述部分区域的边界位置一致的情况下，识别为行人位于所述部分区域中。
9.如权利要求1～6中任一项所述的物体识别方法，其特征在于，
对接近的所述边界位置候补进行分组而划分为边界位置候补组，
计算出包含所述边界位置候补组的区域、即包含区域，
在所述包含区域与所述部分区域的边界区域重叠的情况下，识别为行人位于所述部分区域中。
10.一种物体识别装置，其特征在于，具备：
传感器，其沿着规定方向检测本车辆的周边的物体表面上的多个位置而获取点组；
摄像机，其生成所述本车辆的周边的拍摄图像；
控制器，其对所获取的所述点组中包含的点进行分组而划分为物体候补点组，提取出所述物体候补点组中包含的点即物体候补点中的、相邻的物体候补点之间的距所述本车辆的距离变化从规定阈值以下变为比规定阈值大的位置，作为物体的外端位置即边界位置候补，通过图像识别处理，提取所述拍摄图像上检测出人的区域作为部分区域，在所述拍摄图像上，在所述规定方向上的所述边界位置候补的位置与所述部分区域的外端位置即边界位置一致的情况下，识别为在所述部分区域中存在行人。
11.如权利要求10所述的物体识别装置，其特征在于，
所述传感器是测距传感器，该测距传感器射出测距用的射出波，并在所述规定方向上扫描所述本车辆的周边。
12.如权利要求10所述的物体识别装置，其特征在于，
所述传感器及所述摄像机是立体摄像机，该立体摄像机生成所述本车辆的周边的立体图像，并根据所述立体图像检测出所述本车辆的周边的物体表面上的位置作为点组。
CN202080095068.6A 2020-01-31 2020-01-31 物体识别方法及物体识别装置 Pending CN115038990A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2020/000056 WO2021152340A1 (ja) 2020-01-31 2020-01-31 物体認識方法及び物体認識装置

Publications (1)

Publication Number Publication Date
CN115038990A true CN115038990A (zh) 2022-09-09

Family

ID=77078442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080095068.6A Pending CN115038990A (zh) 2020-01-31 2020-01-31 物体识别方法及物体识别装置

Country Status (5)

Country Link
US (1) US20230106443A1 (zh)
EP (1) EP4099060B1 (zh)
JP (1) JPWO2021152340A1 (zh)
CN (1) CN115038990A (zh)
WO (1) WO2021152340A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713758A (zh) * 2022-11-10 2023-02-24 国能黄骅港务有限责任公司 一种车厢识别方法、系统、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
CN107192994A (zh) * 2016-03-15 2017-09-22 山东理工大学 多线激光雷达海量点云数据快速有效提取及车辆、车道线特征识别方法
JP2018160049A (ja) * 2017-03-22 2018-10-11 パナソニックＩｐマネジメント株式会社 画像認識装置
US20190371056A1 (en) * 2017-02-10 2019-12-05 Voxelgrid Gmbh Device and method for analyzing objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230642B2 (ja) * 1995-05-29 2001-11-19 ダイハツ工業株式会社 先行車検出装置
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP4900103B2 (ja) * 2007-07-18 2012-03-21 マツダ株式会社 歩行者検出装置
EP3615955A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
US20060184274A1 (en) * 2003-03-14 2006-08-17 Matsushita Electric Works, Ltd. Autonomously moving robot
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
CN107192994A (zh) * 2016-03-15 2017-09-22 山东理工大学 多线激光雷达海量点云数据快速有效提取及车辆、车道线特征识别方法
US20190371056A1 (en) * 2017-02-10 2019-12-05 Voxelgrid Gmbh Device and method for analyzing objects
JP2018160049A (ja) * 2017-03-22 2018-10-11 パナソニックＩｐマネジメント株式会社 画像認識装置
CN110431562A (zh) * 2017-03-22 2019-11-08 松下知识产权经营株式会社 图像识别装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713758A (zh) * 2022-11-10 2023-02-24 国能黄骅港务有限责任公司 一种车厢识别方法、系统、装置及存储介质
CN115713758B (zh) * 2022-11-10 2024-03-19 国能黄骅港务有限责任公司 一种车厢识别方法、系统、装置及存储介质

Also Published As

Publication number Publication date
WO2021152340A1 (ja) 2021-08-05
EP4099060A1 (en) 2022-12-07
EP4099060B1 (en) 2024-05-22
JPWO2021152340A1 (zh) 2021-08-05
US20230106443A1 (en) 2023-04-06
WO2021152340A8 (ja) 2022-06-23
EP4099060A4 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
US11320833B2 (en) Data processing method, apparatus and terminal
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
JP5407898B2 (ja) 対象物検出装置及びプログラム
JP6662388B2 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6440411B2 (ja) 物体検出装置
JP5145585B2 (ja) 物標検出装置
US11915427B2 (en) Conflict resolver for a lidar data segmentation system of an autonomous vehicle
US10853963B2 (en) Object detection device, device control system, and medium
JP6583527B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2002352225A (ja) 障害物検出装置及びその方法
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
EP3115933B1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
JP2015179302A (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
Seki et al. Robust obstacle detection in general road environment based on road extraction and pose estimation
JP2018088233A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム
US20220234577A1 (en) Mobile object control device, mobile object control method,and storage medium
CN114648744A (zh) 确定语义无碰撞空间的方法
WO2021152340A1 (ja) 物体認識方法及び物体認識装置
JP2011145166A (ja) 車両検出装置
RU2808058C1 (ru) Способ распознавания объектов и устройство распознавания объектов
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
CN114467111A (zh) 物体识别方法及物体识别装置
WO2022004495A1 (ja) 障害物検出装置及び障害物検出方法
US20210231811A1 (en) Recognition device and method
JP6569416B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination