CN105711498B - 物体检测装置、物体检测系统、物体检测方法以及记录介质 - Google Patents

物体检测装置、物体检测系统、物体检测方法以及记录介质 Download PDF

Info

Publication number
CN105711498B
CN105711498B CN201510755903.5A CN201510755903A CN105711498B CN 105711498 B CN105711498 B CN 105711498B CN 201510755903 A CN201510755903 A CN 201510755903A CN 105711498 B CN105711498 B CN 105711498B
Authority
CN
China
Prior art keywords
characteristic point
vehicle
photographs
light stream
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510755903.5A
Other languages
English (en)
Other versions
CN105711498A (zh
Inventor
山本彻夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN105711498A publication Critical patent/CN105711498A/zh
Application granted granted Critical
Publication of CN105711498B publication Critical patent/CN105711498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及物体检测装置、物体检测系统、物体检测方法以及程序，能提升物体的检测性能。在物体检测装置中，流导出部基于在对自车辆的周边进行摄影的摄像机周期性得到的摄影图像的特征点来导出光流，物体检测部基于光流来检测物体。另外，信号接收部取得自车辆的速度(步骤S11)，参数设定部对应于自车辆的速度来设定影响特征点的数量的特征点参数(步骤S13，S14)。由此，能对应于自车辆的速度合适地调整物体的检测灵敏度，能提升物体检测装置的物体的检测性能。

Description

物体检测装置、物体检测系统、物体检测方法以及记录介质
技术领域
本发明涉及检测车辆的周边的物体的技术。
背景技术
一直以来，提出使用由对车辆的周边进行摄影的摄像机得到的摄影图像来检测物体的物体检测装置。物体检测装置例如基于由前方摄像机得到的摄影图像来检测物体。通过将这样的物体检测装置的检测结果报知给用户(主要是驾驶员)，用户能在预见性差的交叉路口或停车场等容易地掌握从成为死角的位置接近的其它车辆等的物体。
作为这样的物体检测装置中的物体的检测方式，已知光流方式。在光流方式中，从周期性得到的摄影图像(帧)提取特征点，导出标识在摄影图像间的特征点的运动的矢量即光流。然后，基于该光流检测自车辆的周边的物体(例如参考专利文献1)。
专利文献
专利文献1：JP特开2014-146083号公报
然而，在采用光流方式的情况下，在自车辆的行驶中，不仅移动的物体，对于成为背景的被摄体也会导出光流。这样的成为背景的被摄体所涉及的光流，会成为物体的误检测的要因。
在现有的物体检测装置中，为了避免这样的物体的误检测而将物体的检测灵敏度固定为恒定。为此难以提升物体检测装置的物体的检测性能。
发明内容
本发明鉴于上述课题而提出，目的在于提供提升物体的检测性能的技术。
为了解决上述课题，技术方案1的发明是检测车辆的周边的物体的物体检测装置，具备：导出单元，其基于由对所述车辆的周边进行摄影的摄像机周期性得到的摄影图像的特征点来导出光流；检测单元，其基于所述光流来检测物体；取得单元，其取得所述车辆的速度；和设定单元，其对应于所述速度来设定影响所述特征点的数量的参数。
另外，技术方案2的发明在技术方案1所记载的物体检测装置的基础上，所述设定单元基于所述速度来判定所述车辆处于停车状态还是行驶状态，在处于所述停车状态时，设定所述参数，使得和处于所述行驶状态比较所述特征点的数量更多。
另外，技术方案3的发明在技术方案1所记载的物体检测装置的基础上，所述导出单元具备：提取单元，其提取所述摄影图像的特征点；和剔除单元，其在以所述提取单元所提取的1个特征点为中心的评价区域包含其它特征点的情况下，将该其它特征点从所述光流的导出对象中剔除，所述参数包含所述评价区域的尺寸。
另外，技术方案4的发明在技术方案1所记载的物体检测装置的基础上，所述导出单元具备：提取单元，其提取仅基于1个摄影图像的像素值的特征点即第1特征点；判定单元，其判定与在所述1个摄影图像之前取得的摄影图像的特征点对应的所述1个摄影图像中的点即第2特征点；和剔除单元，其在以所述第2特征点为中心的评价区域包含所述第1特征点的情况下，将该第1特征点从所述光流的导出对象中剔除，所述参数包含所述评价区域的尺寸。
另外，技术方案5的发明在技术方案1所记载的物体检测装置的基础上，具备：平滑化单元，其将所述特征点的提取前的所述摄影图像平滑化，所述参数包含所述平滑化的强度。
另外，技术方案6的发明在技术方案1到5任一者记载的物体检测装置的基础上，具备：锐化单元，其将所述特征点的提取前的所述摄影图像锐化，所述参数包含所述锐化的强度。
另外，技术方案7的发明是检测车辆的周边的物体的物体检测系统，具备：摄像机，其对所述车辆的周边进行摄影；导出单元，其基于在所述摄像机周期性得到的摄影图像的特征点来导出光流；检测单元，其基于所述光流来检测物体；和取得单元，其取得所述车辆的速度；和设定单元，其对应于所述速度来设定影响所述特征点的数量的参数。
另外，技术方案8的发明是检测车辆的周边的物体的物体检测方法，具备：(a)基于由对所述车辆的周边进行摄影的摄像机周期性得到的摄影图像的特征点来导出光流的步骤；(b)基于所述光流检测物体的步骤； (c)取得所述车辆的速度的步骤；(d)对应于所述速度来设定影响所述特征点的数量的参数的步骤。
另外，技术方案9的发明是能由在车辆中使用的计算机执行的程序，使所述计算机执行：(a)基于由对所述车辆的周边进行摄影的摄像机周期性得到的摄影图像的特征点来导出光流的步骤；(b)基于所述光流来检测物体的步骤；(c)取得所述车辆的速度的步骤；和(d)对应于所述速度来设定影响所述特征点的数量的参数的步骤。
发明的效果
根据技术方案1到9的发明，由于对应于车辆的速度设定影响特征点的数量的参数，因此能通过对应于车辆的速度合适地调整物体的检测灵敏度来提升物体的检测性能。
另外，特别根据技术方案2的发明，由于使车辆的停车状态的特征点的数量变多地设定参数，因此在车辆的停车状态能提高物体的检测灵敏度来提升物体的检测性能。
另外，特别根据技术方案3的发明，能通过设定评价区域的尺寸来调整物体的检测灵敏度。
另外，特别根据技术方案4的发明，能通过设定评价区域的尺寸来调整物体的检测灵敏度。
另外，特别根据技术方案5的发明，能通过设定平滑化的强度来调整物体的检测灵敏度。
另外，特别根据技术方案6的发明，能通过设定锐化的强度来调整物体的检测灵敏度。
附图说明
图1是表示物体检测系统的概略构成的图。
图2是表示2个摄像机分别进行摄影的方向的图。
图3是表示利用物体检测系统的场面的一例的图。
图4是表示流导出部所具备的功能的框图。
图5是表示显示图像的一例的图。
图6是表示以前方摄像机取得的摄影图像的示例的图。
图7是表示以前方摄像机取得的摄影图像的示例的图。
图8是表示以前方摄像机取得的摄影图像的示例的图。
图9是说明光流方式的概要的图。
图10是说明光流方式的概要的图。
图11是表示物体检测装置的动作的流程的图。
图12是表示物体检测处理的详细的流程的图。
图13是说明锐化手法的概要的图。
图14是表示移动平均过滤器的示例的图。
图15是表示移动平均过滤器的示例的图。
图16是说明第1剔除处理的次序的图。
图17是说明特征点追踪处理的次序的图。
图18是说明第2剔除处理的次序的图。
图19是说明对特征点进行分组的手法的图。
图20是说明对特征点进行分组的手法的图。
标号的说明
1 物体检测装置
2 摄像机
10 物体检测系统
51 锐化部
52 平滑化部
53 流导出部
53a 特征点提取部
53b 特征点追踪部
53c 特征点剔除部
54 物体检测部
61 参数设定部
具体实施方式
以下参考附图来说明本发明的实施方式。
<1.系统的构成>
图1是表示本实施方式的物体检测系统10的概略构成的图。物体检测系统10搭载于汽车等的车辆，检测在该车辆的周边移动的物体，具有在检测到物体的情况下将该检测结果报知给用户的功能。以下将搭载物体检测系统10的车辆称作「自车辆」。
物体检测系统10具备：显示摄影图像的显示装置3；和产生声音的扬声器4。显示装置3配置在自车辆的车厢内中的用户(主要是驾驶员)能视觉辨识的位置，将各种信息向用户报知。显示装置3也可以具备引导到目的地为止的路线的导航功能等基本显示功能以外的功能。扬声器4配置在自车辆的车厢内，用声音将信息向用户报知。
另外，物体检测系统10具备对自车辆的周边进行摄影来得到摄影图像的多个摄像机2。多个摄像机2分别具备镜头、摄像元件和图像处理部，电子地取得摄影图像，对取得的摄影图像进行给定的图像处理。各摄像机 2以给定的周期(例如1/30秒周期)周期性地取得摄影图像。
多个摄像机2包含前方摄像机2F和后方摄像机2B。图2是表示2个摄像机2F、2B分别进行摄影的方向的图。
如图所示那样，前方摄像机2F设置在自车辆9的前端的保险杠，其光轴21F沿着自车辆9的前后方向朝向前方。因此，前方摄像机2F对自车辆9的前方进行摄影，取得表示自车辆9的前方的样子的摄影图像。另外，后方摄像机2B设置在自车辆9的后端的背面车门92，其光轴21B沿着自车辆9的前后方向朝向后方。因此，后方摄像机2B对自车辆9的后方进行摄影，取得表示自车辆9的后方的样子的摄影图像。
对这些摄像机2的镜头采用魚眼镜头，各摄像机2具有180度以上的视角θ。为此，前方摄像机2F能在自车辆9的前方扩展的左右方向上拍摄 180度以上的区域，后方摄像机2B能在自车辆9的后方扩展的左右方向上拍摄180度以上的区域。
物体检测系统10将在这2个摄像机2当中对应于动作模式而选择的摄像机2得到的摄影图像显示在显示装置3。物体检测系统10在前方模式下显示在前方摄像机2F得到的摄影图像，在后方模式下显示在后方摄像机2B得到的摄影图像。这样的动作模式例如能对应于自车辆9的行进方向切换。由此，用户能大致实时地掌握行进方向上的自车辆9的周边的情形。
另外，物体检测系统10基于在与动作模式相应的摄像机2得到的摄影图像来检测接近自车辆9的物体。然后，在检测到物体的情况下，物体检测系统10经由显示装置3以及扬声器4将检测结果向用户报知。由此用户在预见性差的交叉路口或停车场等能容易地掌握从成为用户的死角的位置接近的物体。
图3是表示利用物体检测系统10的场面的一例的图。在图3示出自车辆9临近预见性差的交叉路口的场面。物体检测系统10的动作模式成为前方模式。如前述那样，前方摄像机2F具有180度以上的视角θ。由此，如图3所示那样，在仅自车辆9的前端进入交叉路口的状态下，前方摄像机2F能拍摄在交叉路口内的左右扩展的区域。因此，物体检测系统10能取得表示与自车辆9所存在的道路R1大致正交的另一方的道路R2的样子的摄影图像，能将该摄影图像显示在显示装置3。
另外，在如此取得的摄影图像中，包含在另一方的道路R2移动而从左侧或右侧接近自车辆9的物体(其它车辆8或步行者等)的像。物体检测系统10通过使用该摄影图像来检测接近自车辆9的物体，将该检测结果向用户报知。由此，用户能在使自车辆9的整体进入交叉路口前容易地掌握接近自车辆9的物体。
返回图1，物体检测系统10具备物体检测装置1，用于基于在摄像机 2取得的摄影图像检测接近自车辆9的物体。物体检测装置1具备：图像取得部12、图像处理电路13、以及图像输出部14。
图像取得部12取得在与动作模式相应的摄像机2得到的摄影图像。图像取得部12以给定的周期(例如1/30秒周期)周期性地从摄像机2取得摄影图像。图像取得部12所取得的1个摄影图像成为影像信号的1个帧。
图像处理电路13是对图像取得部12所取得的摄影图像执行给定的图像处理的ASIC或FPGA等的硬件电路。图像处理电路13以光流方式执行检测物体的物体检测处理。图中示出的锐化部51、平滑化部52、流导出部53以及物体检测部54是该物体检测处理所涉及的功能。
锐化部51进行强调摄影图像的像素值的变化的锐化处理。锐化部51 通过进行锐化处理来强调包含在摄影图像中的被摄体像的轮廓，使被摄体像鲜明。
平滑化部52进行减低摄影图像的像素值的变化的平滑化处理。平滑化部52通过进行平滑化处理来除去包含在摄影图像中的随机的噪声。
流导出部53基于摄影图像的特征点来导出光流。图4是表示流导出部53所具备的与光流的导出相关的功能的框图。图4所示的特征点提取部53a、特征点追踪部53b、特征点剔除部53c以及流选择部53d分别是流导出部53所具备的功能。关于这些功能的详细在后面叙述。
返回图1，物体检测部54基于流导出部53所导出的光流来检测物体。在物体检测部54检测到物体的情况下，图像处理电路13输出物体检测处理的检测结果。
图像输出部14和摄影图像一起生成包含各种信息的显示图像，将它们变换成NTSC等的给定形式的影像信号并输出给显示装置3。由此在显示装置3显示包含摄影图像的显示图像。图像输出部14将包含锐化处理后的鲜明的被摄体像的摄影图像用在显示图像的生成中。
另外，物体检测装置1具备：操作开关15、信号接收部16、声音输出部17、存储部18、以及控制部11。
操作开关15是设于自车辆9的车厢内的开关。操作开关15接受用户的操作，将表示操作内容的信号输入到控制部11。
信号接收部16经由设于自车辆9的车载网络91接收来自其它装置的信号，来取得自车辆9的车辆状态。信号接收部16将接收到的信号输入到控制部11。
信号接收部16接收换档传感器71以及速度传感器72所送出的信号。换档传感器71检测自车辆9的变速装置的换档杆的位置即换档位置，送出表示该换档位置的信号。该换档位置表示自车辆9的行进方向。速度传感器72基于自车辆9的车轮轴的旋转来检测速度，送出表示自车辆9的速度的信号。由此，信号接收部16取得换档位置以及速度作为自车辆9 的车辆状态。
声音输出部17基于来自控制部11的信号来生成声音信号，并输出到扬声器4。由此扬声器4产生警告声等的声音。
存储部18例如是闪速存储器等的非易失性存储器，存储各种信息。存储部18例如存储作为固件的程序18a。这样的程序18a通过经由网络的下载、或从存储卡等的计算机可读的记录介质的读出等取得。
控制部11是具备CPU、RAM以及ROM等的微型计算机，控制包括图像处理电路13的物体检测装置1的各部。控制部11例如对应于信号接收部16所取得的换档位置、以及操作开关15的操作内容等来变更物体检测系统10的动作模式。
控制部11的各种功能以软件实现。即，控制部11的功能通过存储于存储部18的程序18a的执行(遵循程序18a的CPU的运算处理)而得以实现。图中的参数设定部61以及结果报知部62是通过程序18a的执行而实现的功能的一部分。
参数设定部61设定图像处理电路13执行物体检测处理时所用的参数。参数设定部61通过变更这样的参数来调整物体检测装置1的物体的检测灵敏度。关于在参数设定部61设定的参数的详细在后面叙述。
结果报知部62将图像处理电路13的物体检测处理的检测结果向用户报知。结果报知部62接受图像处理电路13所输出的检测结果。然后，结果报知部62向图像输出部14送出信号，并使图像输出部14生成表示检测结果的显示图像。由此，在显示装置3显示表示检测结果的显示图像。另外，结果报知部62对声音输出部17送出信号，使声音输出部17生成与检测结果相应的声音信号。由此从扬声器4产生与检测结果相应的警告声。
图5是表示在前方模式下显示在显示装置3的显示图像31的一例的图。显示图像31包含：由摄像机2取得的摄影图像SG、成为表示物体检测处理的检测结果的指标的2个警告部AF、和表示动作模式的图标C。
2个警告部AF是上下延伸的矩形的区域，分别配置在摄影图像SG的左右。在存在从自车辆9的右侧接近的物体的情况下，如图5所示那样，右侧的警告部AF以给定的颜色(例如黄色)闪烁。反之，在存在从自车辆9的左侧接近的物体的情况下，左侧的警告部AF以给定的颜色闪烁。
另外，在如此存在接近自车辆9的物体的情况下，从扬声器4产生给定的警告声。由此，用户能容易地掌握接近自车辆9的物体的存在，并能容易地掌握该物体所存在的方向。
<2.物体检测处理的概要>
接下来说明图像处理电路13所执行的物体检测处理的概要。如前述那样，图像处理电路13以作为使用周期性得到的多个摄影图像(帧)的帧相关方式之一的光流方式来检测物体。物体检测处理对每1个摄影图像 (帧)执行。
图6、图7以及图8表示在前方摄像机2F在时间序列上取得的多个摄影图像(帧)SG的示例。图6的摄影图像SG最旧，图8的摄影图像SG 最新。在图6到图8的摄影图像SG分别包含接近自车辆9的同一物体的像Ob。图像处理电路13分别对这样周期性得到的多个摄影图像SG进行物体检测处理，检测接近自车辆9的物体。
图像处理电路13将设定在摄影图像SG的左右2个检测区域TA各自作为对象进行物体检测处理。将2个检测区域TA设定在摄影图像SG的上下中央附近。然后，将一方的检测区域TA设定在摄影图像SG的左侧，将另一方的检测区域TA设定在摄影图像SG的右侧。期望这些检测区域 TA包含理论上的无限远点即消失点(实际上是平行的线的像通过远近法而相交的点)。
图9以及图10是说明光流方式的物体检测处理的概要的图。在这些图中，例示了设定在摄影图像的右侧的检测区域TA。
另外，在图9中示出时间上连续取得的2个摄影图像(帧)的检测区域TA。图中右侧的检测区域TA1是最近取得的摄影图像的检测区域TA。另一方面，图中左侧的检测区域TA0是最近的摄影图像的1帧前取得的过去的摄影图像的检测区域TA。在该说明中，将最近的摄影图像称作「现帧」，将过去的摄影图像称作「前帧」。以下参考图9以及图10来说明光流方式的物体检测处理的概要。
在物体检测处理的开始时间点，前帧的检测区域TA0中的多个特征点 FP已经导出完毕。特征点FP是能在摄影图像中显著检测到的点，在前次的物体检测处理中导出(步骤SP1)。将这样的前帧的特征点(以下称作「前次特征点」)FP存储在存储部18。
在物体检测处理中，比较前帧的检测区域TA0和现帧的检测区域 TA1，追踪前次特征点FP(步骤SP2)。即，基于周边的像素值将成为前次特征点FP的移动目的地的现帧中的点判定为「追踪特征点」。然后，将前次特征点FP和追踪特征点建立对应。
接下来，从建立对应对的前次特征点FP朝向追踪特征点的矢量，被作为光流OF导出(步骤SP3)。光流OF表征在摄影图像间的特征点FP 的运动。
在光流OF中，存在向左或向右等各种朝向的光流。接近自车辆9的物体的像Ob通常在摄影图像中向内(从摄影图像的左右端部向中央侧的朝向)移动。由此，仅将向内的光流选择为处理对象(图10的步骤SP4)，将向远离自车辆9的方向移动的物体的光流从处理对象中剔除。在图10 所示的检测区域TA1中，仅将向左的光流OF选择为处理对象。
接下来，参考选择为处理对象的光流所涉及的特征点(追踪特征点)，将相互存在于近旁的多个特征点分组为1个组OG。然后，将这样的组OG 检测为物体(步骤SP5)。
在采用这样的光流的情况下，在自车辆9处于停车状态时，由于移动的物体以外的成为背景的被摄体(以下仅称作「背景」)与自车辆9的相对位置不发生变化，因此不会对于背景导出光流。
另一方面，在自车辆9的行驶中，由于背景与自车辆9的相对位置发生变化，因此对于背景也导出光流。通常由于这样的背景所涉及的光流成为向外的光流，因此从处理对象中剔除。
但是，在特定的条件下，有背景所涉及的光流成为向内的情况。例如，在自车辆9的转弯中，有时背景所涉及的光流成为向内。另外，道路标识或区划线(白线)等所涉及的光流有时会引起特征点的误追踪等而成为向内。因此，存在这样的背景所涉及的光流成为物体的误检测的要因的可能性。为了避免这样的物体的误检测，需要降低物体的检测灵敏度。
另一方面，如上述那样，背景所涉及的光流在自车辆9的行驶中导出，但在自车辆9的停车状态下不导出。因此，在自车辆9的停车状态下，不需要为了避免背景所涉及的光流引起的误检测而降低物体的检测灵敏度。
据此，本实施方式的物体检测装置1对应于自车辆9的速度调整物体的检测灵敏度。具体地，在自车辆9的行驶中相对降低物体的检测灵敏度，另一方面，在自车辆9处于停车状态时相对提高物体的检测灵敏度。由此，在自车辆9的行驶中能防止物体的误检测，并且在自车辆9处于停车状态时能提升物体检测装置1的物体的检测性能。
在本实施方式的物体检测装置1中，通过参数设定部61对应于自车辆9的速度设定物体检测处理中所用的参数，来调整物体的检测灵敏度。该参数是影响到成为光流的导出对象的特征点的数量的参数。以下将该参数称作「特征点参数」。
<3.动作的流程>
以下说明这样的物体检测装置1的动作。图11是表示物体检测装置1 的动作的流程的图。图11所示的处理对每一帧进行，以给定的周期(例如1/30秒周期)反复。
首先，信号接收部16取得自车辆9的速度(步骤S11)。信号接收部 16接收从速度传感器72送出的信号来取得自车辆9的速度。
接下来，参数设定部61基于信号接收部16所取得的自车辆9的速度来判定自车辆9是处于停车状态还是行驶状态(步骤S12)。参数设定部 61在自车辆9的速度不足给定的阈值(例如0.1km/h)的情况下，判定为自车辆9处于停车状态。
在自车辆9为停车状态的情况下(步骤S12“是”)，参数设定部61 使特征点的数量相对变多地设定特征点参数(步骤S13)。另一方面，在自车辆9为行驶中的情况下(步骤S12“否”)，参数设定部61使特征点的数量相对变少地设定特征点参数(步骤S14)。即，在自车辆9处于停车状态时，参数设定部61使特征点的数量变得与行驶中相比更多地设定特征点参数。将设定的特征点参数用在以后的物体检测处理(步骤S16) 中。关于特征点参数的具体例在后面叙述。
通过如此由参数设定部61设定特征点参数，在自车辆9为停车状态的情况下，成为光流的导出对象的特征点的数量变多。为此，在自车辆9 为停车状态的情况下，物体的检测灵敏度提高，能提升物体检测装置的物体的检测性能。另一方面，在自车辆9为行驶中的情况下，成为光流的导出对象的特征点的数量变少。由此，在自车辆9为行驶中的情况下，物体的检测灵敏度降低，能防止物体的误检测。
另外，在该图11所示的处理中，在步骤S13或步骤S14的任意者参数设定部61必定设定特征点参数，但也可以仅在自车辆9的状态为停车状态与行驶状态间变化的情况下设定特征点参数。
在参数设定部61设定了特征点参数时，接下来图像取得部12从与动作模式相应的摄像机2取得在本次的物体检测处理中成为处理对象的1个摄影图像(帧)(步骤S15)。
接下来，图像处理电路13使用图像取得部12所取得的摄影图像、以及参数设定部61所设定的特征点参数来执行物体检测处理(步骤S16)。在该物体检测处理中图像处理电路13检测到物体的情况下，图像处理电路13将检测结果输出给控制部11。
控制部11的结果报知部62在接受到该物体检测处理的检测结果时，将该检测结果向用户报知(步骤S17)。结果报知部62将表示检测结果的显示图像和摄影图像一起显示在显示装置3。进而，结果报知部62使与检测结果相应的警告声从扬声器4产生。
接下来详细说明图像处理电路13所执行的物体检测处理(步骤S16)。图12是表示物体检测处理的详细的流程的图。该物体检测处理分别对摄影图像的左右2个检测区域TA个别地进行。
在该物体检测处理的开始时间点，取得在本次的物体检测处理中成为处理对象的1个摄影图像。在本说明说，将本次的物体检测处理中成为处理对象的1个摄影图像(最近的摄影图像)称作「现帧」，将前次的物体检测处理中成为处理对象的摄影图像(现帧的1帧前的摄影图像)称作「前帧」。
首先，锐化部51对现帧进行强调像素值的变化的锐化处理(步骤 S21)。锐化部51例如通过使用拉普拉斯过滤器的锐化手法来进行锐化处理。在该锐化手法中，从处理前的原图像减去进行二次微分的拉普拉斯过滤器的结果，来强调像素值的变化。
图13是说明使用拉普拉斯过滤器的锐化手法的概要的图。图中的图表的横轴表示图像中的坐标位置，纵轴表示值。
图13的最上部的曲线L0表征处理前的原图像的轮廓的部分中的像素值(亮度值)的变化。另外，曲线L1表征对原图像的曲线L0进行微分的结果即一次微分值，曲线L2表征对曲线L1进一步进行微分的结果即二次微分值。通过从原图像的像素值(曲线L0)减去该二次微分值(曲线L2)，得到曲线L3。
图13的最下部的曲线L3表征处理后的图像的同一部分的像素值(亮度值)的变化。在处理后的图像中，像素值的变化的斜率变大，另外，出现原图像中没有的下冲(undershoot)以及上冲(over shoot)。由此强调了轮廓的部分的像素值的变化，能使被摄体像鲜明。
在该锐化手法中，通过变更相对于原图像的像素值(曲线L0)的二次微分值(拉普拉斯过滤器的结果)的反映比例，能变更锐化的强度。即，二次微分值的反映比例相当于锐化的强度，能通过增大该反映比例而增大锐化的强度。
在从这样的锐化处理后的图像提取特征点的情况下，在锐化的强度较大时特征点的数量相对变多，在锐化的强度较小时特征点的数量相对变少。为此在本实施方式中，锐化处理中的锐化的强度成为特征点参数之一。
在图11的步骤S13、S14，在自车辆9为停车状态的情况下，参数设定部61将锐化的强度设定得相对较大，在自车辆9为行驶中的情况下，参数设定部61将锐化的强度设定得相对较小。锐化部51使用相当于在参数设定部61设定的锐化的强度的二次微分值的反映比例，来对特征点的提取前的现帧进行锐化处理。由此，在从锐化处理后的现帧提取特征点的情况下，在自车辆9为停车状态的情况下，特征点的数量相对变多，在自车辆9为行驶中的情况下，特征点的数量相对变少。
返回图12，在进行了锐化处理时，接下来平滑化部52对现帧进行减低像素值的变化的平滑化处理(步骤S22)。平滑化部52例如通过使用移动平均过滤器(平均化过滤器)的平滑化手法来进行平滑化处理。在该平滑化手法中，通过将使关注像素的周边的像素值平均化的结果设为关注像素的像素值，来减低像素值的变化。由此能除去包含在图像中的随机的噪声。
图14以及图15是表示在该平滑化手法中使用的移动平均过滤器的示例的图。图14是用于将关注像素的周边的3×3像素平均化的移动平均过滤器M1。另一方面，图15是用于将关注像素的周边的5×5像素平均化的移动平均过滤器M2。如图15那样，使移动平均过滤器的尺寸越大而成为平均化的对象的周边的像素的数量越多，平滑化的强度越大。即，移动平均过滤器的尺寸相当于平滑化的强度。
在从这样的平滑化处理后的图像提取特征点的情况下，在平滑化的强度较大时特征点的数量相对变少，在平滑化的强度较小时特征点的数量相对变多。由此在本实施方式中，平滑化处理中的平滑化的强度成为特征点参数之一。
在图11的步骤S13、S14中，在自车辆9为停车状态的情况下，参数设定部61将平滑化的强度设定得相对较小，在自车辆9为行驶中的情况下，参数设定部61将平滑化的强度设定得相对较大。平滑化部52使用相当于在参数设定部61设定的平滑化的强度的尺寸的移动平均过滤器，对特征点的提取前的现帧进行平滑化处理。由此，在从平滑化处理后的现帧提取特征点的情况下，自车辆9为停车状态的情况下特征点的数量相对变多，自车辆9为行驶中的情况下特征点的数量相对变少。
返回图12，在进行了平滑化处理时，接下来流导出部53的特征点提取部53a进行提取现帧的特征点的特征点提取处理(步骤S23)。特征点提取部53a例如使用哈里斯算子等周知的手法，仅基于现帧的像素值来提取特征点。由此，特征点提取部53a提取物体的像的角落(边缘的交点) 等作为特征点。以下，将如此仅基于现帧的像素值提取的特征点称作「提取特征点」。
接下来，流导出部53的特征点剔除部53c进行将特征点提取部53a 所提取的提取特征点的一部分从以后的处理对象中剔除的第1剔除处理 (步骤S24)。
在成为处理对象的特征点的数量变多时，控制部11或图像处理电路 13的处理的负荷变大，有处理的速度降低的可能性。为此，特征点剔除部 53c对于提取特征点的密度较大的区域，仅将边缘强度最大的提取特征点代表性地作为处理对象留下，将其它提取特征点从处理对象中剔除。
图16是说明该第1剔除处理(步骤S24)的次序的图。在图16中，示意地示出现帧的检测区域TA1的一部分。
在图示的检测区域TA1中，如状态ST11所示那样，由特征点提取部 53a提取7个提取特征点EP1～EP7。将这7个提取特征点EP1～EP7按边缘强度从大到小排列，成为提取特征点EP1、提取特征点EP2、提取特征点EP3、提取特征点EP4、提取特征点EP5、提取特征点EP6、以及提取特征点EP7。
特征点剔除部53c按边缘强度的从大到小的顺序选择提取特征点作为关注特征点，在以关注特征点为中心的评价区域包含其它提取特征点的情况下，将该其它提取特征点从以后的处理对象中剔除。在图16的示例中，该评价区域的尺寸成为3×3像素。
在图16的示例中，首先特征点剔除部53c选择边缘强度最大的提取特征点EP1作为关注特征点。然后，如状态ST12所示那样，特征点剔除部53c设定以该提取特征点EP1为中心的评价区域A11，来判断在评价区域A11中是否包含其它提取特征点。在该示例中，由于在评价区域A11 中包含2个提取特征点EP3、EP7，因此特征点剔除部53c将这2个提取特征点EP3、EP7从处理对象中剔除。
接下来，特征点剔除部53c选择边缘强度次大的提取特征点EP2作为关注特征点。然后，如状态ST13所示那样，特征点剔除部53c设定以该提取特征点EP2为中心的评价区域A12，判断在该评价区域A12中是否包含其它提取特征点。在该示例中，由于该评价区域A12中不含提取特征点，因此不进行剔除提取特征点的处理。
接下来，特征点剔除部53c选择边缘强度次大的提取特征点EP4作为关注特征点。在该时间点，由于特征点剔除部53c已经将提取特征点EP3 从处理对象中剔除，因此选择提取特征点EP4作为下一关注特征点。然后，如状态ST14所示那样，特征点剔除部53c设定以该提取特征点EP4为中心的评价区域A14，判断在评价区域A14中是否包含其它提取特征点。在该示例中，由于在该评价区域A14中包含提取特征点EP6，因此特征点剔除部53c将提取特征点EP6从处理对象中剔除。
接下来，特征点剔除部53c选择边缘强度次大的提取特征点EP5作为关注特征点。然后，如状态ST15所示那样，特征点剔除部53c设定以提取特征点EP5为中心的评价区域A15，判断在评价区域A15是否包含其它提取特征点。在该示例中，由于在评价区域A15不含提取特征点，因此不进行将提取特征点剔除的处理。
然后，由于在该时间点在图示的检测区域TA1不存在边缘强度次大的提取特征点，因此特征点剔除部53c结束第1剔除处理。这样的第1剔除处理的结果，如状态ST16所示那样，在检测区域TA1仅留有4个提取特征点EP1、EP2、EP4、EP5作为以后的处理对象。
关于这样的第1剔除处理，在使用的评价区域的尺寸大的情况下(例如5×5像素)，由于从处理对象中剔除的提取特征点增加，因此作为处理对象留下的提取特征点的数量相对变少。反之，在使用的评价区域的尺寸较小的情况下(例如3×3像素)，由于从处理对象中剔除的提取特征点减少，因此作为处理对象留下的提取特征点的数量相对变多。由此，在本实施方式中，第1剔除处理中所用的评价区域的尺寸成为特征点参数之一。
在图11的步骤S13、S14，在自车辆9为停车状态的情况下，参数设定部61将评价区域的尺寸设定得相对较小，在自车辆9为行驶中的情况下，参数设定部61将评价区域的尺寸设定得相对较大。特征点剔除部53c 使用在参数设定部61中设定的尺寸的评价区域对现帧进行第1剔除处理。由此，在自车辆9为停车状态的情况下，作为处理对象留下的提取特征点的数量相对变多，在自车辆9为行驶中的情况下，作为处理对象留下的提取特征点的数量相对变少。
返回图12，在进行了第1剔除处理时，接下来流导出部53的特征点追踪部53b进行追踪前帧的前次特征点的特征点追踪处理(步骤S25)。特征点追踪部53b判定与前帧的前次特征点对应的现帧中的点即追踪特征点。
图17是说明该特征点追踪处理(步骤S25)的次序的图。在图17中，示意地示出前帧的检测区域TA0的一部分、和现帧的检测区域TA1的一部分。这些检测区域TA0和检测区域TA1是摄影图像中的同一位置的区域。在图示的前帧的检测区域TA0中，存在3个前次特征点FP1、FP2、 FP3。
特征点追踪部53b选择各个前次特征点作为关注特征点，判定与关注特征点对应的追踪特征点。特征点追踪部53b在前帧设定以关注特征点为中心的给定的尺寸(例如3×3像素)的块。特征点追踪部53b从现帧的检测区域TA1检索具有与该块的像素值近似的像素值的区域。然后，特征点追踪部53b将检索到的区域的中心点判定为成为关注特征点的移动目的地的点、即追踪特征点，将关注特征点和追踪特征点建立对应。
在图17的示例中，特征点追踪部53b分别对3个前次特征点FP1、 FP2、FP3执行该处理。由此，特征点追踪部53b将前次特征点FP1和追踪特征点CP1建立对应，将前次特征点FP2和追踪特征点CP2建立对应，将前次特征点FP3和追踪特征点CP3建立对应。
特征点追踪部53b，在如此判定前次特征点所涉及的追踪特征点后，基于建立对应的前次特征点和追踪特征点来导出光流。即，特征点追踪部 53b导出从建立对应的前次特征点朝向追踪特征点的矢量作为光流。
作为图12，在进行了特征点追踪处理时，接下来流导出部53的特征点剔除部53c基于追踪特征点进行将提取特征点的一部分从以后的处理对象中剔除的第2剔除处理(步骤S24)。
在该时间点，存在：在特征点提取处理(步骤S23)中由特征点提取部53a提取的提取特征点、和特征点追踪处理(步骤S25)中由特征点追踪部53b判定的追踪特征点。这些提取特征点和追踪特征点有是关于被摄体的同一部分的特征点的可能性。在如前述那样成为处理对象的特征点的数量变多时，控制部11、图像处理电路13的处理的负荷变大，有处理的速度降低的可能性。由此，在判断为提取特征点和追踪特征点是关于被摄体的同一部分的特征点的情况下，特征点剔除部53c仅将追踪特征点代表性地作为处理对象留下，将提取特征点从处理对象中剔除。
图18是说明该第2剔除处理(步骤S26)的次序的图。在图18中，示意地示出现帧的检测区域TA1的一部分。
在图示的检测区域TA1中，如状态ST21所示那样，经过特征点提取处理以及第1剔除处理(步骤S23、S24)，留下4个提取特征点EP1、 EP2、EP4、EP5作为处理对象。另一方面，在该检测区域TA1中，如状态ST22所示那样，经过特征点追踪处理(步骤S25)，判定3个追踪特征点CP1、CP2、CP3。
特征点剔除部53c将各个追踪特征点选择为关注特征点，在以关注特征点为中心的评价区域包含提取特征点的情况下，将该提取特征点从以后的处理对象中剔除。在图18的示例中，该评价区域的尺寸成为3×3像素。
在图18的示例中，设想特征点剔除部53c将追踪特征点CP1选择为关注特征点的情况。在该情况下，如状态ST23所示那样，特征点剔除部 53c设定以该追踪特征点CP1为中心的评价区域A21，判断在评价区域 A21是否包含提取特征点。在该示例中，由于在该评价区域A21包含提取特征点EP1，因此特征点剔除部53c将提取特征点EP1从处理对象中剔除。
另外，在特征点剔除部53c将追踪特征点CP2选择为关注特征点的情况下，判断在以该追踪特征点CP2为中心的评价区域A22是否包含提取特征点。在该示例中，由于在该评价区域A22不含提取特征点，因此不进行将提取特征点剔除的处理。
另外，在特征点剔除部53c将该追踪特征点CP3选择为关注特征点的情况下，判断在以该追踪特征点CP3为中心的评价区域A23是否包含提取特征点。在该示例中，由于在该评价区域A23包含提取特征点EP4，因此特征点剔除部53c将提取特征点EP4从处理对象中剔除。
这样的第2剔除处理的结果，如状态ST24所示那样，在检测区域TA1 仅留下3个追踪特征点CP1、CP2、CP3、以及2个提取特征点EP2、EP5 作为以后的处理对象。
关于这样的第2剔除处理，在使用的评价区域的尺寸较大的情况下(例如5×5像素)，由于从处理对象中剔除的提取特征点增加，因此作为处理对象留下的提取特征点的数量相对变少。反之，在使用的评价区域的尺寸较小的情况下(例如3×3像素)，由于从处理对象中剔除的提取特征点减少，因此作为处理对象留下的提取特征点的数量相对变多。为此，在本实施方式中，第2剔除处理中使用的评价区域的尺寸成为特征点参数之一。
在图11的步骤S13、S14，在自车辆9为停车状态的情况下，参数设定部61将评价区域的尺寸设定得相对较小，在自车辆9为行驶中的情况下，参数设定部61将评价区域的尺寸设定得相对较大。特征点剔除部53c 使用在参数设定部61设定的尺寸的评价区域，对现帧进行第2剔除处理。由此，在自车辆9为停车状态的情况下，作为处理对象留下的提取特征点的数量相对变多，在自车辆9为行驶中的情况下，作为处理对象留下的提取特征点的数量相对变少。
将第2剔除处理(步骤S26)后作为处理对象留下的现帧的追踪特征点以及提取特征点存储在存储部18，在下次的物体检测处理中作为前帧的前次特征点来处置。即，这些追踪特征点以及提取特征点在下次的物体检测处理作为光流的导出对象。因此，特征点剔除部53c所进行的第1剔除处理(步骤S24)以及第2剔除处理(步骤S26)可以说是从光流的导出对象将特征点剔除的处理。
返回图12，在进行了第2剔除处理时，接下来流导出部53的流选择部53d将在特征点追踪处理(步骤S25)中导出的光流当中满足给定的条件的光流选择为处理对象(步骤S27)。流选择部53d仅将长度大于给定的阈值(例如「1」)且向内的光流选择为处理对象。
接下来，物体检测部54基于在流选择部53d选择为处理对象的光流来检测物体(步骤S28)。首先，物体检测部54对光流各自的追踪特征点予以关注。然后，物体检测部54将在这些追踪特征点当中相互存在于近旁的多个追踪特征点分组为1个组。
图19以及图20是说明将这样的追踪特征点CP分组的手法的图。在图19中，示意地示出现帧的检测区域TA1的一部分。另外，在该说明中，将水平方向设为X轴(右侧为正)，将垂直方向设为Y轴(下侧为正)。
首先，如图19所示那样，物体检测部54在追踪特征点CP各自的位置设定在水平方向(X轴方向)上延伸的行L。该行L由以追踪特征点 CP为中心的特定的尺寸(例如5像素)的像素串构成。
接下来，物体检测部54参考这些行L的像素，生成以横轴为X轴的各坐标位置、以纵轴为像素的数量(度数)的直方图HX。在该直方图HX 中，在X轴的各坐标位置示出Y轴方向上存在的行L的像素的数量，作为度数。
接下来，物体检测部54比较直方图HX的度数和给定的阈值Ta(例如「3」)。然后，如图19的下部所示那样，物体检测部54导出表示度数成为阈值Ta以上的X轴方向的范围的行数据LD。该行数据LD表示关于检测区域TA1的水平方向(X轴方向)多个追踪特征点CP相互存在于近旁的范围。
接下来，如图20所示那样，物体检测部54生成将纵轴设为Y轴的各坐标位置、将横轴设为像素的数量(度数)的直方图HY。该直方图HY 的作成手法是对图19所示的直方图HX的作成手法对调X轴和Y轴而成。其中，物体检测部54将设为该处理的对象的X轴方向的范围限定在1个行数据LD所存在的范围(X1～X2)。物体检测部54对每个行数据LD 作成这样的直方图HY。
接下来，物体检测部54比较直方图HY的度数和给定的阈值Tb(例如「3」)。然后，物体检测部54导出表示度数成为阈值Tb以上的Y轴方向的范围的行数据MD。该行数据MD表示关于检测区域TA1的垂直方向 (Y轴方向)多个追踪特征点CP相互存在于近旁的范围。
然后，物体检测部54如图20的下部所示那样，将包含在由行数据 LD所存在的X轴方向的范围(X1～X2)、和行数据MD所存在的Y轴方向的范围(Y1～Y2)规定的矩形区域TD中的多个追踪特征点CP分组为1个组。组的尺寸成为该矩形区域TD的尺寸。物体检测部54也有从1 个检测区域TA1导出多个组的情况。
物体检测部54在如此将多个追踪特征点分组而导出组时，接下来将导出的各组的尺寸和给定的基准尺寸(例如水平15像素×垂直16像素) 进行比较。然后，物体检测部54将尺寸小于基准尺寸的组剔除，将尺寸大于基准尺寸的组检测为物体。
如此，物体检测部54将相互存在于近旁的多个追踪特征点分组为1 个组，将这样的组检测为物体。由此，若成为光流的导出对象的特征点的数量的较多，追踪特征点被分组的可能性就变高，物体的检测灵敏度就会提升。反之，若成为光流的导出对象的特征点的数量较少，追踪特征点被分组的可能性就变低，物体的检测灵敏度就降低。
如以上那样，在本实施方式的物体检测装置1中，流导出部53基于由对自车辆9的周边进行摄影的摄像机2周期性得到的摄影图像的特征点来导出光流，物体检测部54基于光流来检测物体。另外，信号接收部16 取得自车辆9的速度，参数设定部61对应于自车辆9的速度来设定影响特征点的数量的特征点参数。由此能对应于自车辆9的速度合适地调整物体的检测灵敏度，能提升物体检测装置1的物体的检测性能。
另外，参数设定部61基于自车辆9的速度来判定自车辆9是处于停车状态还是行驶状态，在自车辆9为停车状态时将特征点参数设定得和处于行驶状态相比特征点的数量更多。由此，自车辆9的停车状态能提高物体的检测灵敏度来提升物体检测装置1的物体的检测性能。
<4.变形例>
以上说明了本发明的实施方式，但本发明并不限定于上述实施方式，能进行各种变形。以下说明这样的变形例。能适宜组合包含上述实施方式以及以下说明的形态在内的全部形态。
在上述实施方式中，作为对车辆的周边进行摄影的摄像机2，使用前方摄像机2F以及后方摄像机2B的任意者进行了说明，但也可以使用对车辆的左侧方进行摄影的左侧方摄像机、以及对车辆的右侧方进行摄影的右侧方摄像机等其它摄像机。
另外，在上述实施方式中，物体检测装置1检测接近自车辆9的物体，但也可以检测远离自车辆9的物体等在和接近的方向不同的方向上移动的物体。
另外，在上述实施方式中，说明为由物体检测装置1的图像处理电路 13进行的图像处理的一部分(例如锐化处理等)，也可以由摄像机2所具备的图像处理部进行。这种情况下，例如在摄像机2所具备的图像处理部进行锐化处理的情况下，控制部11将参数设定部61所设定的特征点参数 (锐化的强度)作为信号发送给摄像机2即可。
另外，在上述实施方式中，参数设定部61对应于自车辆9处于停车状态还是行驶状态以2个阶段来设定特征点参数。与此相对，参数设定部 61也可以对应于自车辆9的速度以3个以上的阶段来设定特征点参数。这种情况下，期望参数设定部61设定特征点参数，使得自车辆9的速度越低则特征点的数量越多。
另外，上述实施方式中说明为1个功能块的功能并不一定非要由单一的物理的要素实现，也可以由分散的物理的要素实现。另外，上述实施方式中说明为多个功能块的功能也可以由单一的物理的要素实现。另外，也可以通过车辆内的装置和车辆外的装置分担任意1个功能所涉及的处理、在这些装置间通过通信进行信息的交换，作为整体来实现该1个功能。
另外，上述实施方式中说明为通过程序的执行而软件实现的功能的全部或一部分也可以由电气硬件电路实现，说明为由硬件电路实现的功能的全部或一部分也可以软件地实现。另外，上述实施方式中说明为1个功能块的功能也可以通过软件和硬件的协作实现。
例如在上述实施方式中说明为由图像处理电路13执行的处理的全部或一部分也可以由控制部11执行。反之，说明为由控制部11执行的处理的全部或一部分也可以由图像处理电路13执行。

Claims (9)

1.一种物体检测装置，检测车辆周边的物体，其特征在于，
所述物体检测装置具备：
导出单元，其基于由对所述车辆的周边进行摄影的摄像机周期性得到的每一摄影图像的特征点来导出光流；
检测单元，其基于所述光流来检测物体；
取得单元，其取得所述车辆的速度；和
设定单元，其对应于所述速度设定影响所述特征点在各摄影图像中的数量的参数，
所述导出单元具备：
提取单元，其提取所述摄影图像的特征点；和
剔除单元，其在基于所述提取单元所提取的1个特征点的评价区域中包含其它特征点的情况下，将该其它特征点从所述光流的导出对象中剔除，
所述参数包含所述评价区域的尺寸。
2.一种物体检测装置，检测车辆周边的物体，其特征在于，
所述物体检测装置具备：
导出单元，其基于由对所述车辆的周边进行摄影的摄像机周期性得到的每一摄影图像的特征点来导出光流；
检测单元，其基于所述光流来检测物体；
取得单元，其取得所述车辆的速度；和
设定单元，其对应于所述速度设定影响所述特征点在各摄影图像中的数量的参数，
所述导出单元具备：
提取单元，其提取仅基于1个摄影图像的像素值的特征点即第1特征点；
判定单元，其判定所述1个摄影图像中的与在所述1个摄影图像之前取得的摄影图像的特征点对应的点即第2特征点；和
剔除单元，其在以所述第2特征点为中心的评价区域包含所述第1特征点的情况下，将该第1特征点从所述光流的导出对象中剔除，
所述参数包含所述评价区域的尺寸。
3.根据权利要求1所述的物体检测装置，其特征在于，
所述设定单元基于所述速度来判定所述车辆处于停车状态还是行驶状态，
在处于所述停车状态时，所述设定单元设定所述参数，使得和处于所述行驶状态比较所述特征点的数量更多。
4.根据权利要求1或2所述的物体检测装置，其特征在于，
所述物体检测装置具备：
平滑化单元，其将所述特征点提取前的所述摄影图像平滑化，
所述参数包含所述平滑化的强度。
5.根据权利要求1或2所述的物体检测装置，其特征在于，
所述物体检测装置具备：
锐化单元，其将所述特征点提取前的所述摄影图像锐化，
所述参数包含所述锐化的强度。
6.根据权利要求4所述的物体检测装置，其特征在于，
所述物体检测装置具备：
锐化单元，其将所述特征点提取前的所述摄影图像锐化，
所述参数包含所述锐化的强度。
7.一种物体检测系统，检测车辆周边的物体，其特征在于，
所述物体检测系统具备：
摄像机，其对所述车辆的周边进行摄影；
导出单元，其基于由所述摄像机周期性得到的每一摄影图像的特征点来导出光流；
检测单元，其基于所述光流来检测物体；
取得单元，其取得所述车辆的速度；
设定单元，其对应于所述速度来设定影响所述特征点在各摄影图像中的数量的参数，
所述导出单元具备：
提取单元，其提取所述摄影图像的特征点；和
剔除单元，其在基于所述提取单元所提取的1个特征点的评价区域中包含其它特征点的情况下，将该其它特征点从所述光流的导出对象中剔除，
所述参数包含所述评价区域的尺寸。
8.一种物体检测方法，检测车辆周边的物体，其特征在于，
所述物体检测方法具备：
(a)基于由对所述车辆的周边进行摄影的摄像机周期性得到的每一摄影图像的特征点来导出光流的步骤；
(b)基于所述光流来检测物体的步骤；
(c)取得所述车辆的速度的步骤；和
(d)对应于所述速度来设定影响所述特征点在各摄影图像中的数量的参数的步骤，
所述(a)的步骤中，包括：
提取所述摄影图像的特征点的步骤；和，
在基于所提取的1个特征点的评价区域中包含其它特征点的情况下，将该其它特征点从所述光流的导出对象中剔除，
所述参数包含所述评价区域的尺寸。
9.一种记录介质，记录有能由在车辆中使用的计算机执行的程序，
所述程序使所述计算机执行如下步骤：
(a)基于由对所述车辆的周边进行摄影的摄像机周期性得到的每一摄影图像的特征点来导出光流的步骤；
(b)基于所述光流来检测物体的步骤；
(c)取得所述车辆的速度的步骤；和
(d)对应于所述速度来设定影响所述特征点在各摄影图像中的数量的参数的步骤，
所述(a)的步骤中，包括：
提取所述摄影图像的特征点的步骤；和，
在基于所提取的1个特征点的评价区域中包含其它特征点的情况下，将该其它特征点从所述光流的导出对象中剔除，
所述参数包含所述评价区域的尺寸。
CN201510755903.5A 2014-12-18 2015-11-09 物体检测装置、物体检测系统、物体检测方法以及记录介质 Active CN105711498B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014255884A JP6532229B2 (ja) 2014-12-18 2014-12-18 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP2014-255884 2014-12-18

Publications (2)

Publication Number Publication Date
CN105711498A CN105711498A (zh) 2016-06-29
CN105711498B true CN105711498B (zh) 2018-12-07

Family

ID=56129804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510755903.5A Active CN105711498B (zh) 2014-12-18 2015-11-09 物体检测装置、物体检测系统、物体检测方法以及记录介质

Country Status (3)

Country Link
US (1) US9789820B2 (zh)
JP (1) JP6532229B2 (zh)
CN (1) CN105711498B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
JP6584862B2 (ja) * 2015-08-20 2019-10-02 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP6150950B1 (ja) 2015-11-20 2017-06-21 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
JP6541590B2 (ja) * 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
US10497265B2 (en) * 2017-05-18 2019-12-03 Panasonic Intellectual Property Corporation Of America Vehicle system, method of processing vehicle information, recording medium storing a program, traffic system, infrastructure system, and method of processing infrastructure information
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
KR102519662B1 (ko) 2017-07-31 2023-04-07 삼성전자주식회사 영상 획득 방법 및 영상 획득 장치
CN107507224B (zh) * 2017-08-22 2020-04-24 明见（厦门）技术有限公司 运动物体检测方法、装置、介质及计算设备
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
WO2020023531A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Methods and apparatuses for corner detection
CN109727273B (zh) * 2018-12-29 2020-12-04 北京茵沃汽车科技有限公司 一种基于车载鱼眼相机的移动目标检测方法
JP7279755B2 (ja) * 2019-08-22 2023-05-23 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
WO2021075377A1 (ja) * 2019-10-14 2021-04-22 株式会社デンソー 物体検知装置、物体検知方法、および物体検知プログラム
JP2021157251A (ja) * 2020-03-25 2021-10-07 株式会社Soken 情報統合装置
JP2023125635A (ja) * 2022-02-28 2023-09-07 パナソニックＩｐマネジメント株式会社 特徴点登録装置、特徴点登録方法および画像処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102555907A (zh) * 2010-12-06 2012-07-11 富士通天株式会社 物体检测装置以及物体检测方法
CN103718224A (zh) * 2011-08-02 2014-04-09 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN103797529A (zh) * 2011-09-12 2014-05-14 日产自动车株式会社 三维物体检测装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3371613B2 (ja) 1994-07-14 2003-01-27 トヨタ自動車株式会社 移動物体検出方法
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
JP4228212B2 (ja) * 2003-10-17 2009-02-25 三菱自動車工業株式会社 ノーズビューモニタ装置
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
US7190282B2 (en) * 2004-03-26 2007-03-13 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Nose-view monitoring apparatus
JP4120638B2 (ja) 2004-12-20 2008-07-16 日産自動車株式会社 画像処理装置、および方法
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
JP5935435B2 (ja) * 2012-03-26 2016-06-15 富士通株式会社 画像処理装置、画像処理方法
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
DE102013114996A1 (de) * 2013-01-07 2014-07-10 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Bildsuperauflösung für dynamischen Rückspiegel
US9336574B2 (en) * 2013-01-07 2016-05-10 GM Global Technology Operations LLC Image super-resolution for dynamic rearview mirror
JP6084048B2 (ja) 2013-01-28 2017-02-22 富士通テン株式会社 物体検出装置、物体検出システム及び物体検出方法
US10909845B2 (en) * 2013-07-01 2021-02-02 Conduent Business Services, Llc System and method for enhancing images and video frames
US9664789B2 (en) * 2014-02-20 2017-05-30 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
EP3113147B1 (en) * 2014-02-24 2018-11-28 Nissan Motor Co., Ltd Self-location calculating device and self-location calculating method
CN104077757B (zh) * 2014-06-09 2017-05-10 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
US9754192B2 (en) * 2014-06-30 2017-09-05 Microsoft Technology Licensing, Llc Object detection utilizing geometric information fused with image data
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6234349B2 (ja) * 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102555907A (zh) * 2010-12-06 2012-07-11 富士通天株式会社 物体检测装置以及物体检测方法
CN103718224A (zh) * 2011-08-02 2014-04-09 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN103797529A (zh) * 2011-09-12 2014-05-14 日产自动车株式会社 三维物体检测装置

Also Published As

Publication number Publication date
US9789820B2 (en) 2017-10-17
US20160180176A1 (en) 2016-06-23
JP6532229B2 (ja) 2019-06-19
CN105711498A (zh) 2016-06-29
JP2016115305A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
CN105711498B (zh) 物体检测装置、物体检测系统、物体检测方法以及记录介质
CN101950350B (zh) 使用分级方法的畅通路径检测
JP6126094B2 (ja) 車載用画像認識装置
US9384401B2 (en) Method for fog detection
US9269001B2 (en) Illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
JP4717073B2 (ja) 風景解析装置及び方法
CN104781829B (zh) 用于识别车辆在车道上的位置的方法和设备
CN104616502B (zh) 基于组合式车路视频网络的车牌识别与定位系统
JP6755161B2 (ja) 付着物検出装置および付着物検出方法
CN102555940B (zh) 行驶支援系统、行驶支援程序及行驶支援方法
CN101900567A (zh) 基于像素的无纹理畅通路径检测
WO2009088035A1 (ja) 車線認識装置、車線認識方法および車線認識プログラム
CN101900566A (zh) 基于像素的纹理丰富畅通路径检测
US20200285913A1 (en) Method for training and using a neural network to detect ego part position
KR102521656B1 (ko) 객체를 인식하는 방법 및 장치
US11776277B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
JP6139088B2 (ja) 車両検知装置
CN107408288A (zh) 警告装置、警告方法以及警告程序
CN107798688A (zh) 运动目标识别方法、预警方法以及汽车防追尾预警装置
CN110371016A (zh) 车辆前灯的距离估计
CN110088807A (zh) 分隔线识别装置
CN105320928A (zh) 对象物识别装置
CN113255500A (zh) 一种车辆随意变道检测的方法及装置
Ponte et al. Using specialised cyclist detection software to count cyclists and determine cyclist travel speed from video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant