CN103124995B - 周期性静止物体检测装置和周期性静止物体检测方法 - Google Patents

周期性静止物体检测装置和周期性静止物体检测方法 Download PDF

Info

Publication number
CN103124995B
CN103124995B CN201280003127.8A CN201280003127A CN103124995B CN 103124995 B CN103124995 B CN 103124995B CN 201280003127 A CN201280003127 A CN 201280003127A CN 103124995 B CN103124995 B CN 103124995B
Authority
CN
China
Prior art keywords
stationary object
unit
periodicity
periodically
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280003127.8A
Other languages
English (en)
Other versions
CN103124995A (zh
Inventor
土谷千加夫
早川泰久
田中慎也
古性裕之
深田修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN103124995A publication Critical patent/CN103124995A/zh
Application granted granted Critical
Publication of CN103124995B publication Critical patent/CN103124995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明提供周期性静止物体检测装置，从鸟瞰图像的规定区域的图像数据，对在该规定区域中包含的多个小区域的每一个提取立体物体的特征点，计算与鸟瞰图像上的规定区域内的特征点的分布对应的波形数据，根据该波形数据的峰信息是否为规定的阈值以上，判断具有被提取出的特征点的立体物体是否为周期性静止物体候选。

Description

周期性静止物体检测装置和周期性静止物体检测方法
技术领域
本发明涉及周期性静止物体检测装置和周期性静止物体检测方法。
背景技术
以往，提出从通过照相机摄像的多个摄像图像生成差分图像，在差分图像中的差分存在的区域的形状向照相机的摄像方向的主轴变化的情况下，判断为该差分为静止的立体物体的物体检测装置（参照专利文献1）。
现有技术
专利文献
专利文献1：特开2007-129560号公报
发明内容
发明要解决的课题
专利文献1中记载的物体检测装置是判断单独存在的静止的立体物体的装置。因此，难以区别并识别路标塔、栏杆根部、电线杆等在路边周期性存在的静止的立体物体（以下称为周期性静止物体）与其它的立体物体。
本发明是为了解决上述课题而完成的，目的是提供能够高精度地检测周期性静止物体的周期性静止物体检测装置和周期性静止物体检测方法。
用于解决课题的手段
本发明的一个方式是周期性静止物体检测装置，检测移动物体的周围存在的周期性静止物体。该周期性静止物体检测装置包括：摄像装置，被安装在移动物体上，能够拍摄移动物体的周围；视点变换单元，对由摄像装置拍摄的图像进行视点变换处理而生成鸟瞰图像；特征点提取单元，从鸟瞰图像的规定区域的图像数据，对在该规定区域中包含的多个小区域的每一个提取立体物体的特征点；波形数据计算单元，计算与由特征点提取单元提取出的特征点在鸟瞰图像上的规定区域内的分布对应的波形数据；峰信息检测单元，检测波形数据的峰信息；周期性静止物体候选检测单元，根据峰信息是否为 规定的第1阈值以上，判断具有由特征点提取单元提取出的特征点的立体物体是否为周期性静止物体候选；以及周期性静止物体判断单元，在通过周期性静止物体候选检测单元检测周期性静止物体候选，并且在规定的条件下完成了该检测时，判定为该周期性静止物体候选为周期性静止物体。
本发明的另一个方式是周期性静止物体检测方法，检测移动物体的周围存在的周期性静止物体。该周期性静止物体检测方法包括：摄像步骤，通过被安装在移动物体上的摄像装置，拍摄移动物体的周围；视点变换步骤，对由摄像装置拍摄的图像进行视点变换处理而生成鸟瞰图像；特征点提取步骤，从鸟瞰图像的规定区域的图像数据，对在该规定区域中包含的多个小区域的每一个提取立体物体的特征点；波形数据计算步骤，计算与由特征点提取步骤提取出的特征点在鸟瞰图像上的规定区域内的分布对应的波形数据；峰信息检测步骤，检测波形数据的峰信息；周期性静止物体候选检测步骤，根据峰信息是否为规定的第1阈值以上，判断具有由特征点提取步骤提取出的特征点的立体物体是否为周期性静止物体候选；以及周期性静止物体判断步骤，在通过周期性静止物体候选检测步骤检测周期性静止物体候选，并且在规定的条件下完成了该检测时，判定为该周期性静止物体候选为周期性静止物体。
附图说明
图1是本发明的第1实施方式的周期性静止物体检测装置的概略结构图，表示在车辆上安装了周期性静止物体检测装置的情况的例子。
图2是表示图1所示的本车辆的行驶状态的俯视图。
图3是表示图1所示的计算机的细节的方框图。
图4是表示图3所示的位置匹配单元的处理的概要的俯视图，（a）表示本车辆的移动状态，（b）表示位置匹配的概要。
图5是表示图3所示的移动量候选计算单元的处理的细节的图，（a）表示时刻t中的差分图像PDt，（b）表示时刻t-1中的差分图像PDt-1。
图6是表示图3所示的位置匹配单元和立体物体检测单元的处理的流程图。
图7是表示图3所示的周期性判定单元的处理的流程图。
图8是表示图3所示的通过计数单元生成的直方图的图。
图9是表示图3所示的移动范围计算单元和周期性静止物体判定单元的 处理的流程图。
图10是表示图9所示的步骤S27的细节的图，（a）表示其它车辆进入周期性静止物体的跟前侧的情况，（b）表示（a）时的直方图，（c）表示其它车辆进入了周期性静止物体的里侧的情况，（d）表示（c）时的直方图。
图11是本发明的第2实施方式的周期性静止物体检测装置的概略结构图，表示周期性静止物体检测装置被安装在车辆上的情况下的例子。
图12是表示图11所示的本车辆的行驶状态和摄像装置的摄像范围的图。
图13是表示图11所示的计算机的细节的方框图。
图14是表示图13所示的边缘分布接收单元、计数单元、周期性静止物体候选检测单元和周期性静止物体判断单元的详细动作的图。
图15是表示本发明的第2实施方式的周期性静止物体检测方法的细节的流程图。
图16是本发明的第2实施方式的周期性静止物体检测方法的细节的流程图，表示接续图15的处理。
图17是表示本发明的第3实施方式的周期性静止物体检测装置的计算机的细节的方框图。
图18是表示图17的位置匹配单元的详细动作的图。
图19是表示图17的差分计算单元的详细动作的图。（a）表示边缘分布波形来源于周期性静止物体的情况的差分，（b）表示边缘分布波形来源于移动物体的情况的差分。
图20是表示本发明的第3实施方式的周期性静止物体检测方法的细节的流程图，是与图16对应的图。
图21是表示本发明的第3实施方式的变形例的周期性静止物体检测方法的细节的流程图，是与图16对应的图。
标号说明
1，2，3周期性静止物体检测装置
10照相机（摄像装置）
20车速传感器（速度检测器）
30，40计算机
31，41视点变换单元
32，51位置匹配单元
33立体物体检测单元
34移动量候选计算单元
35，43计数单元
36移动范围计算单元
37，45，53周期性静止物体判断单元
37a周期性静止物体候选检测单元
37b周期性判定单元
38车道变更检测单元（横向移动检测单元）
42边缘分布计算单元
44周期性静止物体候选检测单元
52差分计算单元 
a张角
PBt鸟瞰图像
PDt差分图像
V本车辆
具体实施方式
<第1实施方式>
以下，根据附图说明本发明的优选实施方式。图1是本发明的第1实施方式的周期性静止物体检测装置1的概略结构图，表示在本车辆V上安装了周期性静止物体检测装置1的例子。图1所示的周期性静止物体检测装置1是检测在本车辆V的周围存在的周期性静止物体的装置，具体来说，是检测路标塔、栏杆根部、电线杆等那样在路边周期性存在的静止物体的装置。而且，在以下的例子中，以本车辆V为移动物体的一例进行说明，但是移动物体不限于本车辆V，也可以是两轮车或自行车等其它移动物体。
周期性静止物体检测装置1具有照相机（摄像装置）10、车速传感器20（速度检测器）、计算机30。图1所示的照相机10在本车辆V的后方高度h的位置安装，使得光轴从水平向下为角度θ。照相机10从该位置拍摄规定的检测区域。车速传感器20检测本车辆V的行驶速度，例如根据通过对车轮检测转速的车轮速传感器检测到的车轮速度计算速度。计算机30根据由照相机10拍摄的图像和来自车速传感器20的信号，检测本车辆V的周围存在的 周期性静止物体。
图2是表示图1所述的本车辆V的行驶状态的俯视图。如图2所示，照相机10以规定的张角a拍摄车辆后方侧。这时，照相机10的张角a变宽，除了本车辆V行驶的车道，对于周期性静止物体存在的路边也能够进行拍摄。
图3是表示图1所述的计算机30的细节的方框图。而且，在图3中，为了明确连接关系，对于照相机10和车速传感器20也进行了图示。
如图3所示，计算机30包括：视点变换单元31、位置匹配单元32、立体物体检测单元33、移动量候选计算单元34、计数单元35、移动范围计算单元36、周期性静止物体判断单元37、和车道变更检测单元（横向移动检测单元）38。
视点变换单元31输入由照相机10拍摄得到的摄像图像数据，将输入的摄像图像数据视点变换为进行俯视的状态的俯视图像数据。所谓进行俯视的状态，是从上空从例如垂直向下看的假想照相机的视点看的状态。该视点变换例如如专利文献1中记载那样执行。
位置匹配单元32依次输入通过视点变换单元31的视点变换得到的俯视图像数据，使输入的不同时刻的俯视图像数据的位置匹配。图4是表示图3所示的位置匹配单元32的处理的概要的俯视图，（a）表示本车辆V的移动状态，（b）表示位置匹配的概要。
如图4（a）所示，假设当前时刻的本车辆V位于V1，前一时刻本车辆V位于V2。而且，假设其它车辆Vo位于本车辆V的后侧方区域而与本车辆V为并行状态，当前时刻的其它车辆Vo位于Vo1，前一时刻其它车辆Vo位于Vo2。而且，假设本车辆V一时刻移动了距离d。再有，所谓前一时刻，既可以是距当前时刻的预定的时间（例如1控制周期）的过去的时刻，也可以是任意的时间的过去的时刻。
在这样的状态中，当前时刻的鸟瞰图像PBt如图4（b）所示。在该鸟瞰图像PBt中，关于路面上描绘的白线为矩形形状，比较正确地成为俯视的状态，但是关于位于Vo1的其它车辆Vo，发生跌落。而且，对于一时刻前的鸟瞰图像PBt-1也一样，关于路面上描绘的白线为矩形形状，比较正确地成为俯视的状态，但是关于位于Vo2的其它车辆Vo，发生跌落。
位置匹配单元32在数据上执行上述那样的鸟瞰图像PBt、PBt-1的位置匹配。这时，位置匹配单元32使前一时刻的鸟瞰图像PBt-1偏移，使其位置与 当前时刻的鸟瞰图像PBt一致。偏移量d’为仅与图4（a）所示的移动距离d对应的量，它根据来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。
立体物体检测单元33根据差分图像PDt的数据检测多个立体物体。具体来说，立体物体检测单元33取鸟瞰图像PBt、PBt-1的差分，生成差分图像PDt的数据。这里，差分图像PDt的像素值既可以是将鸟瞰图像PBt、PBt-1的像素值的差绝对值化的值，也可以为了与亮度环境的变化对应而在该绝对值超过规定值时设为“1”，未超过时设为“0”。而且，立体物体检测单元33判断在差分图像PDt的数据上检测到作为上述“1”的区域中存在立体物体。
再次参照图3。移动量候选计算单元34计算通过立体物体检测单元33检测到的多个立体物体的移动量候选。图5是表示图3所示的移动量候选计算单元34的处理细节的图，（a）表示时刻t中的差分图像PDt，（b）表示时刻t-1中的差分图像PDt-1。
首先，移动量候选计算单元34从图5（b）所示那样的时刻t-1中的差分图像PDt-1的数据检测立体物体的接地点（特征点）。所谓接地点，是立体物体与地面的接触点。这时，移动量候选计算单元34从检测到的立体物体中，检测与本车辆V的照相机10最接近的位置作为接地点。移动量候选计算单元34对于通过立体物体检测单元33判断为在差分图像PDt-1的数据上存在立体物体的每个区域（小区域）检测接地点。
具体来说，移动量候选计算单元34对于立体物体O1检测接地点P1，对于立体物体O2检测接地点P2，对于立体物体O3检测接地点P3。接着，移动量候选计算单元34对于图5（a）所示那样的时刻t中的差分图像PDt设定宽度W的区域T。这时，移动量候选计算单元34在与时刻t-1中的差分图像PDt-1的数据的接地点P1～P3对应的位置设定区域T。
接着，移动量候选计算单元34从时刻t中的差分图像PDt的数据检测立体物体的接地点。这时，移动量候选计算单元34也对于通过立体物体检测单元33判断为在差分图像PDt的数据上存在立体物体的每个区域（小区域）检测接地点。移动量候选计算单元34在检测到的立体物体中，检测最接近本车辆V的照相机10的位置作为接地点。即，移动量候选计算单元34对于立体物体O4检测接地点P4，对于立体物体O5检测接地点P5，对于立体物体O6检测接地点P6。这样，位置匹配单元32、立体物体检测单元33和移动量候 选计算单元34起到从鸟瞰图像的规定区域的图像数据（差分图像的后侧方区域的图像数据），对该规定区域中包含的多个小区域的每一个（判断为在差分图像的图像数据上存在立体物体的每个区域）提取立体物体的特征点（接地点）的特征点提取单元的作用。
然后，移动量候选计算单元34将接地点之间关联对应。即，移动量候选计算单元34对于接地点P1将接地点P4关联对应，同时对于接地点P1将接地点P5关联对应，并且对于接地点P1将接地点P6关联对应。同样，移动量候选计算单元34对于接地点P2、P3也将接地点P4～P6关联对应。
之后，移动量候选计算单元34计算关联对应的接地点P1～P6之间的距离（即移动量候选）。然后，移动量候选计算单元34将算出的距离作为移动量候选。这样，移动量候选计算单元34对于各个立体物体计算多个移动量候选。由此，可以抑制唯一地决定立体物体的移动量，对于同样的图像的特征周期性出现的周期性静止物体错误地计算移动量的事态。
而且，设置区域T的理由是因为，即使由于本车辆V的俯仰或者摇摆等鸟瞰图像PBt、PBt-1的位置匹配产生误差，也稳定地进行接地点P1～P6的关联对应。而且，接地点P1～P6的关联对应通过鸟瞰图像PBt、PBt-1的接地点周围亮度分布的匹配处理来决定。
再次参照图3。计数单元35是对由移动量候选计算单元34算出的移动量候选进行计数的单元，通过计数作成直方图（波形数据）。例如，计数单元35在接地点P1和接地点P4的距离、接地点P2和接地点P5的距离、接地点P3和接地点P6的距离相同时，将计数值设为“3”。这样，计数单元35起到通过对移动量候选进行计数而作成直方图，计算与差分图像的后侧方区域中的各个接地点的分布对应（基于各个接地点之间的相对的位置关系）的波形数据的波形数据接收单元的作用。
移动范围计算单元36根据照相机10的摄像间隔和由车速传感器20检测到的本车辆V的移动速度，计算周期性静止物体在鸟瞰图像上的移动范围。更详细地说，移动范围计算单元36计算相对于本车辆V的速度具有规定范围的余量的移动范围。这里，余量例如为±10km/h。如具体说明，移动范围计算单元36在照相机10的摄像间隔为33ms，1像素覆盖的车辆行驶方向的实际距离为5cm的情况下，1控制周期中1像素移动的立体物体的速度约为5.5km/h。如果考虑由于车辆运动鸟瞰图像PBt、PBt-1的精度恶化的情况，则 为了允许该约5.5km/h，需要±10km/h的余量。
周期性静止物体判断单元37判断由立体物体检测单元33检测到的多个立体物体是否为周期性静止物体。周期性静止物体判断单元37具有周期性静止物体候选检测单元37a和周期性判定单元37b。该周期性静止物体判断单元37根据由计数单元35作成的直方图、由移动范围计算单元36算出的移动范围、由周期性静止物体候选检测单元37a检测出的周期性静止物体候选（有为周期性静止物体的可能性的静止物体）、由周期性判定单元37b判定的周期性，判断由立体物体检测单元33检测到的多个立体物体是否为周期性静止物体。
接着，参照流程图说明周期性静止物体检测方法。图6是表示图3所示的位置匹配单元32和立体物体检测单元33的处理的流程图。首先，位置匹配单元32输入由视点变换单元31检测到的不同时刻的鸟瞰图像PBt、PBt-1的数据，进行位置匹配（S1）。接着，立体物体检测单元33取得在步骤S1中进行了位置匹配的鸟瞰图像PBt、PBt-1的数据的差分（S2）。之后，立体物体检测单元33根据规定值执行二值化处理而生成差分图像PDt的数据（S3）。然后，位置匹配单元32和立体物体检测单元33的处理结束。
图7是表示图3所示的周期性静止物体候选检测单元37a和周期性判定单元37b的处理的流程图，图8是表示图3所示的由计数单元35生成的直方图的图。如图8所示，计数单元35对算出的移动量候选中相同的候选进行计数。即，在图8所示的例子中，由于检测到多个移动量m1、m2、m3、m4，所以它们的计数值高。
如图7和图8所示，周期性静止物体候选检测单元37a首先根据直方图检测最大值M（峰值；峰信息）（S11）。接着，周期性静止物体候选检测单元37a根据在步骤S11中检测到的最大值M设定规定的阈值Th1（S12）。这里，规定的阈值Th1设定为最大值M的70%。例如，在最大值M的计数值为“7”的情况下，规定的阈值Th1被设定为“4.9”。这样，由于根据计数值的最大值M求规定的阈值Th1，所以即使由于本车辆V和立体物体的位置关系或者日照条件等，计数值的大小变化，也可以设定适当的阈值。而且，在本实施方式中，规定的阈值Th1被设定为最大值M的70%，但是不限于此。
接着，周期性静止物体候选检测单元37a检测规定的阈值Th1以上的极大值M1～M3（峰值；峰信息）（S13）。这里，最大值M例如为“7”的情况下， 周期性静止物体候选检测单元37a检测具有“5”以上的计数值的极大值M1～M3。这样，周期性静止物体候选检测单元37a具有检测直方图（波形数据）的峰信息的峰信息检测单元的功能。进而，周期性静止物体候选检测单元37a根据该峰信息是否为规定的阈值以上，判断具有检测出的接地点的各个立体物体是否为周期性静止物体。具体来说，例如周期性静止物体判断单元37a判定与对应于各个极大值M、M1～M3（包含最大值M）的移动量候选关联对应的立体物体（例如具有某两个接地点间的距离与各个极大值M、M1～M3的其中一个一致的情况下的该接地点的两个立体物体）为周期性静止物体候选。
之后，周期性判定单元37b检测极大值M、M1～M3（包含最大值M）的间隔（峰信息），对检测到的间隔进行投票（S14）。即，在图8所示的例子中对于间隔D1投票数为“2”，对于间隔D2投票数为“1”。
接着，周期性判定单元37b判定周期性（S15）。这时，周期性判定单元37b根据步骤S14中的投票数是否为规定投票数以上来判定周期性。这里，规定投票数为从鸟瞰图像PBt检测出的立体物体的检测数的一半。因此，在从鸟瞰图像PBt检测出的立体物体的检测数为“4”的情况下，规定投票数为“2”。而且，规定投票数不限于上述情况，也可以是固定的值。
在判定为有周期性的情况下（S15：是），周期性判定单元37b使步骤S12中的规定的阈值Th1降低（S16）。然后，处理转移到步骤S17。因此，例如规定的阈值Th1被设定为最大值M的70%或者最大值M的60%等。而且，使规定的阈值Th1降低的期间大致为1秒左右，每次被判定为有周期性时再次设定规定的阈值Th1。这样，根据计数值的极大值M、M1～M3的发生位置，即间隔来判断周期性，在判断为有周期性的情况下使规定的阈值Th1降低，所以如果一次判断周期性，则可以容易地判断周期性静止物体。另一方面，在一次判断周期性之前不降低规定的阈值Th1，可以抑制因位置匹配的误差等引起的立体物体的误检测。
另一方面，在判定为没有周期性的情况下（S15，否），则不使规定的阈值Th1降低，处理转移到步骤S17。
这样，周期性判定单元37b根据基于移动量候选值的计数值的最大值M的规定的阈值Th1以上的极大值M、M1～M3的发生位置（间隔）的投票数（峰信息）来判断周期性。因此，可以忽略值相对较小的极大值（例如图8的标 号M4），难以受到干扰的影响，可以进一步高精度地判断周期性。
在步骤S17中，周期性判定单元37b判断是否由车道变更检测单元38检测到规定以上的横向移动（S17）。具体来说，车道变更检测单元38在检测到旋转信号接通，并且由车速传感器检测到的车速所决定的规定以上的转向角时，判断为检测到规定以上的横向移动。
在判断出检测到规定以上的横向移动的情况下（S17，是），周期性判定单元37b在步骤S16中降低了规定的阈值Th1的情况下，使降低的阈值Th1初始化（S18）。由此，可以根据车道变更后的环境的变化适当地检测周期性静止物体。然后，图7所示的处理结束。另一方面，在判断出未检测到规定以上的横向移动的情况下（S17，否），则不初始化规定的阈值Th1，处理如图7所示的处理结束。
图9是表示图3所示的移动范围计算单元36和周期性静止物体判断单元37的处理的流程图。如图9所示，首先，移动范围计算单元36计算静止相当移动量（S21）。即，移动范围计算单元36根据照相机10的摄像间隔和由车速传感器20检测出的本车辆V的移动速度，计算周期性静止物体在鸟瞰图像上的移动范围。这时，移动范围计算单元36计算对本车辆V的速度具有规定范围的余量的移动范围。
接着，周期性静止物体判断单元37在通过周期性静止物体候选检测单元37a检测到周期性静止物体候选、并且该检测是在规定的条件下进行时，判定该周期性静止物体候选为周期性静止物体。具体来说，周期性静止物体判断单元37判断在步骤S21中算出的移动量的范围内是否存在极大值M、M1～M3（直方图的峰）（S22）。在判断为在移动量的范围内存在极大值M、M1～M3的任意一个的情况下（S22，是），则周期性静止物体判断单元37判断为存在周期性静止物体（判断为由周期性静止物体候选检测单元37a检测到的周期性静止物体候选为周期性静止物体）（S23）。即，周期性静止物体以相同间隔排列的情况较多，特定的计数值处于变大的倾向。而且，由于周期性静止物体处于静止，所以移动量候选的计数值应收敛在考虑了移动物体的速度等的移动范围内。因此，在步骤S22中判断为“是”的情况下，即表明多个立体物体是周期性静止物体。然后，图9所示的处理结束。
另一方面，在判断为在上述的移动量的范围内不存在极大值M、M1～M3的任意一个的情况下（S22，否），周期性静止物体判断单元37判断是否通过 周期性判定单元37b判定为存在周期性（S24）。在判断出未通过周期性判定单元37b判定为存在周期性的情况下（S24，否），周期性静止物体判断单元37将立体物体判断为移动物体（S25）。然后，图9所示的处理结束。
在判断出由周期性判定单元37b判定为有周期性的情况下（S24，是），周期性静止物体判断单元37根据规定的阈值Th1以上的极大值检测非周期性的极大值（S26）。所谓非周期性的极大值例如相当于图8所示的极大值M3。该极大值M3与相邻的极大值的间隔与其它的极大值M、M1、M2不同。因此，周期性静止物体判断单元37将该极大值M3判定为没有周期性的非周期性的极大值。
然后，在未检测到非周期性的极大值的情况下（S26，否），由于有周期性，不存在非周期性的极大值，所以周期性静止物体判断单元37判定为存在周期性的静止物体（S23）。
另一方面，在未能检测到非周期性的极大值的情况下（S26，有），周期性静止物体判断单元37判断周期性的极大值M、M1、M2是否低于前次值（S27）。在该处理中，周期性静止物体判断单元37计算本次处理中的周期性的极大值M、M1、M2的平均值，并且还计算前次处理中的周期性的极大值的平均值。然后，周期性静止物体判断单元37判断本次处理的平均值是否比前次处理的平均值低规定值以上。
在判断出周期性的极大值M、M1、M2比前次值低的情况下（S27，是），周期性静止物体判断单元37判断为其它车辆等进入了本车辆V和周期性静止物体之间，并检测移动物体（S25）。然后，结束图9所示的处理。
另一方面，在判断出周期性的极大值M、M1、M2不比前次值低的情况下（S27，否），周期性静止物体判断单元37判断为从本车辆V看，其它车辆等进入了周期性静止物体的里侧，并检测周期性静止物体（S23）。然后，结束图9所示的处理。
图10是表示图9所示的步骤S27的细节的图，（a）表示其它车辆Vo进入了周期性静止物体跟前侧的情况，（b）表示（a）时的直方图，（c）表示其它车辆Vo进入了周期性静止物体的里侧的情况，（d）表示（c）时的直方图。而且，图10（b）和（d）中的虚线表示其它车辆进入前的直方图，实线表示其它车辆进入后的直方图。
首先，如图10（a）所示，假设其它车辆Vo进入了周期性静止物体的跟 前侧。这时，由于周期性静止物体被其它车辆Vo遮挡，所以如图10（b）所示，周期性的极大值的计数值存在变小的倾向。特别是，在其它车辆Vo进入周期性静止物体的跟前侧的情况下，其它车辆Vo可能存在于本车辆V可能变更车道的位置。因此，在这样的情况下，周期性静止物体判断单元37检测其它车辆Vo（移动物体）。
相对于此，如图10（c）所示，假设其它车辆Vo进入周期性静止物体的里侧。这时，周期性静止物体不被其它车辆Vo遮挡。因此，基本上不对周期性极大值的计数值产生影响，周期性的极大值的计数值不怎么变小。在其它车辆Vo进入周期性静止物体的里侧的情况下，由于在本车辆V可能变更车道的位置不存在其它车辆Vo，所以在这样的情况下，周期性静止物体判断单元37检测周期性静止物体。
按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，从鸟瞰图像中的后侧方区域（规定区域）的差分图像的图像数据，对于在差分图像的图像数据上被判断为存在立体物体的每个区域（规定区域中包含的多个小区域的每一个）提取立体物体的接地点（特征点），计算与鸟瞰图像上的后侧方区域中的接地点的分布对应的直方图（波形数据），根据该直方图的峰信息（峰的值、峰的间隔的投票数等）是否为规定的阈值以上，判断具有提取出的接地点的立体物体是否为周期性静止物体候选。因此，按照周期性静止物体检测装置1和周期性静止物体检测方法，可以更明确地提取周期性静止物体具有的周期性（反复性）作为波形数据的峰信息，可以更容易地从摄像图像中包含的立体物体中提取周期性静止物体候选。由此，能够更高精度地提取周期性静止物体。
在周期性静止物体中，具有类似外观的静止物体大致等间隔排列的情况很多。在通过移动的摄像装置拍摄了这样的周期性静止物体的情况下，难以判别前次图像中的周期性静止物体的各个要素与本次图像中的哪个部位对应。于是，在该情况下，也难以判断拍摄到的周期性静止物体是静止物体还是移动物体。而且，由于移动物体的移动速度、摄像装置的摄像间隔、周期性静止物体的间距等的条件，有将周期性静止物体误认为移动物体的危险。
按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，如上所述，能够从摄像图像中包含的立体物体中更高精度地提取周期性静止物体，能够防止将周期性静止物体误认为移动物体。
周期性静止物体在差分图像上生成周期性存在的差分区域。这些周期性差分区域，也难以将各个区域与前述图像中哪个部位相当关联对应地计算移动量，难以判断是否为静止物体。
按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，由于计算被检测到的多个立体物体的移动量候选，并对计算出的移动量候选进行计数，因此在周期性差分区域各自与前图像中哪个部位对应的情况不清楚的状态下进行计数。然后，在计数的移动量候选的计数值中，在判断出移动物体的移动范围内的计数值为阈值Th1以上的情况下，判断为多个立体物体为周期性静止物体。这里，周期性静止物体以相同间隔排列的情况较多，处于特定的计数值变大的倾向。而且，由于周期性静止物体处于静止，所以移动量候选的计数值应收敛在考虑了移动物体的速度等的移动范围内。因此，在考虑了移动物体的速度等的移动范围内收敛的特定的计数值为规定的阈值Th1以上的情况下，可以说多个立体物体为周期性静止物体。因此，可以精度更好地检测周期性静止物体。
而且，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，由于对各个立体物体计算多个移动量候选，所以可以抑制唯一地决定立体物体的移动量，对于相同的图像的特征周期性地出现的周期性静止物体错误计算移动量的事态。
而且，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，由于从计数的计数值的最大值M求规定的阈值Th1，所以即使计数值的大小由于移动物体和立体物体的位置关系或日照条件等而变化，也可以设定适当的阈值Th1。
而且，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，由于根据计数的计数值的极大值M、M1～M3的发生位置判断周期性，在判断出存在周期性的情况下降低规定的阈值Th1，所以可以容易在一次判断周期性时判断周期性静止物体。另一方面，在一次判断周期性之前不使规定的阈值Th1降低，可以抑制因位置匹配的误差等引起的立体物体的误检测。
而且，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，由于根据基于计数值的最大值M的规定阈值Th1以上的极大值M、M1～M3的发生位置判断周期性，所以可以忽视值比较小的极大值，可以难以 受到干扰的影响，进一步高精度地判断周期性。
而且，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，由于在检测规定以上的横向移动，并且已使规定的阈值Th1降低的情况下，由于使降低了的阈值Th1初始化，所以在本车辆V已变更了车道的情况下进行初始化，可以与车道变更后的环境的变化相应，适当地检测周期性静止物体。
而且，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，在检测到除了本次处理中判断为有周期性的极大值M、M1、M2以外的、规定的阈值Th1以上的极大值M3的情况下，在此次处理中被判断为有周期性的极大值M、M1、M2的平均值与前次处理中被判断为有周期性时的极大值的平均值相比不小规定以上的情况下，判断为多个立体物体为周期性的静止物体。另一方面，在小规定值以上的情况下，判断为存在移动物体。
而且，这里，所谓除了在此次处理中被判断为有周期性的M、M1以外还检测到规定的阈值Th1以上的极大值M3的情况，例如设想其它车辆等进入了画面张角内的情况。在这样的情况下，设想从本车辆V看，其它车辆等进入了周期性静止物体的里侧时、和进入了跟前侧时的情况。
在其它车辆等进入了里侧的情况下，基本上对周期性静止物体的周期性的极大值M、M1、M2没有影响，而倾向于检测非周期性的极大值M3。另一方面，在其它车辆等进入到跟前侧的情况下，由于周期性静止物体被其它车辆等遮挡，所以倾向于周期性的极大值M、M1、M2的计数值变小。
因此，在本次处理中被判断为有周期性的极大值M、M1、M2的平均值与前次处理中被判断为有周期性时的极大值的平均值相比，不小规定值以上的情况下，由于其它车辆等位于不是可能变更车道的位置的周期性静止物体的里侧，所以不需要检测该其它车辆等的移动物体。另一方面，在本次处理中被判断为有周期性的极大值M、M1、M2的平均值与前次处理中被判断为有周期性时的极大值的平均值相比，小规定值以上的情况下，由于其它车辆等存在于可能变更车道的位置的周期性静止物体的跟前侧，所以检测移动物体。
因此，按照本实施方式的周期性静止物体检测装置1和周期性静止物体检测方法，可以进行与实际的现象相应的适当的判断。
而且，在上述实施方式中将拍摄的当前时刻的图像和前一时刻的图像变换为鸟瞰图，在进行了变换后的鸟瞰图的位置匹配后生成差分图像PDt，但是不限于此。例如，也可以仅将前一时刻的图像变换为鸟瞰图，在将变换后的鸟瞰图进行了位置匹配后再次相当地变换为拍摄的图像，以该图像与当前时刻的图像生成差分图像。即，只要是进行当前时刻的图像和前一时刻的图像的位置匹配，根据进行了位置匹配的两个图像的差分生成差分图像PDt，则也可以不必公开地生成鸟瞰图。
<第2实施方式>
以下，根据附图说明本发明的第2实施方式。而且，对于在第1实施方式中说明的特征等同的特征，赋予与它们相同的标号而省略说明。
图11是本实施方式的周期性静止物体检测装置2的概略结构图。本实施方式示出了周期性静止物体检测装置2被安装在本车辆V的情况下的例子。如图11所示，周期性静止物体检测装置2具有照相机10和计算机40。
图12是表示图11所示的照相机10的摄像范围等的图。如图12所示，照相机10与第1实施方式一样，以规定的张角a拍摄本车辆V的后侧方区域。照相机10的张角a被设定为，在照相机10的摄像范围内，除了本车辆V行驶从车道，还包含相邻的车道或路侧。
计算机40在由照相机10拍摄的摄像图像中，对于周期性静止物体的检测区域A1、A2内的部位执行各种处理。由此，计算机40判定检测区域A1、A2内存在的立体物体是否为周期性静止物体。检测区域A1、A2如从上方看则为矩形。检测区域A1、A2的位置既可以从对于本车辆V的相对位置设定，也可以利用已存在的白线识别技术等，以白线的位置为基准进行设定。鸟瞰图像上的检测区域A1、A2的形状不限于矩形。在将实际空间中的矩形形状区域设为检测区域的情况下，也可以将鸟瞰图像上的检测区域A1、A2的形状作为梯形形状。
检测区域A1、A2的本车辆V侧的边（沿着行驶方向的边）设定作为接地线L1、L2。接地线L1、L2意味着与本车辆V行驶的车道邻接的车道内存在的其它车辆Vo或路侧存在的周期性静止物体与地面接触的线。
从本车辆V的后端部至检测区域A1、A2的前端部为止的车辆行驶方向的距离决定为检测区域A1、A2至少收敛在照相机10的张角a内。
而且，检测区域A1、A2的车辆行驶方向中的长度以及与车辆行驶方向正 交的方向的宽度，根据作为检测对象的周期性静止物体的大小来决定。在本实施方式中，为了区别周期性静止物体和其它车辆Vo，车辆行驶方向中的长度被设定为至少能够包含其它车辆Vo的长度。而且，与车辆行驶方向正交的方向上的宽度设为不包含与鸟瞰图像中比左右的邻接车道再邻接的车道（即隔一个车道的车道）。
图13是表示图11所示的计算机40的细节的方框图。如图13所示，计算机40包含：视点变换单元41、边缘分布计算单元42、计数单元43、周期性静止物体候选检测单元44、周期性静止物体判断单元45。而且，计算机40是由CPU和RAM、ROM等构成的计算机。计算机40通过按照预先设定的程序进行图像处理等，实现所谓视点变换单元41、边缘分布计算单元42、计数单元43、周期性静止物体候选检测单元44、周期性静止物体判断单元45的各个部分的功能。
视点变换单元41输入由照相机10拍摄得到的规定区域的摄像图像数据。视点变换单元41对输入的摄像图像数据进行至被鸟瞰观察的状态的鸟瞰图像数据的视点变换处理。所谓被鸟瞰观察的状态，是由从上空例如垂直向下（或者稍微倾斜向下）看的假想照相机的视点看的状态。
图14是表示边缘分布计算单元42、计数单元43、周期性静止物体候选检测单元44、和周期性静止物体判断单元45的详细动作的图。而且，图14仅图示包含了检测区域A1的车辆行驶方向右侧而进行说明，但是边缘分布计算单元42、计数单元43、周期性静止物体候选检测单元44、和周期性静止物体判断单元45对于包含检测区域A2的车辆行驶方向左侧的区域也进行同样的处理。
如图13所示，边缘分布计算单元42具有边缘要素提取单元42a和边缘分布波形计算单元42b。为了检测鸟瞰图像中包含的周期性静止物体的边缘的要素（以下称为边缘要素（特征点）），边缘要素提取单元42a对于通过视点变换单元41进行了视点变换的鸟瞰图像数据进行亮度差的计算。边缘要素提取单元42a对于沿着在实际空间中的垂直方向延伸的垂直假想线的多个位置的每一个，计算该各个位置的近旁的两个像素间的亮度差。
具体来说，边缘要素提取单元42a设定相对于被视点变换后的鸟瞰图像在实际空间中向垂直方向延伸的线段对应的第1垂直假想线、和在实际空间中向垂直方向延伸的线段对应的第2垂直假想线。边缘要素提取单元42a沿 着第1垂直假想线连续地求第1垂直假想线上的点和第2垂直假想线上的点的亮度差。
边缘分布波形计算单元42b对于多个垂直假想线的每一个累积由边缘要素提取单元42a提取的边缘要素的个数，根据累积的边缘要素的个数计算边缘分布波形。
更详细地说明边缘要素提取单元42a和边缘分布波形计算单元42b的动作。
如图14所示，边缘要素提取单元42a设定多个对应于在实际空间中从接地线L1上的点向垂直方向延伸的线段、并且通过检测区域A1的第1垂直假想线Lai（以下称为关注线Lai）。关注线Lai的根数没有特别限定。在以下的说明中，说明设定了n根关注线Lai（i=1～n）的情况。
而且，边缘要素提取单元42a分别与多根关注线Lai的各个线对应，设定多根对应于实际空间中从接地线L1上的点向垂直方向延伸的线段、并且通过检测区域A1的第2垂直假想线Lri（以下，称为参照线Lri）。各个参照线Lri被设定在实际空间中从对应的关注线Lai离开规定距离（例如10cm）的位置。而且，对应于实际空间中向垂直方向延伸的线段的线在鸟瞰图像中成为从照相机10的位置Ps放射状扩散的线。
接着，边缘要素提取单元42a在各个关注线Lai上设定多个关注点Paj。在图14所示的例子中，设定关注点Pa1～Pa8，但是关注点Paj的个数不特别限定。在以下的说明中，说明设定了k个关注点Paj（j=1～k）的情况。
而且，边缘要素提取单元42a在各个参照线Lri上，设定多个与上述关注点Paj分别对应的参照点Prj。相互对应的关注点Paj和参照点Prj在实际空间中被设定为大致相同高度。而且，关注点Paj和参照点Prj不一定是严格的相同高度，当然允许关注点Paj和参照点Prj被视为相同高度程度的误差。
边缘要素提取单元42a沿着各个关注线Lai连续地求相互对应的关注点Paj和参照点Prj之间的亮度差。在图14所示的例子中，边缘要素提取单元42a计算第1关注点Pa1和第1参照点Pr1之间的亮度差，计算第2关注点Pa2和第2参照点Pr2之间的亮度差。然后同样，依次求第3～第8关注点Pa3～Pa8和第3～第8参照点Pr3～Pr8之间的亮度差。
边缘要素提取单元42a在关注点Paj和参照点Prj的亮度差为规定值以上的情况下，判定为关注点Paj和参照点Prj之间存在边缘要素。这样，边缘要 素提取单元42a起到对实际空间中向垂直方向延伸的多个垂直假想线的每一个，提取沿该垂直假想线存在的边缘要素（特征点）的特征点提取单元的作用。换言之，边缘要素提取单元42a从鸟瞰图像的规定区域（检测区域）的图像数据，提取在该规定区域中包含的多个小区域的每一个（多个垂直假想线近旁区域的每一个）的立体物体的特征点（边缘要素）。
边缘分布波形计算单元42b对沿着相同的关注线Lai存在多少个由边缘要素提取单元42a提取出的边缘要素进行计数。边缘分布波形计算单元42b存储计数得到的边缘要素个数作为各个关注线Lai的属性。
边缘分布波形计算单元42b对全部关注线Lai执行边缘要素的计数的处理。而且，与关注线Lai中检测区域A1重复的部分的长度与各个关注线Lai的位置对应而成为不同的长度。计数的边缘要素的个数也可以通过除以对应的关注线Lai的重复部分的长度而归一化。
在图14的例子中，其它车辆Vo映入检测区域A1。假设在其它车辆Vo的轮胎的橡胶部分设定关注线Lai，在离此相当于10cm的轮胎的轮子上设定参照线Lri。这时，第1关注点Pa1和第1参照点Pr1位于相同轮胎部分，所以它们之间的亮度差小。另一方面，第2～第8关注点Pa2～Pa8位于轮胎的橡胶部分，第2～第8参照点Pr2～Pr8位于轮胎的轮子部分，所以它们之间的亮度差变大。如果第2～第8关注点Pa2～Pa8和第2～第8参照点Pr2～Pr8的亮度差为规定值以上，则边缘要素提取单元42a检测在第2～第8关注点Pa2～Pa8和第2～第8参照点Pr2～Pr8之间存在边缘要素。然后，由于沿着关注线Lai存在7个第2～第8关注点Pa2～Pa8，所以边缘要素提取单元42a检测7次边缘要素。这时，边缘分布波形计算单元42b将边缘要素的计数值设为‘7’。
进而，边缘分布波形计算单元42b将对于各个关注线Lai得到的边缘要素的计数值分组化，得到边缘分布的波形（波形数据）。具体来说，边缘分布波形计算单元42b在以边缘要素的计数值为纵轴，以实际空间中的关注线Lai的接地线L1上的位置为横轴的平面上，将边缘要素的计数值画曲线。关注线La1～Lan在实际空间中在接地线L1上以等间隔设定的情况下，仅通过将对各个关注线Lai得到的边缘要素的计数值按照关注线Lai～Lan的顺序排列，就可以得到边缘分布的波形。在图14所示的例子中，设定在其它车辆Vo的轮胎的橡胶部分的关注线Lai，在鸟瞰图像上与接地线L1交叉的位置，边缘要素的计数值为‘7’。
这样，边缘分布波形计算单元42b起到将由边缘要素提取单元42a提取出的边缘要素的个数对实际空间中向垂直方向延伸的多个垂直假想线的每一个进行累计，并根据累计的边缘要素的个数计算边缘分布波形（波形数据）的波形数据计算单元的作用。换言之，边缘分布波形计算单元42b计算与鸟瞰图像上的规定区域内的特征点（边缘要素）的分布对应的（基于各个边缘要素的相对的位置关系）波形数据。
计数单元43检测边缘分布计算单元42的边缘分布波形计算单元42b计算的边缘分布波形的峰。所谓峰是在边缘分布波形上边缘要素的计数值从增加向减少转变的点。计数单元43对于边缘分布波形，例如在实施了基于低通滤波器、移动平均滤波器等的噪声去除处理后，进行峰检测。这里，也可以仅检测具有规定的阈值以上的值的峰作为峰。规定的阈值例如可以设定为边缘分布波形的最大值的60%的值。
而且，计数单元43对检测的峰中等间隔排列的峰的个数（峰信息）进行计数。具体来说，计数单元43计算检测到的各个峰之间的距离，提取计算出的峰间距离在规定范围内的峰，对其个数进行计数。峰间距离的“规定范围”既可以是根据检测对象的周期性静止物体的种类预先设定的固定值，也可以是根据规定时间以上连续地检测出的峰间距离而设定的变动值。而且，计数单元43有时在从边缘分布波形检测峰时跳过前次检测到的峰而进行检测。在该情况下，峰的间隔以实际的间隔的2倍、3倍等大小来检测。因此，为了不遗漏计数等间隔地排列的峰，“规定范围”被设定为包含与原本应提取的峰的间隔的倍数对应的值。例如，在原本应提取的峰的间隔为X时，峰间距离的“规定范围”被设定为X±10%、2X±20%、3X±30%。这样，计数单元43起到检测波形数据的峰信息的峰信息检测单元的作用。
周期性静止物体候选检测单元44根据计数单元43计数的峰的个数（峰信息）是否为规定的阈值Th2以上，判定具有提取出的边缘要素的立体物体是否相当于周期性静止物体候选。具体来说，周期性静止物体候选检测单元44在计数单元43计数的峰的个数为为规定的阈值Th2以上时，判定与被计数的各个峰对应的物体为周期性静止物体候选。阈值Th2例如是根据路标塔、栏杆根部、电线杆等作为检测对象的周期性静止物体的种类而决定的值，可以通过实验等求出。具体来说，阈值Th2例如被设定为3以上100以下的值。
周期性静止物体判断单元45在连续规定时间检测出周期性静止物体候 选时，判定为该周期性静止物体候选为周期性静止物体。具体来说，在通过周期性静止物体候选检测单元44，连续规定时间检测出峰的个数为规定的阈值Th2以上的状态时，周期性静止物体判断单元45判断检测到的周期性静止物体候选为周期性静止物体的可能性非常高。然后，周期性静止物体判断单元45判定与被计数的各个峰对应的物体为周期性静止物体。“规定时间”是根据作为检测对象的周期性静止物体的种类而决定的值，可以通过实验等求出。既可以作为固定值，也可以根据照相机10的摄像间隔或本车辆V的移动速度而变动。具体来说，“规定时间”例如被设定为0.1～5秒。
接着，说明本实施方式的周期性静止物体检测方法。图15和图16是表示本实施方式的周期性静止物体检测方法的细节的流程图。而且，在图15和图16中，为了方便，说明了以检测区域A1为对象的处理，但是对于检测区域A2也可以同样进行处理。
如图15所示，首先，在步骤S31中，视点变换单元41输入照相机10拍摄得到的规定区域的摄像图像数据，对其进行视点变换处理，作成鸟瞰图像数据。
接着，边缘分布计算单元42在步骤S32中，在检测区域A1上设定n条关注线Lai，并且设定与n条关注线Lai分别对应的n条参照线Lri（i=1～n）。边缘分布计算单元42将实际空间中从接地线L1上的点向垂直方向延伸的线段设定为关注线Lai。而且，边缘分布计算单元42将相当于实际空间中从接地线L1上的点向垂直方向延伸的线段、并且实际空间中从对应的关注线Lai离开规定距离的线段设定为参照线Lri。
接着，边缘分布计算单元42在步骤S33中在各关注线Lai上设定k个关注点Paj点，并且在各个参照线Lri上设定与关注点Paj分别对应的k个参照点Prj（j=1～k）。边缘分布计算单元42将相互对应的关注点Paj和参照点Prj设定为在实际空间上大致相同的高度。
接着，边缘分布计算单元42在步骤S34中，判定相互对应的关注点Paj和参照点Prj的亮度差是否为规定值以上。在判定为亮度差在规定值以上的情况下，边缘分布计算单元42判断作为判断对象的关注点Paj和参照点Prj之间存在边缘要素，在步骤S35中将第i个关注线Lai的计数值（bincount（i））中代入‘1’。在步骤S34中，判定为亮度差不满足规定值的情况下，边缘分布计算单元42判断作为判断对象的关注点Paj和参照点Prj之间不存在边缘要素， 处理进至步骤S36。
边缘分布计算单元42在步骤S36中，对于成为当前处理对象的关注线Lai上的全部关注点Paj，判定是否已执行了步骤S34的处理。在判定为未对全部的关注点Paj执行步骤S34的处理的情况下，边缘分布计算单元42将处理返回步骤S34，求下一个关注点Paj+1和参照点Prj+1的亮度差，判定该亮度差是否为规定值以上。这样，边缘分布计算单元42沿着关注线Lai依次连续地求关注点Paj和参照点Prj之间的亮度差，在求出的亮度差为规定值以上的情况下，判断为存在边缘要素。
边缘分布计算单元42在步骤S35中，将‘1’代入第1个关注线Lai的计数值（bincount（i））中后，将处理进至步骤S37，因此，求下一个关注点Paj+1和参照点Prj+1的亮度差，判定该亮度差是否在规定值以上。在判定为亮度差为规定值以上的情况下，边缘分布计算单元42判断为在成为判断对象的关注点Paj+1和参照点Prj+1之间存在边缘要素，在步骤S38中增加计数第i个关注线Lai的计数值（bincount（i））。
在步骤S37中，在判定为亮度差不满足规定值的情况下，边缘分布计算单元42判断为在成为判断对象的关注点Paj+1和参照点Prj+1之间不存在边缘要素，跳过步骤S38，使处理进至步骤S39。
接着，边缘分布计算单元42在步骤S39中，对于成为当前处理对象的关注线Lai上的全部关注点Paj，判定是否已执行了步骤S34或者步骤S37的处理。在判定为对于全部关注点Paj未执行上述处理的情况下，边缘分布计算单元42将处理返回步骤S37，求下一个关注点Paj+1和参照点Prj+1的亮度差，判定该亮度差是否在规定值以上。在步骤S39中，判定为对于全部的关注点Paj已执行了上述的处理的情况下，边缘分布计算单元42将处理进至步骤S41。这样，边缘分布计算单元42对沿着相同的关注线Lai存在多少个边缘要素进行计数，将计数得到的边缘要素的个数存储为关注线Lai的属性（bincount（i））。
而且，在步骤S36中，判定为对全部的关注点Paj已执行了步骤S34的处理的情况下，边缘分布计算单元42判断在成为当前处理对象的关注线Lai上不存在边缘要素。然后，边缘分布计算单元42在步骤S40，将‘0’代入bincount（i），将处理进至步骤S41。
接着，边缘分布计算单元42在步骤S41中对于全部n条关注线Lai，判定是否已执行了上述的处理。在判定为未对于全部关注线Lai执行上述的处理 的情况下，边缘分布计算单元42将处理返回步骤S34，对于下一条关注线Lai+1执行上述的处理。在步骤S41中判定为已对于全部关注线Lai执行了上述的处理的情况下，边缘分布计算单元42将处理进至步骤S42。
接着，边缘分布计算单元42在步骤S42中将对n条关注线Lai的每一个得到的边缘要素的计数值bincount（i）（i=1～n）进行图表化，得到边缘分布波形。具体来说，边缘分布计算单元42在将边缘要素的计数值作为纵轴，将实际空间中的关注线Lai的接地线L1上的位置作为横轴的平面上，对边缘要素的计数值bincount（i）（i=1～n）画曲线。
在接着的步骤S43中，计数单元43检测边缘分布计算单元42算出的边缘分布波形的峰。
在接着的步骤S44中，计数单元43计算检测到的各个峰之间的距离。
在接着的步骤S45中，计数单元43提取计算出的峰间距离在规定范围内的峰，对其个数进行计数。
在接着的步骤S46中，周期性静止物体候选检测单元44判定计数单元43计数的峰的个数是否在规定的阈值Th2以上。在判定为峰的个数在规定的阈值Th2以上的情况下，周期性静止物体候选检测单元44判定与被计数的各个峰对应的物体为周期性静止物体候选，将处理进至步骤S47。
在步骤S47中，周期性静止物体判断单元45判断是否规定次数以上连续地检测到峰的个数为规定的阈值Th2以上的状态。在判断为规定次数以上连续地检测到峰的个数为规定的阈值Th2以上的状态的情况下，周期性静止物体判断单元45判断与被计数的各个峰对应的物体是周期性静止物体，在步骤S48中，将‘1’代入标记f_shuki中。另一方面，在步骤S47中，在判断为未规定次数以上连续地检测到峰的个数为规定的阈值Th2以上的状态的情况下，周期性静止物体判断单元45跳过步骤S48，维持标记f_shuki的值。之后，结束图15和图16的处理。
在步骤S46中，在判断为峰的个数未达到规定的阈值Th2的情况下，周期性静止物体候选检测单元44将处理进至步骤S49。
在步骤S49中，周期性静止物体判断单元45判断是否规定次数以上连续地检测到峰的个数未达到规定的阈值Th2的状态。在判断为规定次数以上连续地检测到峰的个数未达到规定的阈值Th2的状态的情况下，周期性静止物体判断单元45判断与被计数的各个峰对应的物体不是周期性静止物体，在步 骤S50中，将‘0’代入标记f_shuki中。另一方面，在步骤S49中，在判断为未规定次数以上连续地检测到峰的个数未达到规定的阈值Th2的状态的情况下，周期性静止物体判断单元45跳过步骤S50，维持标记f_shuki的值。之后，结束图15和图16的处理。
按照本实施方式的周期性静止物体检测装置2和周期性静止物体检测方法，从鸟瞰图像的规定区域的图像数据，对该规定区域中包含的多个垂直假想线近旁区域（小区域）的每一个区域提取立体物体的边缘要素（特征点），计算与规定区域内的边缘要素的分布对应的边缘分布波形（波形数据），根据该边缘分布波形的峰的个数（峰信息）是否为规定的阈值以上，判断具有被提取出的边缘要素的立体物体是否为周期性静止物体候选。因此，与第1实施方式一样，可以更明确地提取周期性静止物体具有的周期性（反复性）作为波形数据的峰信息，可以更容易地从摄像图像中包含的立体物体中提取周期性静止物体候选。由此，能够更高精度地提取周期性静止物体。
而且，按照本实施方式的周期性静止物体检测装置2和周期性静止物体检测方法，对于实际空间中向垂直方向延伸的多个垂直假想线的每一个，累计沿着垂直假想线存在的边缘要素的个数，根据累计的边缘要素的个数得到边缘分布波形。然后，在边缘分布波形的峰的个数为规定的阈值Th2以上时，判定具有被提取的边缘要素的立体物体是周期性静止物体候选。因此，即使不判定检测到的立体物体是静止物体还是移动物体，也可以确实地检测在垂直方向延伸的边缘高密度排列的情况，可以更容易地检测作为周期性静止物体的可能性更高的周期性静止物体候选。
特别是，按照本实施方式的周期性静止物体检测装置2和周期性静止物体检测方法，对边缘分布波形的峰中等间隔排列的峰的个数进行计数。因此，可以更确实地检测沿垂直方向延伸的边缘为高密度且等间隔排列、为周期性静止物体的可能性高的周期性静止物体候选。
而且，按照本实施方式的周期性静止物体检测装置2和周期性静止物体检测方法，在连续规定时间检测到周期性静止物体候选时，判定该周期性静止物体候选为周期性静止物体。因此，可以防止干扰导致的误检测，进一步确实地检测周期性静止物体。
<第3实施方式>
以下，根据附图说明本发明的第3实施方式。而且，对于与第1和第2 实施方式中说明的特征相同的特征，赋予与它们相同的标号而省略说明。
本实施方式的周期性静止物体检测装置3的概略结构与图1所示的周期性静止物体检测装置1相同，但是取代计算机30而具有计算机40’。即，本实施方式的周期性静止物体检测装置3具有照相机10、车速传感器20和计算机40’。
图17是表示本实施方式的计算机40’的细节的方框图。如图17所示，计算机40’包含：视点变换单元41、边缘分布计算单元42、计数单元43’、周期性静止物体候选检测单元44、位置匹配单元51、差分计算单元52、周期性静止物体判断单元53。而且，计算机40’是由CPU和RAM、ROM等构成的计算机。计算机40’通过按照预先设定的程序进行图像处理等，实现所谓视点变换单元41、边缘分布计算单元42、计数单元43’、周期性静止物体候选检测单元44、位置匹配单元51、差分计算单元52、周期性静止物体判断单元53的各个部分的功能。
本实施方式中的计数单元43’检测边缘分布计算单元42算出的边缘分布波形的峰，对其个数进行计数。计数单元43’在不排除峰间距离在规定范围以外的峰地对峰的个数行计数这一点与第2实施方式的计数单元43不同。
周期性静止物体候选检测单元44根据计数单元43’计数的峰的个数（峰信息）是否在规定的阈值Th3以上，判定与各个峰对应的物体是否相当于周期性静止物体候选。具体来说，周期性静止物体候选检测单元44在计数单元43’计数的峰的个数为规定的阈值Th3以上时，判定与各个峰对应的物体为周期性静止物体候选。阈值Th3例如是根据路标塔、栏杆根部、电线杆等作为检测对象的周期性静止物体的种类决定的值，可以通过实验等求出。具体来说，阈值Th3例如被设定为3以上100以下的值。
图18是表示位置匹配单元51的详细动作的图。位置匹配单元51依次输入边缘分布计算单元42算出的边缘分布波形，根据由车速传感器20检测出的本车辆V的移动速度，使输入的不同时刻的边缘分布波形的位置匹配。例如，假设将边缘分布计算单元42在时刻t-Δt（第2时刻）算出的边缘分布波形Et-Δt、和在时刻t（第1时刻）算出的边缘分布波形Et输入到位置匹配单元51。然后，假设由于在一时刻（Δt）期间本车辆V已移动，边缘分布波形相对于坐标系移动了δ。这时，位置匹配单元51如图18所示，通过使边缘分布波形Et沿着横轴移位δ，使边缘分布波形Et的位置与边缘分布波形Et-Δt的 位置一致。这样，位置匹配单元51得到边缘分布波形Et’。这里，使边缘分布波形的位置匹配意味着，当与一个边缘分布波形上的点（例如，G1）对应的关注线Lai和与另一个边缘分布波形上的点（例如，G2）对应的关注线Lai在实际空间中存在于相同或者大致相同的位置时，平行移动边缘分布波形，使得点G1和点G2的横轴坐标值一致。而且，一时刻（Δt）的长度例如可以是1控制周期等预定的时间，也可以是任意的时间。
图19是表示差分计算单元52的详细动作的图。差分计算单元52输入由位置匹配单元51算出的边缘分布波形Et’和边缘分布波形Et-Δt，计算其差分的绝对值|Et-Δt-Et’|的分布。在边缘分布波形为来源于周期性静止物体的情况下，边缘分布波形Et-Δt和边缘分布波形Et’非常一致，所以差分的绝对值|Et-Δt-Et’|如图19（a）所示那样整体上为小的值。另一方面，在边缘分布波形为来源于移动物体的情况下，边缘分布波形Et-Δt和边缘分布波形Et’不一致，所以差分的绝对值|Et-Δt-Et’|如图19（b）所示那样，与图19（a）相比大幅度地变化。
周期性静止物体判断单元53对差分计算单元52算出的绝对值|Et-Δt-Et’|进行积分，算出其积分值ID1（第1积分值），并且计算边缘分布波形Et’的积分值I1（第2积分值）。进而，周期性静止物体判断单元53计算积分值ID1对于积分值I1的比（ID1/I1），根据该值是否比规定的阈值Th4小，判定周期性静止物体候选检测单元44检测出的静止物体候选是否处于静止（静止性）。阈值Th4例如是根据路标塔、栏杆根部、电线杆等作为检测对象的周期性静止物体的种类决定的值，可以通过实验等求出。周期性静止物体判断单元53在积分值ID1对于积分值I1的比（ID1/I1）比规定的阈值Th4小时，判定为周期性静止物体候选静止。
周期性静止物体判断单元53在规定时间连续检测到处于静止的周期性静止物体候选时，判定为该周期性静止物体候选为周期性静止物体。具体来说，在规定时间连续检测到比（ID1/I1）比规定的阈值Th4小的状态时，周期性静止物体判断单元53判断检测到的周期性静止物体候选为周期性静止物体的可能性非常高。然后，周期性静止物体判断单元53判断与被计数的各个峰对应的物体为周期性静止物体。‘规定时间’是根据作为检测对象的周期性静止物体的种类决定的值，可以通过实验等求出。既可以作为固定值，也可以使其根据照相机10的摄像间隔和本车辆V的移动速度变动。具体来说，‘规定时间’例如是可以确保判定周期性静止物体候选为周期性静止物体的可靠性、并且比本车辆V的移动速度等的测量误差的平均发生间隔短的时间，被设定为0.1～5秒。
接着，说明本实施方式的周期性静止物体检测方法。图20是与第2实施方式的图16对应的图，是表示本实施方式的周期性静止物体检测方法的细节的流程图。而且，本实施方式的周期性静止物体检测方法的从步骤S31至步骤S41的处理与第2实施方式的步骤S31至步骤S41的处理相同，所以省略图示和说明。而且，以下，为了方便，对以检测区域A1为对象的处理进行说明，但是对于检测区域A2也可以同样进行处理。
如图20所示，接续步骤S41（参照图15）的步骤S51中，边缘分布计算单元42将对于n条关注线Lai的每一个得到的边缘要素的计数值bincount（i）（i=1～n）进行图表化，得到边缘分布波形。具体来说，边缘分布计算单元42在以边缘要素的计数值为纵轴，以实际空间中的关注线Lai的接地线L1上的位置作为横轴的平面上，将边缘要素的计数值bincount（i）（i=1～n）画曲线。
在接续的步骤S52中，计数单元43’检测边缘分布计算单元42算出的边缘分布波形的峰，对其个数进行计数。
在接续的步骤S53中，周期性静止物体候选检测单元44判定计数单元43’计数的峰的个数是否为规定的阈值Th3以上。在判定为峰的个数为规定的阈值Th3以上的情况下，周期性静止物体候选检测单元44判定为与各个峰对应的物体为周期性静止物体候选，将处理进至步骤S54。在步骤S53中，判定计数单元43’计数的峰的个数未达到规定的阈值Th3时，结束图20的处理。
在接续的步骤S54中，位置匹配单元51根据由车速传感器20检测出的本车辆V的移动速度，将从边缘分布计算单元42输入的不同时刻的边缘分布波形的位置匹配。具体来说，在由于一时刻（Δt）的期间本车辆V已移动，边缘分布波形相对于曲线的坐标系移动了δ的情况下，位置匹配单元51通过使边缘分布波形Et沿着横轴移位δ，得到边缘分布波形Et’。
接着，差分计算单元52在步骤S55中，根据位置匹配单元51算出的边缘分布波形Et’和边缘分布波形Et-Δt，计算它们的绝对值|Et-Δt-Et’|。
接着，周期性静止物体判断单元53在步骤S56中计算边缘分布波形Et’的积分值I1，并在接续的步骤S57中，计算绝对值|Et-Δt-Et’|的积分值ID1。
接着，周期性静止物体判断单元53在步骤S58中，计算积分值ID1对于 积分值I1的比（ID1/I1），根据该值是否小于规定的阈值Th4，判定周期性静止物体候选检测单元44检测出的周期性静止物体候选是否处于静止。在判定为比ID1/I1比规定的阈值Th4小的情况下，周期性静止物体判断单元53判定周期性静止物体候选处于静止，将处理进至步骤S59。
在步骤S59中，周期性静止物体判断单元53判断是否规定次数以上连续检测到，即是否持续规定时间检测到比ID1/I1比规定的阈值Th4小的状态。在判断出规定次数以上连续检测到比ID1/I1比规定的阈值Th4小的状态的情况下，周期性静止物体判断单元53判断与被计数的各个峰对应的物体是周期性的静止物体，在步骤S60中，将‘1’代入标记f_shuki中。另一方面，在步骤S59中判断出未规定次数以上连续检测到比ID1/I1比规定的阈值Th4小的状态的情况下，周期性静止物体判断单元53跳过步骤S60，维持标记f_shuki的值。之后，结束图20的处理。
在步骤S58中，在判定为比ID1/I1为规定的阈值Th4以上的情况下，周期性静止物体判断单元53将步骤进至步骤S61。
在步骤S61中，周期性静止物体判断单元53判断是否规定次数以上连续检测到比ID1/I1为规定的阈值Th4以上的状态。在判断为规定次数以上连续检测到比ID1/I1为规定的阈值Th4以上的状态的情况下，周期性静止物体判断单元53判断与被计数的各个峰对应的物体不是周期性的静止物体，在步骤S62中，将‘0’代入标记f_shuki中。另一方面，在步骤S61中判断出未规定次数以上连续检测到比ID1/I1为规定的阈值Th4以上的状态的情况下，周期性静止物体判断单元53跳过步骤S62，维持标记f_shuki的值。之后，结束图20的处理。
按照本实施方式的周期性静止物体检测装置3和周期性静止物体检测方法，从鸟瞰图像的规定区域的图像数据，对该规定区域中包含的多个垂直假想线近旁区域（小区域）的每一个区域提取立体物体的边缘要素（特征点），计算与规定区域内的边缘要素的分布对应的边缘分布波形（波形数据），根据该边缘分布波形的峰的个数（峰信息）是否为规定的阈值以上，判断具有被提取出的边缘要素的立体物体是否为周期性静止物体候选。因此，与第1实施方式和第2实施方式一样，可以更明确地提取周期性静止物体具有的周期性（反复性）作为波形数据的峰信息，可以更容易地从摄像图像中包含的立体物体中提取周期性静止物体候选。由此，能够更高精度地提取周期性静止 物体。
而且，按照本实施方式的周期性静止物体检测装置3和周期性静止物体检测方法，与第2实施方式一样，对于实际空间中向垂直方向延伸的多个垂直假想线的每一个，累计沿着垂直假想线存在的边缘要素的个数，根据累计的边缘要素的个数得到边缘分布的波形。于是，在边缘分布波形的峰的个数为规定的阈值Th3以上时，判定为具有提取出的边缘要素的立体物体是周期性静止物体候选。因此，与第2实施方式一样，即使不判定检测到的立体物体是静止物体还是移动物体，也可以确实地检测沿垂直方向延伸的边缘高密度排列的情况，可以更容易地检测为周期性静止物体的可能性更高的周期性静止物体候选。
进而，按照本实施方式的周期性静止物体检测装置3和周期性静止物体检测方法，根据移动物体的移动速度，使时刻t中的边缘分布波形Et的位置与时刻t-Δt中的边缘分布波形Et-Δt匹配，计算位置匹配后的边缘分布波形Et’和时刻t-Δt中的边缘分布波形Et-Δt之间的差分的分布波形|Et-Δt-Et’|。然后，对该差分的分布波形|Et-Δt-Et’|进行积分，算出积分值ID1，并对位置匹配后的边缘分布波形Et’进行积分而计算积分值I1，计算积分值ID1对于积分值I1的比（ID1/I1），根据该比值是否小于规定的阈值Th4，判定周期性静止物体候选是否处于静止。因此，可以检测作为周期性静止物体的可能性更高的处于静止的周期性静止物体候选，可以进一步容易且确实地检测周期性静止物体。
而且，按照本实施方式的周期性静止物体检测装置3和周期性静止物体检测方法，在规定时间连续检测到周期性静止物体候选处于静止时，判定为该周期性静止物体候选为周期性静止物体。因此，可以防止干扰造成的误检测，进一步确实地检测周期性静止物体。
<变形例>
在上述第3实施方式中，计算积分值ID1对于积分值I1的比（ID1/I1），根据该值是否小于规定的阈值Th4，判定周期性静止物体候选是否处于静止，但是判定方法不限于此。
在本变形例中，在差分计算单元52中，计算边缘分布波形Et’和边缘分布波形Et-Δt的差分（第1差分）的绝对值|Et-Δt-Et’|的分布，同时计算边缘分布波形Et和边缘分布波形Et-Δt的差分（第2差分）的绝对值|Et-Δt-Et|的分布。
然后，在周期性静止物体判断单元53中，对差分计算单元52算出的绝对值|Et-Δt-Et’|进行积分，算出其积分值ID1（第1积分值），同时，对绝对值|Et-Δt-Et|进行积分，算出其积分值ID2（第2积分值）。
进而，周期性静止物体判断单元53计算积分值ID1对于积分值ID2的比（ID1/ID2），根据该值是否小于规定的阈值Th5，判定周期性静止物体候选检测单元44检测到的周期性静止物体候选是否处于静止。阈值Th5是例如根据路标塔、栏杆根部、电线杆等作为检测对象的周期性静止物体的种类而决定的值，可以通过实验等求出。周期性静止物体判断单元53在积分值ID1对于积分值ID2的比（ID1/ID2）小于规定的阈值Th5时，判定为周期性静止物体候选处于静止。
周期性静止物体判断单元53在规定时间连续检测到处于静止的周期性静止物体候选时，判定为该周期性静止物体候选为周期性静止物体。具体来说，在规定时间连续检测到比（ID1/ID2）比规定的阈值Th4小的状态时，周期性静止物体判断单元53判断检测到的周期性静止物体候选为周期性静止物体的可能性非常高。然后，周期性静止物体判断单元53判断与被计数的各个峰对应的物体为周期性静止物体。
接着，说明本变形例的周期性静止物体检测方法。图21是与图16和图20对应的图，是表示本变形例的周期性静止物体检测方法的细节的流程图。而且，本变形例的周期性静止物体检测方法的步骤S31至步骤S41为止的处理与上述实施方式中的步骤S31至步骤S41为止的处理相同，所以省略图示和说明。而且，在本变形例的周期性静止物体检测方法中，对于与第2和第3实施方式中说明的处理等同的处理，对它们赋予相同的标号并省略说明。
在本变形例中，如图21所示，在接续步骤S55的步骤S55’中，周期性静止物体判断单元53根据由位置匹配单元51算出的边缘分布波形Et和边缘分布波形Et-Δt，算出它们的差分的绝对值|Et-Δt-Et|的分布。
接着，周期性静止物体判断单元53在步骤S57中，计算绝对值|Et-Δt-Et’|的积分值ID1，在接续的步骤S57’中，计算绝对值|Et-Δt-Et|的积分值ID2。
接着，周期性静止物体判断单元53在步骤S58’中，计算积分值ID1对于积分值ID2的比（ID1/ID2），根据该值是否小于规定的阈值Th5，判定周期性静止物体候选检测单元44检测到的周期性静止物体候选是否处于静止。在判定为比（ID1/ID2）小于阈值Th5时，周期性静止物体判断单元53判定为周期性静止物体候选处于静止，处理进至步骤S59。另一方面，在步骤S58中，在 判定为ID1/ID2为规定的阈值Th5以上时，周期性静止物体判断单元53使处理进至步骤S61。
步骤S59以后的处理和步骤S61以后的处理与上述第3实施方式的处理相同，所以省略说明。
按照本变形例，计算位置匹配后的边缘分布波形Et’和时刻t-Δt的边缘分布波形Et-Δt之间的第1差分的分布波形|Et-Δt-Et’|、以及时刻t的边缘分布波形Et和时刻t-Δt的边缘分布波形Et-Δt之间的第2差分的分布波形|Et-Δt-Et|。然后，将第1差分的分布波形|Et-Δt-Et’|积分而算出积分值ID1，并且第2差分的分布波形|Et-Δt-Et|积分而算出积分值ID2，计算积分值ID1对于积分值ID2的比（ID1/ID2），根据该比的值是否小于规定的阈值Th5，判定的周期性静止物体候选是否静止。由于上述比，以时刻t的边缘分布波形Et和时刻t-Δt的边缘分布波形Et-Δt之间的差分的积分值ID2为分母，所以边缘分布波形Et，Et-Δt来源于移动物体的情况的比的值、和来源于周期性静止物体的情况的比的值的差变得更显著，可以更确实地检测静止的周期性静止物体候选。
而且，在第3实施方式及其变形例中，在判定周期性静止物体候选是否处于静止时与规定的阈值比较的对象不限于比ID1/I1和比ID1/ID2。该比也可以是，例如积分值ID1对于边缘分布波形Et的积分值I2的比（ID1/I2），或者积分值ID1对于在时刻t-Δt算出的边缘分布波形Et-Δt的积分值I3的比（ID1/I3）。
而且，构成上述比的分母分子的积分值I1、I2、I3、ID1、ID2任意一个都是将边缘分布波形或者其差分的绝对值积分后的值，但是也可以是将边缘分布波形或者其差分分别平方得到的波形进行积分后的值。
以上，说明了本发明的实施方式，但是这些实施方式不过是为了使本发明容易理解而记载的简单的例示，本发明不限于该实施方式。本发明的技术范围不限于上述实施方式中公开的具体的技术事项，也包含从其中可容易导出的各种变形、变更、替代技术等。
例如，在上述实施方式中，根据来自车速传感器20的信号判断本车辆V的车速，但是不限于此，也可以从不同时刻的多个图像估计速度。这时，不需要车速传感器，可以实现结构的简单化。
本申请主张2011年2月21日提出的日本专利申请第2011-034097号的优先权，该申请的全部内容通过参照而加入本说明书。
产业上的可利用性
按照本发明的周期性静止物体检测装置和周期性静止物体检测方法，从鸟瞰图像的规定区域的图像数据，对于该规定区域中包含的多个小区域的每一个区域提取立体物体的特征点，计算与该鸟瞰图像上的规定区域内的特征点的分布对应的波形数据，根据该波形数据的峰信息是否为规定的阈值以上，判断具有被提取出的特征点的立体物体是否为周期性静止物体候选。因此，可以更明确地提取周期性静止物体具有的周期性（反复性）作为波形数据的峰信息，可以更容易地从摄像图像中包含的立体物体中提取周期性静止物体候选。由此，能够更高精度地提取周期性静止物体。

Claims (15)

1.一种周期性静止物体检测装置，检测移动物体的周围存在的周期性静止物体，其特征在于，包括：
摄像装置，被安装在所述移动物体上，能够拍摄所述移动物体的周围；
视点变换单元，对由所述摄像装置拍摄的图像进行视点变换处理而生成鸟瞰图像；
特征点提取单元，从所述鸟瞰图像的规定区域的图像数据，对实际空间中向垂直方向延伸的多个垂直假想线的每一个，提取沿着该垂直假想线而存在的边缘要素，作为立体物的特征点；
波形数据计算单元，对每一个所述垂直假想线累计由所述特征点提取单元提取出的所述边缘要素的个数，计算将累计的所述边缘要素的个数与所述实际空间中的所述垂直假想线的位置相对应的边缘分布波形；
计数单元，检测所述波形数据计算单元算出的边缘分布波形的峰，并对检测出的峰的个数进行计数；以及
周期性静止物体判断单元，在所述计数单元计数的峰的个数为规定的第1阈值以上时，判定具有由所述特征点提取单元提取出的特征点的立体物体是周期性静止物体候选。
2.如权利要求1所述的周期性静止物体检测装置，其特征在于，
所述计数单元检测所述波形数据计算单元算出的边缘分布波形的峰，并对检测出的峰中以等间隔排列的峰的个数进行计数。
3.如权利要求2所述的周期性静止物体检测装置，其特征在于，
所述周期性静止物体判断单元在规定时间持续检测到所述周期性静止物体候选时，判定该周期性静止物体候选为周期性静止物体。
4.如权利要求1所述的周期性静止物体检测装置，其特征在于，还包括：
速度检测器，检测所述移动物体的移动速度；
位置匹配单元，根据由所述速度检测器检测出的移动速度，使边缘分布波形沿着表示实际空间中的所述垂直假想线的位置的轴平行移动，并使由所述波形数据计算单元算出的第1时刻的边缘分布波形的位置与不同于所述第1时刻的第2时刻的边缘分布波形的位置匹配；以及
差分计算单元，计算所述位置匹配单元进行了位置匹配后的边缘分布波形和所述第2时刻的边缘分布波形之间的差分的分布波形，
所述周期性静止物体判断单元将所述差分计算单元算出的差分的分布波形进行积分而算出第1积分值，并且将所述第1时刻的边缘分布波形、所述第2时刻的边缘分布波形、或所述位置匹配单元进行了位置匹配后的边缘分布波形的其中一个进行积分而算出第2积分值，计算所述第1积分值相对于所述第2积分值的比，根据该比的值是否小于规定的第2阈值，判定所述周期性静止物体候选是否处于静止。
5.如权利要求1所述的周期性静止物体检测装置，其特征在于，还包括：
速度检测器，检测所述移动物体的移动速度；
位置匹配单元，根据由所述速度检测器检测出的移动速度，使边缘分布波形沿着表示实际空间中的所述垂直假想线的位置的轴平行移动，并使由所述波形数据计算单元算出的第1时刻的边缘分布波形的位置与不同于所述第1时刻的第2时刻的边缘分布波形的位置匹配；以及
差分计算单元，计算所述位置匹配单元进行了位置匹配后的边缘分布波形和所述第2时刻的边缘分布波形之间的第1差分的分布波形、和所述第1时刻的边缘分布波形和所述第2时刻的边缘分布波形之间的第2差分的分布波形，
所述周期性静止物体判断单元将所述第1差分的分布波形进行积分而算出第1积分值，并且将所述第2差分的分布波形进行积分而算出第2积分值，计算第1积分值相对于第2积分值的比，根据该比的值是否小于规定的第3阈值，判定所述周期性静止物体候选是否处于静止。
6.如权利要求4或5所述的周期性静止物体检测装置，其特征在于，
所述周期性静止物体判断单元在规定时间持续地检测出所述周期性静止物体候选处于静止时，判定该周期性静止物体候选为周期性静止物体。
7.一种周期性静止物体检测方法，检测移动物体的周围存在的周期性静止物体，其特征在于，包括：
摄像步骤，通过被安装在所述移动物体上的摄像装置，拍摄所述移动物体的周围；
视点变换步骤，对由所述摄像装置拍摄的图像进行视点变换处理而生成鸟瞰图像；
特征点提取步骤，从所述鸟瞰图像的规定区域的图像数据，对实际空间中向垂直方向延伸的多个垂直假想线的每一个，提取沿着该垂直假想线而存在的边缘要素，作为立体物的特征点；
波形数据计算步骤，对每一个所述垂直假想线累计由所述特征点提取步骤提取出的所述边缘要素的个数，计算将累计的所述边缘要素的个数与所述实际空间中的所述垂直假想线的位置相对应的边缘分布波形；
计数步骤，检测所述波形数据计算步骤算出的边缘分布波形的峰，并对检测出的峰的个数进行计数；以及
周期性静止物体判断步骤，在通过所述计数步骤计数的峰的个数为规定的第1阈值以上时，判定具有由所述特征点提取步骤提取出的特征点的立体物体是周期性静止物体候选。
8.一种周期性静止物体检测装置，检测移动物体的周围存在的周期性静止物体，其特征在于，包括：
摄像装置，被安装在所述移动物体上，能够拍摄所述移动物体的周围；
视点变换单元，对由所述摄像装置拍摄的图像进行视点变换处理而生成鸟瞰图像；
速度检测器，检测所述移动物体的移动速度；以及
移动范围计算单元，根据所述摄像装置的拍摄间隔和由所述速度检测器检测出的移动速度，计算在所述鸟瞰图像上的周期性静止物体的移动范围，
特征点提取单元，包括：
位置匹配单元，将由所述视点变换单元生成的不同时刻的图像数据的位置进行匹配；
立体物体检测单元，根据由所述位置匹配单元进行了位置匹配后的不同时刻的图像数据的差分图像数据检测多个立体物体；以及
移动量候选计算单元，通过将从第1时刻的差分图像数据检测出的多个立体物和从与第1时刻不同的第2时刻的差分图像数据检测出的多个立体物互相关联对应，从而计算由所述立体物体检测单元检测到的多个立体物体的移动量候选；
计数单元，作成对每一个规定的移动量计数了所述移动量候选的数的直方图；以及
周期性静止物体判断单元，在所述计数单元作成的直方图的峰值为规定阈值以上时，判定与对应于该峰的移动量候选关联对应的立体物体是周期性静止物体候选，在由所述移动范围计算单元算出的移动范围内存在所述直方图的峰的情况下，判断所述周期性静止物体候选为周期性静止物体。
9.如权利要求8所述的周期性静止物体检测装置，其特征在于，
所述移动量候选计算单元对各个立体物体计算多个移动量候选。
10.如权利要求8或9所述的周期性静止物体检测装置，其特征在于，
所述周期性静止物体判断单元根据所述峰值的最大值求所述规定阈值。
11.如权利要求8或9所述的周期性静止物体检测装置，其特征在于，还包括：
周期性判定单元，根据所述峰的发生位置判断周期性，并且在判断为有周期性的情况下，使所述规定阈值降低。
12.如权利要求11所述的周期性静止物体检测装置，其特征在于，
所述周期性判定单元根据具有由所述峰值的最大值求出的所述规定阈值以上的值的峰的发生位置来判断周期性。
13.如权利要求11所述的周期性静止物体检测装置，其特征在于，还包括：
横向移动检测单元，检测所述移动物体的横向移动，
所述周期性判定单元在通过所述横向移动检测单元检测出规定以上的横向移动，并且已使所述规定阈值降低的情况下，使降低的所述规定阈值初始化。
14.如权利要求8或9所述的周期性静止物体检测装置，其特征在于，
所述周期性静止物体判断单元存储在前次处理中被判断为具有周期性时的峰的发生位置和峰值，在本次处理中被判断为有周期性的峰以外还检测到具有所述规定阈值以上的峰值的峰的情况下，在本次处理中被判断为有周期性的峰值的平均值与前次处理中被判断为有周期性的峰值的平均值相比不小规定值以上的情况下，判断为所述周期性静止物体候选为周期性静止物体，并且在本次处理中被判断为有周期性的峰值的平均值与前次处理中被判断为有周期性的峰值的平均值相比小规定值以上的情况下，判断为存在移动物体。
15.一种周期性静止物体检测方法，检测移动物体的周围存在的周期性静止物体，其特征在于，包括：
摄像步骤，通过被安装在所述移动物体上的摄像装置，拍摄所述移动物体的周围；
视点变换步骤，对由所述摄像装置拍摄的图像进行视点变换处理而生成鸟瞰图像；
速度检测步骤，检测所述移动物体的移动速度；以及
移动范围计算步骤，根据所述摄像装置的拍摄间隔和由所述速度检测步骤检测出的移动速度，计算在所述鸟瞰图像上的周期性静止物体的移动范围，
特征点提取步骤，包括：
位置匹配步骤，将由所述视点变换步骤生成的不同时刻的图像数据的位置进行匹配；
立体物体检测步骤，根据由所述位置匹配步骤进行了位置匹配后的不同时刻的图像数据的差分图像数据检测多个立体物体；以及
移动量候选计算步骤，通过将从第1时刻的差分图像数据检测出的多个立体物和从与第1时刻不同的第2时刻的差分图像数据检测出的多个立体物互相关联对应，从而计算由所述立体物体检测步骤检测到的多个立体物体的移动量候选；
计数步骤，作成对每一个规定的移动量计数了所述移动量候选的数的直方图；以及
周期性静止物体判断步骤，在所述计数步骤作成的直方图的峰值为规定阈值以上时，判定与对应于该峰的移动量候选关联对应的立体物体是周期性静止物体候选，在由所述移动范围计算步骤算出的移动范围内存在所述直方图的峰的情况下，判断所述周期性静止物体候选为周期性静止物体。
CN201280003127.8A 2011-02-21 2012-02-17 周期性静止物体检测装置和周期性静止物体检测方法 Active CN103124995B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-034097 2011-02-21
JP2011034097 2011-02-21
PCT/JP2012/053834 WO2012115009A1 (ja) 2011-02-21 2012-02-17 周期的静止物検出装置及び周期的静止物検出方法

Publications (2)

Publication Number Publication Date
CN103124995A CN103124995A (zh) 2013-05-29
CN103124995B true CN103124995B (zh) 2015-07-01

Family

ID=46720790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280003127.8A Active CN103124995B (zh) 2011-02-21 2012-02-17 周期性静止物体检测装置和周期性静止物体检测方法

Country Status (9)

Country Link
US (1) US8903133B2 (zh)
EP (1) EP2680247B1 (zh)
JP (1) JP5783243B2 (zh)
CN (1) CN103124995B (zh)
BR (1) BR112013007085B1 (zh)
MX (1) MX321872B (zh)
MY (1) MY166665A (zh)
RU (1) RU2549595C2 (zh)
WO (1) WO2012115009A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012023412A1 (ja) 2010-08-19 2012-02-23 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9070042B2 (en) * 2011-01-13 2015-06-30 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, and program thereof
JP5869239B2 (ja) * 2011-06-21 2016-02-24 浜松ホトニクス株式会社 光測定装置、光測定方法、及び光測定プログラム
WO2012176783A1 (ja) 2011-06-21 2012-12-27 浜松ホトニクス株式会社 光測定装置、光測定方法、及び光測定プログラム
US9349057B2 (en) * 2011-09-12 2016-05-24 Nissan Motor Co., Ltd. Three-dimensional object detection device
EP2843615B1 (en) 2012-04-16 2016-12-07 Nissan Motor Co., Ltd. Device for detecting three-dimensional object and method for detecting three-dimensional object
JP5884771B2 (ja) * 2013-05-22 2016-03-15 株式会社デンソー 衝突緩和装置
US9230366B1 (en) * 2013-12-20 2016-01-05 Google Inc. Identification of dynamic objects based on depth data
US9342747B2 (en) * 2014-04-14 2016-05-17 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
CN106339659A (zh) * 2015-07-10 2017-01-18 株式会社理光 检测道路分割物的方法和装置
US9676326B2 (en) * 2015-09-25 2017-06-13 Ford Global Technologies, Llc Drive history parking barrier alert
JP6793448B2 (ja) * 2015-10-26 2020-12-02 株式会社デンソーテン 車両状態判定装置、表示処理装置および車両状態判定方法
KR102404891B1 (ko) * 2015-12-23 2022-06-07 주식회사 에이치엘클레무브 타켓 물체 감지 방법 및 그 장치
US9836673B2 (en) * 2015-12-30 2017-12-05 International Business Machines Corporation System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments
JP6561016B2 (ja) * 2016-06-07 2019-08-14 株式会社Ｓｏｋｅｎ 超音波センサ
JP6572862B2 (ja) * 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
WO2020091088A1 (ko) * 2018-10-29 2020-05-07 엘지전자 주식회사 V2x 통신을 위한 장치 및 방법
CN110782459B (zh) * 2019-01-08 2021-02-19 北京嘀嘀无限科技发展有限公司 一种图像处理方法及装置
KR102703479B1 (ko) * 2019-07-31 2024-09-05 현대오토에버 주식회사 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법
DE112020007006T5 (de) * 2020-03-30 2023-01-26 Mitsubishi Electric Corporation Objekterkennungsystem und Objekterkennungsverfahren
JP7418481B2 (ja) * 2022-02-08 2024-01-19 本田技研工業株式会社 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム
WO2024157307A1 (ja) * 2023-01-23 2024-08-02 日本電気株式会社 推定装置、推定方法、及び推定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918451A (zh) * 2004-01-16 2007-02-21 微软合并公司 用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
JP2007280132A (ja) * 2006-04-07 2007-10-25 Fuji Heavy Ind Ltd 走行誘導障害物検出装置および車両用制御装置
JP2008003941A (ja) * 2006-06-23 2008-01-10 Nissan Motor Co Ltd 道路端認識装置、自動車、及び道路端認識方法
JP2009266136A (ja) * 2008-04-29 2009-11-12 Mitsubishi Electric Corp 道路構造物異常検知装置
JP2010211701A (ja) * 2009-03-12 2010-09-24 Honda Motor Co Ltd 車線認識装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085094B2 (ja) * 1994-07-14 2000-09-04 トヨタ自動車株式会社 移動物体検出方法
JP3304687B2 (ja) * 1995-05-24 2002-07-22 日産自動車株式会社 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US6411898B2 (en) * 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US6999620B1 (en) * 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP3864945B2 (ja) * 2003-09-24 2007-01-10 アイシン精機株式会社 路面走行レーン検出装置
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
JP4899424B2 (ja) 2005-11-04 2012-03-21 トヨタ自動車株式会社 物体検出装置
DE102006060045A1 (de) * 2006-12-19 2008-06-26 Imi Intelligent Medical Implants Ag Sehhilfe mit dreidimensionaler Bilderfassung
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP4378571B2 (ja) * 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
JP5109691B2 (ja) * 2008-01-31 2012-12-26 コニカミノルタホールディングス株式会社 解析装置
US8306269B2 (en) 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918451A (zh) * 2004-01-16 2007-02-21 微软合并公司 用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
JP2007280132A (ja) * 2006-04-07 2007-10-25 Fuji Heavy Ind Ltd 走行誘導障害物検出装置および車両用制御装置
JP2008003941A (ja) * 2006-06-23 2008-01-10 Nissan Motor Co Ltd 道路端認識装置、自動車、及び道路端認識方法
JP2009266136A (ja) * 2008-04-29 2009-11-12 Mitsubishi Electric Corp 道路構造物異常検知装置
JP2010211701A (ja) * 2009-03-12 2010-09-24 Honda Motor Co Ltd 車線認識装置

Also Published As

Publication number Publication date
RU2549595C2 (ru) 2015-04-27
EP2680247A1 (en) 2014-01-01
US20130322688A1 (en) 2013-12-05
CN103124995A (zh) 2013-05-29
EP2680247A4 (en) 2017-11-22
EP2680247B1 (en) 2018-12-26
BR112013007085B1 (pt) 2021-02-23
JP5783243B2 (ja) 2015-09-24
WO2012115009A1 (ja) 2012-08-30
US8903133B2 (en) 2014-12-02
MY166665A (en) 2018-07-18
MX321872B (es) 2014-07-11
MX2013005980A (es) 2013-07-15
RU2013118701A (ru) 2015-03-27
BR112013007085A2 (pt) 2016-06-14
JPWO2012115009A1 (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
CN103124995B (zh) 周期性静止物体检测装置和周期性静止物体检测方法
US11240471B2 (en) Road vertical contour detection
JP5251927B2 (ja) 移動距離検出装置及び移動距離検出方法
US7667581B2 (en) Pedestrian detector and detecting method using change of velocity of object in image
US9349057B2 (en) Three-dimensional object detection device
JP3780922B2 (ja) 道路白線認識装置
JP6274557B2 (ja) 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム
JP5538411B2 (ja) 車両周囲監視装置
US20070127778A1 (en) Object detecting system and object detecting method
US20070041614A1 (en) Road marking recognition apparatus and method
CN104012081B (zh) 三维物体检测装置
JP5631581B2 (ja) 道路認識装置
JP5799784B2 (ja) 道路形状推定装置及びプログラム
CN104246821A (zh) 三维物体检测装置和三维物体检测方法
CN103718214A (zh) 移动体检测装置和移动体检测方法
JP5065449B2 (ja) 消失点推定装置およびプログラム
WO2014002692A1 (ja) ステレオカメラ
JP2014215719A (ja) 車種判定装置
JP2015064752A (ja) 車両監視装置、および車両監視方法
CN105320930A (zh) 对象物识别装置
CN105320928A (zh) 对象物识别装置
JP2012150595A (ja) 一時停止線検出装置及びプログラム
JP5306124B2 (ja) ナンバプレート読取装置およびナンバプレート読取方法
JP4714872B2 (ja) 画像上重畳移動物体分割方法及び装置
JP2018092603A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant