CN103718214A - 移动体检测装置和移动体检测方法 - Google Patents

移动体检测装置和移动体检测方法 Download PDF

Info

Publication number
CN103718214A
CN103718214A CN201280037994.3A CN201280037994A CN103718214A CN 103718214 A CN103718214 A CN 103718214A CN 201280037994 A CN201280037994 A CN 201280037994A CN 103718214 A CN103718214 A CN 103718214A
Authority
CN
China
Prior art keywords
mentioned
moving body
vehicle
turning
dimensional body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280037994.3A
Other languages
English (en)
Other versions
CN103718214B (zh
Inventor
早川泰久
土谷千加夫
古屋雅则
深田修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN103718214A publication Critical patent/CN103718214A/zh
Application granted granted Critical
Publication of CN103718214B publication Critical patent/CN103718214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

移动体检测装置(1)具备：摄像单元(10)，其拍摄本车辆后方；图像变换单元(31)，其将摄像图像视点变换为鸟瞰视点图像；三维物体检测单元(32、33、34)，其根据不同时刻的鸟瞰视点图像的差分图像来生成差分波形信息，根据该差分波形信息检测三维物体，并且根据差分波形信息计算三维物体的移动速度；移动体检测单元(34)，其根据三维物体的移动速度来检测三维物体是否为移动体；转弯检测部(35)，其检测本车辆的转弯；以及控制单元(36)，其在检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比，抑制根据上述差分波形信息检测上述三维物体，或者抑制将上述三维物体检测为移动体。

Description

移动体检测装置和移动体检测方法
技术领域
本发明涉及移动体检测装置和移动体检测方法。
背景技术
以往，提出了如下一种障碍物检测装置(参照专利文献1)：具备对车辆周围进行摄影的摄像头，将由摄像头拍摄到的图像变换为鸟瞰图像，并且取不同时刻的鸟瞰图像的差分，根据该差分检测车辆周围的三维物体。该障碍物检测装置在鸟瞰图像内存在其它车辆等三维物体的情况下，其它车辆等以差分的形式被表现出，因此基于该特征来检测其它车辆等三维物体。
专利文献1：日本特开2008-227646号公报
发明内容
发明要解决的问题
但是，在利用专利文献1所记载的技术来应用于判断三维物体是移动体还是静止物体的技术的情况下，存在将静止物体错误判断为是移动体的情况。即，在专利文献1所记载的障碍物检测装置中，在本车辆正在转弯的情况下，有可能由于转弯而静止物体被表现为像是在运动，导致将静止物体错误地判断为移动体。
本发明是为了解决这样的现有问题而完成的，其目的在于提供一种能够提高移动体的检测精度的移动体检测装置和移动体检测方法。
用于解决问题的方案
本发明的移动体检测装置通过对在不同时刻的鸟瞰视点图像的差分图像中表示规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形信息，根据该差分波形信息来检测存在于规定区域内的三维物体，并且根据差分波形信息的波形的时间变化来计算三维物体的移动速度。而且，根据三维物体的移动速度，检测三维物体是否为移动体。并且，移动体检测装置检测本车辆的转弯，在检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比，抑制根据差分波形信息检测三维物体，或者抑制将三维物体检测为移动体。
发明的效果
根据本发明，在检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比，使移动体的检测灵敏度下降。因此，即使由于本车辆转弯而使得静止物体在图像上被表现为像是在运动，也能够由于移动体的判断精度下降，因此不会将静止物体错误判断为移动体。因而，能够提高移动体的检测精度。
附图说明
图1是本实施方式所涉及的移动体检测装置的概要结构图，示出了移动体检测装置被搭载于车辆的情况下的例子。
图2示表示图1所示的车辆的行驶状态的顶视图。
图3是表示图1所示的计算机的详细内容的框图。
图4是表示图3所示的差分图像生成部的处理概要的顶视图，(a)表示车辆的移动状态，(b)表示对位的概要。
图5是表示图3所示的差分波形生成部生成差分波形的情形的概要图。
图6是表示由图3所示的差分波形生成部生成的差分波形的例子的图，(a)表示在车辆直行时得到的差分波形的例子，(b)～(e)表示在车辆转弯时得到的差分波形的例子，(c)表示使移动体的检测灵敏度下降的第一例，(d)表示使移动体的检测灵敏度下降的第二例，(e)表示使移动体的检测灵敏度下降的第三例。
图7是表示本实施方式所涉及的移动体检测方法的流程图。
图8是表示第二实施方式所涉及的计算机的详细内容的框图。
图9是表示第三实施方式所涉及的计算机的详细内容的框图。
图10是表示第三实施方式所涉及的移动体检测装置的动作的概要的车辆顶视图，示出了本车辆行驶于环形道路(roundabout)时的情形。
图11是表示图10所示的环形道路行驶时的转弯曲率的曲线图。
图12是表示图10所示的环形道路行驶时的灵敏度的曲线图，(a)表示比较例，(b)表示第三实施方式所涉及的移动体检测装置的灵敏度状态。
图13是表示第三实施方式所涉及的移动体检测方法的流程图。
图14是表示第四实施方式所涉及的计算机的详细内容的框图。
图15是用于说明第四实施方式所涉及的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
图16是用于说明第四实施方式所涉及的亮度差计算部的详细的动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
图17是用于说明边缘波形生成部生成边缘差分波形的生成方法的图。
图18是表示第四实施方式所涉及的移动体检测方法的流程图。
具体实施方式
下面，基于附图说明本发明的优选实施方式。图1是本实施方式所涉及的移动体检测装置1的概要结构图，示出了移动体检测装置1被搭载于车辆V的情况下的例子。图1所示的移动体检测装置1用于基于本车辆V周围的摄像结果来向本车辆V的驾驶员提供各种信息，并具备摄像头(摄像单元)10、传感器20以及计算机30。
图1所示的摄像头10以光轴相对于水平向下形成角度θ的方式安装于本车辆V后方的高度h的地方。摄像头10从该位置拍摄检测区域。传感器20例如由检测本车辆V的行驶速度的车速传感器、检测方向盘操作量的转向角传感器构成。计算机30根据由摄像头10拍摄到的图像，检测存在于本车辆V的后侧方的移动体(例如其它车辆、二轮车等)。
另外，移动体检测装置1具备未图示的警报装置，在由计算机30检测出的移动体有可能接触本车辆V的情况等下，向本车辆V的驾驶员发出警告。
图2是表示图1所示的车辆的行驶状态的顶视图。如图2所示，摄像头10能够拍摄本车辆V的后侧方。在与本车辆V所行驶的行驶车道相邻的邻近车道上设定用于检测其它车辆等移动体的检测区域(规定区域)A1、A2，计算机30检测在检测区域A1、A2内是否存在移动体。这样的检测区域A1、A2从相对于本车辆V的相对位置开始进行设定。另外，也可以利用白线自动识别技术等来在邻近车道上设定检测区域A1、A2。
图3是表示图1所示的计算机30的详细内容的框图。此外，在图3中为了明确连接关系还图示了摄像头10和车速传感器20。此外，如根据图3可知传感器20由车速传感器21和转向角传感器22构成，但是不限于此，也可以还具备其它的传感器。
如图3所示，计算机30具备视点变换部31、差分图像生成部(差分图像生成单元)32、差分波形生成部(差分波形生成单元)33以及移动体检测部(移动体检测单元)34。
视点变换部31输入由摄像头10拍摄得到的包含检测区域A1、A2的摄像图像数据，将所输入的摄像图像数据变换视点形成为鸟瞰视点状态的鸟瞰图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像头的视点观看的状态。例如日本特开2008-219063号公报所记载的那样执行该视点变换。
差分图像生成部32依次输入通过视点变换部31的视点变换得到的鸟瞰图像数据，并决定所输入的不同时刻的鸟瞰图像数据的位置。图4是表示图3所示的差分图像生成部32的处理的概要的顶视图，(a)表示车辆V的移动状态，(b)表示对位的概要。
如图4的(a)所示，设为当前时刻的本车辆V位于V1，前一时刻的本车辆V位于V2。另外，设为其它车辆V位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆V位于V3，前一时刻的其它车辆V位于V4。并且，本车辆V设为在一个时刻移动了距离d。此外，前一时刻可以是从当前时刻起经过预先决定的时间(例如一个控制周期)的过去的时刻，也可以是经过任意的时间的过去的时刻。
在这样的状态下，当前时刻的鸟瞰图像PBt如图4的(b)所示那样。在该鸟瞰图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以顶视观察所形成的状态。但是，其它车辆V3发生了倾倒。另外，前一时刻的鸟瞰图像PBt-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以顶视观察所形成的，但是其它车辆V4发生了倾倒。
差分图像生成部32在数据上执行如上所述那样的鸟瞰图像PBt、PBt-1的对位。此时，差分图像生成部32使前一时刻的鸟瞰图像PBt-1偏移来使位置与当前时刻的鸟瞰图像PBt相一致。偏移量d’为与图4的(a)所示的移动距离d对应的量，根据来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。
此外，在本实施方式中，差分图像生成部32以鸟瞰视点对不同时刻的鸟瞰图像的位置进行对位来获得该对位后的鸟瞰图像，但是能够以与检测对象的类型、所要求的检测精度相应的精度进行该“对位”处理。例如，可以设为以同一时刻和同一位置为基准进行对位的严格的对位处理，也可以设为掌握各鸟瞰视点图像的坐标这种程度的不严格的对位处理。
另外，在对位之后，差分图像生成部32与鸟瞰图像PBt、PBt-1的每个像素相对应地获取差分，抽出上述差分的绝对值为规定值以上的像素作为差分像素。然后，差分像素生成部32根据这些差分像素生成差分图像PDt。
再次参照图3。差分波形生成部33根据由差分图像生成部32生成的差分图像PDt的数据来生成差分波形。
图5是表示图3所示的差分波形生成部33生成差分波形的情形的概要图。如图5所示，差分波形生成部33基于差分图像PDt中的相当于检测区域A1、A2的部分生成差分波形DWt。此时，差分波形生成部33通过视点变换，沿着三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便，仅利用检测区域A1进行说明。
具体地说，首先，差分波形生成部33在差分图像DWt的数据上定义三维物体倾倒的方向上的线La。然后，差分波形生成部33在线La上对表示规定的差分的差分像素DP的个数进行计数。在此，在差分图像DWt的像素值是将鸟瞰图像PBt、PBt-1的像素值之差绝对值化得到的像素值的情况下，差分像素DP是超过规定值的像素，在差分图像DWt的像素值用“0”、“1”表现的情况下，差分像素DP是表示“1”的像素。
差分波形生成部33在对差分像素DP的个数进行计数之后，求出线La与线L1的交点CP。然后，差分波形生成部33将交点CP与计数数进行对应，根据交点CP的位置来决定横轴位置(在图5的纸面上下方向轴上的位置)，并根据计数数决定纵轴位置(在图5的纸面左右方向轴上的位置)。
以下同样地，差分波形生成部33对三维物体倾倒的方向上的线进行定义，来对差分像素DP的个数进行计数，根据交点CP的位置决定横轴位置，基于计数数(差分像素DP的个数)决定纵轴位置。移动体检测部33依次重复上述内容进行频数分布化来生成差分波形DWt。
此外，如图5所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，差分波形生成部33在基于差分像素DP的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中基于计数数决定纵轴位置时，差分波形生成部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
移动体检测部34根据如图5所示那样的差分波形DWt的数据来检测移动体。该移动体检测部34在进行移动体检测时，首先执行阈值处理。具体地说，移动体检测部34将差分波形DWt的平均值与规定的阈值进行比较，如果平均值为规定的阈值以上，则判断为有可能是移动体。另一方面，如果平均值不为规定的阈值以上，则移动体检测部34判断为不可能是移动体。在此，在差分波形DWt是因噪声而产生的情况下，平均值很难成为规定的阈值以上。因此，移动体检测部34首先进行阈值处理来判断移动体的可能性。此外，移动体检测部34不限于此，例如也可以在差分波形DWt中的为规定的阈值以上的面积比例为预定比例以上的情况下，判断为有可能是移动体，在不为预定比例以上的情况下，判断为不可能是移动体。
另外，移动体检测部34当判断为差分波形DWt所表示的三维物体有可能是移动体时，通过将前一时刻的差分波形DWt-1与本次的差分波形DWt进行对应关联来计算三维物体的估计速度。例如在三维物体是其它车辆V的情况下，由于在其它车辆V的轮胎部分容易获得差分像素DP，因此差分波形DWt容易形成为具有两个极大值的波形。因此，通过求出前一时刻的差分波形DWt-1与本次的差分波形DWt的极大值间的偏差，能够求出其它车辆V相对于本车辆V的相对速度。由此，移动体检测部34求出三维物体的估计速度。然后，移动体检测部34根据估计速度判断由差分波形DWt表示的三维物体是移动体还是静止物体。
并且，计算机30具备转弯检测部(转弯检测单元)35和灵敏度设定部(灵敏度设定单元)36。转弯检测部35检测本车辆V的转弯，且根据由转向角传感器22检测出的转向角来检测本车辆是否正在转弯。灵敏度设定部36用于改变移动体检测部34中的移动体的检测灵敏度。此外，转弯检测部35也可以不依据转向角而通过导航等判断是否正在弯道上行驶。
图6是表示由图3所示的差分波形生成部33生成的差分波形DWt的例子的图，(a)表示在车辆直行时获得的差分波形DWt的例子，(b)～(e)表示在车辆转弯时获得的差分波形DW的例子。另外，(c)表示使移动体的检测灵敏度下降的第一例，(d)表示使移动体的检测灵敏度下降的第二例，(e)表示使移动体的检测灵敏度下降的第三例。
首先，设为获得了如图6的(a)所示那样的差分波形DWt。此时，移动体检测部34如上述那样执行阈值处理。在图6的(a)所示的例子中，差分波形DWt的平均值不为阈值TH以上。因此，移动体检测部34判断为差分波形DWt不是移动体的而是因例如噪声(具体地说，草、墙壁等结构复杂的静止物体)所产生的。
但是，当如图6的(b)所示那样假设本车辆V正在转弯时，差分波形DWt容易变大。这是因为由于转弯而使得静止物体在图像上被表现为像是在运动，从而容易获得差分。特别是在图6的(b)所示的例子中，差分波形DWt的平均值为阈值TH以上。因此，导致容易将静止物体错误识别为是移动体。
因此，灵敏度设定部36在转弯时使移动体的检测灵敏度下降。具体地说，灵敏度设定部36如图6的(b)所示那样提高规定的阈值TH(用TH’表示变更前的阈值)。由此，差分波形DWt的平均值不会为阈值TH以上，移动体检测部34不容易将静止物体错误识别为是移动体。
另外，期望灵敏度设定部36如图6的(c)、图6的(d)所示那样提高阈值TH。即，灵敏度设定部36使与本车辆V的后方侧对应的阈值TH高于与本车辆V的前方侧对应的阈值TH。本实施方式所涉及的移动体检测装置1用于检测本车辆V的后侧方的移动体，因此在转弯时摄像图像中的本车辆后方侧的差分与前方侧的差分相比容易变大。因此，如上述那样由于能够通过提高与本车辆V的后方侧对应的阈值TH，来适当地设定阈值TH，从而能够进一步提高移动体的检测精度。
此外，在这种情况下，移动体检测部34可以如图6的(c)所示那样设定直线型的阈值TH，也可以如图6的(d)所示那样呈阶梯状地设定阈值TH。
并且，灵敏度设定部36通过检测由转向角传感器22检测出的转向角来检测转弯，该转向角越大，使移动体检测部34检测移动体的检测灵敏度越低。这是因为越是急转弯，静止物体在图像上被表现为越大幅度地运动，更容易获得差分。具体地说，如图6的(e)所示那样，转向角越大，灵敏度设定部36使规定的阈值TH越高。即，当将图6的(e)所示的例子与图6的(b)所示的例子相比时，图6的(e)所示的阈值TH更高。这样，灵敏度设定部36通过在转向角越大时使规定的阈值TH越高，来设定更合适的阈值。
在此，灵敏度设定部36除了依据转向角以外还可以添加横向加速度、加速踏板开度以及制动操作来使灵敏度下降。这是因为例如当由于加速踏板开度的变化、制动操作而产生前后方向的运动时，具有差分波形DWt容易变大的倾向。另外，关于横向加速度的变化也同样，具有差分波形DWt容易变大的倾向。
接着，说明本实施方式所涉及的移动体检测方法。图7是表示本实施方式所涉及的移动体检测方法的流程图。如图7所示，首先，计算机30根据来自车速传感器20的信号来检测车速(S1)。
接着，转弯检测部36根据来自转向角传感器22的信号，来判断本车辆V是否正在转弯(S2)。在判断为本车辆V没有转弯的情况下(S2：“否”)，处理转移到步骤S8。
另一方面，在判断为本车辆V正在转弯的情况下(S2：“是”)，灵敏度设定部36根据转向角的大小，来设定阈值TH的目标值(S3)。接着，移动体检测部34判断当前是否为移动体检测过程中(S4)。
在判断为是移动体检测过程中的情况下(S4：“是”)，灵敏度设定部36关于使灵敏度变化时的变化量，将作为上限值的界限值设定为第一界限值(S5)。然后，处理转移到步骤S7。另一方面，在判断为不是移动体检测过程中的情况下(S4：“否”)，区域设定部33b将界限值设定为第二界限值(S6)。然后，处理转移到步骤S7。在此，使第一界限值小于第二界限值。因此，能够防止在移动体检测过程中由于阈值TH急剧地变化而检测不出检测过程中的移动体的情形。
接着，灵敏度设定部36使阈值TH变化(S7)。即，灵敏度设定部36使阈值TH在不超过在步骤S5、S6中所设定的界限值的范围内以接近在步骤S3中求出的目标值的方式变化。
之后，差分图像生成部32检测差分(S8)。此时，差分图像生成部32如参照图4所说明的那样生成差分图像PDt的数据。
接着，差分波形生成部33根据在步骤S8中生成的差分图像PDt，如参照图5说明的那样来生成差分波形DWt(S9)。然后，移动体检测部34通过将前一时刻的差分波形DWt-1与本次的差分波形DWt进行对应关联，来计算三维物体的估计速度(S10)。
之后，移动体检测部34判断在步骤S10中计算出的估计速度是否为检测对象(S11)。在此，在本实施方式中，移动体检测装置1用于检测在车道变更时有可能接触的其它车辆、二轮车等。因此，移动体检测部34在步骤S11中判断估计速度作为其它车辆、二轮车等的速度是否合适。
在判断为估计速度作为其它车辆、二轮车等的速度合适的情况下(S11：“是”)，移动体检测部34判断为由差分波形DWt表示的三维物体是作为检测对象的移动体(其它车辆、二轮车等)(S12)。然后，图7所示的处理结束。另一方面，在判断为估计速度作为其它车辆、二轮车等的速度不合适的情况下(S11：“否”)，移动体检测部33判断为由差分波形DWt表示的三维物体不是作为检测对象的移动体，图7所示的处理结束。
这样，根据本实施方式所涉及的移动体检测装置1和移动体检测方法，在检测出本车辆V正在转弯的情况下，与本车辆V没有转弯的情况相比，使移动体的检测灵敏度下降。因此，即使由于本车辆V转弯而使得静止物体在图像上被表现为像是在运动，也能够由于移动体的判断精度下降，因此不会将静止物体错误判断为移动体。因而，能够提高移动体的检测精度。
另外，在检测出本车辆V正在转弯的情况下，与本车辆V没有转弯的情况相比，提高规定的阈值TH，由此使移动体的检测灵敏度下降。因此，即使由于本车辆V转弯而使得静止物体在图像上被表现为像是在运动、尽管为静止物体但差分波形被表现得大，但是由于阈值TH被提高，因此也不容易判断为是移动体。
另外，由于将与本车辆后方侧对应的阈值TH设定得高于与本车辆前方侧对应的阈值TH，因此在如转弯那样本车辆后方侧的差分波形DWt容易被表现得大于前方侧的差分波形的状况中，能够适当地设定阈值TH，从而进一步提高移动体的检测精度。
另外，由于转向角越大而使移动体的检测灵敏度越低，因此在转向角变大而使得静止物体在图像上更容易表现为像是在运动的状况中，也能够进一步降低移动体的判断精度，从而不会将静止物体错误判断为移动体。
另外，由于使移动体的检测过程中的灵敏度的下降量与移动体的非检测过程中的相比减少，因此能够降低在移动体的检测过程中使灵敏度大幅地下降、产生移动体的漏检的频率。
接着，说明本发明的第二实施方式。第二实施方式所涉及的移动体检测装置和移动体检测方法与第一实施方式的相同，但是结构和处理内容有一部分不同。下面，说明与第一实施方式的不同点。
图8是表示第二实施方式所涉及的计算机30的详细内容的框图。此外，在图8中，设为为了明确连接关系还图示了摄像头10和传感器20。
如图8所示，设为第二实施方式所涉及的计算机30通过控制差分图像生成部32，来使移动体检测部34检测移动体的检测灵敏度下降。如上述那样，差分图像生成部32在数据上执行不同时刻的鸟瞰图像PBt、PBt-1的对位并获取差分，抽出上述差分的绝对值为规定值以上的像素作为差分像素DP。在第二实施方式中，进行如下控制：灵敏度设定部36例如通过使上述规定值变大，由此不容易抽出差分像素DP，从而无需变更阈值TH就可以使差分波形DWt的大小变小。具体地说，如果是通常情况，则差分图像生成部32依据亮度差为“5”进行抽出来作为差分像素DP时，在某转弯状态下变更为例如依据亮度差为“20”进行抽出来作为差分像素DP。由此，结果为移动体检测部34检测移动体的检测精度下降。此外，不限于上述内容，也可以进行如下控制：差分波形生成部33在生成差分波形之后，简单地将差分波形DWt在高度方向上进行压缩，来使差分波形DWt的大小变小。
接着，说明第二实施方式所涉及的移动体检测方法。第二实施方式所涉及的移动体检测方法与第一实施方式相同，但是在步骤S3中不是设定阈值TH的目标值，而是设定用于抽出差分像素DP的规定值的目标值。另外，在步骤S7中，不是使阈值TH变化，而是使规定值变化。
此外，其它的处理与第一实施方式相同。
这样，根据第二实施方式所涉及的移动体检测装置2和移动体检测方法，与第一实施方式同样地，能够提高移动体的检测精度。
并且，根据第二实施方式，在检测出本车辆V正在转弯的情况下，与本车辆V没有转弯的情况相比，使用于检测差分像素DP的规定值变大，由此使移动体的检测灵敏度下降。因此，不容易检测差分像素DP自身，从而差分波形DWt被表现得较小，因此能够避免错误判断为移动体。
接着，说明本发明的第三实施方式。第三实施方式所涉及的移动体检测装置和移动体检测方法与第一实施方式的相同，但是结构和处理内容有一部分不同。下面，说明与第一实施方式的不同点。
图9是表示第三实施方式所涉及的计算机30的详细内容的框图。此外，在图9中，设为为了明确连接关系还图示了摄像头10和传感器20。
如图9所示，计算机30具备车道变更检测部(车道变更检测单元)37。车道变更检测部37用于检测本车辆V的车道变更。具体地说，车道变更检测部37通过检测驾驶员的信号灯操作，来检测本车辆V的车道变更。此外，车道变更的检测方法不限于此，例如也可以在由摄像头10拍摄得到的图像数据上判断本车辆V的横向移动，来检测车道变更，还可以将来自转向角传感器22的信号、来自横向加速度传感器的信号组合来检测车道变更。
图10是表示第三实施方式所涉及的移动体检测装置3的动作的概要的车辆顶视图，示出了本车辆V行驶于环形道路时的情形。如图10所示，在本车辆V进入环形道路时，与右转的环形道路相应地驾驶员将方向盘稍向右方向转动。之后，本车辆V到达图10所示的位置P。此时，当驾驶员想要离开环形道路时，驾驶员点亮左侧的信号灯，并且将方向盘向左方向转动。然后，本车辆V离开环形道路。
图11是表示图10所示的环形道路行驶时的转弯曲率的曲线图。如参照图10说明的那样，首先，在进入环形道路时，本车辆V的驾驶员将方向盘向右方向转动，因此在时刻t1～t2中向右方向的转弯曲率逐渐变高。然后，在时刻t2时转弯曲率保持固定值。接着，在时刻t3，驾驶员为了离开环形道路而点亮左侧的信号灯，并将方向盘向左侧转动。由此，在时刻t4，转弯曲率一度变为零，在时刻t5之前向左方向的转弯曲率上升。而且与离开环形道路同时地驾驶员使方向盘逐渐复位，因此从时刻t6开始转弯曲率减少。
图12是表示图10所示的环形道路行驶时的灵敏度的曲线图，(a)表示比较例，(b)示出了第三实施方式所涉及的移动体检测装置3的灵敏度状态。此外，在图12的(a)中，将第一实施方式所涉及的移动体检测装置1的灵敏度变更的情形作为比较例进行说明。
在如上述那样本车辆V行驶于环形道路的情况下，如图12的(a)所示那样，首先在时刻t1发生转弯，因此灵敏度下降。另外，转弯曲率在时刻t2之前变高，因此关于灵敏度，在时刻t1～t2中也逐渐下降。
然后，在时刻t2～t3中转弯曲率被保持为固定，因此灵敏度被维持下降后的状态。之后，当驾驶员为了离开环形道路而点亮左侧的信号灯并将方向盘向左侧转动时，在时刻t4时转弯曲率暂时变为零，因此在时刻t3～t4中灵敏度恢复为初始值。接着，由于在时刻t5之前向左方向的转弯曲率上升，因此灵敏度在时刻t4～t5中再次逐渐下降。然后，在时刻t5～t6之间转弯曲率被保持为固定，因此灵敏度也被维持下降后的状态，之后，与转弯曲率的下降同时地灵敏度朝向初始值上升。
但是，如从图12的(a)显而易见地，在时刻t4时灵敏度与通常情况时相同。因此，导致在变为零的瞬间或其附近容易将静止物体错误地检测为移动体。特别是在环形道路中，在中央配置有草等的情形多，从而如果即使是暂时性地也形成灵敏度与通常情况时相同，则导致移动体的检测精度下降。
因此，第三实施方式所涉及的灵敏度设定部36在转向角为规定值以下的情况下，在由车道变更检测部37检测出在当前行驶时向与转弯方向相反的方向的车道变更时，使恢复速度下降，该恢复速度是使下降后的灵敏度恢复为下降前的灵敏度的速度。
即，如图12的(b)所示，不是在时刻t3～t4中使灵敏度恢复到初始值，而是在时刻t3～t5中使灵敏度慢慢地下降。由此，能够防止灵敏度急剧地下降，并能够防止移动体的检测精度下降的情形。
接着，说明第三实施方式所涉及的移动体检测方法。图13是表示第三实施方式所涉及的移动体检测方法的流程图。此外，图13所示的步骤S21～S26为止的处理与图7所示的步骤S1～S6为止的处理相同，因此省略说明。
在步骤S27中，灵敏度设定部36在转向角为规定值以下的情况下，判断是否检测出向与其转弯方向相反的方向的车道变更(S27)。在判断为检测出向与转弯方向相反的方向的车道变更的情况下(S27：“是”)，如参照图10～图12说明的那样，认为本车辆V正行驶于环形道路。因此，灵敏度设定部36使在步骤S25、S26中设定的界限值下降。由此，如图12的(b)所示那样不会急剧地变更灵敏度，而是使下降后的灵敏度恢复的恢复速度下降。
然后，处理转移到步骤S29。步骤S29～S34所示的处理与图7所示的步骤S7～S12所示的处理相同，因此省略说明。
这样，根据第三实施方式所涉及的移动体检测装置3和移动体检测方法，与第一实施方式同样地，能够提高移动体的检测精度，即使尽管为静止物体但差分波形被表现得很大，也能够由于阈值TH被提高，因此不容易判断为是移动体。另外，能够进一步提高移动体的检测精度，并能够防止将静止物体再错误判断为移动体。
另外，根据第三实施方式，在转向角为规定值以下的情况下，在检测出向与其转弯方向相反的方向的车道变更时，使恢复速度下降，该恢复速度使下降后的灵敏度恢复为下降前的灵敏度。因此，例如在点亮与转弯方向相反的方向的信号灯而离开环形道路的情况等转弯状态暂时性地变为零但之后发生转弯时，能够不使下降后的灵敏度立即恢复以避免在变为零的瞬间或其附近将静止物体判断为移动体。因而，在离开环形道路的情况等下也能够提高移动体的检测精度。
接着，说明本发明的第四实施方式。第四实施方式所涉及的移动体检测装置4和移动体检测方法与第一实施方式的相同，但是结构和处理内容有一部分不同。下面，说明与第一实施方式的不同点。
图14是表示第四实施方式所涉及的计算机30的详细内容的框图。此外，在图14中，设为为了明确连接关系还图示了摄像头10。
如图14所示，在第四实施方式中，计算机30具备亮度差计算部38、边缘波形生成部39以及移动体检测部34a。下面，关于各结构进行说明。
亮度差计算部38为了检测鸟瞰图像中包含的三维物体的边缘，而计算由视点变换部31变换视点得到的鸟瞰图像数据中的像素区域间的亮度差。具体地说，亮度差计算部38沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线设定多个计算点，计算该计算点附近的两个像素间的亮度差。此外，亮度差计算部38能够通过仅设定一条在实际空间中的铅垂方向上延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
在此，针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部38针对进行视点变换得到的鸟瞰图像设定相当于在实际空间中在铅垂方向上延伸的线段的第一铅垂虚拟线以及相当于与第一铅垂虚拟线不同并在实际空间中在铅垂方向上延伸的线段的第二铅垂虚拟线。亮度差计算部38沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。下面，详细说明该亮度差计算部38的动作。
亮度差计算部38如图15的(a)所示那样设定相当于在实际空间中在铅垂方向上延伸的线段且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部38设定相当于与关注线La不同并在实际空间中在铅垂方向上延伸的线段且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设置于从关注线La离开在实际空间中的预定距离的位置处。此外，与实际空间中在铅垂方向上延伸的线段相当的线是指在鸟瞰图像中从摄像头10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
亮度差计算部38在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部38在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间上形成如图15的(b)所示那样的关系。根据图15的(b)可知，关注线La和参照线Lr是在实际空间上在铅垂方向上延伸的线，关注点Pa和参照点Pr是在实际空间上被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
亮度差计算部38求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差较大时，认为在关注点Pa与参照点Pr之间存在边缘。特别是在第四实施方式中，为了检测存在于检测区域A1、A2的三维物体，而针对鸟瞰图像设定了铅垂虚拟线作为在实际空间中在铅垂方向上延伸的线段，因此在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定位置存在三维物体的边缘的可能性高。
更详细地说明该点。图16是表示亮度差计算部38的详细动作的图，图16的(a)表示鸟瞰视点状态的鸟瞰图像，图16的(b)是图16的(a)所示的鸟瞰图像的一部分B1放大图。此外，对于图16，也仅图示检测区域A1进行说明，但是对于检测区域A2，也能够通过同样的过程计算亮度差。
在摄像头10所拍摄到的摄像图像内拍摄有其它车辆V的情况下，如图16的(a)所示那样，在鸟瞰图像内的检测区域A1出现其它车辆V。如图16的(b)示出图16的(a)中的区域B1的放大图那样，设为在鸟瞰图像上在其它车辆V的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部38首先设定参照线Lr。参照线Lr沿铅垂方向设定在实际空间上距关注线La规定的距离的位置处。具体来说，在本实施方式所涉及的三维物体检测装置1a中，参照线Lr被设定在与关注线La在实际空间上相距10cm的位置处。由此，参照线Lr在鸟瞰图像上例如被设定在与其它车辆V的轮胎的橡胶相距相当于10cm的其它车辆V的轮胎的轮辋上。
接着亮度差计算部38在关注线La上设定多个关注点Pa1～PaN。在图16的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下在表示任意的点的情况下仅称为关注点Pai)。此外，设定在关注线La上的关注点Pa的数量可以是任意的。在下面的说明中，设为N个关注点Pa被设定在关注线La上进行说明。
接着，亮度差计算部38在实际空间上将各参照点Pr1～PrN设定成与各关注点Pa1～PaN相同的高度。而且，亮度差计算部38计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部38针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部38例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部38沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部38依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。
亮度差计算部38在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部38在实际空间上沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部38例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
这样，在第二实施方式中，通过根据在实际空间上处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，由此能够明确地检测出存在铅垂方向上延伸的边缘的情况下的亮度差。另外，由于进行在实际空间中在铅垂方向上延伸的铅垂虚拟线之间的亮度比较，因此即使通过变换为鸟瞰图像而将三维物体与距路面的高度相应地拉长，也不会影响三维物体的检测处理，而能够提高三维物体的检测精度。
图14所示的边缘波形生成部39根据由亮度差计算部38检测出的边缘，生成一维的边缘波形EWt。例如，边缘波形生成部39检测所检测出的边缘的强度(亮度差)为规定的边缘阈值t以上的像素，与第一实施方式的差分波形DWt的生成方法同样地，通过沿着由于视点变换而三维物体倾倒的方向对边缘的强度(亮度差)为规定的边缘阈值t以上的像素数进行计数来进行频数分布化，由此能够生成一维的边缘波形EDt。
并且，边缘波形生成部39通过使前一时刻的边缘波形EWt-1偏移基于本车辆V1的车速度的移动量，来进行前一时刻的边缘波形EWt-1与当前的边缘波形EWt的对位，根据对位后的前一时刻的边缘波形EWt-1与当前的边缘波形EWt的差分，来生成边缘差分波形EWt’。在此，图17的(A)是当前的边缘波形EWt的一例，图17的(B)是偏移后的前一时刻的边缘波形EWt-1的一例，在这种情况下，能够判断为三维物体相对于本车辆V移动了距离d。在这种情况下，边缘波形生成部39如图17的(C)所示那样通过以对位后的前一时刻的边缘波形EWt-1与当前的边缘波形EWt的差分为纵轴、以检测区域在行进方向上的检测位置为横轴进行绘制，来生成边缘差分波形EWt’。这样，边缘波形生成部39根据前一时刻的边缘波形EWt-1与当前的边缘波形EWt的差分，来生成边缘差分波形EWt’，由此能够检测出移动体的可能性高的三维物体。
移动体检测部34a根据边缘差分波形EWt’的数据来检测移动体。与第一实施方式同样地，移动体检测部34a首先计算边缘差分波形EWt’的平均值，如果计算出的边缘差分波形EWt’的平均值为由灵敏度设定部36设定的阈值TH以上，则判断为有可能存在移动体，另一方面，如果边缘差分波形EWt’的平均值不为规定的阈值TH以上，则判断为不可能是移动体。在此，在边缘差分波形EWt’是因噪声产生的情况下，边缘差分波形EWt’的平均值很难形成为规定的阈值TH以上，因此移动体检测部34a首先进行阈值处理来判断移动体的可能性。此外，移动体检测部34a不限于此，例如也可以在边缘差分波形EWt’中的为规定的阈值TH以上的面积比例为预定比例以上的情况下判断为有可能是移动体，在不为预定比例以上的情况下判断为不可能是移动体。此外，灵敏度设定部36能够设定与用于根据差分波形DWt来判断三维物体是否为移动体的阈值不同的阈值来作为用于根据边缘差分波形EWt’来判断三维物体是否为移动体的阈值。
另外，移动体检测部34a在上述阈值处理中判断为边缘差分波形EWt’所表示的三维物体有可能是移动体的情况下，通过将前一时刻的边缘差分波形EWt-1’与本次的边缘差分波形EWt’进行对应来计算三维物体的估计速度。例如，在三维物体是其它车辆V的情况下，在其它车辆V的轮胎部分容易获得边缘信息，因此边缘差分波形EWt’容易形成为具有两个极大值的波形。因此，通过求出前一时刻的边缘差分波形EWt-1’与本次的边缘差分波形EWt’的极大值间的偏差，能够求出其它车辆V相对于本车辆V的相对速度。由此，移动体检测部34a求出三维物体的估计速度。然后，移动体检测部34a根据估计速度，判断由边缘差分波形EWt’表示的三维物体是移动体还是静止物体。
接着，说明第四实施方式所涉及的移动体检测方法。图18是表示第四实施方式所涉及的移动体检测方法的流程图。此外，图18所示的步骤S41～S47的处理与图7所示的步骤S1～S7的处理相同，因此省略说明。
在步骤S48中，亮度差计算部38如图15所示那样将相当于在实际空间上在铅垂方向上延伸的线的线设定为关注线La，并且将在实际空间上与关注线La距离预定距离的线设定为参照线Lr。然后，亮度差计算部38在关注线La上设定多个关注点Pa，并且以与该关注点Pa大致相同的高度设定参照点Pr。然后，亮度差计算部38计算在实际空间上成为相同高度的关注点Pa与参照点Pr的亮度差，由此从鸟瞰图像中检测被摄体的边缘。
在步骤S49中，由边缘波形生成部39根据在步骤S48中检测出的边缘来生成一维的边缘差分波形EDt’。具体地说，边缘波形生成部39沿着由于视点变换而三维物体倾倒的方向对检测出边缘的像素数进行计数来进行频数分布化，由此生成一维的边缘波形EDt。并且，边缘波形生成部39进行前一时刻的边缘波形EWt-1与当前的边缘波形EWt的对位，根据对位后的前一时刻的边缘波形EWt-1与当前的边缘波形EWt的差分，来生成边缘差分波形EWt’。
然后，在步骤S50中，由移动体检测部34a判断在步骤S49中生成的边缘差分波形EWt’的平均值是否为在步骤S47中设定的阈值TH以上。在边缘差分波形EWt’的平均值为阈值TH以上的情况下，判断为有可能存在移动体，进入步骤S51，另一方面，在边缘差分波形EWt’的平均值小于阈值TH的情况下，判断为不可能存在移动体，结束图17所示的处理。
在步骤S51中，由移动体检测部34a根据前一时刻的边缘差分波形EWt-1’与在本次处理中生成的边缘差分波形EWt’的差分，来计算三维物体的估计速度。然后，在步骤S52、S53中，与第一实施方式的步骤S11、S12同样地，判断三维物体的估计速度作为其它车辆、二轮车等的速度是否合适(S52)，在三维物体的估计速度作为其它车辆、二轮车等的速度合适的情况下(S52：“是”)，判断为由边缘差分波形EWt’表示的三维物体是作为检测对象的移动体(其它车辆、二轮车等)(S53)。
这样，根据第四实施方式所涉及的移动体检测装置4和移动体检测方法，从鸟瞰图像中检测边缘，根据检测出的边缘来计算三维物体的估计速度，由此根据本车辆V的光环境，即使在根据差分波形难以计算三维物体的估计速度那样的场景中，也能够基于边缘来适当地计算三维物体的估计速度。另外，根据第四实施方式，即使在尽管是静止物体但由于本车辆V转弯而使得边缘差分波形EWt’被表现得大的情况下，通过与本车辆V的转弯状态相应地变更阈值TH，也能够有效地防止将静止物体错误检测为是移动体的情形。
以上基于实施方式说明了本发明，但本发明不限于上述实施方式，在不脱离本发明的宗旨的范围内，可以添加变更，也可以将各实施方式进行组合。
例如，在上述实施方式中，根据来自速度传感器21的信号判断出本车辆V的车速，但是不限于此，也可以基于不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，从而能够实现结构的简化。
另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，在进行变换后的鸟瞰图的对位之后生成差分图像PDt，对所生成的差分图像PDt沿着倾倒方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾倒方向)进行评价来生成差分波形DWt，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾倒方向的方向(即，将倾倒方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形DWt。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像PDt，只要能够沿着将差分图像PDt变换为鸟瞰图时的三维物体的倾倒方向进行评价，也可以不必须生成鸟瞰图。
另外，在上述的实施方式中，例示了在判断为三维物体的估计速度作为其它车辆、二轮车等的速度合适的情况下将三维物体判断为移动体的结构，但是也可以设为在本车辆V正转弯的情况下变更被判断为其它车辆、二轮车等的速度的条件的结构。例如在三维物体的绝对移动速度为10km/h以上的情况下将三维物体判断为移动体时，如果本车辆V正在转弯，则例如在三维物体的绝对移动速度为20km/h以上的情况下，能够判断为三维物体是移动体。由此，能够抑制在本车辆V正转弯的情况下将三维物体检测为移动体，并能够有效地防止将静止物体错误检测为移动体。
并且，在上述的第二实施方式中，例示了在本车辆V正在转弯的情况下将用于抽出差分像素DP的阈值变更为较高的值的结构，但是不限定于该结构，例如也可以设为如下结构：在本车辆V正在转弯的情况下，通过降低从各像素输出的像素值，来抑制将三维物体检测为移动体。在这种情况下，也能够有效地防止由于本车辆V的转弯而将静止物体错误检测为移动体。
并且，在上述的第四实施方式中，例示了与本车辆V的转弯状态相应地变更用于判断三维物体是否为移动体的阈值TH的值的结构，但是不限定于该结构，例如也可以与本车辆V的转弯状态相应地变更用于检测边缘的边缘阈值t的结构。例如在第四实施方式中，通过沿着由于视点变换而三维物体倾倒的方向对边缘的强度(亮度差)为规定的边缘阈值t以上的像素数进行计数来进行频数分布化，由此生成了一维的边缘波形EDt，在本车辆V正转弯的情况下，通过将该边缘阈值t变更为较高的值，来使生成的边缘波形EDt的值减小，其结果，能够抑制移动体的检测，并能够有效地防止将静止物体错误检测为移动体。另外，也可以设为如下结构：通过在本车辆V正转弯的情况下使从各像素输出的亮度值减小，由此抑制将三维物体检测为移动体。在这种情况下，也能够有效地防止将静止物体错误检测为移动体。
除此之外，在上述的第四实施方式中，例示了如下结构：进行前一时刻的边缘波形EWt-1与当前的边缘波形EWt的对位，根据对位得到的前一时刻的边缘波形EWt-1与当前的边缘波形EWt的差分，来生成边缘差分波形EWt’，通过将前一时刻的边缘差分波形EWt-1’与本次的边缘差分波形EWt’进行对应关联来计算三维物体的估计速度，但是不限定于该结构，例如也可以设为通过将前一时刻的边缘波形EWt-1与当前的边缘波形EWt进行对应关联来计算三维物体的估计速度的结构。另外，也可以设为如下结构：判断边缘波形EWt是否为规定的阈值TH以上，在边缘波形EWt为规定的阈值TH以上的情况下，判断为存在有可能是移动体的三维物体，在边缘波形EWt小于规定的阈值TH的情况下，判断为不存在有可能是移动体的三维物体。
此外，上述实施方式的摄像头10相当于本发明的摄像单元，视点变换部31相当于本发明的图像变换单元，差分图像生成部32、差分波形生成部33以及移动体检测部34、34a、亮度差计算部38、边缘波形生成部39相当于本发明的三维物体检测单元，移动体检测部34、34a相当于本发明的移动体检测单元，转弯检测部35相当于本发明的转弯检测单元，灵敏度设定部36相当于本发明的控制单元，车道变更检测部37相当于本发明的车道变更检测单元。
附图标记说明
1～3：移动距离检测装置；10：摄像头；20：传感器；21：车速传感器；22：转向角传感器；30：计算机；31：视点变换部；32：差分图像生成部；33：差分波形生成部；34、34a：移动体检测部；35：转弯检测部；36：灵敏度设定部；37：车道变更检测部；38：亮度差计算部；39：边缘波形生成部；a：视角；A1、A2：检测区域；CP：交点；DP：差分像素；DWt、DWt’：差分波形；La、LB：三维物体倾倒的方向上的线；PB：鸟瞰图像；PD：差分图像；V：本车辆、其它车辆。

Claims (17)

1.一种移动体检测装置，检测本车辆周围的移动体，该移动体检测装置的特征在于，具备：
摄像单元，其搭载于本车辆，拍摄本车辆后侧方；
图像变换单元，其将由上述摄像单元获得的摄像图像视点变换为鸟瞰视点图像；
三维物体检测单元，其对由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行定位，对在定位后的该鸟瞰视点图像的差分图像中表示规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形信息，根据该差分波形信息检测存在于规定区域内的三维物体，并且根据上述差分波形信息的波形的时间变化来计算上述三维物体的移动速度；
移动体检测单元，其根据上述三维物体的移动速度，检测由上述三维物体检测单元检测出的上述三维物体是否为移动体；
转弯检测单元，其检测本车辆的转弯；以及
控制单元，其在由上述转弯检测单元检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比抑制根据上述差分波形信息检测上述三维物体，或者抑制将上述三维物体检测为上述移动体。
2.根据权利要求1所述的移动体检测装置，其特征在于，
上述三维物体检测单元在上述差分波形信息的波形的大小为规定的第一阈值以上的情况下，判断为在上述规定区域内存在上述三维物体，
上述控制单元在由上述转弯检测单元检测出本车辆正在转弯的情况下，通过将上述第一阈值变更为与本车辆没有转弯的情况相比更高的值，来抑制上述三维物体的检测。
3.根据权利要求1或2所述的移动体检测装置，其特征在于，
上述三维物体检测单元通过对在上述差分图像中表示规定的第二阈值以上的差分的像素数进行计数来进行频数分布化，由此生成上述差分波形信息，
上述控制单元在由上述转弯检测单元检测出本车辆正在转弯的情况下，通过将上述第二阈值变更为与本车辆没有转弯的情况相比更高的值，来抑制上述三维物体的检测。
4.根据权利要求1～3中的任一项所述的移动体检测装置，其特征在于，
上述控制单元在由上述转弯检测单元检测出本车辆正在转弯的情况下，使上述三维物体检测单元输出与本车辆没有转弯的情况相比更低的如下值来抑制上述三维物体的检测：该值为对上述差分像素进行计数来进行频数分布化而得到的值。
5.一种移动体检测装置，其检测本车辆周围的移动体，该移动体检测装置的特征在于，具备：
摄像单元，其搭载于本车辆，拍摄本车辆后侧方；
图像变换单元，其将由上述摄像单元获得的摄像图像视点变换为鸟瞰视点图像；
三维物体检测单元，其从由上述图像变换单元获得的上述鸟瞰视点图像中检测边缘信息，根据该边缘信息检测存在于规定区域内的三维物体；
移动体检测单元，其根据上述边缘信息检测上述三维物体是否为移动体；
转弯检测单元，其检测本车辆的转弯；以及
控制单元，其在由上述转弯检测单元检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比抑制根据上述边缘信息检测上述三维物体，或者抑制将上述三维物体检测为移动体。
6.根据权利要求5所述的移动体检测装置，其特征在于，
上述三维物体检测单元从上述鸟瞰视点图像中，按每个规定的像素区域检测上述边缘信息，沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向，对具有规定值以上的上述边缘信息的像素区域的个数进行计数来进行频数分布化，由此生成边缘波形信息，
上述移动体检测单元根据上述边缘波形信息来判断上述三维物体是否为上述移动体。
7.根据权利要求6所述的移动体检测装置，其特征在于，
上述三维物体检测单元根据在不同的时刻生成的上述边缘波形信息的差分，来生成边缘差分波形信息，
上述移动体检测单元根据上述边缘差分波形信息，检测上述三维物体是否为上述移动体。
8.根据权利要求7所述的移动体检测装置，其特征在于，
上述三维物体检测单元在上述边缘差分波形信息的波形的大小为规定的第一阈值以上的情况下，判断为在上述规定区域内存在上述三维物体，
上述控制单元在由上述转弯检测单元检测出本车辆正在转弯的情况下，通过将上述第一阈值变更为与本车辆没有转弯的情况相比更高的值，来抑制上述三维物体的检测。
9.根据权利要求7或8所述的移动体检测装置，其特征在于，
上述控制单元在由上述转弯检测单元检测出本车辆正在转弯的情况下，通过使上述三维物体检测单元输出与本车辆没有转弯的情况相比更低的上述边缘波形的差分，来抑制上述三维物体的检测。
10.根据权利要求5～9中的任一项所述的移动体检测装置，其特征在于，
上述三维物体检测单元从上述鸟瞰视点图像中抽出相邻的像素区域间的亮度差为规定的第二阈值以上的边缘成分，根据该边缘成分检测上述边缘信息，
上述控制单元在由上述转弯检测单元检测出本车辆正在转弯的情况下，通过将上述第二阈值变更为与本车辆没有转弯的情况相比更高的值，来抑制上述三维物体的检测。
11.根据权利要求2或8所述的移动体检测装置，其特征在于，
上述控制单元将与本车辆后方侧对应的上述第一阈值设定为高于与本车辆前方侧对应的上述第一阈值。
12.根据权利要求3或10所述的移动体检测装置，其特征在于，
上述控制单元将与本车辆后方侧对应的上述第二阈值设定为高于与本车辆前方侧对应的上述第二阈值。
13.根据权利要求1～12中的任一项所述的移动体检测装置，其特征在于，
上述转弯检测单元通过检测转向角来检测上述本车辆的转弯，
由上述转弯检测单元检测出的上述转向角越大，上述控制单元使抑制上述三维物体的检测时的抑制程度或者抑制上述移动体的检测时的抑制程度越高。
14.根据权利要求13所述的移动体检测装置，其特征在于，
还具备检测本车辆的车道变更的车道变更检测单元，
上述控制单元在上述转向角为规定值以下的情况下，如果由上述车道变更检测单元检测出向与其转弯方向相反的方向的车道变更，则使解除上述三维物体的检测的抑制的速度或者解除上述移动体的检测的抑制的速度变慢。
15.根据权利要求1～14中的任一项所述的移动体检测装置，其特征在于，
上述灵敏度设定单元使在移动体的检测过程中抑制上述三维物体的检测时的抑制程度或者抑制上述移动体的检测时的抑制程度低于移动体的非检测过程中抑制上述三维物体的检测时的抑制程度或者抑制上述移动体的检测时的抑制程度。
16.一种移动体检测方法，检测本车辆周围的移动体，该移动体检测方法的特征在于，具备以下步骤：
摄像步骤，从本车辆拍摄本车辆后侧方；
图像变换步骤，将上述摄像步骤中拍摄得到的摄像图像视点变换为鸟瞰视点图像；
三维物体检测步骤，对不同时刻的上述鸟瞰视点图像的位置以鸟瞰视点进行定位，对在定位后的该鸟瞰视点图像的差分图像中表示规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形信息，根据该差分波形信息检测存在于规定区域内的三维物体，并且根据上述差分波形信息的波形的时间变化来计算上述三维物体的移动速度；
移动体检测步骤，根据上述三维物体的移动速度，检测上述三维物体是否为移动体；
转弯检测步骤，检测本车辆的转弯；以及
控制步骤，在上述转弯检测步骤中检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比抑制根据上述差分波形信息检测上述三维物体，或者抑制将上述三维物体检测为上述移动体。
17.一种移动体检测方法，检测本车辆周围的移动体，该移动体检测方法的特征在于，
摄像步骤，从本车辆拍摄本车辆后侧方；
图像变换步骤，将上述摄像步骤中拍摄得到的摄像图像视点变换为鸟瞰视点图像；
三维物体检测步骤，从上述鸟瞰视点图像中检测边缘信息，根据该边缘信息检测存在于规定区域内的三维物体；
移动体检测步骤，根据上述边缘信息检测上述三维物体是否为移动体；
转弯检测步骤，检测本车辆的转弯；以及
灵敏度设定步骤，在上述转弯检测步骤中检测出本车辆正在转弯的情况下，与本车辆没有转弯的情况相比抑制根据上述边缘信息检测上述三维物体，或者抑制将上述三维物体检测为上述移动体。
CN201280037994.3A 2011-08-02 2012-07-27 移动体检测装置和移动体检测方法 Active CN103718214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011168899 2011-08-02
JP2011-168899 2011-08-02
PCT/JP2012/069092 WO2013018672A1 (ja) 2011-08-02 2012-07-27 移動体検出装置及び移動体検出方法

Publications (2)

Publication Number Publication Date
CN103718214A true CN103718214A (zh) 2014-04-09
CN103718214B CN103718214B (zh) 2017-08-11

Family

ID=47629196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280037994.3A Active CN103718214B (zh) 2011-08-02 2012-07-27 移动体检测装置和移动体检测方法

Country Status (9)

Country Link
US (1) US9665781B2 (zh)
EP (1) EP2741256B1 (zh)
JP (1) JP5664787B2 (zh)
CN (1) CN103718214B (zh)
BR (1) BR112014001837B1 (zh)
MX (1) MX2014000603A (zh)
MY (1) MY165967A (zh)
RU (1) RU2568777C2 (zh)
WO (1) WO2013018672A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105313897A (zh) * 2014-07-28 2016-02-10 现代摩比斯株式会社 车辆的行驶车道识别系统及方法
CN105599767A (zh) * 2014-11-18 2016-05-25 沃尔沃汽车公司 环形道探测装置
CN106446796A (zh) * 2016-08-30 2017-02-22 安徽清新互联信息科技有限公司 一种车辆间距检测方法
CN106926794A (zh) * 2015-12-31 2017-07-07 合盈光电科技股份有限公司 车辆监控系统及其方法
CN107368068A (zh) * 2016-05-13 2017-11-21 德尔福技术有限公司 用于自动车辆的脱险路径规划系统
CN107408345A (zh) * 2015-03-31 2017-11-28 株式会社电装 物标存在判定方法以及装置
CN108352120A (zh) * 2015-11-10 2018-07-31 古河电气工业株式会社 监测装置以及监测方法
CN111448597A (zh) * 2017-10-10 2020-07-24 日产自动车株式会社 驾驶控制方法以及驾驶控制装置
CN112542060A (zh) * 2019-09-20 2021-03-23 三菱电机株式会社 车用后侧方警报装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5740241B2 (ja) * 2011-08-03 2015-06-24 株式会社東芝 車両検出装置
MY171030A (en) * 2011-09-12 2019-09-23 Nissan Motor Three-dimensional object detection device
KR101573576B1 (ko) * 2013-10-08 2015-12-01 현대자동차주식회사 Avm 시스템의 이미지 처리 방법
US9676326B2 (en) * 2015-09-25 2017-06-13 Ford Global Technologies, Llc Drive history parking barrier alert
JP6538540B2 (ja) * 2015-12-17 2019-07-03 株式会社ヴァレオジャパン ターンシグナル装置
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP6766844B2 (ja) * 2018-06-01 2020-10-14 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
WO2020163311A1 (en) * 2019-02-04 2020-08-13 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
JP7418481B2 (ja) 2022-02-08 2024-01-19 本田技研工業株式会社 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07280517A (ja) * 1994-04-13 1995-10-27 Mitsubishi Electric Corp 自動車用移動体認識装置
US20050147277A1 (en) * 2004-01-05 2005-07-07 Honda Motor Co., Ltd Apparatus, method and program for moving object detection
CN1673679A (zh) * 2004-03-26 2005-09-28 三菱自动车工业株式会社 前视监视设备
JP2005276056A (ja) * 2004-03-26 2005-10-06 Mitsubishi Motors Corp ノーズビューモニタ装置
CN101236603A (zh) * 2008-02-28 2008-08-06 上海交通大学 车辆智能后视方法
US20080205706A1 (en) * 2007-02-28 2008-08-28 Sanyo Electric Co., Ltd. Apparatus and method for monitoring a vehicle's surroundings
JP2009265783A (ja) * 2008-04-23 2009-11-12 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2009277021A (ja) * 2008-05-15 2009-11-26 Hitachi Ltd 接近物検出装置および接近物検出方法
WO2011016367A1 (ja) * 2009-08-04 2011-02-10 アイシン精機株式会社 車両周辺認知支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2068582C1 (ru) * 1992-08-14 1996-10-27 Научно-исследовательский институт промышленного телевидения "Растр" Устройство для выделения подвижных объектов на изображении
FR2751772B1 (fr) * 1996-07-26 1998-10-16 Bev Bureau Etude Vision Soc Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement
JP2000214256A (ja) 1999-01-28 2000-08-04 Mazda Motor Corp 車両の表示装置
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07280517A (ja) * 1994-04-13 1995-10-27 Mitsubishi Electric Corp 自動車用移動体認識装置
US20050147277A1 (en) * 2004-01-05 2005-07-07 Honda Motor Co., Ltd Apparatus, method and program for moving object detection
CN1673679A (zh) * 2004-03-26 2005-09-28 三菱自动车工业株式会社 前视监视设备
JP2005276056A (ja) * 2004-03-26 2005-10-06 Mitsubishi Motors Corp ノーズビューモニタ装置
US20080205706A1 (en) * 2007-02-28 2008-08-28 Sanyo Electric Co., Ltd. Apparatus and method for monitoring a vehicle's surroundings
CN101236603A (zh) * 2008-02-28 2008-08-06 上海交通大学 车辆智能后视方法
JP2009265783A (ja) * 2008-04-23 2009-11-12 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2009277021A (ja) * 2008-05-15 2009-11-26 Hitachi Ltd 接近物検出装置および接近物検出方法
WO2011016367A1 (ja) * 2009-08-04 2011-02-10 アイシン精機株式会社 車両周辺認知支援装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824283B2 (en) 2014-07-28 2017-11-21 Hyundai Mobis Co., Ltd. System and method of recognizing travelled lane of vehicle
CN105313897A (zh) * 2014-07-28 2016-02-10 现代摩比斯株式会社 车辆的行驶车道识别系统及方法
US10259322B2 (en) 2014-11-18 2019-04-16 Volvo Car Corporation Roundabout detecting arrangement
CN105599767A (zh) * 2014-11-18 2016-05-25 沃尔沃汽车公司 环形道探测装置
CN105599767B (zh) * 2014-11-18 2019-06-25 沃尔沃汽车公司 环形道探测装置
CN107408345A (zh) * 2015-03-31 2017-11-28 株式会社电装 物标存在判定方法以及装置
CN107408345B (zh) * 2015-03-31 2020-06-05 株式会社电装 物标存在判定方法以及装置
CN108352120A (zh) * 2015-11-10 2018-07-31 古河电气工业株式会社 监测装置以及监测方法
US10901078B2 (en) 2015-11-10 2021-01-26 Furukawa Electric Co., Ltd. Monitoring device and monitoring method
CN108352120B (zh) * 2015-11-10 2021-10-29 古河电气工业株式会社 监测装置以及监测方法
CN106926794A (zh) * 2015-12-31 2017-07-07 合盈光电科技股份有限公司 车辆监控系统及其方法
CN106926794B (zh) * 2015-12-31 2019-12-31 合盈光电科技股份有限公司 车辆监控系统及其方法
CN107368068A (zh) * 2016-05-13 2017-11-21 德尔福技术有限公司 用于自动车辆的脱险路径规划系统
CN106446796A (zh) * 2016-08-30 2017-02-22 安徽清新互联信息科技有限公司 一种车辆间距检测方法
CN106446796B (zh) * 2016-08-30 2020-08-28 安徽清新互联信息科技有限公司 一种车辆间距检测方法
CN111448597A (zh) * 2017-10-10 2020-07-24 日产自动车株式会社 驾驶控制方法以及驾驶控制装置
CN112542060A (zh) * 2019-09-20 2021-03-23 三菱电机株式会社 车用后侧方警报装置
CN112542060B (zh) * 2019-09-20 2022-08-26 三菱电机株式会社 车用后侧方警报装置

Also Published As

Publication number Publication date
JPWO2013018672A1 (ja) 2015-03-05
EP2741256A4 (en) 2015-06-17
RU2568777C2 (ru) 2015-11-20
US9665781B2 (en) 2017-05-30
RU2014107925A (ru) 2015-09-10
JP5664787B2 (ja) 2015-02-04
US20140146176A1 (en) 2014-05-29
MY165967A (en) 2018-05-18
EP2741256A1 (en) 2014-06-11
BR112014001837B1 (pt) 2021-04-20
MX2014000603A (es) 2014-03-31
BR112014001837A2 (pt) 2017-02-21
WO2013018672A1 (ja) 2013-02-07
CN103718214B (zh) 2017-08-11
EP2741256B1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
CN103718214A (zh) 移动体检测装置和移动体检测方法
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
JP5421072B2 (ja) 接近物体検知システム
JP5862670B2 (ja) 走行支援装置および走行支援方法
EP2933790B1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
CN104508723B (zh) 图像处理装置
JP6014440B2 (ja) 移動物体認識装置
US9965690B2 (en) On-vehicle control device
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
CN104509102A (zh) 三维物体检测装置和异物检测装置
CN104246821A (zh) 三维物体检测装置和三维物体检测方法
CN103718224A (zh) 三维物体检测装置和三维物体检测方法
CN104509099B (zh) 三维物体检测装置以及三维物体检测方法
JP2008033750A (ja) 物体傾き検出装置
CN104508728B (zh) 三维物体检测装置
CN104012081A (zh) 三维物体检测装置
CN104115188A (zh) 立体物检测装置
CN104115204A (zh) 立体物检测装置
CN104115203A (zh) 立体物检测装置
US11410288B2 (en) Image processing apparatus
JP5732890B2 (ja) 並走体検出装置及び並走体検出方法
JP5724570B2 (ja) 走行支援装置及び走行支援方法
KR101355462B1 (ko) 전방의 도로와 차선에 대한 차량 제어 시스템
JP2023089311A (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant