CN105825495A - 物体检测装置和物体检测方法 - Google Patents

物体检测装置和物体检测方法 Download PDF

Info

Publication number
CN105825495A
CN105825495A CN201610045149.0A CN201610045149A CN105825495A CN 105825495 A CN105825495 A CN 105825495A CN 201610045149 A CN201610045149 A CN 201610045149A CN 105825495 A CN105825495 A CN 105825495A
Authority
CN
China
Prior art keywords
candidate object
depth distance
over time
knots modification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610045149.0A
Other languages
English (en)
Other versions
CN105825495B (zh
Inventor
内田尚秀
白井孝昌
石神裕丈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Publication of CN105825495A publication Critical patent/CN105825495A/zh
Application granted granted Critical
Publication of CN105825495B publication Critical patent/CN105825495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

本发明涉及物体检测装置和物体检测方法。物体检测装置包括摄像机和ECU。摄像机安装于车辆并且捕捉图像。ECU被构造成基于图像获取图像的各个像素区域的深度距离;基于深度距离提取至少一个候补物体;计算至少一个候补物体的深度距离随着时间的改变量;并且使用随着时间的改变量从至少一个候补物体之中检测车辆周围的物体。当提取在图像中相邻的第一候补物体和第二候补物体、并且第二随着时间的改变量是第一随着时间的改变量的两倍时,判定第二候补物体为与第一候补物体相同的物体。

Description

物体检测装置和物体检测方法
技术领域
本发明涉及物体检测装置和物体检测方法。
背景技术
作为与物体检测有关的技术,例如,日本专利申请公开No.2009-176091(JP2009-176091A)描述了使用由摄像机捕捉的图像检测附近的物体的技术。JP2009-176091A描述了获取图像上的距离信息、并且基于该距离信息检测物体的装置和方法。当应用于检测在主车辆前方行驶的在前车辆时,该检测装置和检测方法试图通过从要获取的目标距离信息排除在前车辆的尾灯之间的区域来抑制由于主车辆的反射而引起的错误检测。
发明内容
上面描述的物体检测技术可能不能充分地抑制物体的错误检测。即,因为仅省略了特定区域作为要获取距离信息的对象,所以可能不能处理主车辆在其它区域的反射,导致发生物体的错误检测的情况。
因此,在该技术领域,需要发展抑制物体的错误检测的物体检测技术。
从而,本发明的一个方面涉及包括摄像机和ECU的物体检测装置。摄像机安装于车辆并且捕捉图像。ECU被构造成基于图像获取图像的各个像素区域的深度距离;基于深度距离提取至少一个候补物体;计算至少一个候补物体的深度距离随着时间的改变量;并且使用随着时间的改变量从至少一个候补物体之中检测车辆周围的物体。当提取在图像中相邻的第一候补物体和第二候补物体、并且第二随着时间的改变量是第一随着时间的改变量的两倍时,判定第二候补物体为与第一候补物体相同的物体。第一随着时间的改变量是第一候补物体的深度距离随着时间的改变量,并且第二随着时间的改变量是第二候补物体的深度距离随着时间的改变量。
根据该方面,当从基于图像的像素区域的深度距离提取的候补物体之中检测到物体、并且提取在图像中相邻的第一候补物体和第二候补物体、且第二候补物体的深度距离随着时间的改变量是第一候补物体的深度距离随着时间的改变量的两倍时,判定第二候补物体为与第一候补物体相同的物体。因此,抑制将深度距离随着时间的改变量是相邻候补物体的深度距离随着时间的改变量的两倍的主车辆的反射检测为分开的物体。
在上述方面中,摄像机可以是立体摄像机。
本发明的另一个方面涉及一种物体检测方法,包括:利用摄像机捕捉图像,所述摄像机安装于车辆;利用ECU基于所述图像获取所述图像的像素区域的深度距离;利用所述ECU基于所述深度距离提取至少一个候补物体;利用所述ECU计算至少一个所述候补物体的所述深度距离随着时间的改变量;以及利用所述ECU使用所述随着时间的改变量从至少一个所述候补物体之中检测所述车辆周围的物体。当提取在图像中相邻的第一候补物体和第二候补物体、并且第二随着时间的改变量是第一随着时间的改变量的两倍时,判定第二候补物体为与第一候补物体相同的物体。第一随着时间的改变量是第一候补物体的深度距离随着时间的改变量,并且第二随着时间的改变量是第二候补物体的深度距离随着时间的改变量。
根据该方法,当从基于图像的像素区域的深度距离而提取的候补物体之中检测物体、并且提取在图像中相邻的第一候补物体和第二候补物体时,当第二候补物体的深度距离随着时间的改变量是第一候补物体的深度距离随着时间的改变量的两倍时,判定第二候补物体为与第一候补物体相同的物体。因此,抑制将深度距离随着时间的改变量是相邻候补物体的深度距离随着时间的改变量的两倍的主车辆的反射检测为分开的物体。
根据本发明,能够在使用图像的物体检测中抑制物体的错误检测。
附图说明
下面将参考附图描述本发明的示例性实施例的特征、优点以及技术和工业意义,其中,相同的标号表示相同的元件,并且其中:
图1是示出根据本发明的一个实例实施例的物体检测装置的构造的概要的块图;
图2是在利用图1中的物体检测装置的物体检测中使用的图像的说明图;
图3是图1中的物体检测装置中的分组(grouping)的说明图;
图4是物体检测中的分组的比较例的视图;以及
图5是图示出根据该实例实施例的图1中的物体检测装置和物体检测方法的操作的流程图。
具体实施方式
在下文中,将参考附图描述本发明的实例实施例。在下面的描述中,利用相同的参考标号表示相同的元件,并且将省略重复描述。
图1是根据本发明的一个实例实施例的物体检测装置1的结构的概要图。
如图1所示,物体检测装置1是这样的装置:其使用由安装在车辆中的摄像机2捕捉的图像来检测车辆周围的物体。该物体检测装置1安装在车辆中,并且包括例如摄像机2和ECU(电子控制单元)3。
例如,摄像机2用作捕捉车辆周围的区域的图像的摄像部,并且安装成能够捕捉在行驶方向上位于车辆前方的区域的图像。对于摄像机2,可以使用能够获取图像的辉度信息和深度距离信息的摄像机。即,例如,可以使用诸如立体摄像机这样的能够获取形成图像的各个像素区域的辉度信息和各个像素区域的深度距离信息的摄像机。在这种情况下,对于摄像机2,使用了具有在与摄像方向交叉的方向上排列布置的多个摄像部的摄像机。稍后将描述像素区域的细节。
由摄像机2捕捉的图像可以是彩色或黑白的。并且,图像波段可以是可见波长或近红外波长。即,只要能够获取根据其能够识别车辆周围的物体的图像数据,则图像波段可以是任意波段。并且,只要摄像机能够获取图像的亮度信息和深度距离信息,就可以使用除了立体摄像机之外的传感器,例如,TOF(飞行时间)摄像机用于摄像机2,或者可以使用捕捉图像的亮度信息的摄像机与获取深度距离信息的传感器的组合,例如,激光雷达传感器等用于摄像机2。
ECU3是控制整个物体检测装置1的电子控制单元,并且例如,主要由包括CPU、ROM和RAM的计算机形成。ECU3电连接于摄像机2,并且接收来自摄像机2的图像信号。ECU3包括:距离信息获取部30、分组部31、候补物体提取部32、距离变化计算部33、和物体检测部34。
距离信息获取部30是获取与由摄像机2捕捉的图像中的深度距离有关的信息的深度距离获取部。例如,距离信息获取部30获取由摄像机2捕捉的图像数据,并且利用该图像数据获取形成图像的各个像素区域的深度距离信息。图像数据是能够从其获取图像的各个像素区域的亮度信息和深度距离信息的数据,并且每次以预定周期重复获取时均记载。
形成图像的像素区域可以是由单个像素形成的区域或者由多个像素形成的区域。当将像素区域设定为由多个像素形成的区域时,像素区域是由例如四个,即,2×2像素形成的区域,或者是由比这更多的像素形成的区域。例如,辉度信息是像素区域的辉度值。当像素区域由多个像素形成时,可以将多个像素的辉度值的平均值、最高值、最低值或预定的代表值用作像素区域的辉度信息。并且,深度距离信息是与像素区域中的捕捉到的物体的深度距离有关的信息,并且包括深度距离。例如,深度距离是到在摄像机2的摄像方向的捕捉到的物体的距离。当使用立体摄像机作为摄像机2时,深度方向是从连接多个摄像机的安装位置的直线到捕捉到的物体的方向。捕捉到的物体是图像中的捕捉的物体,并且包括诸如道路的路面和天空这样的背景,以及诸如三维物体这样的物体。当像素区域由单个像素形成时,该像素的深度方向变为像素区域的深度方向信息。当像素区域由多个像素形成时,可以将多个像素的深度距离的平均值、最高值、最低值或预定的代表值用作像素区域的深度距离信息。
可以将深度距离的值如此用作深度距离信息,或者可以将与深度距离相对应的值或与深度距离相当的值用作深度距离。例如,可以将与深度距离相对应的视差的值用作深度距离信息。视差的值是捕捉到的物体或由两个摄像机捕捉的两个图像中的物体的视差的值,并且是随着深度距离变近而变大的值。
当将立体摄像机用作摄像机2时,距离信息获取部30产生关于左右两个图像的视差图像。然后,距离信息获取部30使用视差图像中的像素区域的视差的值作为深度距离信息。距离信息获取部30还可以基于各个像素区域的视差来计算各个像素区域的深度距离,并且使用该深度距离的值作为深度距离信息。例如,密集立体技术可以用于计算深度距离信息。更具体地,SGM方法或ELAS方法等可以用作用于计算深度距离信息的方法。
对于已经获取深度距离信息的图像,分组部31基于深度距离信息将多个像素区域分组。该分组部31是将三维空间中的相邻的像素区域分为同一组的部分。例如,当相同距离范围中的像素区域在图像的竖直方向上相邻时,分组部31将这些像素区域分为同一组。相同的距离范围是包括相同距离和距离相同距离预定距离范围内的大致相同距离的范围。并且,当相同距离范围中的像素区域在图像的竖直方向和横向上相邻时,分组部31将这些像素区域分为同一组。
现在将参考图2至4详细描述分组部31中的分组。图2是由摄像机2捕捉的主车辆的前进方向上的图像的视图。在该图像中捕捉到了在前车辆60。主车辆的反射区域61存在于在前车辆60的下部上。图2是在夜间来自主车辆的头灯的反射的实例的视图。
当通过分组部31对图2中的图像进行分组时,当像素区域在预定距离范围中相邻时,将相同距离范围中的像素区域分为同一组。在图2中,将在前车辆60分组到一起作为第一组60a,并且将主车辆的反射区域61分组到一起作为第二组61a。这是因为反射区域61的深度距离是在前车辆60的深度距离的两倍,所以将其识别为不同的组。
图3是由摄像机2捕捉的主车辆的前进方向上的图像的视图,其中,捕捉到行人65、66和67。行人65和66处于相同的深度距离,并且行人67比行人65和66更远,并且示出于行人65与行人66之间。在这种情况下,根据深度距离将行人65、66和67分组。即,因为处于不同的深度距离的行人67示出于行人65与行人66之间,所以行人65和66处于不同的组。
相比之下,图4所示的比较例是在没有充分考虑深度距离的情况下进行分组的实例。在该比较例中,将行人65、66和67分为同一组,所以没有进行适当的分组。
并且,在分组部31的分组中,可以创建图像中的物体的横向位置和深度位置的坐标系的鸟瞰图的数据,可以识别物体的存在,并且可以将物体分组。并且,作为物体的横向位置的信息,可以使用图像区域的辉度值,或者可以使用用于识别分组随着时间改变的各个图像区域的光流。
候补物体提取部32是基于由距离信息获取部30获取的深度距离而提取(即,选择)候补物体的提取部。即,使用深度距离信息从图像所示的物体中提取要检测的候补物体。例如,在图2的图像中全部示出了诸如在前车辆60这样的三维物体、路面71和背景72,并且根据在前车辆60、路面71和背景72的各自的深度距离将其分组,但是仅提取三维物体作为候补物体。
更具体地,背景72的深度距离是大的,所以能够通过将候补物体限制为具有等于或小于预定的阈值的深度距离的那些物体而排除背景72作为候补物体。并且,路面71是深度距离根据显示位置而逐渐改变的区域,所以能够通过将候补物体限制为具有等于或多于预定量的不变化的深度距离的那些物体而排除路面71作为候补物体。并且,除了路面71之外,还可以排除沿着道路设置的护壁或护栏等作为候补物体。结果,将提取主车辆周围的三维物体作为候补物体。
距离变化计算部33是计算由候补物体提取部32所提取的候补物体的深度距离随着时间的改变的计算部。例如,在图2中,如果提取表示在前车辆60的第一组60a和处于主车辆的反射区域61中的第二组61a作为候补物体,则分别计算第一组60a和第二组61a的深度距离随着时间的改变量。候补物体的深度距离随着时间的改变量对应于候补物体相对于物体检测装置1或主车辆的相对速度。在重复执行的物体检测过程中,基于第一组60a和第二组61a的最新深度距离和当前深度距离进行深度距离的随着时间的改变量的具体计算。可以基于诸如形成组的像素区域的平均值或中间值这样的代表值来计算各组的深度距离。还可以使用最新深度距离的后一个或前一个深度距离来计算深度距离的随着时间的改变量。
物体检测部34是使用由距离变化计算部33计算的候补物体的深度距离随着时间的改变量,从检测候补物体中检测物体的检测部。即,当通过候补物体提取部32提取在图像中相邻的第一候补物体和第二候补物体时,当第二候补物体的深度距离随着时间的改变量是第一候补物体随着时间的改变量的两倍时,物体检测部34判定第二候补物体为与第一候补物体相同的物体。然而,如果提取在图像中相邻的第一候补物体和第二候补物体、并且第二候补物体的深度距离随着时间的改变量不是第一候补物体随着时间的改变量的两倍时,则物体检测部34判定第二候补物体为与第一候补物体不同的物体。并且,如果不提取在图像中相邻的候补物体,则物体检测部34判定不相邻的候补物体是分离的物体。
更具体地,在图2中,如果提取彼此相邻的在前车辆60的第一组60a和主车辆的反射区域61的第二组61a作为候补物体,则判定在前车辆60的第一组60a和反射区域61的第二组61a中的一组的深度距离随着时间的改变量是否是另一组随着时间的改变量的两倍。然后,例如,如果反射区域61的第二组61a的深度距离随着时间的改变量是在前车辆60的第一组60a的深度距离随着时间的改变量的两倍,则将第二组61a判定或识别为与第一组60a的在前车辆60相同的物体。
因此,将反射于在前车辆60上的主车辆等的头灯等识别为在前车辆60的一部分,所以抑制将头灯等的反射错误地检测为与在前车辆60分离的物体。
这里,深度距离随着时间的改变量的两倍还包括随着时间的改变量的大致两倍。例如,考虑到深度距离的检测误差,当第二候补物体的深度距离随着时间的改变量是第一候补物体的深度距离随着时间的改变量的大致两倍时,可以将第二候补物体判定为与第一候补物体相同的物体。更具体地,如果深度距离的检测精度是实际距离的±10%,则当第二候补物体的深度距离随着时间的改变量是第一候补物体的深度距离随着时间的改变量的两倍的±20%以内的值时,将第二候补物体检测为与第一候补物体相同的物体。并且,可以根据深度距离的检测精度来设定大致两倍的范围。
并且,当第一候补物体与第二候补物体相邻时可以是当第一候补物体与第二候补物体的各自的一侧互相接触时,或者可以是当如图2的作为第二候补物体的第二组61a由作为第一候补物体的第一组60a围绕并且接触时。
另一方面,如果在图2中主车辆的反射区域61不存在于在前车辆60上,即,如果不存在相邻的候补物体,则将在前车辆60的第一组60a检测为物体,而不使用深度距离随着时间的改变量。
可以通过将实现各种功能的软件或程序安装到ECU3内而形成上述的距离信息获取部30、分组部31、候补物体提取部32、距离变化计算部33和物体检测部34。并且,可以通过单个电子控制单元形成这些部分中的一部分或全部。
在图1中,输出部4电连接于ECU3。输出部4基于物体的检测结果而运转。例如,提醒驾驶员的提醒装置或控制行驶的控制装置等对应于输出部。
接着,将描述根据该实例实施例的物体检测装置1的操作和根据该实例实施例的物体检测方法。
图5是图示出根据该实例实施例的物体检测装置1和物体检测方法的物体检测程序的流程图。例如,通过ECU3以预定周期重复地进行物体检测程序。
首先,如图5中的步骤S10所示,进行图像读取处理。图像读取处理是用于读取由摄像机2捕捉的图像的图像数据的处理。当将立体摄像机用作摄像机2时,读取多个图像资料。
然后,处理进入步骤S12,在步骤S12中进行距离信息获取处理。该距离信息获取处理是用于获取与由摄像机2捕捉到的图像的深度距离相关的信息的处理。即,在该距离信息获取处理中,使用图像数据获取构成图像的各个像素区域的深度距离信息。以预定的周期重复地获取通过该距离信息获取处理所获取到的深度距离信息,并且每次获取时均存储。作为该处理的特定内容,例如,当将立体摄像机用作摄像机2时,进行用于产生左右两个图像的视差图像的处理。获取视差图像的各个像素区域的视差的值作为深度距离信息。并且,可以基于各个图像区域的视差来计算各个图像区域的深度距离,并且可以获取该深度距离的值作为深度距离信息。
然后,处理进入步骤S14,在步骤S14中进行分组处理。对于已经获取深度距离信息的图像,分组处理是用于链接多个像素区域并且基于深度距离信息对其进行分组的处理。在该分组处理中,在三维空间中临近的像素区域分在同一组中。例如,当图像中的处于相同距离范围的像素区域在预定的距离范围内临近时,将它们分在同一组中。
例如,在图2中,在前车辆60分在第一组60a中。并且,主车辆在对前车辆60的反射区域61分在第二组61a中。这是因为,反射区域61的深度距离是在前车辆60的深度距离的两倍,所以基于深度距离将其识别为分开的组。
在该分组处理中,可以通过将图像分割为多个区域而进行投票处理来进行分组,或者可以使用通过从直方图选择多个独立的代表距离来进行分组的形式。并且,只要能够将图像中的相同距离范围的像素区域分组在一起,可以使用任一种方法。然后,记录并且保持分组处理的结果。例如,至少将图像中的位置、区域的大小和所分组的深度距离链接在一起并且记录。
然后,处理进入图5中的步骤S16,在步骤S16中进行候补物体提取处理。候补物体提取处理是用于基于由距离信息获取处理所获取到的深度距离来提取候补物体的处理。即,使用深度距离信息从显示在图像上的那些物体之中提取要检测的候补物体。例如,诸如在前车辆60这样的三维物体、路面71和背景72全部显示在图2的图像中,并且根据它们各自的深度距离进行分组,但是仅提取三维物体作为候补物体。
更具体地,背景72的深度距离很大,所以能够通过将候补物体限制为具有等于或小于预定的阈值的深度距离的那些物体而排除背景72。并且,路面71是深度距离根据显示位置而逐渐变化的区域,所以能够通过将候补物体限制为具有等于或多于预定量的不改变的深度距离的那些物体而排除路面71。并且,除了路面71之外,还可以排除将沿着道路设置的护壁或护栏等作为候补物体。结果,将提取主车辆周围的三维物体作为候补物体。
然后,处理进入步骤S18,在步骤S18中进行距离变化计算处理。该距离变化计算处理是用于计算通过候补物体提取处理所提取的候补物体的深度距离随着时间的改变量的处理。例如,在图2中,如果提取表示在前车辆60的第一组60a和处于主车辆的反射区域61中的第二组61a作为候补物体,则计算第一组60a和第二组61a二者的深度距离随着时间的改变量。更具体地,需要基于第一组60a和第二组61a的最新深度距离和当前深度距离简单地计算深度距离随着时间的改变量。还可以使用最新深度距离的后一个或前一个深度距离来计算深度距离随着时间的改变量。
然后,处理进入步骤S20,在步骤S20中进行物体检测处理。该物体检测处理是用于使用通过距离变化计算处理所计算的候补物体的深度距离随着时间的改变量来从候补物体之中检测物体的处理。即,在物体检测处理中,当通过候补物体提取处理提取在图像中相邻的第一候补物体和第二候补物体时,当第二候补物体的深度距离随着时间的改变量是第一候补物体的深度距离随着时间的改变量的两倍时,判定第二候补物体为与第一候补物体相同的物体。然而,在物体检测处理中,如果提取在图像中相邻的第一候补物体和第二候补物体、并且第二候补物体的深度距离随着时间的改变量不是第一候补物体的深度距离随着时间的改变量的两倍,则判定第二候补物体为与第一候补物体不同的物体。并且,在物体检测处理中,如果不提取在图像中相邻的候补物体,则判定不相邻的候补物体为分开的物体。
更具体地,在图2中,如果提取彼此相邻的在前车辆60的第一组60a和主车辆的反射区域61的第二组61a作为候补物体,则判定在前车辆60的第一组60a和反射区域61的第二组61a中的一组的深度距离随着时间的改变量是否是另一组随着时间的改变量的两倍。然后,例如,如果反射区域61的第二组61a的深度距离随着时间的改变量是在前车辆60的第一组60a的深度距离随着时间的改变量的两倍,则将第二组61a判定或识别为与第一组60a的在前车辆60相同的物体。因此,将反射在在前车辆60上的主车辆的头灯等识别为在前车辆60的一部分,所以抑制将头灯等的反射错误地检测物为与在前车辆60分开的物体。然而,如果在图2中的在前车辆60上没有反射区域61,即,如果不存在相邻的候补物体,则将在前车辆60的第一组60a检测为物体,而不使用深度距离随着时间的改变量。
然后,处理进入图5中的步骤S22,在步骤S22中进行输出处理。输出处理是用于输出物体的检测结果的处理。例如,将物体的检测结果输出到诸如提醒驾驶员的提醒装置或控制行驶的控制装置这样的输出部4。当完成步骤S22中的处理时,该控制程序的循环结束。
在图5中的控制程序的循环中,只要不影响控制结果,则可以互换控制处理的顺序,或者可以省略控制处理的一部分的执行。
如上所述,依照根据该实例实施例的物体检测装置1和物体检测方法,当基于图像的像素区域的深度距离从候补物体之中检测物体、并且提取在图像中相邻的第一候补物体和第二候补物体时,当第二候补物体的深度距离随着时间的改变量是第一候补物体的深度距离随着时间的改变量的两倍时,将第二候补物体判定为与第一候补物体相同的物体。因此,抑制将深度距离随着时间的改变量是相邻的候补物体的深度距离随着时间的改变量的两倍的主车辆的反射检测为分开的物体,所以提高了物体检测精度。
并且,利用根据该实例实施例的物体检测装置1和物体检测方法,只要第一候补物体与第二候补物体相邻,则即使不存在特定的位置关系,也能够抑制将主车辆的反射错误地检测为分开的物体。例如,利用仅排除作为要获取距离信息的对象的在前车辆的尾灯之间的区域的装置,当主车辆行驶的道路是上坡时,主车辆的反射的位置将是比尾灯之间低的位置,所以不能适当地抑制错误检测。相比之下,利用根据该实例实施例的物体检测装置1和物体检测方法,即使补偿主车辆的反射的区域以尾灯之间的位置,在前车辆与主车辆的反射的区域也是相邻的,所以能够抑制错误检测。
并且,利用根据该实例实施例的物体检测装置1和物体检测方法,只要第一候补物体与第二候补物体相邻,则不仅在夜间而且在白天期间都能够抑制将主车辆的反射错误地检测为分开的物体。例如,利用仅排除作为要获取距离信息的对象的在前车辆的尾灯之间的区域的装置,除非在夜间,否则不能容易地检测尾灯,所以除了夜间之外的检测变得困难。相比之下,利用根据该实例实施例的物体检测装置1和物体检测方法,不需要检测尾灯,所以减轻了物体检测处理的负担,并且即使在白天进行物体检测,物体检测也不困难。
上述实例实施例仅仅是根据本发明的物体检测装置的一个实例实施例,并且根据本发明的物体检测装置不限于上述实例实施例中的描述。在不背离权利要求的范围的情况下,根据本发明的物体检测装置可以根据上述实例实施例进行改进,或者可以应用于除了车辆之外的事物。

Claims (3)

1.一种物体检测装置,其特征在于,包括:
摄像机,安装于车辆并且捕捉图像;
ECU,被构造成
基于所述图像获取所述图像的各个像素区域的深度距离;
基于所述深度距离提取至少一个候补物体;
计算至少一个所述候补物体的所述深度距离随着时间的改变量;并且
使用所述随着时间的改变量从至少一个所述候补物体之中检测所述车辆周围的物体;
其中,当提取在所述图像中相邻的第一候补物体和第二候补物体、并且第二随着时间的改变量是第一随着时间的改变量的两倍时,判定为所述第二候补物体为与所述第一候补物体相同的物体,所述第一随着时间的改变量是所述第一候补物体的所述深度距离随着时间的改变量,并且所述第二随着时间的改变量是所述第二候补物体的所述深度距离随着时间的改变量。
2.根据权利要求1所述的物体检测装置,其特征在于:
所述摄像机是立体摄像机。
3.一种物体检测方法,其特征在于,包括:
利用摄像机捕捉图像,所述摄像机安装于车辆;
利用ECU基于所述图像获取所述图像的像素区域的深度距离;
利用所述ECU基于所述深度距离提取至少一个候补物体;
利用所述ECU计算至少一个所述候补物体的所述深度距离随着时间的改变量;以及
利用所述ECU使用所述随着时间的改变量从至少一个所述候补物体之中检测所述车辆周围的物体;
其中,当提取在所述图像中相邻的第一候补物体和第二候补物体、并且第二随着时间的改变量是第一随着时间的改变量的两倍时,判定为所述第二候补物体为与所述第一候补物体相同的物体,所述第一随着时间的改变量是所述第一候补物体的所述深度距离随着时间的改变量,并且第二随着时间的改变量是所述第二候补物体的所述深度距离随着时间的改变量。
CN201610045149.0A 2015-01-23 2016-01-22 物体检测装置和物体检测方法 Active CN105825495B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-011120 2015-01-23
JP2015011120A JP6457278B2 (ja) 2015-01-23 2015-01-23 物体検出装置及び物体検出方法

Publications (2)

Publication Number Publication Date
CN105825495A true CN105825495A (zh) 2016-08-03
CN105825495B CN105825495B (zh) 2018-11-02

Family

ID=56364717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610045149.0A Active CN105825495B (zh) 2015-01-23 2016-01-22 物体检测装置和物体检测方法

Country Status (4)

Country Link
US (1) US9886773B2 (zh)
JP (1) JP6457278B2 (zh)
CN (1) CN105825495B (zh)
DE (1) DE102016200828B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690639A (zh) * 2016-09-01 2019-04-26 住友电气工业株式会社 图像处理装置、图像处理系统、图像处理程序和标签
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
US20190197716A1 (en) * 2017-12-22 2019-06-27 Symbol Technologies, Llc Systems and methods for determining commercial trailer fullness

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6203077B2 (ja) * 2014-02-21 2017-09-27 株式会社東芝 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
JP2018156408A (ja) * 2017-03-17 2018-10-04 マクセル株式会社 画像認識撮像装置
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックIpマネジメント株式会社 画像認識装置
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
JP7224592B2 (ja) * 2018-09-28 2023-02-20 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
TWI697846B (zh) 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
JP7286406B2 (ja) * 2019-05-07 2023-06-05 アルパイン株式会社 画像分析システムおよび画像分析方法
CN116848436A (zh) * 2021-02-15 2023-10-03 松下知识产权经营株式会社 物体信息生成系统、物体信息生成方法以及物体信息生成程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956453B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 物体検出装置
CN102789698A (zh) * 2011-05-19 2012-11-21 富士重工业株式会社 环境识别装置以及环境识别方法
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166493A (ja) * 1997-08-27 1999-03-09 Nissan Motor Co Ltd 自動駐車装置
DE10149115A1 (de) 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP2009085628A (ja) * 2007-09-27 2009-04-23 Aisin Aw Co Ltd 車載用処理装置、ナビゲーション装置、及び車両進行方位補正プログラム
US9613533B2 (en) * 2012-12-12 2017-04-04 Honda Motor Co., Ltd. Parking space detector
JP5906224B2 (ja) * 2013-09-27 2016-04-20 富士重工業株式会社 車外環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956453B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 物体検出装置
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法
CN102789698A (zh) * 2011-05-19 2012-11-21 富士重工业株式会社 环境识别装置以及环境识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690639A (zh) * 2016-09-01 2019-04-26 住友电气工业株式会社 图像处理装置、图像处理系统、图像处理程序和标签
US20190197716A1 (en) * 2017-12-22 2019-06-27 Symbol Technologies, Llc Systems and methods for determining commercial trailer fullness
US10657666B2 (en) * 2017-12-22 2020-05-19 Symbol Technologies, Llc Systems and methods for determining commercial trailer fullness
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台

Also Published As

Publication number Publication date
JP6457278B2 (ja) 2019-01-23
DE102016200828A1 (de) 2016-07-28
JP2016136321A (ja) 2016-07-28
DE102016200828B4 (de) 2022-08-04
CN105825495B (zh) 2018-11-02
US20160217583A1 (en) 2016-07-28
US9886773B2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
CN105825495A (zh) 物体检测装置和物体检测方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US8976999B2 (en) Vehicle detection apparatus
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US8611585B2 (en) Clear path detection using patch approach
JP5254102B2 (ja) 環境認識装置
CN107667378B (zh) 用于识别和评估路面反射的方法和装置
US20070211919A1 (en) Vehicle surroundings monitoring apparatus
EP2963634B1 (en) Stereo camera device
JP5591730B2 (ja) 環境認識装置
KR101551026B1 (ko) 차량 검출 방법
CN104834889A (zh) 标志线检测系统和标志线检测方法
WO2003001473A1 (en) Vision-based collision threat detection system_
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN105320930A (zh) 对象物识别装置
JP4123138B2 (ja) 車両検知方法及び車両検知装置
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Leu et al. High speed stereo vision based automotive collision warning system
JPH07244717A (ja) 車両用走行環境認識装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
CN104931024B (zh) 障碍物检测装置
JP4567072B2 (ja) 車両周辺監視装置
Horani et al. A framework for vision-based lane line detection in adverse weather conditions using vehicle-to-infrastructure (V2I) communication
WO2017169704A1 (ja) 環境認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant