CN106060516A - 立体物检测装置以及立体物检测方法 - Google Patents

立体物检测装置以及立体物检测方法 Download PDF

Info

Publication number
CN106060516A
CN106060516A CN201610223976.4A CN201610223976A CN106060516A CN 106060516 A CN106060516 A CN 106060516A CN 201610223976 A CN201610223976 A CN 201610223976A CN 106060516 A CN106060516 A CN 106060516A
Authority
CN
China
Prior art keywords
classification
road surface
parallax
stereoscopic article
anaglyph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610223976.4A
Other languages
English (en)
Inventor
西岛征和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN106060516A publication Critical patent/CN106060516A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供能够在维持检测立体物的精度的同时减少运算负荷的立体物检测装置以及立体物检测方法。由第2分类部，对于对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为立体物类别、路面类别以及不明类别中的任一者。由路面推定部，基于被分类为路面类别的集合的视差点来推定路面，由第3分类部，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。由此，基于视差点和所推定出的路面来检测立体物的处理限于被分类为不明类别的视差点的集合，所以能够在维持检测立体物的精度的同时减少运算负荷。

Description

立体物检测装置以及立体物检测方法
技术领域
本发明的一方面和其他方面涉及立体物检测装置以及立体物检测方法。
背景技术
提出有如下技术：基于表示由车载相机分别从不同的视点对车辆的周围进行拍摄而取得的彼此具有视差的多个图像的图像数据，来检测车辆的周围的立体物。例如，在专利文献1的装置中，可得到表示由车载的立体相机取得的彼此具有视差的多个图像的图像数据。基于该图像数据生成视差图像，所述视差图像表示在多个图像的各个图像中相对应的点即视差点各自的视差。基于与所生成的视差图像的视差点相关的信息推定车辆的周围的路面。基于视差点和所推定的路面，来检测从路面突出的公交车、自动双轮车等立体物。
现有技术文献
专利文献
专利文献1：美国特许申请公开第2014/0071240号说明书
发明内容
发明要解决的问题
然而，在上述专利文献1的装置中，虽然能够高精度地检测立体物，但存在运算负荷大的缺点，希望改善。
于是，本发明的目的在于提供能够维持检测立体物的精度并且能够减少运算负荷的立体物检测装置以及立体物检测方法。
用于解决问题的手段
本发明的一方面涉及一种立体物检测装置，具备：拍摄部，其通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据；视差图像生成部，其基于图像数据生成视差图像，所述视差图像表示在多个图像的各个图像中相对应的点即视差点各自的视差；第1分类部，其将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将视差图像中的视差点的视差按多个范围中的每个范围进行划分而得的范围，所述横向位置范围是将视差图像中的视差点得横向的位置按多个范围的每个范围进行划分而得的范围；第2分类部，对于针对对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中任一者；路面推定部，其基于被分类为路面类别的集合的视差点来推定车辆的周围的路面；以及第3分类部，其基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。
根据该构成，由第1分类部，将视差图像中的视差点分类为以视差点的视差范围和横向位置范围作为条件的多个集合中的各个集合，由第2分类部，对于针对对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中任一者。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、不明确是立体物的视差点还是路面的视差点的视差点的集合。由路面推定部，基于被分类为路面类别的集合的视差点来推定路面，由第3分类部，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。由此，基于视差点和所推定出的路面来检测立体物的处理限于被分类为不明类别的视差点的集合，所以能够在维持检测立体物的精度的同时，减少运算负荷。
在该情况下，也可以是，第2分类部，针对对视差点进行分类而得到的各个集合，将属于集合的视差点的数量小于无效阈值的集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别。
根据该构成，由第2分类部，将因属于集合的视差点的数量少而能够视为单纯的噪音等的集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别，将该集合从用于检测立体物的运算中去除，所以能够进一步减少运算负荷。
另外，也可以是，第2分类部，对于针对对视差点进行分类而得到的各个集合，在属于集合的视差点在视差图像中的纵向的位置上分布的范围为立体物阈值以上的情况下，将集合分类为立体物类别，在属于集合的视差点在视差图像中的纵向的位置上分布的范围为小于立体物阈值的路面阈值以下的情况下，将集合分类为路面类别，在属于集合的视差点在视差图像中的纵向的位置上分布的范围小于立体物阈值且超过了路面阈值的情况下，将集合分类为不明类别。
根据该构成，由第2分类部，在属于集合的视差点在视差图像中的纵向的位置分布的范围大到立体物阈值以上的情况下，该视差点的集合是立体物的可能性高，所以将该集合分类为立体物类别。另外，由第2分类部，在属于集合的视差点在视差图像中的纵向的位置分布的范围小到路面阈值以下的情况下，该视差点的集合是路面的可能性高，所以将该集合分类为路面类别，所述路面阈值是小于立体物阈值的阈值。另外，由第2分类部，对于既没有分类为立体物类别也没有分类为路面类别的集合，将该集合分类为不明类别。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、不明确是立体物的视差点还是路面的视差点的视差点的集合。
另外，本发明的其他方面涉及一种立体物检测方法，具备：拍摄步骤，由立体物检测装置的拍摄部，通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据；视差图像生成步骤，由立体物检测装置的视差图像生成部基于图像数据生成视差图像，所述视差图像表示在多个图像的各个图像中相对应的点即视差点各自的视差；第1分类步骤，由立体物检测装置的第1分类部，将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将视差图像中的视差点的视差按多个范围的各个范围进行划分而得的范围，所述横向位置范围是将视差图像中的视差点的横向的位置按多个范围的各个范围进行划分而得的范围；第2分类步骤，由立体物检测装置的第2分类部，针对对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者；路面推定步骤，由立体物检测装置的路面推定部，基于被分类为路面类别的集合的视差点来推定车辆的周围的路面；以及第3分类步骤，由立体物检测装置的第3分类部，基于所推定出的路面从被分类为不明类别的集合中分类出与立体物对应的集合。
在该情况下，在第2分类步骤中，也可以是，针对对视差点进行分类而得到的各个集合，将属于集合的视差点的数量小于无效阈值的集合分类为不属于立体物类别、路面类别以及不明类别中任一者的无效类别。
另外，也可以是，在第2分类步骤中，针对对视差点进行分类而得到的各个集合，在属于集合的视差点在视差图像中的纵向的位置分布的范围为立体物阈值以上的情况下，将集合分类为立体物类别，在属于集合的视差点在视差图像中的纵向的位置分布的范围为路面阈值以下的情况下，将集合分类为路面类别，在属于集合的视差点在视差图像中的纵向的位置分布的范围小于立体物阈值且超过了路面阈值的情况下，将集合分类为不明类别，所述路面阈值是小于立体物阈值的阈值。
发明的效果
根据本发明的一方面以及另一方面，能够在维持检测立体物的精度的同时，减少运算负荷。
附图说明
图1是表示实施方式的立体物检测装置的框图。
图2是表示图1的立体物检测装置的动作的流程图。
图3是表示以视差图像中的横向的位置为横轴、以视差为纵轴的视差映射的图。
图4(a)是表示属于被分类为立体物类别的集合(块)的视差点的图，图4(b)是表示属于被分类为路面类别的集合的视差点的图，图4(c)是表示属于被分类为不明类别的集合的视差点的图，图4(d)是表示属于被分类为无效类别的集合的视差点的图。
图5是表示将属于被分类为路面类别的各个集合的视差点在v视差(V-disparity)平面进行构图的一例的图。
图6是表示映于图像中的路面与道路壁的图。
图7是表示基于所推定出的路面来从被分类为不明类别的集合中分类出与图6的道路壁对应的集合的方法的图。
图8是表示映于图像中的路面与护栏的图。
图9是表示基于所推定出的路面来从被分类为不明类别的集合中分类出与图8的护栏对应的集合的方法的图。
附图标记说明
1…立体物检测装置；2…ECU；3…立体相机；4…第1相机；5…第2相机；11…拍摄部；12…视差图像生成部；13…第1分类部；14…第2分类部；15…路面推定部；16…第3分类部；101…路面；102…道路壁；103…护栏；d…视差范围；h…横向位置范围；Oth…立体物阈值；Sth…路面阈值；Rth…再分类阈值；F1、F2…图像；z1、z2…范围；P101、P102、P103…视差点；H102、H103…高度。
具体实施方式
以下，参照附图，对本发明的实施方式的立体物检测装置和立体物检测方法进行说明。
如图1所示，第1实施方式的立体物检测装置1例如搭载于乘用车等车辆，检测车辆的周围的立体物。立体物例如是指从车辆的周围的路面突出的物体，包括与路面分离的物体和与路面一体化的物体这两者。所谓路面，例如是车辆能够行驶的道路的表面。此外，除了车辆所行驶的道路的表面以外，路面也可以包括驻车场的通路和驻车空间的表面。
立体物检测装置1具备用于检测立体物的ECU(Electronic ControlUnit：中央控制单元)2和立体相机(车载相机)3。ECU2是具有CPU(Central Processing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等的电子控制单元。在ECU2中，将存储于ROM的程序载入RAM，并由CPU执行，由此执行各种处理。ECU2也可以由多个电子控制单元构成。
立体相机3是获取通过由车载相机从不同的视点分别对车辆的周围进行拍摄而取得的彼此具有视差的多个图像的图像取得设备。立体相机3具有以再现两眼视差的方式配置的第1相机4和第2相机5。第1相机4和第2相机5例如设置于车辆的前玻璃的里侧，对车辆的前方进行摄像。
第1相机4和第2相机5例如安装成在水平方向上隔有预定间隔，所以在对物体进行拍摄时，可得到具有视差的多个图像即左图像和右图像。所得到的2个图像具有视差。因此，能够从2个图像取得视差图像，所述视差图像是包含与视差点各自的视差有关的信息的图像，所述视差点是2个图像间相对应的点。基于视差图像，通过三角测量的原理，能够求出到每个视差点的路面和立体物的距离。
此外，也可以是第1相机4和第2相机5设置于车辆的侧部或车辆的后部(例如后玻璃的里侧)，对车辆的侧方或后方进行摄像。另外，也可以是，立体相机3利用3个以上的相机从3个以上的不同的视点对车辆的周围进行拍摄，由此取得彼此具有视差的3个以上的图像。立体相机3将所拍摄到的表示彼此具有视差的多个图像的图像数据向ECU2发送。
此外，也可以是，立体物检测装置1具备单眼相机，而代替立体相机3。对于单眼相机，通过采用周知的方法(例如利用摄像的时间差的方法)，也能够得到视差图像。
接着，对ECU2的功能结构进行说明。如图1所示，ECU2具有拍摄部11、视差图像生成部12、第1分类部13、第2分类部14、路面推定部15以及第3分类部16。拍摄部11，通过由立体相机3从第1相机4和第2相机5的不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的2个图像的图像数据。
视差图像生成部12，基于由拍摄部11取得的图像数据生成视差图像，所述视差图像表示在2个图像的各个图像中相对应的点即视差点各自的视差。第1分类部13，将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将由视差图像生成部12生成的视差图像中的视差点的视差按多个范围中的各个范围进行划分而得的范围，所述横向位置范围是将视差图像中的视差点的横向的位置按多个范围中的各个范围进行划分而得的范围。
第2分类部14，针对由第1分类部13对视差点进行分类得到的各个集合，基于属于集合的视差点的数量及/或视差图像中的纵向的位置的分布，将集合分类为立体物类别、路面类别、不明类别以及无效类别中的任一者。路面推定部15，基于由第2分类部14分类为路面类别的集合的视差点来推定车辆的周围的路面。第3分类部16，基于由路面推定部15推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。
以下，对本实施方式的立体物检测装置1的动作进行说明。如图2所示，作为拍摄步骤，由立体物检测装置1的ECU2的拍摄部11，通过由立体相机3从第1相机4和第2相机5的不同的视点分别对车辆的周围进行拍摄，来取得表示彼此具有视差的2个图像的图像数据(S1)。
作为视差图像生成步骤，由立体物检测装置1的ECU2的视差图像生成部12，基于在拍摄步骤中所取得的图像数据生成视差图像，所述视差图像表示在2个图像的各个图像中相对应的点即视差点各自的视差(距离)(S2)。对于2个图像的视差点的视差的算出，例如可以针对2个图像各自的相对应的多个像素，在预定的大小的区域内设定视差点，使用绝对差值和(SAD)算出视差。视差点的视差也可以使用差量的平方和、归一化函数来算出。
作为第1分类步骤，由立体物检测装置1的ECU2的第1分类部13，针对在视差图像生成步骤中所生成的视差图像，将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将视差图像中的视差点的视差按多个范围的各个范围划分而得的范围，所述横向位置范围是将视差图像中的视差点的横向的位置按多个范围的各个范围划分而得的范围(S3)。
第1分类部13设定如图3所示那样的视差投票映射。在图3的视差投票映射中，通过排列多个矩形状的块而构成，所述多个矩形状的块的纵向的边定为与视差的大小对应，并且该多个矩形状的块横向的边定为与视差图像的水平方向(横向)的坐标对应。视差投票映射的多个矩形状的块的各个块表示以视差范围d和横向位置范围v作为条件的视差点的集合，所述视差范围d是将视差图像中的视差点的视差按多个范围的各个范围进行划分而得的范围，所述横向位置范围v是将视差图像中的视差点的横向的位置按多个范围的各个范围进行划分而得的范围。
第1分类部13对如图3所示那样的视差投票映射的各个块分类(投票)对应的视差点。第1分类部13，将各个视差点的在视差图像中的水平方向的坐标、各个视差点的视差、各个视差点的在视差图像中的垂直方向(纵向)的坐标以及视差点的数量与视差投票映射的各个块相关联地存储。
如图2所示，作为第2分类步骤，由立体物检测装置1的第2分类部14，针对在第1分类步骤中对视差点进行了分类而得到的各个集合，基于属于集合的视差点的数量及/或在视差图像中的垂直方向(纵向)的位置的分布，将集合分类为立体物类别、路面类别、不明类别以及无效类别中的任一者(S4)。
如图4(a)所示，在属于集合的视差点的数量为预先设定的无效阈值以上、且属于集合的视差点在视差图像中的纵向的位置分布的范围为预先所设定的立体物阈值Oth以上的情况下，第2分类部14将该集合分类为立体物类别。无效阈值是用于决定是否将视差点的集合用于立体物和路面的检测的视差点的数量的阈值。另外，立体物阈值Oth是用于决定视差点的集合是否表示立体物的、视差点的在视差图像中的纵向的位置分布的范围的阈值。
如图4(a)所示，在具有相同程度的视差(距离)的视差点在视差图像中的纵向位置的宽的范围分布的情况下，能够推定为该视差点的集合表示立体物。也可以是，第2分类部14，对于针对属于集合的各个视差点，在以视差和视差图像中的纵向位置作为坐标轴的坐标平面上进行直线近似，该直线的视差图像中的纵向位置相对于视差的梯度比预先设定的梯度值陡的情况下，将该集合分类为立体物类别。
如图4(b)所示，在属于集合的视差点的数量为预先设定的无效阈值以上、且属于集合的视差点在视差图像中的纵向的位置分布的范围为路面阈值Sth以下的情况下，第2分类部14将该集合分类为路面类别，所述路面阈值Sth是比立体物阈值Oth小的预先设定的阈值。路面阈值Sth是用于决定视差点的集合是否表示路面的、视差点的在视差图像中的纵向的位置分布的范围的阈值。
如图4(b)所示，在具有相同程度的视差(距离)的视差点在视差图像中的纵向的位置的窄的范围分布，随着视差减少(随着距离增大)，视差图像中的纵向的位置平滑地上升的情况下，能够推定为该视差点的集合表示路面。也可以是，第2分类部14，对于针对属于集合的各个视差点，在以视差和视差图像中的纵向的位置作为坐标轴的坐标平面上进行直线近似，在该直线的视差图像中的纵向的位置相对于视差的梯度比预先设定的梯度值平缓的情况下，将该集合分类为路面类别。
如图4(c)所示，在属于集合的视差点的数量为预先设定的无效阈值以上、且属于集合的视差点在视差图像中的纵向的位置分布的范围小于立体物阈值Oth且超过了路面阈值Sth的情况下，第2分类部14将该集合分类为不明类别。在第2分类步骤的阶段还未进行与路面的对比，所以对于无法以高精度推定为属于表示立体物的视差点的视差点的集合，保留关于是否属于立体物的推定。也可以是，第2分类部14，针对属于集合的各个视差点，在以视差和视差图像中的纵向的位置为坐标轴的坐标平面上进行直线近似，在该直线的视差图像中的纵向的位置相对于视差的梯度处于预先设定的范围内的情况下，将该集合分类为不明类别。
如图4(d)所示，在属于集合的视差点的数量小于无效阈值的情况下，第2分类部14将该集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别。此外，也可以是，第2分类部14将视差点的集合分类为除了上述的立体物类别、路面类别、不明类别以及无效类别以外的任意的类别。
如图2所示，作为路面推定步骤，由立体物检测装置1的ECU2的路面推定部15，基于被分类为路面类别的集合的视差点来推定车辆的周围的路面(S5)。基于被分类为路面类别的集合的视差点进行的路面的推定，例如可以通过公知的v视差(v-disparity)进行。如图5所示，v视差是横轴取视差(视差所示的距离)，纵轴取视差图像中的垂直方向的坐标，针对视差图像求出水平方向的直方图而得到的图表。在视差图像中，对于路面的区域，例如随着视差图像的垂直方向的坐标向上方变化，视差平滑地减少(视差所示的距离增大)。因此，如图5所示，在v视差平面中，路面被投影为沿着倾斜方向延伸的线段。路面推定部15提取被推定为表示路面的视差点的视差点。路面推定部15，也可以通过v视差以外的公知的方法，基于被分类为路面类别的集合的视差点，来推定车辆的周围的路面。
如图2所示，作为第3分类步骤，由立体物检测装置1的ECU2的第3分类部16，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合(S6)。例如，如图6所示，在映有路面101和道路壁102的图像F1中，假定想在范围z1中如上所述那样对视差点的集合进行了分类的情况。如图4(c)所示，对于该集合，在第2分类步骤中，由于道路壁102距路面101的高度低而且，视差点在视差图像中的纵向的位置分布的范围窄，所以该集合被分类为不明类别。
如图7所示，在第3分类步骤中，对于该集合，示出了在路面推定步骤中被推定为表示路面的视差点的视差点P101。在从表示路面的各个视差点P101中视差图像中的纵向的位置最低的视差点P101到表示道路壁102的各个视差点P102中视差图像中的纵向的位置最高的视差点P102为止的高度H102为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。再分类阈值Rth是用于将被分类为不明类别的集合分类为与立体物对应的集合、视差图像中的纵向的位置的范围的阈值。
在第3分类步骤中，也可以是，在从表示路面的各个视差点P101中视差图像中的纵向的位置的平均值到表示道路壁102的各个视差点P102中视差图像中的纵向的位置的平均值为止的高度为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。另外，在第3分类步骤中，也可以是，在从表示路面的各个视差点P101中视差图像中的纵向的位置最高的视差点P101到表示道路壁102的各个视差点P102中视差图像中的纵向的位置最低的视差点P102为止的高度为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。
另外，例如，如图8所示，在映有路面101和护栏103的图像F2中，假想在范围z2中如上所述那样对集合进行了分类的情况。如图9所示，在从表示路面的各个视差点P101中视差图像中的纵向的位置最低的视差点P101到表示护栏103的各个视差点P103中视差图像中的纵向的位置最高的视差点P103的高度H103为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。
在本实施方式中，由第1分类部13，将视差图像中的视差点分类为以视差点的视差范围d和横向位置范围h作为条件的多个集合中的各个集合，由第2分类部14，针对被分类了对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、不明确是立体物的视差点还是路面的视差点的视差点的集合。由路面推定部15，基于被分类为路面类别的集合的视差点推定路面，由第3分类部16，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。由此，基于视差点和所推定出的路面来检测立体物的处理，限于被分类为不明类别的视差点的集合，所以能够在维持检测立体物的精度的同时，减少运算负荷。
另外，在本实施方式中，由第2分类部14，将因属于集合的视差点的数量少而能够视为单纯的噪音等的集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别，将该集合从用于检测立体物的运算中去除，所以能够进一步减少运算负荷。
另外，在本实施方式中，由第2分类部14，在属于集合的视差点在视差图像中的纵向的位置分布的范围大到立体物阈值Oth以上的情况下，该视差点的集合为立体物的可能性高，所以将该集合分类为立体物类别。另外，由第2分类部14，在属于集合的视差点在视差图像中的纵向的位置分布的范围小到路面阈值Sth以下的情况下，该视差点的集合是路面的可能性高，所以将该集合分类为路面类别，所述路面阈值Sth是小于立体物阈值Oth的阈值。另外，由第2分类部14，对于既没有分类为立体物类别也没有分类为路面类别的集合，将该集合分类为不明类别。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、以及不明确是立体物的视差点还是路面的视差点的视差点的集合。
此外，本发明的实施方式的立体物检测装置以及立体物检测方法不限于上述的实施方式，当然可以在不脱离本发明的实施方式的主旨的范围内施加各种变更。
例如，在上述实施方式中，不一定由第2分类部14将视差点的集合分类为无效类别，也可以将视差点的集合分类为立体物类别、路面类别及不明类别这3个类别中的任一者。由此，对于属于集合的视差点的数量少的集合也进行是立体物还是路面的推定，所以能够提高立体物的检测的精度。另外，立体物检测装置1也可以具备显示部，所述显示部将所检测到的立体物显示给车辆的驾驶员。另外，立体物检测装置1也可以具备基于所检测到的立体物来执行车辆的制动、加速或操舵等行驶控制的行驶控制部。

Claims (6)

1.一种立体物检测装置，具备：
拍摄部，其通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据；
视差图像生成部，其基于所述图像数据生成视差图像，所述视差图像表示在所述多个图像的各个图像中相对应的点即视差点各自的所述视差；
第1分类部，其将所述视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将所述视差图像中的所述视差点的视差按多个范围中的各个范围进行划分而得的范围，所述横向位置范围是将所述视差图像中的所述视差点的横向的位置按多个范围的各个范围进行划分而得的范围；
第2分类部，对于对所述视差点进行分类而得到的各个所述集合，基于属于所述集合的所述视差点的在所述视差图像中的纵向的位置的分布，来将所述集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者；
路面推定部，其基于被分类为所述路面类别的所述集合的所述视差点来推定所述车辆的周围的路面；以及
第3分类部，其基于所推定出的所述路面来从被分类为所述不明类别的所述集合中分类出与立体物对应的所述集合。
2.根据权利要求1所述的立体物检测装置，
所述第2分类部，对于对所述视差点进行分类而得到的各个所述集合，将属于所述集合的所述视差点的数量小于无效阈值的所述集合分类为不属于所述立体物类别、所述路面类别以及所述不明类别中的任一者的无效类别。
3.根据权利要求1或2所述的立体物检测装置，
所述第2分类部，对于对所述视差点进行分类而得到的各个所述集合，
在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为立体物阈值以上的情况下，将所述集合分类为立体物类别，
在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为小于所述立体物阈值的路面阈值以下的情况下，将所述集合分类为路面类别，
在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围小于所述立体物阈值且超过了所述路面阈值的情况下，将所述集合分类为不明类别。
4.一种立体物检测方法，具备：
拍摄步骤，由立体物检测装置的拍摄部，通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据；
视差图像生成步骤，由所述立体物检测装置的视差图像生成部基于所述图像数据生成视差图像，所述视差图像表示在所述多个图像的各个图像中相对应的点即视差点各自的所述视差；
第1分类步骤，由所述立体物检测装置的第1分类部，将所述视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将所述视差图像中的所述视差点的视差按多个范围的各个范围进行划分而得的范围，所述横向位置范围是将所述视差图像中的所述视差点的横向的位置按多个范围的各个范围进行划分而得的范围；
第2分类步骤，由所述立体物检测装置的第2分类部，对于对所述视差点进行分类而得到的各个所述集合，基于属于所述集合的所述视差点的在所述视差图像中的纵向的位置的分布，来将所述集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者；
路面推定步骤，由所述立体物检测装置的路面推定部，基于被分类为所述路面类别的所述集合的所述视差点来推定所述车辆的周围的路面；以及
第3分类步骤，由所述立体物检测装置的第3分类部，基于所推定出的所述路面来从被分类为所述不明类别的所述集合中分类出与立体物对应的所述集合。
5.根据权利要求4所述的立体物检测方法，
在所述第2分类步骤中，对于对所述视差点进行分类而得到的各个所述集合，将属于所述集合的所述视差点的数量小于无效阈值的所述集合分类为不属于所述立体物类别、所述路面类别以及所述不明类别中的任一者的无效类别。
6.根据权利要求4或5所述的立体物检测方法，
在所述第2分类步骤中，对于对所述视差点进行分类而得到的各个所述集合，
在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为立体物阈值以上的情况下，将所述集合分类为立体物类别，
在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为小于所述立体物阈值的路面阈值以下的情况下，将所述集合分类为路面类别，
在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围小于所述立体物阈值且超过了所述路面阈值的情况下，将所述集合分类为不明类别。
CN201610223976.4A 2015-04-17 2016-04-12 立体物检测装置以及立体物检测方法 Pending CN106060516A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-084914 2015-04-17
JP2015084914A JP2016206774A (ja) 2015-04-17 2015-04-17 立体物検出装置及び立体物検出方法

Publications (1)

Publication Number Publication Date
CN106060516A true CN106060516A (zh) 2016-10-26

Family

ID=55808388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610223976.4A Pending CN106060516A (zh) 2015-04-17 2016-04-12 立体物检测装置以及立体物检测方法

Country Status (4)

Country Link
US (1) US20160307055A1 (zh)
EP (1) EP3082069A1 (zh)
JP (1) JP2016206774A (zh)
CN (1) CN106060516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365182A (zh) * 2019-09-05 2022-04-15 京瓷株式会社 物体检测装置、物体检测系统、移动体和物体检测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3352134B1 (en) * 2015-09-15 2023-10-11 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, image processing method, and program
JP6795027B2 (ja) * 2016-03-15 2020-12-02 株式会社リコー 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
KR101988551B1 (ko) * 2018-01-15 2019-06-12 충북대학교 산학협력단 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103052968A (zh) * 2010-08-03 2013-04-17 松下电器产业株式会社 物体检测装置、物体检测方法及程序
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
WO2015053100A1 (ja) * 2013-10-07 2015-04-16 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
WO2015071528A1 (en) * 2013-11-14 2015-05-21 Micropulva Ltd Oy Method for limiting an amount of its particle size smallest fraction which is generated in the counterjet grinding process of minerals

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
EP2669845A3 (en) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
US20140071240A1 (en) 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision
US9141107B2 (en) * 2013-04-10 2015-09-22 Google Inc. Mapping active and inactive construction zones for autonomous driving
US9146120B2 (en) * 2013-05-07 2015-09-29 Telenav Inc. Navigation system with route classification mechanism and method of operation thereof
JP5886809B2 (ja) * 2013-09-27 2016-03-16 富士重工業株式会社 車外環境認識装置
JP6358160B2 (ja) * 2015-04-17 2018-07-18 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103052968A (zh) * 2010-08-03 2013-04-17 松下电器产业株式会社 物体检测装置、物体检测方法及程序
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
WO2015053100A1 (ja) * 2013-10-07 2015-04-16 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
WO2015071528A1 (en) * 2013-11-14 2015-05-21 Micropulva Ltd Oy Method for limiting an amount of its particle size smallest fraction which is generated in the counterjet grinding process of minerals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365182A (zh) * 2019-09-05 2022-04-15 京瓷株式会社 物体检测装置、物体检测系统、移动体和物体检测方法

Also Published As

Publication number Publication date
JP2016206774A (ja) 2016-12-08
US20160307055A1 (en) 2016-10-20
EP3082069A1 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
CN106056570B (zh) 路面坡度检测装置
CN106060516A (zh) 立体物检测装置以及立体物检测方法
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
CN106056569B (zh) 行驶路面检测装置和行驶路面检测方法
US20190311485A1 (en) Method for Evaluating Image Data of a Vehicle Camera
US9736460B2 (en) Distance measuring apparatus and distance measuring method
CN102612634B (zh) 校准装置、距离测量系统和校准方法
CN105096655B (zh) 物体检测装置、驾驶辅助装置、物体检测方法
CN103679127B (zh) 检测道路路面的可行驶区域的方法和装置
CN109074651A (zh) 移动体的周围环境识别装置
CN102194239B (zh) 用于处理图像数据的方法和系统
DE112017000643T5 (de) Detektion eines teilweise verdeckten Objekts unter Verwendung von Kontext und Tiefenordnung
DE102013211930A1 (de) Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN110619674B (zh) 用于事故和警情场景还原的三维增强现实设备及方法
CN104115203B (zh) 立体物检测装置
CN106060517A (zh) 立体物检测装置以及立体物检测方法
Oniga et al. Curb detection based on a multi-frame persistence map for urban driving scenarios
CN108027974A (zh) 图像处理装置以及图像处理方法
CN105006175A (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
US11889047B2 (en) Image processing device and image processing method
CN107491065A (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
JP2020508501A (ja) 移動オブジェクトのレンジを推定する方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026

WD01 Invention patent application deemed withdrawn after publication