CN105718853B - 障碍物探测装置和障碍物探测方法 - Google Patents

障碍物探测装置和障碍物探测方法 Download PDF

Info

Publication number
CN105718853B
CN105718853B CN201510920243.1A CN201510920243A CN105718853B CN 105718853 B CN105718853 B CN 105718853B CN 201510920243 A CN201510920243 A CN 201510920243A CN 105718853 B CN105718853 B CN 105718853B
Authority
CN
China
Prior art keywords
triangle
barrier
image
normal direction
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510920243.1A
Other languages
English (en)
Other versions
CN105718853A (zh
Inventor
徐成震
金锺涣
赵埈范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN105718853A publication Critical patent/CN105718853A/zh
Application granted granted Critical
Publication of CN105718853B publication Critical patent/CN105718853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明涉及一种障碍物探测装置和障碍物探测方法，并且本发明的示例性实施例提供一种障碍物探测装置，所述装置包括：立体照相机，其拍摄车辆的前方以生成左图像和右图像；图像匹配单元，其对所述左图像和所述右图像应用块匹配算法，以提取具有等于或大于参考值的相似度的多个特征点，并计算提取的多个特征点的坐标和深度；平面计算单元，其基于所述多个特征点的坐标和深度连接所述多个特征点中的每三个特征点，以计算多个三角形；法线计算单元，其基于与所述多个三角形的顶点对应的三个特征点的坐标和深度，计算所述多个三角形的法线方向；障碍物探测单元，其基于所述立体照相机的拍摄方向与所述多个三角形的法线方向的比较结果，探测所述车辆前方的障碍物。

Description

障碍物探测装置和障碍物探测方法
相关申请的交叉引用
本申请要求2014年12月22日递交的韩国专利申请号为10-2014-0186267的优先权，该申请的全部内容通过引用纳入本文。
技术领域
本发明涉及一种障碍物探测装置，并且更具体地，涉及一种障碍物探测装置和障碍物探测方法，其在由立体照相机输出的车辆前方图像中设定一个特征点，以计算同一空间的平面，并通过计算法线增加相邻平面，然后在法线方向上探测障碍物。
背景技术
最近，一种探测车辆前方物体以根据该物体控制车辆的技术被应用于多种车辆。特别是，利用立体照相机探测车辆周围物体的技术的使用逐渐增多。
然而，由于运算复杂，现有技术中使用立体照相机的物体探测装置具有车辆附近图像需要即时处理的问题。探测车辆周围物体的技术直接关系到驾驶员、行人以及其他车辆的驾驶员的安全。最近，正对一种快速处理车辆中拍摄到的图像以探测所述车辆周围的障碍物的技术进行研究。
发明内容
本发明是为了提供一种障碍物探测装置，该障碍物探测装置探测由立体照相机生成的车辆前方图像中的特征点，并基于通过连接所探测到的特征点形成的三角形的法线方向，探测所述车辆前方的障碍物。
本发明的目的不限于上述所提及的目的，本领域技术人员能够从以下说明中清楚地理解出未在上文中提及的其他目的。
本发明的示例性实施例提供了一种障碍物探测装置，包括：立体照相机，拍摄车辆的前方以生成左图像和右图像；图像匹配单元，对上所述左图像和所述右图像应用块匹配算法，以提取具有等于或大于参考值的相似度的多个特征点，并计算提取的多个特征点的坐标和深度；平面计算单元，其基于所述多个特征点的坐标和深度，连接所述多个特征点中的每三个特征点，以计算多个三角形；法线计算单元，基于与所述多个三角形的顶点对应的三个特征点的坐标和深度，计算所述多个三角形的法线方向；障碍物探测单元，其基于所述立体照相机的拍摄方向与所述多个三角形的法线方向的比较结果，探测所述车辆前方的障碍物。
所述图像匹配单元可以利用边缘探测，计算所述左图像和所述右图像中亮度变化等于或大于预定值的区域，并对所述亮度变化等于或大于预定值的区域应用所述块匹配算法，以提取所述多个特征点。
所述平面计算单元可采用Delaunay三角测量法计算所述多个三角形。
所述法线计算单元可以计算穿过所述多个三角形的重心的法线方向。
当在所述多个三角形中共有一个角的两个三角形的法线方向的差值小于预定的第一阈值时，所述法线计算单元可以设定两个三角形的法线方向具有相同的值。
当在所述多个三角形中第一三角形和第二三角形共有一个角，且为第一三角形的法线方向的第一方向和为所述第二三角形的法线方向的第二方向之间的差值小于预定的第一阈值时，所述法线计算单元可设定所述第一三角形和所述第二三角形的法线具有所述第一方向、所述第二方向以及所述第一方向和所述第二方向的中间方向中的任何一个。
所述障碍物探测单元可将所述多个三角形中法线方向与立体照相机的拍摄方向的差值小于预定第二阈值的三角形探测为障碍物。
所述障碍物探测单元可以将所述多个三角形中法线方向与立体照相机的拍摄方向的差值等于或大于预定第二阈值的三角形确定为路面。
所述的障碍物探测装置可以进一步包括警告单元，当所述障碍物探测单元探测到在所述车辆前方的障碍物时，所述警告单元输出障碍物信息或警告消息。
本发明的另一示例性实施例提供了一种障碍物探测方法，包括：
使用立体照相机生成相对于车辆前方的左图像和右图像；通过对所述左图像和所述右图像应用块匹配算法，提取具有等于或大于参考值的相似度的多个特征点；计算提取的所述多个特征点的坐标和深度；基于所述多个特征点的坐标和深度，连接所述多个特征点中的每三个特征点以计算多个三角形；基于与所述多个三角形的顶点对应的三个特征点的坐标和深度，计算所述多个三角形的法线方向；以及基于所述立体照相机的拍摄方向与所述多个三角形的法线方向的比较结果，探测所述车辆前方的障碍物。
多个特征点的提取可包括：利用边缘探测，计算所述左图像和所述右图像中亮度变化等于或大于预定值的区域；以及对所述亮度变化等于或大于预定值的区域应用块匹配算法以提取所述多个特征点。
在所述多个三角形的法线方向的计算中，当所述多个三角形中共有一个角的两个三角形的法线方向的差值小于预定的第一阈值时，两个三角形的法线方向被设定为具有相同的值。
在所述车辆前方的障碍物的探测中，在所述多个三角形中，其法线方向与立体照相机的拍摄方向的差值小于预定的第二阈值的三角形被探测为障碍物。
所述方法进一步包括：当所述车辆前方的障碍物被探测到时，输出所述障碍物信息或警告消息。
在障碍物的探测中，在所述多个三角形中，其法线方向与立体照相机的拍摄方向的差值等于或大于预定值的三角形被探测为路面。
各实施方式的其它具体事项包含在具体实施方式部分和附图中。
根据所述障碍物探测装置的示例性的实施例，本发明具有一个或多个以下优点。
第一，仅计算包含在具有相似高度的预定区域中的特征点的深度，而不是由立体照相机生成的左图像和右图像的整个区域中的特征点的深度，从而减小了从所述图像中探测障碍物所需的运算量。
第二，基于使用作为顶点的三个特征点形成的三角形的法线方向探测是否存在障碍物，从而省略了深度估算过程，由此提高了障碍物探测速度。
第三，仅通过由立体照相机生成的左图像和右图像中的一部分探测障碍物，由此即使使用了图像处理速度相对缓慢的便宜的组件，也可以保证预定水平或更高水平的障碍物探测性能。
本发明的效果不限于上述效果，本领域技术人员可以通过权利要求的限定显而易见地理解出本发明的上文未提及的其他效果。
附图说明
图1为说明本发明一个示例性实施例的障碍物探测装置的结构的示意图。
图2说明了一个示例性实施例的通过法线计算单元计算任意点处的法向矢量的结果。
图3说明了本发明一个示例性实施例的从使用立体照相机拍摄的图像中探测障碍物的实例。
图4说明了本发明一个示例性实施例的基于三角形的法线方向确定是否存在障碍物的实例。
图5为根据本发明一个示例性实施例的障碍物探测方法的流程图。
具体实施方式
本发明的优点和特点，以及实现所述优点和特点的方法将通过参照在下文详细描述的示例性实施例和附图而变得清楚。然而，本发明并不限于本文所公开的示例性实施例，而是可以通过各种不同的形式实现。所述示例性实施例仅通过示例的方式提供，以使本领域的普通技术人员能够充分理解本发明公开的内容以及本发明的范围。因此，本发明将仅通过所附的权利要求的范围进行限定。在整篇说明书中，相同的参考数字表示相同的元件。
在此，本发明将参照附图，来说明本发明实施例的障碍物探测装置。
图1是说明本发明一个示例性实施例的障碍物探测装置的结构的示意图。根据本发明的一个示例性实施例，障碍物探测装置包括立体照相机100、图像匹配单元200、平面计算单元300、法线计算单元400、以及障碍物探测单元500。
首先，所述立体照相机100拍摄所述车辆的前方，以生成左图像和右图像。具体而言，立体照相机100安装在所述车辆的某一位置(例如，防风罩或阀盖的上侧)以拍摄与预设拍摄方向对应的所述车辆的前方，以生成左图像和右图像，并将生成的左图像和右图像输出到图像匹配单元200。例如，立体照相机100可生成通过立体照相机100的左侧透镜拍摄的左图像，以及通过该立体照相机100的右侧透镜拍摄的右图像。在这种情况下，立体照相机100的拍摄方向可以预先设定为与所述车辆直线行驶时所述车辆的驱动方向一致。
在这种情况下，左图像和右图像可以指随着时间进程相继产生的图像。例如，在第一时间点的左图像和右图像可以与在第二时间点的左图像和右图像不同。
所述图像匹配单元200提取多个包含在左图像和右图像中的特征点。在这种情况下，所述多个特征点可以是三个或更多个特征点，以便计算至少一个平面。具体而言，图像匹配单元200对左图像和右图像应用块匹配算法，以提取多个具有等于或大于参考值的相似度的特征点。这里，每个特征点可以对应于一个像素。例如，图像匹配单元200可以从所述左图像和所述右图像中提取包括在绝对差之和(SAD)或平方差之和(SSD)小于预定值的块中的像素作为特征点。即，在包括在左图像和右图像中的全部像素中，包括在绝对差之和(SAD)或平方差之和(SSD)小于预定值的块中的像素，可以是相似度等于或大于参考值的像素。
图像匹配单元200可以计算所述多个特征点的坐标和深度。此处，由于已知的是每个特征点的深度是基于左图像和右图像之间的视差来计算的，因此将省略对其的详细描述。
图像匹配单元200可校正在左图像和右图像之间的失真。
图像匹配单元200可以校正当立体照相机100的左透镜和右透镜是广角镜头时发生的图像的失真。
图像匹配单元200可以校正在左图像和右图像中形成的枕形失真(pin cushiondistortion)。
图像匹配单元200可以校正在左图像和右图像中形成的桶形失真。
图像匹配单元200可以校正在左图像和右图像中形成的径向失真。
图像匹配单元200可以校正在左图像和右图像中形成的切向失真。
图像匹配单元200可以对左图像及右图像中的失真进行校正。
图像匹配单元200可以使左图像和右图像相交以产生与扫描线上的点匹配的立体图像。
图像匹配单元200设定左图像和右图像中共同的像素作为特征点，并计算所述特征点之间的距离。
图像匹配单元200可以计算边缘的深度，该边缘是左图像和右图像中产生的亮度变化等于或大于预定值的区域。例如，由于多个像素可以包括在所述边缘中，因此图像匹配单元200可以计算相对于所述边缘的一组特征点的深度。
图像匹配单元200可以从左图像和右图像中找到对应点，以计算三角测量点(triangulation point)。
图像匹配单元200可以计算随着时间推移顺序输入的左图像和右图像中的重新排列的像素的空间位置变换。
图像匹配单元200可以计算左图像和右图像中重新排列的像素的图像旋转位移。
图像匹配单元200可以计算在左图像和右图像中具有平均信息值(例如，亮度，颜色，深度)的平均图像。
图像匹配单元200可以计算代表左图像和右图像中的亮度和暗度的照明组件的信息。在这种情况下，图像匹配单元200卷积(convolute)所计算的照明组件的信息和所输入图像的信息，以计算所述平均图像。
图像匹配单元200使用所述平均图像计算代表所述车辆前方图像中物体特征的反射组件的信息。
图像匹配单元200根据包含在左图像和右图像中的每个像素的坐标从左图像和右图像的像素信息值中去除平均图像的像素信息值，以计算所述反射组件的信息。
图像匹配单元200可压缩计算出的所述反射组件的信息。
图像匹配单元200计算所述反射组件的信息，并评定(scale)计算出的反射组件的信息作为日志。
图像匹配单元200可以采用动态编程方法在左图像和右图像之间进行立体匹配。此外，图像匹配单元200可以进行立体匹配，以产生视差图。
图像匹配单元200可以基于示例性实施例中的高效大规模立体(ELAS)匹配方法通过连接线画出三角形，以计算深度。
图像匹配单元200可以将计算出的每个特征点的深度和坐标，输出到平面计算单元300和法线计算单元400。
所述平面计算单元300计算其中所述特征点被评估存在于同一空间中的平面。
例如，所述平面计算单元300对车辆前方图像进行色彩分割，以计算所述特征点被评估存在于同一空间中的平面。
替代地，平面计算单元300基于所述多个特征点的坐标和深度，连接所述多个特征点中的每三个特征点，以计算多个三角形。此处，三角形是指三角形的平面和与三个不同特征点对应的三角形的顶点。
例如，平面计算单元300可以使用Delaunay三角测量法，计算所述多个特征点得到的多个三角形。此处，Delaunay三角测量法可以指这样一种技术：当包括在任意空间中的点被连接以形成多个三角形时，该技术不包括其外接圆(circumscribed circle)不包含在所述三角形中的点。
法线计算单元400可以计算通过平面计算单元300计算的多个三角形涉及的方向(例如，法线方向)。具体而言，通过平面计算单元300计算的三角形包括三个特征点，并且由于所述特征点的坐标和深度已经通过图像匹配单元200预先计算得出，法线计算单元400可以计算每个三角形法线方向或法线矢量。在这种情况下，法线计算单元400可以计算出穿过每个三角形的重心的法线方向。
法线计算单元400可以在所述多个三角形中增加具有相似法线的两个三角形作为一个平面。例如，当两个不同的三角形的法线方向的差值在预定的角度内，法线计算单元400确定这两个三角形是相似的，并增加这两个三角形作为一个平面。在这种情况下，当增加的平面的法线方向和立体照相机100的拍摄方向之间的差值小于预定的角度时，法线计算单元400可以将通过增加两个三角形而获得的平面探测为障碍物。如此，可以减少障碍物探测单元500探测障碍物(将在下文描述)所需的计算量。
作为另一个示例，当多个三角形中的两个三角形共有一个角，且法线方向的差值在预定角度内时，法线计算单元400可以设定所述两个三角形的法线方向具有相同的值。具体而言，当多个三角形中的第一三角形和第二三角形共用一个角且为第一三角形的法线方向的第一方向和为第二三角形的法线方向的第二方向之间的差值小于预定的第一阈值时，法线计算单元400可以设定第一三角形和第二三角形的法线具有所述第一方向、第二方向、以及所述第一方向和第二方向的中间方向中的任何一个。障碍物探测单元500可以基于立体照相机100的拍摄方向与所述多个三角形的法线方向的比较结果，探测车辆周围(例如，前方)的障碍物。
具体而言，法线计算单元400可在多个三角形中提取面向立体照相机100的三角形。此处，所述面向立体照相机100的三角形可以指在通过平面计算单元300计算的三角形中，其法线方向与立体照相机100的拍摄方向的差值小于预定的第二阈值的三角形。
在通过图像匹配单元200产生的立体图像中，障碍物探测单元500可以仅相对于包括在预定的感兴趣区域(ROI)中的至少一个三角形，探测障碍物。例如，尽管在所述多个三角形中，位于所述感兴趣区域ROI外部的第三三角形的法线方向和立体照相机100的拍摄方向之间的差值小于预定的第二阈值，所述障碍物探测单元500仍可能无法探测作为障碍物的第三三角形。
在此期间，当多个三角形中的任意一个三角形的法线方向和立体照相机100的拍摄方向之间的差值小于预定的第二阈值时，所述障碍物探测单元500可能探测不到作为障碍物的三角形。例如，当任意三角形的法线指向与立体照相机100的拍摄方向垂直的方向时，所述障碍物探测单元500可确定所述三角形不是障碍物，而是路面。
当障碍物探测单元500探测到车辆前方的障碍物时，警告单元600可以输出探测到的障碍物的信息或警告消息。所述探测到的障碍物的信息可以包括关于障碍物的尺寸、障碍物的位置、以及车辆到所述障碍物的距离中的至少一个的信息。在这种情况下，警告单元600只有当至所探测到的障碍物的距离比预定的参考距离短时，才输出警告消息。所述警告消息可以在车辆的显示器上可视地显示或通过车辆的扬声器可听地输出。
图2示出一个示例性实施例的通过法线计算单元400计算的任意一点的法线矢量Ni的结果。图2A显示深度图的像素，图2B显示三维点集的数据。法线计算单元400选择位于深度图上的点Pi的像素的上侧、下侧和左侧、右侧的四个点，并在图2B的三维点集的数据上找到在图2A中选出的四个点，以配置位于所述像素的左侧和右侧的点之间的矢量和位于上侧和下侧的点之间的矢量，然后计算两个所述矢量之间的外积(outer product)以计算法线。
图3示出本发明一个示例性实施例的在使用立体照相机100拍摄的图像中探测障碍物的示例。为方便描述，假设平面计算单元300计算通过图像匹配单元200产生的立体图像中的多个特征点，并且法线计算单元400连接多个特征点以计算多个三角形。
首先，图3A示出了通过平面计算单元300连接从图像匹配单元200生成的立体图像中提取出的多个特征点中的每三个特征点来计算多个三角形所得的结果。如该图中所示，一些三角形可以与其他三角形具有一个共同的角，且多个三角形可以依次连接。法线计算单元400可以计算图3A中示出的依次连接的多个三角形的法线方向。
接着，图3B示出了障碍物探测单元500依据与立体照相机100的拍摄方向的差值是否小于预定的第二阈值而对图3A中示出的多个三角形进行分类的结果。
具体而言，障碍物探测单元500可以对其法线方向与立体照相机100的拍摄方向的差值小于预定的第二阈值的三角形分类为障碍物。进一步地，障碍物探测单元500可以将其法线方向与立体照相机100的拍摄方向的差值等于或大于预定的第二阈值的三角形分类为非障碍物。在图3B中用灰色表示的区域是其中被归类为障碍物的三角形所位于的区域，并且用黑色表示的区域是其中未被归类为障碍物的三角形所位于的区域。
因此，障碍物探测单元500基于具有对应作为顶点的特征点的一些像素的三角形的法线方向，探测障碍物，而不是基于包括在所述立体图像中的整个像素，从而障碍物的探测速度可以显著的提高，而不会丧失性能。
图4示出了本发明一个示例性实施例的基于三角形的法线方向确定是否为障碍物的示例。为了描述的方便，将根据侧视图而进行描述。
参照图4，立体照相机100被设置在驾驶车辆的一个位置(例如，防风罩)以拍摄车辆前方的物体。在这种情况下，假设立体照相机100的拍摄方向是平行于地面的，如该图中所示。
在这种情况下，可以通过平面计算单元300将所拍摄的物体作为多个三角形进行计算，且一些三角形可以作为相对于所述车辆的障碍物。
例如，如图中所示，平面计算单元300可以基于物体的图像计算第一三角形T1和第二三角形T2。进一步地，法线计算单元400可以计算所述第一三角形T1的第一法线N1，以及第二三角形T2的第二法线N2。
障碍物探测单元500可以计算第一方向差值θ1，该第一方向差值θ1是平行于地面的立体照相机100的拍摄方向DA与第一法线N1的方向之间的差值。障碍物探测单元500可以计算第二方向差值θ2，该第二方向差值θ2是平行于地面的立体照相机100的拍摄方向DA与第二法线N2的方向之间的差值。
当第一方向差值θ1、第二方向差值θ2，以及第二阈值θTh的关系满足θ1<θTh≤θ2时，所述障碍物探测单元500探测第一三角形T1作为障碍物，而不是探测第二三角形T2作为障碍物。
尽管在图4中，说明的是，单个物体存在于所述车辆的前方，且针对所述物体计算两个三角形，但是这仅为一个示例。当两个或多个物体可能存在于所述车辆的前方并且对于每个物体计算三个或多个三角形时，也可应用相同的物体探测方法。
图5是本发明一个示例性实施例的障碍物探测方法的流程图。
根据一个示例性实施例，立体照相机100在步骤S100中生成左图像和右图像。具体而言，立体照相机100被安装在车辆前方的一个位置，以具有预定的拍摄方向，并使用左透镜生成左图像，使用右透镜生成右图像。此外，立体照相机100可将左图像和右图像输出到图像匹配单元200。
接着，在步骤S110中，图像匹配单元200提取共同包含在所述左图像和所述右图像中的多个特征点。例如，图像匹配单元200应用块匹配算法以提取特征点，所述特征点是共同包含在左图像和右图像中且具有大于参考值的相似度的像素。进一步地，图像匹配单元200可以从图像中等于或大于预定值的边缘计算深度。进一步地，图像匹配单元200采用边缘探测来计算亮度变化等于或大于左图像和右图像中的预定值的区域，然后对所计算的亮度变化等于或大于预定值的区域应用块匹配算法以提取多个特征点。
接着，在步骤S120中，图像匹配单元200可以计算提取的多个特征点的坐标和深度。这里，图像匹配单元200可以基于左图像和右图像之间的视差计算每个特征点的深度。此外，图像匹配单元200可以计算多个特征点的深度作为一组。
接着，平面计算单元300基于所述多个特征点的坐标和深度，连接所述多个特征点中的每三个特征点，以在步骤S130中计算多个三角形。
接着，在步骤S140中，法线计算单元400计算多个三角形的法线方向。已经计算出与提取的特征点对应的每个三角形的三个顶点和所述特征点的坐标和深度，从而法线计算单元400可以计算所述多个三角形的法线方向。
在步骤S150中，障碍物探测单元500可以基于立体照相机100的拍摄方向与多个三角形的法线方向的比较结果，探测车辆前方的障碍物。
接着，障碍物探测单元500可以将多个三角形中其法线方向与立体照相机100的拍摄方向的差值小于预定的第二阈值的三角形分类为障碍物。
在这种情况下，障碍物探测单元500可以计算所探测的障碍物的尺寸、所述障碍物的位置、从所述车辆到所述障碍物的距离中的至少一个的信息。例如，障碍物探测单元500可以基于归类为障碍物的三角形的面积计算障碍物的尺寸，基于包括在归类为障碍物的三角形中的特征点的深度计算到障碍物的距离，以及基于包括在分类为障碍物的三角形中的特征点的坐标计算所述障碍物的位置。
障碍物探测单元500可以将多个三角形中其法线方向与立体照相机100的拍摄方向的差值等于或大于预定第二阈值的三角形分类为非障碍物。进一步地，法线计算单元400可以接收由图像匹配单元200输出的作为一组的特征点的深度。进一步地，在通过图像匹配单元200产生的立体图像中，障碍物探测单元500仅可以探测与包括在预定的感兴趣区域(ROI)中的三角形对应的障碍物。例如，尽管在所述多个三角形中，位于感兴趣区域ROI的外部的第三三角形的法线方向和立体照相机100的拍摄方向之间的差值小于预定的第二阈值，但是障碍物探测单元500可能仍无法探测到作为障碍物的第三三角形。
接着，当障碍物探测单元500探测车辆前方的障碍物时，在步骤S160中，警告单元600可以输出探测到的障碍物的信息或警告消息。所述探测到的障碍物的信息可以包括障碍物的尺寸、障碍物的位置、以及从车辆到障碍物的距离中的至少一个的信息。在这种情况下，仅当所探测到的障碍物的距离短于预定的参考距离时，警告单元600才可输出警告消息。该警告消息可以在车辆的显示屏上视觉地显示，或通过车辆的扬声器可听地输出。
本发明的优选实施例已经示出并在以上描述，但本发明不限定于如上所描述的具体的实施方式，很明显地，在不背离在权利要求书中要求保护的本发明精神的情况下，本发明所属领域的技术人员可以作出各种修改，并且这样的修改不应从本发明的技术精神或前景中单独地理解。

Claims (13)

1.一种障碍物探测装置，包括：
立体照相机，其拍摄车辆的前方以生成左图像和右图像；
图像匹配单元，其对所述左图像和所述右图像应用块匹配算法，以提取具有等于或大于参考值的相似度的多个特征点，并计算提取的所述多个特征点的坐标和深度；
平面计算单元，其基于所述多个特征点的坐标和深度，连接所述多个特征点中的每三个特征点，以计算多个三角形；
法线计算单元，其基于与所述多个三角形的顶点对应的三个特征点的坐标和深度，计算所述多个三角形的法线方向；
障碍物探测单元，其基于所述立体照相机的拍摄方向与所述多个三角形的法线方向的比较结果，探测所述车辆前方的障碍物，
其中，当在所述多个三角形中共有一个角的两个三角形的法线方向的差值小于预定的第一阈值时，所述法线计算单元设定这两个三角形的法线方向具有相同的值。
2.根据权利要求1所述的障碍物探测装置，其中所述图像匹配单元利用边缘探测计算在所述左图像和所述右图像中亮度变化等于或大于预定值的区域，并对所述亮度变化等于或大于预定值的所述区域应用所述块匹配算法，以提取所述多个特征点。
3.根据权利要求1所述的障碍物探测装置，其中所述平面计算单元采用Delaunay三角测量法计算所述多个三角形。
4.根据权利要求1所述的障碍物探测装置，其中所述法线计算单元计算穿过所述多个三角形的重心的法线方向。
5.根据权利要求4所述的障碍物探测装置，其中当在所述多个三角形中第一三角形和第二三角形共有一个角，且为所述第一三角形的法线方向的第一方向与为所述第二三角形的法线方向的第二方向之间的差值小于所述预定的第一阈值时，所述法线计算单元设定所述第一三角形和所述第二三角形的法线，具有所述第一方向、所述第二方向、以及所述第一方向和所述第二方向的中间方向中的任何一个。
6.根据权利要求1所述的障碍物探测装置，其中所述障碍物探测单元将所述多个三角形中其法线方向与立体照相机的拍摄方向的差值小于预定的第二阈值的三角形探测为障碍物。
7.根据权利要求1所述的障碍物探测装置，其中所述障碍物探测单元将所述多个三角形中其法线方向与立体照相机的拍摄方向的差值等于或大于预定的第二阈值的三角形确定为路面。
8.根据权利要求1所述的障碍物探测装置，进一步包括：
警告单元，其在所述障碍物探测单元探测到在所述车辆前方的障碍物时，输出障碍物信息或警告消息。
9.一种障碍物探测方法，包括：
使用立体照相机生成相对于车辆前方的左图像和右图像；
通过对所述左图像和所述右图像应用块匹配算法，提取具有等于或大于参考值的相似度的多个特征点；
计算提取的所述多个特征点的坐标和深度；
基于所述多个特征点的坐标和深度，连接所述多个特征点中的每三个特征点以计算多个三角形；
基于与所述多个三角形的顶点对应的三个特征点的坐标和深度，计算所述多个三角形的法线方向；以及
基于所述立体照相机的拍摄方向与所述多个三角形的法线方向的比较结果，探测所述车辆前方的障碍物，
其中在所述多个三角形的法线方向的计算中，当所述多个三角形中共有一个角的两个三角形的法线方向的差值小于预定的第一阈值时，这两个三角形的法线方向被设定为具有相同的值。
10.根据权利要求9所述的障碍物探测方法，其中多个特征点的提取包括：
利用边缘探测来计算所述左图像和所述右图像中亮度变化等于或大于预定值的区域；以及
对所述亮度变化等于或大于预定值的区域应用块匹配算法以提取所述多个特征点。
11.根据权利要求9所述的障碍物探测方法，其中，在所述车辆前方的障碍物的探测中，所述多个三角形中法线方向与立体照相机的拍摄方向的差值小于预定的第二阈值的三角形被探测为障碍物。
12.根据权利要求9所述的障碍物探测方法，进一步包括：
当探测到所述车辆前方的障碍物时，输出所述障碍物信息或警告消息。
13.根据权利要求9所述的障碍物探测方法，其中在障碍物的探测中，所述多个三角形中法线方向与立体照相机的拍摄方向的差值等于或大于预定的第二阈值的三角形被探测为路面。
CN201510920243.1A 2014-12-22 2015-12-10 障碍物探测装置和障碍物探测方法 Active CN105718853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140186267A KR101676656B1 (ko) 2014-12-22 2014-12-22 장애물 검출 장치 및 장애물 검출 방법
KR10-2014-0186267 2014-12-22

Publications (2)

Publication Number Publication Date
CN105718853A CN105718853A (zh) 2016-06-29
CN105718853B true CN105718853B (zh) 2019-07-23

Family

ID=56099806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510920243.1A Active CN105718853B (zh) 2014-12-22 2015-12-10 障碍物探测装置和障碍物探测方法

Country Status (5)

Country Link
US (1) US9665782B2 (zh)
JP (1) JP6291469B2 (zh)
KR (1) KR101676656B1 (zh)
CN (1) CN105718853B (zh)
DE (1) DE102015121387B4 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
JP6654999B2 (ja) * 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
CN107194350A (zh) * 2017-05-19 2017-09-22 北京进化者机器人科技有限公司 障碍物检测方法、装置及机器人
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
CN109214348A (zh) * 2018-09-19 2019-01-15 北京极智嘉科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN111080689B (zh) * 2018-10-22 2023-04-14 杭州海康威视数字技术股份有限公司 确定面部深度图的方法和装置
GB2583774B (en) * 2019-05-10 2022-05-11 Robok Ltd Stereo image processing
KR102252888B1 (ko) * 2020-01-03 2021-05-17 포테닛 주식회사 공간 내에서 이송로봇의 위치 검출장치 및 방법
CN111241979B (zh) * 2020-01-07 2023-06-23 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
WO2023091129A1 (en) * 2021-11-17 2023-05-25 Innopeak Technology, Inc. Plane-based camera localization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339659A (zh) * 2011-01-07 2013-10-02 兰德马克绘图国际公司 用于在三维建模期间构建封闭体的系统和方法
CN103534554A (zh) * 2011-06-02 2014-01-22 三菱重工业株式会社 形状计测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344597A (ja) 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
JP4144300B2 (ja) 2002-09-02 2008-09-03 オムロン株式会社 ステレオ画像による平面推定方法および物体検出装置
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
DE102004007049A1 (de) 2004-02-13 2005-09-01 Robert Bosch Gmbh Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera
US7697749B2 (en) * 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
KR101103526B1 (ko) * 2006-09-07 2012-01-06 주식회사 만도 스테레오 카메라를 이용한 충돌회피 방법
WO2009028489A1 (ja) 2007-08-30 2009-03-05 Kabushiki Kaisha Yaskawa Denki 物体検出方法と物体検出装置およびロボットシステム
JP2009139323A (ja) 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置
US9303989B2 (en) * 2010-02-23 2016-04-05 Ben-Gurion University Of The Negev System and method for providing 3D imaging
JP5417645B2 (ja) 2010-03-08 2014-02-19 オプテックス株式会社 距離画像における平面推定方法および距離画像カメラ
JP2011253376A (ja) 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5677154B2 (ja) 2011-03-18 2015-02-25 富士重工業株式会社 車両用運転支援装置
US8630806B1 (en) * 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
EP2757524B1 (en) * 2013-01-16 2018-12-19 Honda Research Institute Europe GmbH Depth sensing method and system for autonomous vehicles
JP2014228941A (ja) 2013-05-20 2014-12-08 株式会社日立製作所 地表面３次元サーフェス形状計測装置、走行可能領域検出装置およびそれを搭載した建設機械並びに走行可能領域検出方法
US9336604B2 (en) * 2014-02-08 2016-05-10 Honda Motor Co., Ltd. System and method for generating a depth map through iterative interpolation and warping
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339659A (zh) * 2011-01-07 2013-10-02 兰德马克绘图国际公司 用于在三维建模期间构建封闭体的系统和方法
CN103534554A (zh) * 2011-06-02 2014-01-22 三菱重工业株式会社 形状计测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三角形网格的立体视差估计和遮挡点检测混合算法;韩军功 等;《电路与系统学报》;20050228;第10卷(第1期);44-49

Also Published As

Publication number Publication date
KR101676656B1 (ko) 2016-11-16
CN105718853A (zh) 2016-06-29
DE102015121387B4 (de) 2019-07-11
DE102015121387A1 (de) 2016-06-23
JP6291469B2 (ja) 2018-03-14
KR20160076271A (ko) 2016-06-30
JP2016119085A (ja) 2016-06-30
US20160180181A1 (en) 2016-06-23
US9665782B2 (en) 2017-05-30

Similar Documents

Publication Publication Date Title
CN105718853B (zh) 障碍物探测装置和障碍物探测方法
US11948462B2 (en) Image generating apparatus, image generating method, and recording medium
KR101994121B1 (ko) 중간 뷰로부터의 효율적인 캔버스 뷰 생성
Okutomi et al. A simple stereo algorithm to recover precise object boundaries and smooth surfaces
EP3273412B1 (en) Three-dimensional modelling method and device
EP2884460A1 (en) Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US20110176722A1 (en) System and method of processing stereo images
US9953247B2 (en) Method and apparatus for determining eye position information
US9437034B1 (en) Multiview texturing for three-dimensional models
WO2016188010A1 (zh) 运动图像补偿方法及装置、显示装置
EP2650843A2 (en) Image processor, lighting processor and method therefor
CN104424640A (zh) 对图像进行虚化处理的方法和装置
CN103810475A (zh) 一种目标物识别方法及装置
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
US10266116B2 (en) Method and device for displaying a front-view of a vehicle&#39;s surrounding and respective vehicle
US10812691B2 (en) Image capturing apparatus and image capturing method
Tasson et al. FPGA-based pedestrian detection under strong distortions
EP4064193A1 (en) Real-time omnidirectional stereo matching using multi-view fisheye lenses
Kalutskiy et al. Method of moving object detection from mobile vision system
Ahmed et al. Distance alert system using Stereo vision and feature extraction
KR101766864B1 (ko) 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 이를 위한 장치
KR102269088B1 (ko) 동공 추적 장치 및 방법
Satyawan et al. Scene flow estimation from sequential stereo fisheye images: Preliminary study
KR101632069B1 (ko) 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치
Meerits et al. Visualization of dynamic hidden areas by real-time 3d structure acquistion using rgb-d camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant