CN107076553B - 使用结构光的增强对象检测 - Google Patents

使用结构光的增强对象检测 Download PDF

Info

Publication number
CN107076553B
CN107076553B CN201580058360.XA CN201580058360A CN107076553B CN 107076553 B CN107076553 B CN 107076553B CN 201580058360 A CN201580058360 A CN 201580058360A CN 107076553 B CN107076553 B CN 107076553B
Authority
CN
China
Prior art keywords
camera
image
dimensional light
light curtain
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580058360.XA
Other languages
English (en)
Other versions
CN107076553A (zh
Inventor
G·G·尚普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Active Safety and Electronics US LLC
Original Assignee
TRW Automotive US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRW Automotive US LLC filed Critical TRW Automotive US LLC
Publication of CN107076553A publication Critical patent/CN107076553A/zh
Application granted granted Critical
Publication of CN107076553B publication Critical patent/CN107076553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于对感兴趣的区域成像的系统和方法。结构光源被配置成在摄像机的视场内提供由摄像机可检测的波长处的至少一个投射激光束形成的基本上二维的光幕。图像分析部件被配置成至少根据该至少一个投射激光束在图像内的位置来检测感兴趣的区域内的对象。

Description

使用结构光的增强对象检测
相关申请
本申请要求于2014年11月5日提交的美国临时专利申请序列号62/075,350的优先权，其通过引用并入本文。
技术领域
本发明涉及车辆安全系统，并且更具体地涉及使用结构光来增强对象检测系统。
背景技术
单目摄像机系统在摄像机的二维焦平面阵列中表现三维数据的能力有限。该摄像机对世界的图像呈现为平的而没有任何景深(depth-of-field)。用于恢复丢失的景深的算法技术依赖于应用，并且仅在极窄的范围内有效——它们不是全局鲁棒的。例如，从运动中恢复结构(structure from motion)以及时间立体匹配(temporal stereo matching)可以用于从具有差异化位置的单目摄像机重建深度图像。摄像机必须在具有帧间相关性的情况下移动，并且该移动必须在实物坐标中被跟踪，该跟踪通常使用惯性测量单元进行。诸如双色反射率、高洛德着色(Gouraud shading)以及平地模型(flat earth model)之类的其它示例需要受控的场景照明和静止的摄像机位置。
发明内容
根据本发明的一个方面，提供了用于检测感兴趣的区域内的对象的对象检测系统。摄像机被配置成对感兴趣的区域进行成像。结构光源被配置成在摄像机的视场内提供由摄像机可检测的波长处的至少一个投射激光束形成的基本上二维的光幕。图像分析部件被配置成至少根据该至少一个投射激光束在该图像内的位置来检测感兴趣的区域内的对象。
根据本发明的另一方面，提供了用于检测感兴趣的区域内的对象的方法。将基本上二维的光幕投射到感兴趣的区域中。感兴趣的区域在摄像机处被成像以提供图像，使得基本上二维的光幕与地面的相交处可见。如果基本上二维的光幕与地面的相交处偏离预期基线，则确定存在对象。
根据本发明的又一方面，提供了用于检测车辆的后方区域与盲点中的一个内的对象的对象检测系统。摄像机被配置成对车辆的后方区域与盲点中的这一个进行成像。结构光源包括激光二极管和光束整形光学部件，该结构光源被配置成在摄像机的视场内提供由摄像机可检测的波长处的至少一个投射激光束形成的基本上二维的光幕。图像分析部件被配置成至少根据该至少一个投射激光束在图像内的位置来检测车辆的后方区域与盲点中的这一个内的对象。
附图说明
图1示出了用于检测感兴趣的区域内的对象的对象检测系统的一个示例；
图2示出了用于检测车辆的后方区域或盲点中的一个内的对象的系统的示例；
图3示出了用于检测感兴趣的区域内的对象的方法；以及
图4是示出了能够实现本文公开的系统和方法的示例的硬件部件的示例性系统的示意性框图。
具体实施方式
发明人已经确定可以用结构光来增强单目摄像机，以增强摄像机检测和定位视场内的对象的能力。具体地，可以将一个或多个光幕投射到摄像机的视场中，该一个或多个光幕即由一个或多个投射激光束形成的连续或间歇的二维形状。这些光幕的偏转或变形可以被检测和量化以确定对象在视场内的存在以及位置。在一个实现中，可以使用多个形状来限定对象可以通过其延伸的不同范围。在另一实现中，使用两个或更多个非平行光束来在视场内提供三维形状以允许更准确地确定对象的位置。
图1示出了用于检测感兴趣的区域内的对象的对象检测系统10的一个示例。系统10包括摄像机12和结构光源14，该摄像机12被配置成对感兴趣的区域成像，并且该结构光源14被配置成在摄像机的视场18内提供由摄像机可检测的波长处的至少一个投射激光束形成的二维形状16。在一个实现中，摄像机被选择为在可见光带内成像，并且激光器在532nm左右运行。
图像分析部件20被配置成至少根据该至少一个投射激光束在图像内的位置(或者更具体地，光束和地面的相交处的位置)来检测感兴趣的区域内的对象。在一个实现中，该检测可以通过将摄像机图像转换成世界坐标域并且检查激光与反射对象的相交线以确定是否存在任何对象来实现。在一个实现中，两个非平行线的相交点可以被用作变换中的已知参考点。替代地，可以使用表示距离车辆的不同距离的多个平行光束，其中特定光束显示出指示对象距离车辆的距离的偏转。
图2示出了用于检测车辆的后方区域或盲点中的一个(这里被称为感兴趣的区域)内的对象的系统50的示例。系统50包括被配置成对感兴趣的区域成像的摄像机52。在所示的实现中，摄像机52被配置成检测可见域和近红外域中的入射光。摄像机52被定位在车辆上有效地对感兴趣的区域进行成像的位置。应当认识到，摄像机52可以经由车辆总线53连接到系统的其它部件54和60。
结构光源54被配置成提供进入到感兴趣的区域中的基本上二维的光幕。在所示的实现中，结构光源54包括激光二极管56以及光束整形光学部件58，激光二极管56被配置成提供摄像机52可检测的波长处的至少一个激光束，光束整形光学部件58被配置成从该至少一个激光束产生基本上二维的光幕。应当认识到，激光二极管56可以提供在可见范围、红外范围和紫外范围的任何一个范围中的光。光束整形器光学部件58可以包括衍射扩散器、衍射光束整形器或其它合适的光学部件中的任何一个。在所示的实现中，光束整形光学部件58可以包括可靠的(solid)衍射光束成形光学器件，其产生跨四十六度的角度的光幕。因此，应当认识到，所示出的实现在光学器件中没有移动部件的情况下起作用。
结构光源54可以被安装在车辆上的适当位置以将光幕投射到感兴趣的区域中。发明人已经发现并置(collocating)结构光源54和摄像机52可能导致次优结果，而结构光源54和摄像机52的位置可以以其它方式被选择为在给定车辆的几何形状的情况下使得成像的感兴趣的区域的效用最大化。在一个实现中，结构光源54和摄像机52中的每一个可以被安装到车辆的顶部并且被水平基线分开。在另一实现中，结构光源54和摄像机52可以被小的垂直基线分开。
将进一步认识到，结构光源54可以被配置成提供到感兴趣的区域中的附加光幕。为此，光束整形光学部件58可以被配置成提供多个平行光幕。例如，合理地假定在相交点处为水平地面，每个光幕可以被投射成在与车辆的在其上安装了结构光源的一侧基本上平行的线处与地面相交，其中每个光幕在离车辆的指定距离处与地面相交。替代地或附加地，结构光源54可以被配置成提供与一个或多个其它光幕基本上垂直的光幕，使得该光幕在与其它光幕的一条或多条线基本上垂直的线中与地面相交。应当认识到，附加光幕可以由附加结构光源(未示出)提供，而不是如图2中所示的那样从单个部件提供多个光幕。
在摄像机52处拍摄的图像被提供给图像分析部件60，图像分析部件60被配置成确定在感兴趣的区域中是否存在对象。应当认识到，图像分析部件60可以被实现为在车辆内的微处理器上操作的软件、被实现为专用硬件、或者被实现为软件和专用硬件的组合。具体地，图像分析部件60根据捕获的图像来确定在光幕的路径中是否存在一个或多个对象。如果在摄像机52或相关部件(未示出)处未对图像执行校正，则图像分析部件60可以被配置成在分析之前校正图像，并且可以在分析之前执行其它图像调节。
应当认识到，在没有对象的情况下，在光幕与地面相交时光幕将形成相对直的线。然而，在光幕的范围内存在对象的情况下，光幕与对象的相交处将相对于原始基线具有高程(elevation)。在一个实现中，可以使用多个平行光幕来限定车辆附近的各个区域。在该实现中，可以根据哪个或者哪些光幕呈现出与基线的偏差来确定对象与车辆的距离。
在所示的实现中，可以使用两个垂直的光幕，使得它们的相交点表示图像内的已知参考点。使用该参考点，可以根据从基线高程的偏离的位置、大小和宽度来确定对象的位置和高度。为此，图像分析系统60包括坐标变换部件62，其被配置成将图像内的每个像素的位置变换为车辆周围的实物坐标系。具体地，对于图像内的像素(x，y)，其中x表示像素所处于的列，而y是像素所处于的行，位置(X，Z)被确定为以下，其中X表示离摄像机的横向距离(cross range)而Z表示离摄像机的顺向距离(downrange)：
Figure BDA0001280361090000051
其中fx是摄像机的水平焦距，fy是摄像机的垂直焦距，φ是摄像机俯仰角，H是摄像机高度。
当检测到对象时，高程计算部件64可以根据图像和所确定的位置来确定对象的高程。具体地说，在给定位置处的高程Y可以根据其离摄像机的顺向距离Z和表示该位置的像素所处于的行y被确定为：
Figure BDA0001280361090000052
其中fy是摄像机的垂直焦距，φ是摄像机俯仰角，而H是摄像机高度。
一旦确定了对象的位置和高程，就可以经由适当的可听、可视或触觉反馈来向用户提供该信息。在一个实现中，可以在车辆内的显示器上呈现给操作者的、车辆的后视图或侧视图的显示中突出该对象。
鉴于以上描述的前述结构和功能特征，参考图3将更好地理解根据本发明的各个方面的方法。尽管为了简化说明的目的，图3的方法被示出和描述为串行执行，但是应当理解和认识到，本发明不限于所示顺序，因为根据本发明，一些方面可以以与本文所示和描述的顺序不同的顺序发生和/或与其它方面同时发生。此外，可能不是所有示出的特征都被需要以实现根据本发明的一个方面的方法。
图3示出了用于检测感兴趣的区域内的对象的方法100。在102处，将基本上二维的光幕投射到感兴趣的区域中。可以选择感兴趣的区域，例如，车辆的后方区域或盲点。应当认识到，光幕可以由可见光、红外光或紫外光形成。在一个实现中，可以将多个光幕投射到感兴趣的区域中。例如，依赖于应用，附加光幕可以平行或垂直于第一光幕。
在104处，感兴趣的区域在摄像机处被成像以提供图像，使得基本上二维的光幕与地面的相交处可见。应当认识到，摄像机可以适配有适当的过滤器以用于检测与光幕相关联的光。在106处，确定基本上二维的光幕与地面的相交处是否偏离预期基线。如果是(Y)，则在108处报告检测到对象，并且方法返回到102以继续评估感兴趣的区域。如果否(N)，则方法返回到102以继续评估感兴趣的区域。
在一个实现中，图像可以用于确定关于在感兴趣的区域中检测到的对象的附加信息。在一个实现中，可以使用多个平行光幕，如果由第一基本上二维的光幕与地面的相交处形成的线偏离第一预期基线，则对象可以被确定在第一距离处，或者如果由第二基本上二维的光幕与地面的相交处形成的线偏离第二预期基线，则对象可以被确定为在第二距离处。应当认识到，可以以这种方式使用多于两个的平行幕来增加距离确定的分辨率。替代地，可以投射垂直光幕，并且图像例如如以上所述的等式1和2中那样经过坐标变换来确定任何检测到的对象的位置和高度。
图4是示出了能够实现本文公开的系统和方法(诸如先前描述的对象检测系统)的示例的硬件部件的示例性控制系统200的示意性框图。系统200可以包括各种系统和子系统。系统200可以使用经由车辆总线连接的基于车辆的控制器或通过使用图像分析控制器来实现。计算机可以包括微计算机，或者可以使用相应布置的专用集成电路(ASIC)来实现期望的控制功能。
控制系统200可以包括系统总线202、处理单元204、系统存储器206、存储器设备208和210、通信接口212(例如，网络接口)、通信链路214、显示器216和输入设备218(例如，加速度传感器、摄像机输入等)。系统总线202可以与处理单元204和系统存储器206通信。附加存储器设备208和210也可以与系统总线202通信。系统总线202将处理单元204、存储器设备206-210、通信接口212、显示器216和输入设备218互连。在一些示例中，系统总线202还互连附加端口(未示出)。
处理单元204可以是微计算机和/或可以包括被布置成执行期望的处理和控制功能的专用集成电路(ASIC)。处理单元204执行一组指令以实现本文公开的示例的操作。
附加存储器设备206、208和210可以存储数据、程序、指令、以文本或编译形式的数据库查询以及操作计算机可能需要的任何其它信息。存储器206、208和210可以被实现为计算机可读介质。
附加地或替代地，系统200可以通过通信接口212访问外部数据源或查询源，通信接口212可以与系统总线202和通信链路214进行通信。
在操作中，处理单元204执行源自系统存储器206和存储器设备208和210的一个或多个计算机可执行指令。本文所用的术语“计算机可读介质”是指参与向处理单元204提供指令以用于执行的介质。
以上描述的是本发明的示例。当然，不可能为了描述本发明的目的而描述部件或方法的每种可想到的组合，但是本领域普通技术人员将认识到，本发明的许多进一步的组合和排列是可能的。因此，本发明旨在包括落在所附权利要求的范围内的所有这样的改变、修改和变化。

Claims (18)

1.一种用于检测感兴趣的区域内的对象的对象检测系统，包括：
摄像机，所述摄像机被配置成对感兴趣的区域进行成像以提供图像；
结构光源，所述结构光源被配置成在摄像机的视场内提供第一二维光幕以及基本上垂直于所述第一二维光幕的第二二维光幕，以使得所述第一二维光幕和所述第二二维光幕的相交点表示所述图像内的已知参考点，所述第一二维光幕和所述第二二维光幕均由所述摄像机能够检测的波长处的至少一个投射激光束形成；以及
图像分析部件，所述图像分析部件被配置成利用所述图像内的所述相交点的位置作为已知参考点将所述图像中的与所述第一二维光幕相关联的像素的位置变换到真实世界坐标域，从而至少根据所述图像内的与所述第一二维光幕相关联的像素的位置来检测感兴趣的区域内的对象。
2.根据权利要求1所述的对象检测系统，其中所述结构光源包括被配置成产生二维光幕的光束整形光学部件和激光二极管。
3.根据权利要求2所述的对象检测系统，所述激光二极管被配置为产生红外光带内的光。
4.根据权利要求1所述的对象检测系统，其中所述摄像机在第一位置处被安装到车辆，并且所述结构光源在空间上远离所述第一位置的第二位置处被安装到所述车辆。
5.根据权利要求1所述的对象检测系统，其中图像分析部件被配置成评估所述图像内的所述第一二维光幕和所述第二二维光幕中的至少一个与地面的相交处，其中对象的存在通过由所述相交处形成的线与预期基线的偏离来指示。
6.根据权利要求1所述的对象检测系统，所述结构光源还被配置成在所述摄像机的视场内提供第三二维光幕，所述第三二维光幕平行于所述第一二维光幕。
7.根据权利要求6所述的对象检测系统，其中，所述图像分析部件被配置成评估所述图像内所述第一二维光幕和所述第三二维光幕中的每一个与地面的相应相交处，其中在第一距离处对象的存在通过由第一二维光幕与地面的相交处形成的线与第一预期基线的偏离来指示，并且在第二距离处对象的存在通过由第三二维光幕与地面的相交处形成的线与第二预期基线的偏离来指示。
8.根据权利要求1所述的对象检测系统，其中，所述结构光源被配置成具有在40度和50度之间的分散角。
9.根据权利要求1所述的对象检测系统，所述图像分析部件包括坐标变换部件，所述坐标变换部件被配置成向所述图像应用坐标变换，使得对于所述图像内的每个像素(x，y)，其中x表示像素所处于的列并且y是像素所处于的行，位置(X，Z)被确定为
Figure FDA0002258498640000021
其中X表示离摄像机的横向距离并且Z表示离摄像机的顺向距离，其中fx是摄像机的水平焦距，fy是摄像机的垂直焦距，φ是摄像机俯仰角，并且H是摄像机高度。
10.根据权利要求1所述的对象检测系统，所述对象检测系统包括高程计算部件，所述高程计算部件被配置成根据离摄像机的顺向距离Z以及表示给定位置的像素所处于的行y将该给定位置处的高程Y确定为
Figure FDA0002258498640000022
其中fy是摄像机的垂直焦距，φ是摄像机俯仰角，而H是摄像机高度。
11.一种用于检测感兴趣的区域内的对象的方法，包括：
将第一二维光幕投射到感兴趣的区域中；
将与所述第一二维光幕垂直的第二二维光幕投射到摄像机视场中；
在摄像机处对感兴趣的区域成像以提供图像，以使得所述第一二维光幕和所述第二二维光幕的相交点表示所述图像内的已知参考点，并使得所述第一二维光幕和所述第二二维光幕中的至少一个与地面的相交处可见；以及
根据所述图像内所述相交点的位置以及所述第一二维光幕和所述第二二维光幕中的所述至少一个与地面的相交处与预期基线的偏离确定对象存在。
12.根据权利要求11所述的方法，其中还包括：将第三二维光幕投射到感兴趣的区域中，其中第三二维光幕平行于第一二维光幕。
13.根据权利要求12所述的方法，其中，确定对象存在包括：如果由第一二维光幕与地面的相交处形成的线偏离第一预期基线，则确定在第一距离处对象的存在，以及如果由第三二维光幕与地面的相交处形成的线偏离第二预期基线，则确定在第二距离处对象的存在。
14.根据权利要求11所述的方法，还包括向图像应用坐标变换，使得对于所述图像内的每个像素(x，y)，其中x表示像素所处于的列并且y是像素所处于的行，位置(X，Z)被确定为
Figure FDA0002258498640000031
其中X表示距离摄像机的横向距离并且Z表示距离摄像机的顺向距离，其中fx是摄像机的水平焦距，fy是摄像机的垂直焦距，φ是摄像机俯仰角，并且H是摄像机高度。
15.根据权利要求14所述的方法，还包括根据距离摄像机的顺向距离Z以及表示给定位置的像素所处于的行y将给定位置处的高程Y确定为
Figure FDA0002258498640000041
其中fy是摄像机的垂直焦距，φ是摄像机俯仰角，并且H是摄像机高度。
16.一种用于检测车辆的后方区域与盲点中的一个内的对象的对象检测系统，包括：
摄像机，所述摄像机被配置成对所述车辆的后方区域与盲点中的所述一个进行成像以提供图像；
结构光源，所述结构光源包括激光二极管和光束整形光学部件，所述结构光源被配置成在摄像机的视场内提供第一二维光幕以及垂直于所述第一二维光幕的第二二维光幕，以使得所述第一二维光幕和所述第二二维光幕的相交点表示所述图像内的已知参考点，所述第一二维光幕和所述第二二维光幕均由所述摄像机能够检测的波长处的至少一个投射激光束形成；以及
图像分析部件，所述图像分析部件被配置成通过向所述图像应用坐标变换至少根据所述图像内的与所述至少一个投射激光束相关联的像素的位置以及所述图像内的所述相交点的位置来检测所述车辆的后方区域与盲点中的所述一个内的对象，其中坐标变换使得对于所述图像内的每个像素(x，y)，其中x表示像素所处于的列并且y是像素所处于的行，位置(X，Z)被确定为
Figure FDA0002258498640000042
其中X表示距离摄像机的横向距离并且Z表示距离摄像机的顺向距离，其中fx是摄像机的水平焦距，fy是摄像机的垂直焦距，φ是摄像机俯仰角，并且H是摄像机高度。
17.根据权利要求16所述的对象检测系统，其中所述摄像机在第一位置处被安装到车辆，并且所述结构光源在空间上远离所述第一位置的第二位置处被安装到所述车辆。
18.根据权利要求16所述的对象检测系统，其中图像分析部件被配置成评估所述图像内的所述第一二维光幕和所述第二二维光幕中的至少一个与地面的相交处，其中对象的存在通过由所述相交处形成的线与预期基线的偏离来指示。
CN201580058360.XA 2014-11-05 2015-11-05 使用结构光的增强对象检测 Active CN107076553B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462075350P 2014-11-05 2014-11-05
US62/075,350 2014-11-05
PCT/US2015/059211 WO2016073699A1 (en) 2014-11-05 2015-11-05 Augmented object detection using structured light

Publications (2)

Publication Number Publication Date
CN107076553A CN107076553A (zh) 2017-08-18
CN107076553B true CN107076553B (zh) 2020-06-30

Family

ID=55909795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580058360.XA Active CN107076553B (zh) 2014-11-05 2015-11-05 使用结构光的增强对象检测

Country Status (4)

Country Link
US (1) US10181085B2 (zh)
CN (1) CN107076553B (zh)
DE (1) DE112015005020T5 (zh)
WO (1) WO2016073699A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170102480A1 (en) * 2015-10-09 2017-04-13 Stratom, Inc. Field of play boundary detection system
DE102016006390A1 (de) * 2016-05-24 2017-11-30 Audi Ag Beleuchtungseinrichtung für ein Kraftfahrzeug zur Erhöhung der Erkennbarkeit eines Hindernisses
CN108082083B (zh) * 2018-01-16 2019-11-01 京东方科技集团股份有限公司 一种被遮挡对象的显示方法和显示系统以及车载防撞系统
WO2019196001A1 (zh) * 2018-04-10 2019-10-17 深圳市汇顶科技股份有限公司 三维影像测距系统及方法
US11182914B2 (en) * 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
CN109131075B (zh) * 2018-09-19 2021-08-10 安徽工程大学 一种基于图像处理的倒车报警装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1888813A (zh) * 2005-06-28 2007-01-03 富士通株式会社 图像获取设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
DE19730414A1 (de) 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
US20140152823A1 (en) * 1998-11-30 2014-06-05 American Vehicular Sciences Llc Techniques to Obtain Information About Objects Around a Vehicle
AU2001259640A1 (en) * 2000-05-08 2001-11-20 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
US20070019181A1 (en) * 2003-04-17 2007-01-25 Sinclair Kenneth H Object detection system
EP1777485A4 (en) 2004-08-03 2012-09-19 Techno Dream 21 Co Ltd METHOD AND DEVICE FOR MEASURING THREE-DIMENSIONAL FORMS
US7538864B2 (en) 2005-03-24 2009-05-26 Hunter Engineering Company Vehicle wheel alignment system scanned beam imaging sensor
WO2006118076A1 (ja) 2005-04-28 2006-11-09 Aisin Seiki Kabushiki Kaisha 車両周辺監視システム
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US20130321627A1 (en) * 2012-05-31 2013-12-05 John C. Turn, JR. Road departure sensing and intelligent driving systems and methods
KR101949277B1 (ko) 2012-06-18 2019-04-25 엘지전자 주식회사 이동 로봇
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1888813A (zh) * 2005-06-28 2007-01-03 富士通株式会社 图像获取设备

Also Published As

Publication number Publication date
WO2016073699A1 (en) 2016-05-12
DE112015005020T5 (de) 2017-07-27
CN107076553A (zh) 2017-08-18
US10181085B2 (en) 2019-01-15
US20170236014A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN107076553B (zh) 使用结构光的增强对象检测
US10685246B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US10960868B2 (en) Systems and methods for braking a vehicle based on a detected object
US10600193B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
US9619719B2 (en) Systems and methods for detecting traffic signs
JP6528447B2 (ja) 視差演算システム及び距離測定装置
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP5470886B2 (ja) 物体検出装置
US9106902B2 (en) Depth information detection apparatus and apparatus for obtaining 3-dimensional content using the same
KR20170014168A (ko) 차량의 카메라 장치
KR20180055292A (ko) 다중 라이다 좌표계 통합 방법
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2017096777A (ja) ステレオカメラ装置
EP3113149A1 (en) Local location computation device and local location computation method
KR20150091779A (ko) 다중 센서를 이용한 영상 처리 시스템
JP6032034B2 (ja) 物体検知装置
KR20150051388A (ko) 스테레오 카메라 보정 시스템
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2007327803A (ja) 車両周辺監視装置
JPWO2010113253A1 (ja) ３次元情報表示装置および３次元情報表示方法
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
US20130241882A1 (en) Optical touch system and optical touch position detecting method
JP6169446B2 (ja) 視線検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant