CN110045389A - 用于物体检测的结构化光照明系统 - Google Patents
用于物体检测的结构化光照明系统 Download PDFInfo
- Publication number
- CN110045389A CN110045389A CN201811570072.4A CN201811570072A CN110045389A CN 110045389 A CN110045389 A CN 110045389A CN 201811570072 A CN201811570072 A CN 201811570072A CN 110045389 A CN110045389 A CN 110045389A
- Authority
- CN
- China
- Prior art keywords
- deviation
- light pattern
- reflection
- vehicle
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 4
- 210000004218 nerve net Anatomy 0.000 claims 1
- 238000004891 communication Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004566 IR spectroscopy Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005138 cryopreservation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
公开一种检测物体相对于车辆的位置的车辆、检测系统和方法。该方法包括：在车辆处将选定频率的结构化光图案发送到包括物体的体积中，以及在车辆的检测器处接收来自该体积的光图案的反射。处理器确定由于体积中的物体造成的结构化光图案的反射中的偏差，并且基于偏差来确定体积中的物体的位置。
Description
背景技术
本发明涉及车辆导航和物体检测，并且具体来说涉及用于根据来自物体的结构化光图案的反射来确定物体位置的系统和方法。
驾驶员辅助车辆可包括数码相机，该数码相机可以获取车辆周围区域的视域，以便提供对盲点和其他难以看到区域的视域。这样的照相机在白天工作良好，但在夜间会有所削弱。因此，期望提供一种用于增强数码相机在夜间或其他困难观察条件期间的能力的系统和方法。
发明内容
在一个示例性实施例中，公开一种检测物体相对于车辆的位置的方法。该方法包括：在车辆处将选定频率的结构化光图案发送到包括物体的体积中，以及在车辆的检测器处接收来自该体积的光图案的反射。处理器确定来自体积中的物体的结构化光图案的反射中的偏差，并且基于该偏差来确定体积中的物体的位置。
结构化光图案可以是垂直条纹的图案。偏差可以通过比较在具有期望强度的位置处的反射强度与表示来自平坦水平表面的结构化光图案的反射的线模型来确定。在各种实施例中，车辆可基于物体的位置导航。
物体的图像可经捕获并与光图案的反射中的偏差比较，从而训练神经网络将结构化光图案的反射中的偏差与物体相关联。这样可根据光图案的反射中的偏差的位置以及训练过的神经网络的关联来确定物体的位置。结构化光图案可经由与一维微机电系统(MEMS)扫描仪组合的衍射透镜、具有二维MEMS扫描仪的折射光学器件、光源阵列、多面体扫描仪以及光学相控阵之中一者产生。
在另一个示例性实施例中，公开一种检测物体相对于车辆的位置的系统。该系统包括：照明器，其构造成产生选定频率的结构化光图案进入体积中；检测器，其构造成检测来自体积中的物体的光图案的反射，以及处理器。该处理器构造成：确定由于物体造成的光图案的反射中的偏差；以及根据确定的偏差来确定物体的位置。
照明器产生选定频率的垂直条纹的图案。处理器通过比较在具有期望强度的选定位置处的反射强度与表示来自平坦水平表面的结构化光图案的反射的线模型来确定偏差。这样处理器就可基于检测到的物体的位置导航车辆。
在实施例中，处理器用图案照明物体，并将光图案的反射中的偏差与引起偏差的物体的图像比较，从而训练神经网络将光图案的偏差与所选物体相关联。这样处理器可根据光图案的反射中的偏差的位置以及训练过的神经网络的关联来确定物体的位置。
所包括的照明器可以是与一维微机电系统(MEMS)扫描仪组合的衍射透镜、具有二维MEMS扫描仪的折射光学器件、光源阵列、多面体扫描仪以及光学相控阵之中一者。检测器可包括滤波器，其通过可见范围内的以及具有大约850纳米的选定范围的光。
在另一示例性实施例中，公开一种车辆。该车辆包括：照明器，其构造成产生选定频率的结构化光图案进入体积中；检测器，其构造成检测来自体积的光图案的反射，以及处理器。处理器确定由于物体造成的光图案的反射中的偏差，并且基于所确定的偏差来确定物体的位置。
照明器产生选定频率的垂直条纹的图案。处理器通过比较在具有期望强度的选定位置处的反射强度与表示来自平坦水平表面的结构化光图案的反射的线模型来确定偏差。
处理器用图案照明物体，并将光图案的反射中的偏差与引起偏差的物体的图像比较，从而训练神经网络将光图案的偏差与所选物体相关联。这样处理器可根据光图案的反射中的偏差的位置以及训练过的神经网络的关联来确定物体的位置。
从以下结合附图时的具体描述中，可以很容易了解本发明的上述特征及优点、以及其他特征和优点。
附图说明
在以下详细描述中仅通过举例的方式呈现其他特征、优点和细节，详细描述参考附图，其中：
图1示出了根据各种实施例通常与车辆相关联的轨迹规划系统；
图2示出了可用于图1的车辆的物体检测系统；
图3示出了示例性检测器的响应频谱；
图4示出了可用于示例性检测器的示例性滤波器的通带频谱；
图5示出了说明垂直条纹图案投射到诸如路面的平坦水平面上的图像；
图6示出了说明物体的存在对图5的垂直条纹的反射的影响的图像；
图7示出了来自物体的垂直条纹的反射的记录或图像；
图8示出了其中具有多个物体的场景；
图9示出了说明其中红外光的反射和可见图像可用于训练神经网络或模型以识别物体的方法的流程图；以及
图10示出了说明使用本文公开的方法导航车辆的方法的流程图。
具体实施方式
以下描述本质上仅为示例性的且并未意图限制本公开及其应用或使用。应明白，在整个附图中，相应的参考数字表示相似或相应的部件和特征。
根据本发明的示例性实施例，图1示出了根据各种实施例，通常与车辆10相关联的轨迹规划系统100。一般而言，系统100为自动驾驶确定轨迹规划。如图1中所示，车辆10通常包括底盘12、车体14、前轮16和后轮18。车体14设置在底盘12上且基本上包围了车辆10的部件。车体14和底盘12可共同地形成车架。车轮16-18每一个在靠近车体14的个别角落旋转地联接到底盘12上。
在各种实施例中，车辆10为自动驾驶车辆，且轨迹规划系统100并入自动驾驶车辆10中(下文称为自动驾驶车辆10)。自动驾驶车辆10例如为自动控制以将乘客从某一位置到另一位置的车辆。自动驾驶车辆10在所示实施例中描述为乘客车辆，但应明白，也可使用任何其他车辆，包括摩托车、卡车、运动休旅车(SUV)、游乐车(RV)、船舶、航空器等。在示例性实施例中，自动驾驶车辆10为所谓的四级或五级自动化系统。四级系统表示”高度自动化“，其是指通过自动驾驶系统以特定驾驶模式执行动态驾驶任务的所有情况，即使人类驾驶员未对介入的请求作出正确响应。五级系统表示”全自动化“，其是指通过自动驾驶系统全时执行人类驾驶员可以应付的所有道路和环境状况下的动态驾驶任务的所有情况。
如图所示，自动驾驶车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据储存装置32、至少一个控制器34以及通信系统36。在各种实施例中，推进系统20可包括内燃机、诸如牵引电动机的电机，及/或燃料电池推进系统。传动系统22构造成根据可选的速率将能量从推进系统20传递至车轮16-18。根据各种实施例，传动系统22可包括有级自动变速器、无级变速器、或其他适合的变速器。制动系统26构造成提供制动转矩给车轮16-18。在各种实施例中，制动系统26可包括摩擦致动器、线控制动、诸如电机的再生制动系统，及/或其他适合的制动系统。转向系统24影响车轮16-18的位置。虽然为便于说明描述成包括转向轮，但在本发明范围内预期的某些实施例中，转向系统24可不包括转向车轮。
传感器系统28包括一个或多个感测装置40a-40n，其感测自动驾驶车辆10的外部环境和/或内部环境的可观察到的状况。传感装置40a-40n可包括但不限于雷达、激光雷达(LIDAR)、全球定位系统、光学照相机、数字照相机、热照相机、超声波传感器和/或其他的传感器。致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可进一步包括内部和/或外部车辆特征，诸如但不限于车门、后备箱以及车舱内特征，诸如空气、音乐、照明等(未编号)。
数据储存装置32储存数据以用于自动控制自动驾驶车辆10。在各种实施例中，数据储存装置32储存定义的可导航的环境的地图。在各种实施例中，可由远程系统预定义并自该远程系统获得定义的地图(结合图2进一步详述)。例如，定义的地图可通过远程系统组合并传送至自动驾驶车辆10(以无线或有线的方式)并储存在数据储存装置32中。应明白，数据储存装置32可以是控制器34的一部分、与控制器34分离、或为控制器34的一部分以及分离系统的一部分。
控制器34包括至少一个处理器44以及计算机可读取储存装置或媒体46。处理器44可以是任何定制的或市售的处理器、中央处理单元(CPU)、图像处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、上述其中的任何组合、或用于执行指令的通用的任何装置。计算机可读取储存装置或媒体46可包括(例如)易失性和非易失性储存只读存储器(ROM)、随机存取存储器(RAM)以及保活存储器(KAM)。KAM是永久性或非易失性存储器，其可用于在处理器44断电的情况下储存各种操作变量。可使用许多已知的存储器装置中的任何一种来实施计算机可读取储存装置或媒体46，诸如PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、闪存、或任何其他的能够储存数据的电、磁、光或其组合的存储器装置，其中一些数据代表在控制自动驾驶车辆10中由控制器34使用的可执行指令。
这些指令可包括一个或多个独立的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行这些指令时，其接收和处理来自传感器系统28的信号，实行逻辑、计算、方法和/或算法以自动控制自动驾驶车辆10的组件，并产生信号给致动器系统30以基于逻辑、计算、方法和/或算法自动控制自动驾驶车辆10的组件。尽管图1中仅显示了一个控制器34，但自动驾驶车辆10的实施例可包括任何数量的控制器34，这些控制器与任何适合的通信媒体或通信媒体的组合通信，且其协作以处理传感器信号、实行逻辑、计算、方法和/或算法，并产生控制信号以自动控制自动驾驶车辆10的特征。
在各种实施例中，控制器34的一个或多个指令嵌入轨迹规划系统100中，且当其由处理器44执行时，将结构化光图案投射到接近车辆10的体积中，并记录来自该体积中一个或多个物体的结构化光图案的反射，从而确定在体积内物体的存在和/或位置。
通信系统36构造成将信息无线传送给其他实体48或从其他实体48传送出去，实体48诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统及/或个人装置(结合图2更具体描述)。在示例性实施例中，通信系统36为无线通信系统，其构造成经由使用IEEE 802.11标准的无线局域网络(WLAN)或通过使用蜂窝数据通信来通信。然而，在本发明的范围内，还可考虑另外或替代的通信方法，诸如专用短程通信(DSRC)通道。DSRC是指单向或双向短程至中程的无线通信通道，其专门针对自动驾驶车辆的使用以及相应的一系列协定和标准而设计。
在其他实施例中，车辆10可以是非自动驾驶车辆或驾驶员辅助的车辆。车辆可提供音频或视频信号以提醒驾驶员物体的存在，从而允许驾驶员采取选择的动作。在各种实施例中，车辆提供视觉信号给驾驶员，以允许驾驶员观察车辆周围的区域，尤其是车辆后面的区域。
图2示出了可用于图1的车辆10的物体检测系统200。物体检测系统200包括照明器204，其在本文中也称为“结构化照明器”，其将结构化光图案206投射到体积中。在各种实施例中，结构化光图案206为垂直条纹的图案216，其均匀间隔且以一定角度分开。在替代性实施例中，结构化图案可以是垂直条纹的堆叠、点矩阵、十字线图案、同心圆等。在各种实施例中，结构化照明器204产生的光的频率在电磁光谱的红外区域中，诸如在大约850纳米(nm)处。
在各种实施例中，结构化照明器204采用衍射透镜形成垂直条纹216。在本发明的实施例中，衍射透镜可包括与一维微电机系统(MEMS)扫描仪组合的折射元件。或者，衍射透镜可将折射光学器件与二维MEMS扫描仪组合。在另一替代性实施例中，照明器204可包括光学相控阵、经由折射光学器件成像的垂直空腔表面发射激光器(VCSEL)、多面体扫描仪等。
投射到体积中的光206被物体212反射，随后被检测器208接收到。在一实施例中，检测器208为互补金属氧化物半导体(CMOS)像素阵列，其对可见光谱中(例如在大约400nm至大约700nm)的光以及红外光谱中(例如在大约850nm处)的光敏感。滤波器210布置在检测器208上。滤波器210通过可见光谱以及电磁辐射的红外光谱中的光。在各种实施例中，滤波器210允许在大约850nm范围内的频率的光。在一种模式中，当结构化照明器204未使用时，检测器208可用作可见光成像装置。例如，检测器208可从车辆10身后捕获图像，以将图像提供给车辆10的驾驶员或提供给检测物体和/或导航车辆10的处理器。在另一模式中，可启动结构化照明器204以产生在红外线区域内(例如在大约850nm处)的结构化光图案206，且检测器208可捕获可见图像和反射的结构化红外光图案两者。由检测器208捕获的可见图像可与结构化光图案的反射一起使用来确定物体的位置。在替代性实施例中，仅使用在850nm处的光来检测和定位物体。
虽然为了在倒车时辅助驾驶员，所示检测器208和结构化照明器204位于车辆10的后部位置，但为了任何适合的目的，检测器208和照明器204可置于车辆的任何地方。
图3示出了图2的示例性检测器208的响应光谱，其中示出了在各种波长(λ)处像素的量子效率(QE)。在各种实施例中，检测器208包括多个像素，每一个像素设计成对光的特定波长敏感或有响应。通过采用多个这样的像素，检测器响应多个波长，诸如红光(302)、绿光(304)和蓝光(306)。虽然，像素的敏感度在其各自波长处具有峰值，但这些像素也对红外区域(即在大约700nm至大约1000nm之间)中的辐射敏感。
图4示出了可用于本发明的检测器208的图2的示例性滤波器210的通带频谱400。通带频谱400示出了在各种波长(λ)处光的透射率(T)。滤波器210允许可见光以及在大约850nm区域内的红外光到达检测器208。
图5示出了说明垂直条纹图案216投射到诸如路面502的平坦水平面上的图像500。当照明路面502时，通过结构化照明器(204，图2)发射的垂直条纹216a-216i当从照明器204或车辆向外延伸时形成发散或扇出的一组线。由于垂直条纹216a-216i具有有限的高度，因此所投射的垂直条纹216a-216i自车辆延伸选定的距离，从而为物体检测系统200提供检测范围。在各种实施例中，垂直条纹216a-216i界定检测区域，该区域为自车辆延伸至多大约5米的距离。
图6示出了说明物体610的存在对图5的垂直条纹216a-216i的反射的影响的图像600。出于说明的目的，物体610为三轮车。未与三轮车相交的条纹，诸如216a、216h和216i沿路面保持为发散的垂直的线条。然而，与三轮车相交的条纹，诸如216c、216d、216e、216f和216g由于三轮车而弯折。
图7示出了来自物体610的垂直条纹216a-216i的反射的记录或图像700。为检测物体610，可使滑动扫描窗720移动通过所检测的图像700，从而检测在所记录的反射中的偏差。在实施例中，处理器存取储存的线模型，该线模型表示来自平滑水平表面(诸如路面502)的垂直条纹的反射的位置。随着滑动窗口702移动通过图像700，处理器测量在由储存的线模型表示的位置处的反射的能量。将在这些位置处的反射的能量与能量限值比较以检测反射线与线模型的偏差。偏差的位置和/或形状决定了物体610的大致形状和位置，其可用于提醒车辆10的驾驶员。
在一实施例中，处理器确定垂直条纹216a-216i中的偏差的位置，并追踪由于图6的物体610的存在导致的反射线的改变的方向。偏差的位置可用于允许处理器确定物体的位置。
图8示出了其中具有多个物体802、804、806、808、810、812和814的场景800。使用本文公开的方法确定的边框820显示叠加在物体802、804、806、808、810、812和814上。虽然，可单独使用结构化光图案的投射确定边框820，但在一些实施例中，可将从结构光图案获得的信息与自可见图像检测物体的方法组合。
图9示出了说明其中红外光的反射和可见图像可用于训练神经网络或模型以识别物体的方法的流程图900。在框901中，处理器接收来自检测器的体积的红外图像，即来自物体的结构化光图案的反射。在框903中，处理器自检测器接收可见图像。在框905a中，处理器根据结构化光图案的反射确定物体的位置，并且还根据可见图像确定或识别物体周围的边框。在这么做时，处理器训练神经网络和/或计算机模型，以将物体的边框与结构化光图案的反射的具体形状相关联。之后，在框907中，可接收结构化光图案的反射并将其传送至训练过的网络905b。训练过的网络905b仅使用自框907接收的光识别物体909，避免了接收来自可见图像的信息的需要。
图10示出了说明使用本文公开的方法导航车辆的方法的流程图1000。在框1001中，自车辆投射结构化光图案至周围体积或区域中。在框1003中，在检测器处接收结构化光图案的反射。在各种实施例中，光为红外光且检测器前方设置的滤波器包括通带区域，其允许反射的红外光在检测器处被记录。在框1005中，处理器检测反射的光图案相对于预期来自路面的反射的扭曲和偏差。反射光的物体引起这样的扭曲和偏差。因此，处理器可根据检测到的扭曲和偏差确定物体的大致形状和位置。在框1007中，处理器向车辆提供物体的位置和形状，使得车辆可相对于物体导航。
虽然已参考示例性实施例描述本发明，但本领域技术人员应明白，可在脱离本发明的范畴下作出各种改变，且可以用等效物替代其中的元件。此外，在不脱离本发明的实质范围的情况下，可根据本发明的教示进行很多修改以适应特定情形。因此，本公开并不期望受限于所公开的具体实施例，而是将包括落在其范围内的所有实施例。
Claims (10)
1.一种检测物体相对于车辆的位置的方法，其包括：
在所述车辆处将选定频率的结构化光图案发射至包括所述物体的体积中；
在所述车辆的检测器处接收自所述体积的所述光图案的反射；
在处理器处确定来自所述体积中所述物体的所述结构化光图案的所述反射中的偏差；以及
根据所述偏差确定在所述体积中所述物体的所述位置。
2.根据权利要求1所述的方法，其中所述结构化光图案为垂直条纹的图案。
3.根据权利要求1所述的方法，其进一步包括：通过比较在具有期望强度的位置处的反射强度与表示来自平坦水平表面的结构光图案的反射的线模型来确定所述偏差。
4.根据权利要求1所述的方法，其进一步包括捕获所述物体的图像，以及将所述光图案的反射中的所述偏差与所述物体的所述图像比较，以训练神经网将所述结构化光图案的反射中的所述偏差与所述物体相关联。
5.根据权利要求4所述的方法，其进一步包括：根据在所述光图案的反射中的偏差的位置以及训练过的神经网络的关联，确定物体的位置。
6.一种车辆，包括：
照明器，其构造成在体积中产生选定频率的结构化光图案；
检测器，其构造成检测来自所述体积的所述光图案的反射；以及
处理器，其构造成：
确定由于所述物体造成的在所述光图案的所述反射中的偏差；以及
根据所述确定的偏差来确定所述物体的位置。
7.根据权利要求6的车辆，其中所述照明器产生所述选定频率的垂直条纹的图案。
8.根据权利要求6所述的车辆，其中所述处理器进一步构造成：通过比较在具有期望强度的选定位置处的反射强度与表示来自平坦水平表面的所述结构光图案的反射的线模型来确定所述偏差。
9.根据权利要求6所述的车辆，其中所述处理器进一步构造成：用所述图案照明所述物体，且将在所述光图案的反射中的所述偏差与引起所述偏差的所述物体的图像比较，从而训练神经网络将所述光图案的所述偏差与所述选定的物体相关联。
10.根据权利要求6所述的车辆，其中所述处理器进一步构造成：根据在所述光图案的反射中的偏差的位置以及所述训练过的神经网络的关联，来确定物体的位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/873319 | 2018-01-17 | ||
| US15/873,319 US20190220677A1 (en) | 2018-01-17 | 2018-01-17 | Structured light illumination system for object detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110045389A true CN110045389A (zh) | 2019-07-23 |
Family
ID=67068823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811570072.4A Pending CN110045389A (zh) | 2018-01-17 | 2018-12-21 | 用于物体检测的结构化光照明系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190220677A1 (zh) |
| CN (1) | CN110045389A (zh) |
| DE (1) | DE102019100549A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102619558B1 (ko) * | 2018-11-16 | 2024-01-02 | 현대모비스 주식회사 | 자율주행차의 제어시스템 및 그 제어방법 |
| KR102588354B1 (ko) * | 2021-03-08 | 2023-10-13 | 한국알프스 주식회사 | 스캔 성능이 향상된 광위상 배열 라이다 |
| FR3124253A1 (fr) * | 2021-06-18 | 2022-12-23 | Valeo Vision | Procédé de détection d'un objet sur une surface de route, procédé de conduite autonome et dispositif d'éclairage automobile |
| CN114537429A (zh) * | 2021-08-23 | 2022-05-27 | 北京小米移动软件有限公司 | 车辆控制方法、装置、车辆及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1955720A (zh) * | 2005-10-24 | 2007-05-02 | 通用电气公司 | 用于检查物体的方法和装置 |
| US20070182528A1 (en) * | 2000-05-08 | 2007-08-09 | Automotive Technologies International, Inc. | Vehicular Component Control Methods Based on Blind Spot Monitoring |
| CN101118155A (zh) * | 2006-08-01 | 2008-02-06 | 三菱电机株式会社 | 用于感测反光物体的表面形状的方法和系统 |
| US20130307932A1 (en) * | 2012-05-21 | 2013-11-21 | Xerox Corporation | 3d imaging using structured light for accurate vehicle occupancy detection |
| CN107532885A (zh) * | 2015-02-25 | 2018-01-02 | 脸谱公司 | 光图案中的强度变化用于体积中的物体的深度绘制 |
-
2018
- 2018-01-17 US US15/873,319 patent/US20190220677A1/en not_active Abandoned
- 2018-12-21 CN CN201811570072.4A patent/CN110045389A/zh active Pending
-
2019
- 2019-01-10 DE DE102019100549.3A patent/DE102019100549A1/de not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070182528A1 (en) * | 2000-05-08 | 2007-08-09 | Automotive Technologies International, Inc. | Vehicular Component Control Methods Based on Blind Spot Monitoring |
| CN1955720A (zh) * | 2005-10-24 | 2007-05-02 | 通用电气公司 | 用于检查物体的方法和装置 |
| CN101118155A (zh) * | 2006-08-01 | 2008-02-06 | 三菱电机株式会社 | 用于感测反光物体的表面形状的方法和系统 |
| US20130307932A1 (en) * | 2012-05-21 | 2013-11-21 | Xerox Corporation | 3d imaging using structured light for accurate vehicle occupancy detection |
| CN107532885A (zh) * | 2015-02-25 | 2018-01-02 | 脸谱公司 | 光图案中的强度变化用于体积中的物体的深度绘制 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019100549A1 (de) | 2019-07-18 |
| US20190220677A1 (en) | 2019-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102327997B1 (ko) | 주위 감지 시스템 | |
| US20210122364A1 (en) | Vehicle collision avoidance apparatus and method | |
| CN110045389A (zh) | 用于物体检测的结构化光照明系统 | |
| US10366512B2 (en) | Around view provision apparatus and vehicle including the same | |
| US10183541B2 (en) | Surround sensing system with telecentric optics | |
| US9840197B2 (en) | Apparatus for providing around view and vehicle including the same | |
| US11334754B2 (en) | Apparatus and method for monitoring object in vehicle | |
| US20230194719A1 (en) | Method for Measuring a Distance Between an Object and an Optical Sensor, Control Device for Carrying Out Such a Method, Distance Measuring Apparatus Comprising Such a Control Device, and Motor Vehicle Comprising Such a Distance Measuring Apparatus | |
| US9063548B1 (en) | Use of previous detections for lane marker detection | |
| CN107428287A (zh) | 影像投射装置 | |
| JP4556742B2 (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
| CN114375467B (zh) | 用于检测紧急车辆的系统和方法 | |
| JP7437512B2 (ja) | 撮像システムのための車線の検出および追跡方法 | |
| EP3045935A1 (en) | Surround sensing system with dome-filter assembly | |
| US11699250B1 (en) | System and method for low visibility driving | |
| US10771665B1 (en) | Determination of illuminator obstruction by known optical properties | |
| KR20230137441A (ko) | 주차 보조 시스템을 동작하는 방법 및 디바이스, 주차장, 및 차량 | |
| JP7334479B2 (ja) | 対象物検出システムおよび対象物検出方法 | |
| CN115782902A (zh) | 用于校准多个传感器的方法和系统 | |
| US20230302987A1 (en) | Method for Object Tracking at Least One Object, Control Device for Carrying Out a Method of This Kind, Object Tracking Device Having a Control Device of This Kind and Motor Vehicle Having an Object Tracking Device of This Kind | |
| US20240132065A1 (en) | Method and device for operating a parking assistance system, parking garage, and vehicle | |
| US20230221411A1 (en) | Method for Detecting Lost Image Information, Control Apparatus for Carrying Out a Method of this Kind, Detection Device Having a Control Apparatus of this Kind and Motor Vehicle Having a Detection Device of this Kind |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190723 |
|
| WD01 | Invention patent application deemed withdrawn after publication |