CN102447911B - 图像获取单元、其方法以及相关控制单元 - Google Patents

图像获取单元、其方法以及相关控制单元 Download PDF

Info

Publication number
CN102447911B
CN102447911B CN201110224745.2A CN201110224745A CN102447911B CN 102447911 B CN102447911 B CN 102447911B CN 201110224745 A CN201110224745 A CN 201110224745A CN 102447911 B CN102447911 B CN 102447911B
Authority
CN
China
Prior art keywords
laser radar
data
video
pixel
array data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110224745.2A
Other languages
English (en)
Other versions
CN102447911A (zh
Inventor
魏载荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN102447911A publication Critical patent/CN102447911A/zh
Application granted granted Critical
Publication of CN102447911B publication Critical patent/CN102447911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明公开将从摄像机获取的视频数据和从激光雷达获取的范围或深度数据相结合使用的方法。本发明图像获取单元包括：罩体；摄像机系统，其包括至少一个摄像机，还包括用于视频数组数据的视频输出端，所述视频数组数据是通过所述至少一个摄像机而获取的；激光雷达系统，其包括至少一个激光雷达发射器和激光雷达接收器，还包括用于激光雷达数组数据的激光雷达输出端，所述激光雷达数组数据是从所述激光雷达接收器获取的；融合积分器，其与所述视频输出端和所述激光雷达输出端连接，用于接收所述视频数组数据和所述激光雷达数组数据，具有将所述视频数组数据和所述激光雷达数组数据融合成结合数组数据的融合功能；以及输出，用于从所述罩体输出所述结合数组数据。

Description

图像获取单元、其方法以及相关控制单元
技术领域
本改进涉及车辆用虚拟视觉系统(Artificial vision system)领域，更详细地讲，是关于与危险感知相关的图像获取以及数据存储。
背景技术
虽然虚拟视觉系统已被皆知，但是具有很多不便于适用在车辆上的限制。因此，关于将虚拟视觉系统适用于车辆领域，需要解决相关的问题。
发明内容
发明要解决的课题
本发明是为了解决如上所述的现有技术中所存在的问题而提出的，其公开了将从摄像机获取的视频数据和从激光雷达(LIDAR)获取的范围或深度数据相结合使用的技术。这两个数据源分别具有各自的局限，这些数据的结合使用能够提供补偿性信息。例如，常见的激光雷达的分辨能力比常见的摄像机的分辨能力差，其中，以无法识别车道路线标识、道路标志以及信号灯等物体的颜色为典型代表。于此相反，来自摄像机的信号例如存在无法直接测定在摄像机前方捕获的物体的距离的限制。该信号的可靠性由夜间、雾气、烟雾、雨、雪、直射光线、直接来自对面车辆前照灯的灯光及天气状况等左右，并且对诸如进入隧道时等光状态的变化具有曝光调整延迟。使用其中一项信号，能够使从其中另一项信号获取的信息变完整或者至少能够提供有用的冗余(redundancy)。例如，如车道路线标识脱落或被盖住时那样，无法从摄像机获取车道路线标识时，激光雷达信号能够提供深度信息，为了确定路边弯道或阻碍物位置，可以对该深度信息进行分析。因此，两信号的使用除了在使用车道路线标识信息之外还使用道路边缘弯道信息，或者代替该车道路线标识信息而使用道路边缘弯道信息，从而帮助提供有用的车辆位置的信息。并且，从控制模块方面来看，图像获取单元的提供能够成为非常实用的视频数据源，其中，图像获取单元具有事先融合(co-registered)了的视频和激光雷达信号。其还可适用于：车道路线脱离警告系统，智能巡航系统(Smart Cruise System)，物体、行人感知系统，标志、信号灯识别帮助系统，夜间行驶和恶劣天气行驶帮助系统。
解决课题的方法
为了解决上述课题，本发明提供一种车辆虚拟视觉系统，其为了帮助车辆运行而对来自彩色视频数据源和激光雷达数据源这两者的视频数据进行解析。来自彩色视频数据源和激光雷达数据源的数据在数据获取阶段中被结合，在数据解析的第二阶段中以已结合的状态接收。
在本发明的另一个方面，提供一种图像获取单元，所述单元包括：罩体；摄像机系统，其包括至少一个摄像机，还包括用于视频数组数据(arrayed data)的视频输出端，所述视频数组数据是通过所述至少一个摄像机而获取的；激光雷达系统，其包括至少一个激光雷达发射器(激光源)和激光雷达接收器(3D LIDAR)，还包括用于激光雷达数组数据的激光雷达输出端，所述激光雷达数组数据是从所述激光雷达接收器获取的；融合积分器，其与所述视频输出端和所述激光雷达输出端连接，用于接收所述视频数组数据和所述激光雷达数组数据，具有将所述视频数组数据和所述激光雷达数组数据融合(co-registration)成结合数组数据(combined arrayed data)的融合功能；以及输出，用于从所述罩体输出所述结合数组数据；所述融合功能是通过如下方式来实现的：在对视频数组数据和激光雷达数组数据的长宽比进行缩放及/或修剪之后，将已有的激光雷达像素数据值与其相关联的视频像素进行匹配，继而通过为相邻的激光雷达像素之间的每个中间视频像素位置计算线性衰减值对原本空缺的激光雷达数据进行插值，以及将计算的已平均化的及/或已近似化的激光雷达像素值与所述中间视频像素相关联；
所述摄像机系统和所述激光雷达系统被共同安装在所述罩体中。
在本发明的另一个方面，提供一种图像获取方法，其包括：从至少一个摄像机获取视频数组数据的阶段；从接收的被反射的激光雷达信号获取激光雷达数组数据的阶段；以及将所述视频数组数据和所述激光雷达数组数据融合成一个结合数组数据信号的阶段；所述融合功能是通过如下方式来实现的：在对视频数组数据和激光雷达数组数据的长宽比进行缩放及/或修剪之后，将已有的激光雷达像素数据值与其相关联的视频像素进行匹配，继而通过为相邻的激光雷达像素之间的每个中间视频像素位置计算线性衰减值对原本空缺的激光雷达数据进行插值，以及将计算的已平均化的及/或已近似化的激光雷达像素值与所述中间视频像素相关联；
所述摄像机系统和所述激光雷达系统被共同安装在所述罩体中。
在本发明的另一个方面，提供一种控制单元，其包括：视频信号获取器，将从上述图像获取单元输出的结合数组数据信号作为视频信号来接收；视频处理器，用于处理所述获取的视频信号；危险分析器，从所述被处理的视频信号或者从其他数据源能够感知危险；以及存储设备(黑匣子)。
本领域技术人员，通过下面陈述的详细说明，能够明确本发明的另外其他不同特征和它们的组合。
有益效果
本发明是为了解决现有技术中的问题而提出的，其通过将从摄像机获取的视频数据和从激光雷达(LIDAR)获取的关于范围或深度的数据相结合使用，克服这两个数据源各自所具有的局限，并能够提供补偿性的信息。
附图说明
图1和图2是图像获取单元的第一实施例的图解图。
图3是图示修剪(cropping)的图解图。
图4是例示融合(co-registration)的例子的图解图。
图5和图6图示图像获取单元的另一实施例。
图7图示图像获取单元的另一实施例。
图8是与控制模块结合的图像获取单元的方框图。
图9和图10表示信号的例子。
图11是图示激光扩散的图解图。
具体实施方式
图1图示将摄像机系统和激光雷达系统一同包含的图像获取单元的例子。在本实施例中，图像获取单元作为独立单元提供于单个罩体(housing)上，并且具有融合积分器(integrator)，该融合积分器将视频数组数据和激光雷达数组数据融合成结合的数组数据信号。图像获取单元具有结合信号输出端(combined signal output)，该输出端用于输出结合数组信号，使其能够在罩体外部被获取。图2图示图1的图像获取单元的主视图。主视图例如可包括激光雷达发射器、激光雷达接收器以及摄像机用透镜。
在该特定实施例中能够调整罩体的大小，使其能够适合于后视镜和车辆的挡风玻璃之间可使用的有限区域。典型地，为使罩体适合于挡风玻璃的坡度，要求正面倾斜并限制整体大小。
激光雷达和视频数据的结合例如能够于图像获取罩体内在第一阶段中完成，与此形成对比的是，结合数据的分析例如能够通过独立控制模块在第二阶段中完成。
摄像机系统根据具体应用可以进行多样变更，例如可以是CMOS、CCD照相机(例如，是全景视觉或者Micron mobile eye CMOS camera公司的WXHA(1280×800)的高动态范围和高清晰图像传感器)。摄像机系统典型地以规定视频像素的2D数组形式提供视频数组数据的输出，并且各视频像素具有RGB相关数据。
激光雷达系统根据具体应用可以进行多样变更。根据需要，可以是(ASC公司的)3D闪光激光雷达类型，也可以是基于InGaAs检测器如128×128 APD InGaAs检测器(Advancedscientific concept公司的)的接收器或者大型数组InGaAs APD类型激光测距仪接收器(例如，Florida Longwood的analogue module incorporated公司制造的7500型号或者PerkinsElmer Optoelectric公司的C30659型)的对眼睛和皮肤无伤害的1530-1570nm激光二极管的发射器(例如，New Jersey Edison的M/A-Com公司的CVLM57mfg型号)，也可以以规定数的激光雷达像素的2D数组形式提供数据信号。典型地各激光雷达像素会具有跟其相关的深度(depth，D)数据和强度(intensity，I)数据。激光雷达能够测定前方的物体或者车辆的正确距离。特别是为了应用于智能巡航控制而测定距离。将激光雷达应用到车辆时，能够绰绰有余地测定例如1m至150m或者1m至200m的距离。
对闪光激光雷达等的激光雷达的应用而言，发射器侧的光透镜使用扩散器以及/或者滤光器作为光路径的一部分。滤光器还可以用在接收器的光路径上。为了收纳和聚集激光输出成某一形状，扩散器为一种折射光学器件，其能够将所述光重新分配成规定图案。而且，在扩散器的接收器侧，扩散器需要具有与光学透镜的接收器侧的形状相同的形状。起因于光塑形扩散器(light shaping diffuser)的扩散可以扩张视角。一些方向转换膜(Direction Turning Film)能够将具有菲涅耳/棱柱光束移动(shifting)结构的光塑形扩散器的角分配特性和扩散结合起来。当无法处在同一直线上时，这些弯曲光的膜使流入光束能够偏离轴(off-axis)。应用包括例如LED照明设备、飞行显示器、交通信号、显示器以及LCD背光灯。这些还可以用于变化光束方向使其能够照射墙壁、人行道以及其他照明对象。扩散器可以与单纯20°方向转换膜或者光塑形扩散器的角度结合而使用。可以进行一般的变形。在接收器侧可使用如带通滤波器的滤光器、衰减或偏振滤波器，用于早期滤除不需要的信号和最大程度地降低不希望出现的噪音。
3D闪光激光雷达可以通过计算飞行时间(Time Of Flight)来测定距离(激光放射和所述激光反射之间的时间段，该反射是指从所述物体至接收器光学透镜的反射)。在现有的激光测距仪(laser range finder)的应用中(例如用于军事用激光测距仪的analogmodule公司制造的激光测距仪接收器模块7500系列。其识别高达255个目标(target)，识别范围为1m到1km，具有高的准确度，即，用对眼睛和皮肤安全的1530-1550nm波长长度，能够测定照相机前方的物体的255个不同的参数值)，由于激光能够进行细致而正确的距离测定并识别道路和路边石之间的高度差，从而能够用于识别道路边缘距离和弯道。车道路线标识的直方图运算可以通过测定标识强度来识别。这对为使车辆位于道路中央而将车辆维持在左右侧车道路线标识之间而言是很重要的。激光通过测定道路和路边石(curb)之间的高度差能够正确测定路边石。这种重要的信息可以解析为与道路相关的使用者车辆的位置和姿态。在看不见或者看不清车道路线标识时，路边石测定对测定车辆位置、将车辆安全地维持在道路上而言是很重要的。这与道路上车辆位置相关联而成为参照位置。车道路线标识模糊及/或者被抹掉时，虽然通过摄像机及/或者激光对车道路线标识强度进行解读不是不可能，但也是极其困难的。激光能够测定车道路线标识的强度(intensity)，并为了识别道路上的车道路线标识，与图像解析算法结合并利用直方图。
结合了激光测距仪性能的照相机前方的物体或者车辆的视频图像能够提高车道路线识别能力。
融合积分器本质上能够将来自摄像机系统的像素的RGB色相数据与激光雷达系统的对应像素的深度(D)相匹配，可选地还与强度(I)相匹配，以在一个称为融合(co-registration)的处理中获取具有RGBD信息的2D数组的像素。
在多数情况下，摄像机系统具有比激光雷达系统更高的分辨率、不同视角、不同的光学接收特性，这些都会阻碍摄像机像素和激光雷达像素的直接匹配。
为了不失去垂直和水平修剪(cropping)的支持(support)并适当使其处于一致，需要注意视频数据和激光雷达数据长宽比(aspect ratio)的缩放及/或修剪。图3图解图像的修剪。
如果接收光学仪器中为了收容差距而实行适当的缩放、修剪以及可能的后续修补，各激光雷达像素能够与包括一个以上视频像素的视频像素“区域”相关联。
简要地，对融合而言典型地要求依据特定激光雷达像素值将深度或者范围值与各个视频像素相关联。实现上述关联的方法如下：将已有的激光雷达像素数据值与其相关联的所有视频像素，即，与相关联区域内的所有视频像素简单地进行匹配。在没有非线性光学变形的几个实施例中，上述关联仅仅通过如图4所示的行列来匹配像素数组结构而实现。但是在其他实施例中可以有更好的其他适用方法。例如，代替将一个激光雷达像素数据与所述区域内的所有视频像素视频数据相关联的方法，更优选采用如下方法：通过为相邻的雷达像素之间的每个中间视频像素位置计算线性衰减值，对原本空缺的雷达数据进行插值，而不是直接填入，以及将计算的已平均化的及/或已近似化的激光雷达像素值与所述的中间视频像素相关联。
在某些情况下，为了评价由融合而实现的匹配准确度，需进行初始矫正。这种负担能够通过在共同框架上牢固设置作为共同罩体一部分的激光雷达和视频系统的光学仪器而减少。由此，视频系统和激光雷达系统将会共同受到振动，这与将摄像机和激光雷达光学仪器提供在车辆的多个分离的部件上的情况相比，则更少地影响融合。
在这实施例中，图像能够以30fps以单一连续视频输出而合并。
参照图5，其图示其他图像获取单元的例子。大小可以为3-6英寸。在图6中图示图5的图像获取单元安装在车辆后视镜以及挡风玻璃之间的状态。单元的罩体由轻量、经过温度处理的塑料物制得，罩体包括用于接收光学透镜的两个分离的窗和用于激光输出的一个窗。罩体的前面以与倾斜的挡风玻璃完全吻合的方式倾斜，具有去掉挡风玻璃以及光学镜头内可产生的湿气并用于提供调节空气的空气孔，并被小于四分之三英寸厚度的橡胶缓冲垫圈包围。这可以减少对照相机的冲击和振动的影响。另外，这对照相机排列的准确度有帮助(从驾驶员方面来看)，并被设计为能够看到25°以上的全体视野角。
参照图7，图示其他图像获取单元的另一例子。在此实施例中，激光雷达系统还包括备用发射器，该备用发射器通过减少维修费用而有助于提高整体价值。进一步，该实施例使用一个以上的照相机，更正确地讲使用包括两个广角相机和两个望远/变焦相机的四个视频摄像机。在该实施例中，照相机是可定向(orientable)的，特别是为了能够将通过广角相机捕捉的具体特征进行变焦，可以采用望远/变焦相机。进一步，照相机位于图示的能够延长的支架，并以能够移动的方式构成。另外也可以以线架来延长的方式构成。
在所述的实施例中，图像获取单元向控制模块提供具有色相以及深度数组数据的3D信号，该控制模块具有所要求的根据预定方式分析所述数据并进行干预的功能。控制模块可作为车辆CPU的一部分或者作为其他单元而提供，图像获取单元将融合的激光雷达和视频信号(已结合的信号)作为对控制模块的若干个输入中的一个而提供。通过图像获取单元而提供的组合数据为控制模块执行驾驶员安全帮助程序对应的算法提供了有用且强有力的帮助。
控制模块可以包括如下的安全驾驶帮助程序：车道路线脱离警告系统，夜间驾驶、雾气、阳光或者前照灯等恶劣天气驾驶以及智能巡航系统(给予使驾驶车辆和在前车辆之间维持安全距离的帮助)。可以构造控制模块，使其以许多种不同的方式向驾驶员发出警告，如，使车辆音响发出危险警告，或用可视光发出警告，当有冲突危险时通过振动方向盘或坐席来发出警告。而且还可以以如下方式来构造控制模块：使其能够进行如无驾驶员的介入而减速的自我诊断和自我操作。该系统能够实行多个预定的安全参数要求，并在规定的条件下能够通过CAN总线通讯协议自动操作车辆。该应急安全对策是用于避开与其他车辆或者行人的冲突。为了避开冲突可以停止车辆或者为了预防车祸以向左侧或右侧转换方向的方式操作车辆。
工作系统检索并关联物体的数据库库(database library)，将通过CMOS或者激光组件捕捉的实际图像和植入(embeded)在数据库库中的图像进行比较，从而立即确认感知的物体，因此区别并识别其他物体如行人、车道路线标识、车辆等等。相比“哔哔哔”等传统型车辆音响警告，本系统提供如下的特定物体的音频警告，如：“左/右侧附近有行驶的自行车”，“正越过左/右侧车道路线”，“前方有行人”，“与左/右侧车道路线车辆过于靠近”。当工作系统无法区别和识别物体时，可以提供缺省警告，如“与左/右/前方的物体过于靠近”。如果与其他组件接口，就可以通过方向盘或者坐席的振动来警告驾驶员。在驾驶员听嘈杂的音乐或者驾驶途中打瞌睡的情况下，这种警告作为辅助性安全警告方法而启动。
利用所述图像获取单元能够使结合信号可以被控制模块获取，该控制模块因此能够准确地测定与照相机前方(从1m到150、200m或者更远)物体的距离；使用门控制模式(gate mode)并计算飞行时间，从而在雾气、烟雾、降雨、降雪等天气环境下也能够看得清楚；能够用于夜间视觉，例如夜间以及隧道中；在直射光线、前照灯下也能够看清楚；能够测定“z”深度(depth)，用于不仅提供鸟瞰图，还提供三维支点卫星云图；能够提供具有三维支点卫星云图的高画质实时视频图像，该三维支点卫星云图能够提供准确而详细的距离并正确检测物体的深度以及识别和区分道路上其他车辆；提供信号灯信号(RGB)和标志识别；能够辨别其他颜色的车道路线标识；能够输出使驾驶员能更准确识别周边状况的高画质实时视频图像。
下面描述通过算法和软件来使用结合信号的控制模块的例子。
就车道路线脱离警告系统而言，检测车道路线标识，帮助车辆维持在车辆前的两侧车道路线内的中央，当驾驶员无意识地越过车道路线标识而向左侧或右侧行驶时提供警告。摄像机具有车道路线标识识别功能并监控车辆的前方，引导驾驶员行驶在指定的区域，即、车道路线分离标识内，如果车辆在没有方向指示信号的指示下越过车道路线标识，软件将会检测出可能的不注意的驾驶行为或者可能会威胁他人安全的向其他车道路线的无意识移动，并向驾驶员发出警告。在监控驾驶模式期间，该系统通过CMOS相机的视频图像对某安全区域监控参数(parameter)的可能违反进行监控。当车辆没有恰当的方向指示信号而越过车道路线标识时，软件向驾驶员迅速发出警告。
就智能巡航控制系统而言，当驾驶员超过根据前方其他车辆而提出的安全距离时，系统会发出预定级别的警告，如按规定警告基准发出音频或者发出视觉性警告等，当违反了可以导致事故的安全距离时能够启动自动刹车系统。
就物体和行人检测系统而言，检测物体是否为行人、车辆、电线杆或者需要检测而设置的物体。
标志和信号灯识别：识别静止标识，检测信号灯是绿色还是红色并必要时提供适当的警告。
夜间驾驶和恶劣天气驾驶帮助：系统在雾气、烟雾、降雨、降雪等环境下也可以工作并且也不会受到互射的前照灯的影响。
参照图8，该图图示可以作为控制模块的多种输入中一个来利用的图像获取单元的另一例子。
图像获取单元能够使系统的光学模块利用两个独立的图像系统而获取信息：摄像机系统和激光雷达系统。该特定实施例还包括珀耳帖效应冷却器(TE-Cooler)系统，用于向组件提供适当的工作温度。
摄像机系统由一个以上基于CMOS相机构成，并且由根据照相机可提供所要求的视角和光圈的适合的透镜构成。想用较低成本实现时，可以采用单一的广角相机，在比其复杂的结构中，单一望远透镜以高精密度直接覆盖照相机前方，两个广角相机如以低分辨能力提供侧视频。各摄影机可以拥有偏光透镜(例如UV滤光器)还可以附有滤光器。
光雷达(激光雷达)系统以激光脉冲的发射和反射的光束重回到检测系统的飞行时间的计算为基础。在该实施例中，使用了1550nm的对眼睛无伤害的光源。在输出的精密的频率特性的观点上优选激光光源。
光源以单脉冲串形式产生脉冲。“脉冲”可以由外部源，在本实施例中由脉冲发生器，调制成“能够被识别”的图案，该图案能够被图像获取模块部分描述的该激光雷达成像服务系统识别。在本实施例中，输出光束通过适当的透镜，例如，能够以采用不同于扫描激光的单脉冲来覆盖关注区域的方式扩散。光学“分束器”用在将输出光束的一部分发送至检测器。第二激光发射器作为“备用”设备可以安装在本系统。备用设备的使用能够延长激光雷达服务系统的使用年限，因此可以减少维持管理要求。驱动自我诊断(POST)中，图像获取模块能够设置成如下：判断主发射器的故障，并使用第二发射器来代替故障发射器。为了实现该功能，能够使用适当的光学器具将两个发射器的输出光束排列在一起。
在优选实施例中，检测器为FPA InGaAs检测器，对发射器频率敏感。FPA的分辨能力可以适用于特定应用。以类似于其他照相机的方法，设置光学器具位于适当位置，以使反射的光束聚焦至FPA的平面。滤光器用于减少由其他频率引起的干扰。
如上所述，FPA直接接收发射器信号的一部分(如果是数组，则是部分)。发射器信号用于触发计数器或者积分机制，识别已发射脉冲的“起始时间(zero time)”。从该参照，对于数组的各检测器，反射的脉冲飞行时间可以利用下述的回路计算。
图像获取模块不仅包括用于输出融合于单个流的RGB图像(本说明书中称为RGB图像或者图像流)的积分机制，并且还包括对光学部件的所有控制逻辑，其中RGB图像在RGB像素级别上具有深度和红外线强度信息。图像获取膜模块还包括所需的用于接入CMOS相机和用于控制LIDAR发射器的服务系统的控制及获取逻辑。由多个单元构成的服务系统用于获取并解析激光雷达的FPA数组输入。
CMOS相机图像和激光雷达图像存储于存储器，服务系统在相关的(coherent)RGBID数组中担当RGB和强度-深度数据的积分。
温度调节监控器(例如通过使用电热调节器)用于从激光发射器获取温度信息，并控制TE冷却器服务系统和保障维持激光发射器罩体的已设定的温度。
通信和控制逻辑服务系统用于与后端和外部服务系统的连接上，另外提供对图像获取模块内的所有服务系统的控制逻辑。
照相机控制-获取服务系统获取视频数据至RAM，并按照控制服务系统所设定的参数控制CMOS照相机参数(增益和敏感度等)。服务系统为了保障整体框架总是通过融合处理器能够处理，可以采用双缓冲技术。
脉冲发生器/编码器(coder)服务系统对发射器进行控制，使其产生已编码化的图案的脉冲，各图案由以规定的时间间隔分离的多个脉冲构成。图案的例子图示在图9中。基于激光的最大重复频率，脉冲图案可以设计为二进制序列(启动/停止)图案。以下特征非常适合特定应用：最少每秒15图案(pps)；最少能够选择1024(或以上)的不同图案；图案内的各脉冲之间的时间足够从距离200m或以上的地方反射来的光束的返回进行积分。与脉冲编码验证(validation)服务系统结合而使用的脉冲图案能够区别其他红外线发射器发射的图案。图案可以被编程，若检测到干扰则在控制模块级别上进行任意变更。
激光雷达获取系统因此能够执行一个第三阶段处理，以获取FPA数据，并将其转换成强度-深度数组，该强度-深度数组将要存储于RAM(随机存储器)中。
参照图10，第一阶段为从照片检测器对各FPA“像素”获取接收到的模拟信号。信号在原本发射的信号(TO)的接收强度上显示出第一增加。当反射回来时，信号显示出对应于返回的光束强度的第二增加。两个刺激之间的时间相当于“飞行时间”。第一反射信号强度作为重要信息被存储。利用本技术领域技术人员普遍知晓的回路，对于各“像素”，可以通过“范围/强度获取模块”获取并存储比“图案”的二进制序列的“比特”数更重要的规定数的脉冲(“N”)的飞行时间和第一返回(return)信号强度。如果是对应FPA分辨能力的二维数组，最终数据将会成为两个N x FPA_垂直x FPA_水平数组，一个是深度另一个是强度。
在此水平上，分析获取的数据，以保证其与被编程的“脉冲图案”的关联性。如果图案在某一概率上没被识别，数据将会被拒绝并通知控制模块。经一连串的拒绝后，控制模块能变更放射图案。
激光雷达获取的最终阶段可以对单个FPA_垂直x FPA_水平数组(强度，深度)的点进行组合，这些点将会通过双重缓冲技术被存储于RAM中。将N维的所有信息积分成单一“像素”深度和强度值需要一些仍应由实验决定的处理。简单地进行平均化也足以。
融合积分器模块用于将从照相机的RGB数据和激光雷达的ID数据积分成单一数组或者RGBID点。
两图像数据源的排列、分辨能力以及视角都不相同。那些参数在矫正过程中决定，并可被选择性地存储于参数闪存中。
融合(co-registration)算法将各RGB像素以可能的深度值来标记。
最终RGBID图像通过控制逻辑模块被存储，用以后续的流动。
控制逻辑模块获取启动/停止的外部命令的输入，并调节用于视频获取的参数。
它不仅输出RGBID数据也输出状态信息(到CAN总线，未显示)，以供外部模块使用。
控制逻辑模块负责向图像获取模块内的所有服务系统提供参数及控制命令。
控制模块负责对获取的图像数据进行解析，并向车辆的可利用的服务系统提供适宜的回应。
为了实行该工作，控制模块从外部系统，例如方向指示灯、方向、速度等获取车辆状态信息。控制模块持续地用该闪存模块进行存储，闪存模块可以以“滚动模式(rollingbasis)”将多个获取的信息和关联的图像数据及解析存储至闪存模块，而该闪存模块可以在事故发生时作为“黑匣子”来使用。用闪存模块暂时存储的获取信息和图像数据在事故发生时所述暂时存储的数据不会被删除而是永久存储在SD卡上。即，所有获取信息和图像数据暂时存储在闪存模块1-2分钟后，在闪存器中继续以1-2分钟间隔被删除，若事故发生时检测到确定的危险/事故参数命令，1-2分钟的闪存将不会被删除而是永久存储于SD存储卡中。存储的数据获取信息包括，例如，日期、时间、车速、与其他车辆/物体之间的距离等等。
解析和回应可以是在以下的“视频处理器”、“危险分析模块”以及“回应/使用者接口模块”中描述的三阶段服务系统。
视频处理器/融合的图像获取可以从图像获取模块获取RGBID图像数据的，并可选择地从辅助照相机获取RGB图像数据。视频处理器对从图像数据中识别出的各特征进行特征(feature)抽取，用以提供如下信息：识别图像特征大小和位置(blob)；计算特征位置和轨迹；以及可能的话对特征(形状：自行车，行人，标志)进行分类。为了实行该工作，视频处理器应具有能够从外部变量获取模块得到的车速和方向信息作为输入。
所得信息能够传递给危险分析模块，以供进一步处理。
危险分析模块可以使用通过视频处理器模块提供的数据，危险分析模块可以实行危险级别和根据各物体而定的信息级别评价。物体的大小、轨迹以及位置信息可用于例如冲突可能性评价上。在被编程的驾驶员辅助模式情景中，被识别出的标志和道路标识被评价，以判断它们的相关性。信息和被识别的危险能够提供给回应/使用者接口模块。
回应/使用者接口模块输入危险和信息特征，使用所有其他外部变量决定用以缓和危险而需要采取的行动，并通知驾驶员。行动可以根据车辆特定性能(装备，选项)进行优先顺序化处理。使用者接入行动和提出的缓和方法可以通过CAN总线播放给车辆。
平台的作用在于基于播放的消息启动提出的方法。
回应/使用者接口模块是根据特定平台的应用而决定的模块，其他所有模块是本技术领域一般使用的模块。
黑匣子记录器必定提供存储以后将要使用的数据的功能，如再现视频时需要的数据。出于这种目的，它例如具有临时闪存存储装置。
控制模块内移动的视频数据基于先入先出原则，过去事件可以存储于闪存器一分钟以上，所有以前的数据从SRAM和闪存中消除。事故、冲突或者启动气囊的情况下，存储在闪存器的相当于一分钟长度的存储数据自动存储到黑匣子记录器中，用以以后被检索并再现。在某些条件下，能够自动将，诸如与前方车辆之间的距离记录，相对于车道路线标识的车辆位置位置、弯道以及/或者阻碍物，撞击时间等其他数据存储于黑匣子中。
存储装置可以用于在某一时间窗内连续存储如下的数据：视频融合图像、语音(利用麦克风)、外部变量、危险识别、提出的行动等。启动气囊、冲击检测、强烈的振动、发动机停止、驾驶中门被打开等发生重要事件的情况下，即使被转换到其他存储器区域，但黑匣子的记录仍会继续。该方法在发生一连串事件的情况下，允许保存一个以上的黑匣子事件记录。
服务系统可以专用于从CAN总线获取关联平台的变量。预想到的数据包括速度、行驶方向、方向指示灯信号、发动机状态、门的开闭状态、日光、远光灯、近光灯、气囊启动等。数据可以记录在黑匣子中，可以供控制模块系统内的其他模块使用。
最后，图11图示所提出的激光雷达所发射的激光的扩散图案。
如上所述的公开的各种实施例，所示图示中表示的例子只是用于例示。发明范围根据附有的权利要求书的范围而定。

Claims (23)

1.一种图像获取单元，所述单元包括：
罩体；
摄像机系统，其包括至少一个摄像机，还包括用于视频数组数据的视频输出端，所述视频数组数据是通过所述至少一个摄像机而获取的；
激光雷达系统，其包括至少一个激光雷达发射器和激光雷达接收器，还包括用于激光雷达数组数据的激光雷达输出端，所述激光雷达数组数据是从所述激光雷达接收器获取的；
融合积分器，其与所述视频输出端和所述激光雷达输出端连接，接收所述视频数组数据和所述激光雷达数组数据，将所述视频数组数据和所述激光雷达数组数据融合成结合数组数据，并输出所述结合数组数据；所述融合功能是通过如下方式来实现的：在对视频数组数据和激光雷达数组数据的长宽比进行缩放及/或修剪之后，将已有的激光雷达像素数据值与其相关联的视频像素进行匹配，继而通过为相邻的激光雷达像素之间的每个中间视频像素位置计算线性衰减值对原本空缺的激光雷达数据进行插值，以及将计算的已平均化的及/或已近似化的激光雷达像素值与所述中间视频像素相关联；
所述摄像机系统和所述激光雷达系统被共同安装在所述罩体中；
所述视频数组数据具有2D数组的规定数的视频像素，各视频像素具有红(R)、绿(G)、以及蓝(B)数据，所述激光雷达数组数据具有2D数组的规定数的激光雷达像素，各激光雷达像素具有强度(I)和深度(D)数据，所述结合数组数据具有多个结合像素，各结合像素具有红(R)、绿(G)、蓝(B)、强度(I)以及深度(D)数据。
2.根据权利要求1所述的图像获取单元，其特征在于，所述摄像机系统包括CMOS和照相机控制器。
3.根据权利要求1所述的图像获取单元，其特征在于，所述激光雷达系统包括脉冲发生器、范围/强度获取器以及强度/深度数组构筑器。
4.根据权利要求3所述的图像获取单元，其特征在于，所述脉冲发生器包括编码器，还包括脉冲编码验证器，当没能确认到脉冲编码时，该脉冲编码验证器作为用于拒绝获取的范围/强度数据的、在范围/强度获取器和强度/深度构筑器之间的闸门而启动。
5.根据权利要求1所述的图像获取单元，其特征在于，所述摄像机是广角相机和望远/变焦相机中的一个，所述摄像机系统还包括广角相机和望远/变焦相机中的另一个。
6.根据权利要求5所述的图像获取单元，其特征在于，所述望远/变焦相机能够被定向。
7.根据权利要求1所述的图像获取单元，其特征在于，所述摄像机是可移动的。
8.根据权利要求7所述的图像获取单元，其特征在于，所述摄像机安装在能够延长的支架上，并通过所述可延长的支架的延长能够进行移动。
9.根据权利要求1所述的图像获取单元，其特征在于，所述激光雷达系统包括至少两个通过校准的光学仪器联结的激光发射器。
10.根据权利要求1所述的图像获取单元，其特征在于，所述摄像机系统、所述激光雷达系统以及所述融合积分器具有共同FPGA的电子部分。
11.根据权利要求1所述的图像获取单元，其特征在于，所述摄像机系统、所述激光雷达系统以及所述融合积分器安装在所述罩体内。
12.一种图像获取方法，其包括：
从至少一个摄像机获取视频数组数据的阶段；
从激光雷达系统获取激光雷达数组数据的阶段；以及
将所述视频数组数据和所述激光雷达数组数据融合成一个结合数组数据信号的阶段；
所述融合功能是通过如下方式来实现的：在对视频数组数据和激光雷达数组数据的长宽比进行缩放及/或修剪之后，将已有的激光雷达像素数据值与其相关联的视频像素进行匹配，继而通过为相邻的激光雷达像素之间的每个中间视频像素位置计算线性衰减值对原本空缺的激光雷达数据进行插值，以及将计算的已平均化的及/或已近似化的激光雷达像素值与所述中间视频像素相关联；
所述摄像机系统和所述激光雷达系统被共同安装在罩体中；
所述视频数组数据具有2D数组的规定数的视频像素，各视频像素具有红(R)、绿(G)、以及蓝(B)数据，所述激光雷达数组数据具有2D数组的规定数的激光雷达像素，各激光雷达像素具有强度(I)和深度(D)数据，所述结合数组数据具有多个结合像素，各结合像素具有红(R)、绿(G)、蓝(B)、强度(I)以及深度(D)数据。
13.根据权利要求12所述的图像获取方法，其特征在于，视频像素的数比激光雷达像素的数更多，所述融合阶段包括将所述各激光雷达像素的强度(I)和深度(D)数据与一个以上视频像素的红(R)、绿(G)、蓝(B)数据相关联的阶段。
14.根据权利要求12所述的图像获取方法，其特征在于，所述激光雷达数组数据的获取阶段包括发射激光雷达信号并接收被反射的激光雷达信号的阶段。
15.根据权利要求14所述的图像获取方法，其特征在于，所述的发射激光雷达信号包括获取脉冲图案，并基于该脉冲图案以重复的方式发送激光雷达信号；其中所述接收还包括将所述接收的信号与所述脉冲图案进行比较，当所述被反射的激光雷达信号与所述脉冲图案不匹配时，拒绝所述被反射的激光雷达信号。
16.根据权利要求15所述的图像获取方法，其特征在于，监控多个连续被拒绝的反射激光雷达信号，以及当判断所述连续被拒绝的反射激光雷达信号的数达到规定临界值时，将所述脉冲图案进行变更。
17.根据权利要求12所述的图像获取方法，其特征在于，还包括为了分析所述结合数组数据信号而将所述信号提供至车辆控制模块的阶段。
18.一种控制单元，其包括：视频信号获取器，将从权利要求1中记载的图像获取单元输出的结合数组数据信号作为视频信号来接收；视频处理器，用于处理所接收的视频信号；危险分析器，从所述被处理的视频信号或者从外部变量获取模块提供的外部变量能够感知危险；以及黑匣子，所述黑匣子是存储设备。
19.根据权利要求18所述的控制单元，其特征在于，还包括共同的罩体，所述罩体安装有视频信号获取器、视频处理器、危险分析器以及黑匣子。
20.根据权利要求18所述的控制单元，其特征在于，其还包括用于将来自视频信号获取器的数据临时存储规定时间的存储器，当感知到危险时将该临时存储的数据存储到所述黑匣子中。
21.根据权利要求18所述的控制单元，其特征在于，其还包括麦克风、用于通过所述麦克风获取的音频数据的音频输出端、将所述音频数据临时存储规定期间的存储器，当感知到危险时，将所述临时存储的数据存储到黑匣子中。
22.根据权利要求18所述的控制单元，其特征在于，所述视频信号包括具有复数个结合像素的结合数组数据，所述各结合像素至少具有红(R)、绿(G)、蓝(B)以及深度(D)数据。
23.根据权利要求18所述的控制单元，其特征在于，其至少具有一个以下数据：冲突时间数据，感知到危险时其能够自动存储到所述黑匣子中；车辆相对位置和速度数据。
CN201110224745.2A 2010-10-01 2011-08-05 图像获取单元、其方法以及相关控制单元 Active CN102447911B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US38882610P 2010-10-01 2010-10-01
US61/388,826 2010-10-01
KR1020100126757A KR101030763B1 (ko) 2010-10-01 2010-12-13 이미지 획득 유닛, 방법 및 연관된 제어 유닛
KR10-2010-0126757 2010-12-13

Publications (2)

Publication Number Publication Date
CN102447911A CN102447911A (zh) 2012-05-09
CN102447911B true CN102447911B (zh) 2016-08-31

Family

ID=45002568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110224745.2A Active CN102447911B (zh) 2010-10-01 2011-08-05 图像获取单元、其方法以及相关控制单元

Country Status (6)

Country Link
US (1) US20120081544A1 (zh)
EP (1) EP2442134A1 (zh)
JP (1) JP5506745B2 (zh)
KR (1) KR101030763B1 (zh)
CN (1) CN102447911B (zh)
CA (1) CA2754278A1 (zh)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897633B2 (en) 2010-12-21 2014-11-25 Denso Corporation In-vehicle camera unit having camera built into body
JP5316562B2 (ja) * 2011-02-10 2013-10-16 株式会社デンソー 車載カメラ
US10046716B2 (en) * 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
KR101071362B1 (ko) 2011-03-25 2011-10-07 위재영 차량의 물체 거리 인식 시스템 및 작동 방법
US20130027548A1 (en) * 2011-07-28 2013-01-31 Apple Inc. Depth perception device and system
CN102393190A (zh) * 2011-09-05 2012-03-28 南京德朔实业有限公司 测距仪
KR20130050113A (ko) * 2011-11-07 2013-05-15 현대자동차주식회사 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법
KR20130051681A (ko) * 2011-11-10 2013-05-21 한국전자통신연구원 노면 표식물 인식 시스템 및 방법
US9283846B2 (en) * 2011-12-23 2016-03-15 Automotive Research & Testing Center Vehicular warning system and method
DE102012210467A1 (de) * 2012-06-21 2013-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur automatischen Anpassung einer Fahrzeugbeleuchtung an eine Umgebung des Fahrzeugs
KR102051397B1 (ko) * 2012-07-02 2020-01-09 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN102840853A (zh) * 2012-07-25 2012-12-26 中国航空工业集团公司洛阳电光设备研究所 一种用于车载夜视系统的障碍物检测及报警方法
US9297889B2 (en) 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
US9110196B2 (en) 2012-09-20 2015-08-18 Google, Inc. Detecting road weather conditions
US9499172B2 (en) * 2012-09-20 2016-11-22 Google Inc. Detecting road weather conditions
US9811880B2 (en) * 2012-11-09 2017-11-07 The Boeing Company Backfilling points in a point cloud
US9409504B2 (en) 2013-01-24 2016-08-09 Ford Global Technologies, Llc Flexible seatback system
US9399418B2 (en) 2013-01-24 2016-07-26 Ford Global Technologies, Llc Independent cushion extension and thigh support
US9415713B2 (en) 2013-01-24 2016-08-16 Ford Global Technologies, Llc Flexible seatback system
CN103139477A (zh) * 2013-01-25 2013-06-05 哈尔滨工业大学 一种3d相机及获得立体像的方法
US10032273B2 (en) * 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
TW201441581A (zh) * 2013-04-29 2014-11-01 Hon Hai Prec Ind Co Ltd 車輛輔助系統及車輛輔助方法
HUP1300328A3 (en) 2013-05-23 2017-03-28 Mta Szamitastechnika Es Automatizalasi Ki Method and system for integrated three dimensional modelling
EP2808700B1 (en) * 2013-05-30 2019-10-02 Ricoh Company, Ltd. Drive assist device, and vehicle using drive assist device
JP6161429B2 (ja) * 2013-06-25 2017-07-12 東京航空計器株式会社 車両速度計測装置
US9215382B1 (en) * 2013-07-25 2015-12-15 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for data fusion and visualization of video and LADAR data
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
KR20150081838A (ko) * 2014-01-07 2015-07-15 한국전자통신연구원 수배차량 검색 장치 및 그 방법
US9315131B2 (en) 2014-01-23 2016-04-19 Ford Global Technologies, Llc Suspension seat back and cushion system having an inner suspension panel
US9444988B2 (en) * 2014-01-23 2016-09-13 Kiomars Anvari Fast image sensor for body protection gear or equipment
US10018711B1 (en) * 2014-01-28 2018-07-10 StereoVision Imaging, Inc System and method for field calibrating video and lidar subsystems using independent measurements
US9421894B2 (en) 2014-04-02 2016-08-23 Ford Global Technologies, Llc Vehicle seating assembly with manual independent thigh supports
EP3175200A4 (en) * 2014-07-31 2018-04-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US9789790B2 (en) 2014-10-03 2017-10-17 Ford Global Technologies, Llc Tuned flexible support member and flexible suspension features for comfort carriers
US9517777B2 (en) * 2014-11-06 2016-12-13 Ford Global Technologies, Llc Lane departure feedback system
CN105654023B (zh) * 2014-11-12 2019-05-03 株式会社理光 识别物体危险性的方法和装置
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US10142538B2 (en) * 2015-02-24 2018-11-27 Redrock Microsystems, Llc LIDAR assisted focusing device
KR101665590B1 (ko) * 2015-02-26 2016-10-12 동의대학교 산학협력단 블랙박스 및 avm 영상을 이용한 차선 이탈 감지 시스템 및 감지 방법
US9651658B2 (en) 2015-03-27 2017-05-16 Google Inc. Methods and systems for LIDAR optics alignment
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US11416805B1 (en) 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
US10408922B2 (en) * 2015-07-10 2019-09-10 Ams Sensors Singapore Pte. Ltd. Optoelectronic module with low- and high-power illumination modes
US10046682B2 (en) 2015-08-03 2018-08-14 Ford Global Technologies, Llc Back cushion module for a vehicle seating assembly
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9969325B2 (en) 2015-09-15 2018-05-15 International Business Machines Corporation Projected surface markings
US9849817B2 (en) 2016-03-16 2017-12-26 Ford Global Technologies, Llc Composite seat structure
US10286818B2 (en) 2016-03-16 2019-05-14 Ford Global Technologies, Llc Dual suspension seating assembly
US9994135B2 (en) 2016-03-30 2018-06-12 Ford Global Technologies, Llc Independent cushion thigh support
US10220737B2 (en) 2016-04-01 2019-03-05 Ford Global Technologies, Llc Kinematic back panel
US9889773B2 (en) 2016-04-04 2018-02-13 Ford Global Technologies, Llc Anthropomorphic upper seatback
US9802512B1 (en) 2016-04-12 2017-10-31 Ford Global Technologies, Llc Torsion spring bushing
CN105957400B (zh) * 2016-06-01 2018-04-10 杨星 一种用于综合感知碰撞预警的车辆信息采集方法
US9845029B1 (en) 2016-06-06 2017-12-19 Ford Global Technologies, Llc Passive conformal seat with hybrid air/liquid cells
US9834166B1 (en) 2016-06-07 2017-12-05 Ford Global Technologies, Llc Side airbag energy management system
US9849856B1 (en) 2016-06-07 2017-12-26 Ford Global Technologies, Llc Side airbag energy management system
US10377279B2 (en) 2016-06-09 2019-08-13 Ford Global Technologies, Llc Integrated decking arm support feature
US10166895B2 (en) 2016-06-09 2019-01-01 Ford Global Technologies, Llc Seatback comfort carrier
US10286824B2 (en) 2016-08-24 2019-05-14 Ford Global Technologies, Llc Spreader plate load distribution
US10279714B2 (en) 2016-08-26 2019-05-07 Ford Global Technologies, Llc Seating assembly with climate control features
US10239431B2 (en) 2016-09-02 2019-03-26 Ford Global Technologies, Llc Cross-tube attachment hook features for modular assembly and support
US10391910B2 (en) 2016-09-02 2019-08-27 Ford Global Technologies, Llc Modular assembly cross-tube attachment tab designs and functions
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
CN106373394B (zh) * 2016-09-12 2019-01-04 深圳尚桥交通技术有限公司 一种基于视频和雷达的车辆检测方法及系统
CN109690244B (zh) * 2016-09-15 2021-09-17 株式会社小糸制作所 传感器系统、传感器模块及灯装置
CN106184037B (zh) * 2016-09-22 2018-08-10 奇瑞汽车股份有限公司 一种雷达摄像头安装结构及其安装方法
CN106257543B (zh) * 2016-09-23 2019-01-15 珠海市杰理科技股份有限公司 基于虚拟现实视角的行车记录系统
US10528055B2 (en) * 2016-11-03 2020-01-07 Ford Global Technologies, Llc Road sign recognition
US9914378B1 (en) 2016-12-16 2018-03-13 Ford Global Technologies, Llc Decorative and functional upper seatback closeout assembly
US11120392B2 (en) 2017-01-06 2021-09-14 Position Imaging, Inc. System and method of calibrating a directional light source relative to a camera's field of view
WO2018138584A1 (en) 2017-01-26 2018-08-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
EP3373037B1 (en) * 2017-03-10 2023-06-28 The Hi-Tech Robotic Systemz Ltd Single casing advanced driver assistance system
US10596936B2 (en) 2017-05-04 2020-03-24 Ford Global Technologies, Llc Self-retaining elastic strap for vent blower attachment to a back carrier
DE102017210845A1 (de) * 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN109325390B (zh) * 2017-08-01 2021-11-05 郑州宇通客车股份有限公司 一种基于地图与多传感器检测相结合的定位方法及系统
CN109323701A (zh) * 2017-08-01 2019-02-12 郑州宇通客车股份有限公司 基于地图与多传感器检测相结合的定位方法及系统
US10447973B2 (en) 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
DE102017122711A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
WO2019069300A1 (en) * 2017-10-02 2019-04-11 Tower-Sec Ltd. DETECTION AND PREVENTION OF A PHYSICAL CYBERATTAKE FOR SENSORS
US10436885B2 (en) * 2017-10-19 2019-10-08 DeepMap Inc. Calibrating sensors mounted on an autonomous vehicle
WO2019088974A1 (en) * 2017-10-30 2019-05-09 Continental Automotive Systems, Inc Power circuit and method for a laser light source of a flash lidar sensor
JP7005326B2 (ja) * 2017-12-13 2022-01-21 株式会社Soken 路側物認識装置
US10628920B2 (en) 2018-03-12 2020-04-21 Ford Global Technologies, Llc Generating a super-resolution depth-map
KR102108953B1 (ko) * 2018-05-16 2020-05-11 한양대학교 산학협력단 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
US10591601B2 (en) 2018-07-10 2020-03-17 Luminar Technologies, Inc. Camera-gated lidar system
US11258987B2 (en) * 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
WO2020061276A1 (en) 2018-09-21 2020-03-26 Position Imaging, Inc. Machine-learning-assisted self-improving object-identification system and method
KR20210078489A (ko) * 2018-10-23 2021-06-28 코베스트로 인텔렉쳐 프로퍼티 게엠베하 운트 콤파니 카게 자동차를 위한 ir-투명 센서 및 카메라 시스템
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
KR20200069084A (ko) * 2018-12-06 2020-06-16 팅크웨어(주) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
WO2020118312A1 (en) * 2018-12-07 2020-06-11 Scholtz James An infrared imager and related systems
CN109489562A (zh) * 2018-12-07 2019-03-19 中国电子科技集团公司第四十四研究所 一种基于非扫描式单线激光雷达的隧道几何参量测量系统
US20200217954A1 (en) * 2019-01-07 2020-07-09 Velodyne Lidar, Inc. Systems and methods for a configurable sensor system
US11089232B2 (en) * 2019-01-11 2021-08-10 Position Imaging, Inc. Computer-vision-based object tracking and guidance module
US11402477B2 (en) 2019-03-01 2022-08-02 Beijing Voyager Technology Co., Ltd System and methods for ranging operations using modulated signals
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods
CN112217966B (zh) * 2019-07-12 2022-04-26 杭州海康威视数字技术股份有限公司 监控装置
CN110781816A (zh) * 2019-10-25 2020-02-11 北京行易道科技有限公司 车辆在车道中的横向定位方法、装置、设备及存储介质
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US11493922B1 (en) * 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
CN111695619A (zh) * 2020-06-05 2020-09-22 中国第一汽车股份有限公司 一种多传感器目标融合方法、装置、车辆及存储介质
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
EP4154033A1 (en) * 2020-06-25 2023-03-29 Lassen Peak, Inc. Systems and methods for noninvasive detection of impermissible objects
CN112255642A (zh) * 2020-10-15 2021-01-22 安徽富煌科技股份有限公司 一种基于激光雷达技术的视频客流装置
CN112669262B (zh) * 2020-12-08 2023-01-06 上海交通大学 一种电机轮轴震动异常检测与预测系统与方法
CN113466836A (zh) * 2021-06-23 2021-10-01 深圳市欢创科技有限公司 一种测距方法、装置及激光雷达

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
WO2005053319A1 (de) * 2003-11-25 2005-06-09 Siemens Aktiengesellschaft Abdeckelement, insbesondere für ein optisches modul, sowie verfahren zu dessen herstellung
CN1751249A (zh) * 2003-02-13 2006-03-22 亚当·奥佩尔有限公司 对机动车辆内部和外部场景进行三维检测的机动车辆装置
CN1779483A (zh) * 2004-11-26 2006-05-31 欧姆龙株式会社 车载用图像处理装置
CN1881122A (zh) * 2005-06-17 2006-12-20 爱信精机株式会社 驾驶支援装置
CN101479624A (zh) * 2006-06-30 2009-07-08 丰田自动车株式会社 具有雷达与摄像机的传感器融合以及改变雷达阈值的物体存在概率估算的汽车驾驶辅助系统
CN101699313A (zh) * 2009-09-30 2010-04-28 北京理工大学 基于摄像机和三维激光雷达的外部参数标定方法及系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278406A (ja) * 1991-03-07 1992-10-05 Sharp Corp ３次元計測方法
DE19615240A1 (de) * 1996-04-18 1997-10-23 Daimler Benz Ag Anordnung zur optischen Erfassung des Fahrbahnverlaufs
JP3631325B2 (ja) * 1996-06-19 2005-03-23 オリンパス株式会社 ３次元画像入力装置
JPH1153551A (ja) * 1997-08-04 1999-02-26 Toyota Motor Corp ライン検出装置
JP2001304876A (ja) * 2000-04-25 2001-10-31 Nec Corp 車載カメラによる画像記録・再生方式
US6862537B2 (en) * 2002-03-21 2005-03-01 Ford Global Technologies Llc Sensor fusion system architecture
US6771208B2 (en) * 2002-04-24 2004-08-03 Medius, Inc. Multi-sensor system
JP4287647B2 (ja) * 2002-12-27 2009-07-01 株式会社Ｉｈｉ 環境状況把握装置
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
JP2005037378A (ja) * 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 奥行計測方法と奥行計測装置
JP3906202B2 (ja) * 2003-12-15 2007-04-18 株式会社東芝 固体撮像装置およびそれを利用した撮像システム
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP2005284471A (ja) * 2004-03-29 2005-10-13 Omron Corp 画像処理装置及び画像処理方法
JP4274028B2 (ja) * 2004-04-07 2009-06-03 株式会社デンソー 車両用レーダ装置
DE102004026590A1 (de) * 2004-06-01 2006-01-12 Siemens Ag Assistenzsystem für Kraftfahrzeuge
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
JP2008508730A (ja) * 2004-07-30 2008-03-21 ノバラックス，インコーポレイティド 面発光レーザのアレイを接合部分離するための装置、システム、および方法
US20060045158A1 (en) * 2004-08-30 2006-03-02 Chian Chiu Li Stack-type Wavelength-tunable Laser Source
JP4923517B2 (ja) * 2004-10-27 2012-04-25 パナソニック株式会社 撮像装置、撮像方法、および半導体装置
US7363157B1 (en) * 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
JP2006306153A (ja) * 2005-04-26 2006-11-09 Nec Mobiling Ltd ドライブレコーダ、車両用事故状況記録方法、及び車両用事故状況記録プログラム
JP2007240314A (ja) * 2006-03-08 2007-09-20 Omron Corp 物体検出装置
EP2041515A4 (en) * 2006-07-13 2009-11-11 Velodyne Acoustics Inc HIGH DEFINITION LIDAR SYSTEM
US20080112610A1 (en) * 2006-11-14 2008-05-15 S2, Inc. System and method for 3d model generation
JP4568845B2 (ja) * 2007-04-26 2010-10-27 三菱電機株式会社 変化領域認識装置
JP5098563B2 (ja) 2007-10-17 2012-12-12 トヨタ自動車株式会社 物体検出装置
JP5114222B2 (ja) * 2008-01-18 2013-01-09 富士通テン株式会社 車両情報記録システム
JP2011518383A (ja) * 2008-04-18 2011-06-23 テレ アトラス ベスローテン フエンノートシャップ レーザースキャンされたポイントの集合体を用いて選択的圧縮マスクを生成する方法
JP2010003086A (ja) * 2008-06-19 2010-01-07 Toyota Motor Corp ドライブレコーダー
DE102008002560A1 (de) * 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
US8334893B2 (en) 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
JP5470886B2 (ja) * 2009-02-12 2014-04-16 トヨタ自動車株式会社 物体検出装置
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8441622B2 (en) * 2009-07-28 2013-05-14 Applied Concepts, Inc. Lidar measurement device for vehicular traffic surveillance and method for use of same
JP3155695U (ja) * 2009-09-16 2009-11-26 井本刃物株式会社 カメラ支持具
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
CN1751249A (zh) * 2003-02-13 2006-03-22 亚当·奥佩尔有限公司 对机动车辆内部和外部场景进行三维检测的机动车辆装置
WO2005053319A1 (de) * 2003-11-25 2005-06-09 Siemens Aktiengesellschaft Abdeckelement, insbesondere für ein optisches modul, sowie verfahren zu dessen herstellung
CN1779483A (zh) * 2004-11-26 2006-05-31 欧姆龙株式会社 车载用图像处理装置
CN1881122A (zh) * 2005-06-17 2006-12-20 爱信精机株式会社 驾驶支援装置
CN101479624A (zh) * 2006-06-30 2009-07-08 丰田自动车株式会社 具有雷达与摄像机的传感器融合以及改变雷达阈值的物体存在概率估算的汽车驾驶辅助系统
CN101699313A (zh) * 2009-09-30 2010-04-28 北京理工大学 基于摄像机和三维激光雷达的外部参数标定方法及系统

Also Published As

Publication number Publication date
KR101030763B1 (ko) 2011-04-26
US20120081544A1 (en) 2012-04-05
JP5506745B2 (ja) 2014-05-28
CN102447911A (zh) 2012-05-09
CA2754278A1 (en) 2012-04-01
JP2012080517A (ja) 2012-04-19
EP2442134A1 (en) 2012-04-18

Similar Documents

Publication Publication Date Title
CN102447911B (zh) 图像获取单元、其方法以及相关控制单元
US20210357670A1 (en) Driver Attention Detection Method
US11601601B2 (en) Optical array for high-quality imaging in harsh environments
AU2018397461B2 (en) Multiple operating modes to expand dynamic range
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
CN106536299B (zh) 基于检测对象制动车辆的系统和方法
CN105393083B (zh) 周围环境感测系统
JP6672326B2 (ja) 異なる照明条件下でのイメージングのためのデュアルモード照明器
CN108919294B (zh) 测距摄像系统以及固体摄像元件
CN109212542A (zh) 用于自主车辆操作的校准方法
JP2020534518A (ja) 低レイテンシ動作計画更新を有するインテリジェントｌａｄａｒシステム
CN108027511A (zh) 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN111273765A (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
WO2023028714A1 (en) Vehicle occupancy detection system
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
KR101210615B1 (ko) 불법유턴 차량 단속 시스템
WO2020063866A1 (en) Traffic monitoring and evidence collection system
KR101678448B1 (ko) 주행 가이드 정보를 제공하는 주행 모니터링 시스템 및 방법
CN106991415A (zh) 用于车载鱼眼相机的图像处理方法和装置
CN208360051U (zh) 一种七路集成式视觉感知系统及车辆
CN109649406A (zh) 一种自动驾驶车辆故障检测方法及系统
US11836964B2 (en) Devices, systems and methods for scene image acquisition
EP3227742A1 (en) Object detection enhancement of reflection-based imaging unit
Tan et al. Thermal Infrared Technology-Based Traffic Target Detection in Inclement Weather

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant