CN109791607A - 借助单应矩阵从摄像机的一系列图像中探测和验证对象 - Google Patents
借助单应矩阵从摄像机的一系列图像中探测和验证对象 Download PDFInfo
- Publication number
- CN109791607A CN109791607A CN201780060471.3A CN201780060471A CN109791607A CN 109791607 A CN109791607 A CN 109791607A CN 201780060471 A CN201780060471 A CN 201780060471A CN 109791607 A CN109791607 A CN 109791607A
- Authority
- CN
- China
- Prior art keywords
- plane
- homography
- vehicle
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 101100460704 Aspergillus sp. (strain MF297-2) notI gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种用于从摄像机图像中识别对象的方法和装置，并尤其可应用在基于摄像机的驾驶员辅助系统中。用于从一车载摄像机的一图像序列中探测对象的方法包括下列步骤：a)用车载摄像机拍摄图像序列，b)确定两个前后连续图像中的对应特征，d)通过将相邻对应特征分别分配给空间中一平面来确定空间中的多个平面，f)在考虑步骤d)中所确定平面的情况下探测对象。根据一优选实施方式，所述方法包括以下步骤：c)计算相邻对应特征的单应矩阵以确定多个平面；和/或d2)将相邻对应特征分别分配给一底平面、一背平面或一侧平面。因为根据本发明的方法可非常迅速地设计，因此可对几乎整个图像实时进行通用对象探测或场景描绘。
Description
技术领域
本发明涉及一种用于从摄像机图像中识别对象的方法，并尤其可应用在基于摄像机的驾驶员辅助系统中。
背景技术
根据当前技术现状的车辆识别系统大部分是以分类为基础的。基于分类的系统可重新认出其在训练数据中见过的车辆或车辆部件。然而，新的车辆设计以及被改变的结构形式可能导致系统性能的严重下降并需要通用的对象识别方法。
US 2014/0161323 A1描述了从借助一单目摄像机拍摄的图像中生成道路周围环境内致密三维立体结构的方法。
EP 2 993 654 A1描述了一种用于从摄像机图像给出前方碰撞警告(FCW)的方法。在此，对一图像部分加以分析，自身所在车辆将在一预定的时间间隔内到达那里。如果在那里识别到一对象，则发出碰撞警告。
发明内容
本发明的任务是，提供一种通用地识别对象的方法。
本发明的出发点考虑如下：如果两个帧(单一图像)的摄像机位置是已知的，可对点对应关系(对应特征点)进行三角测量，但不会生成对象，这是因为三角测量不具备可将点云聚类成有意义对象的模型知识。单目系统的缺点是，极点附近的对象只能被不准确地三角测量，并且在那里自运动(摄像机自运动)中的最小误差都很明显。极点表示的是在一第一摄像机图像中的如下像点，摄像机中心在一第二时间点成像在该像点处。在一直线行驶期间，消失点/没影点例如与极点相应。然而，这是识别与停止不动或前方行驶车辆碰撞的重要区域。如果动态对象根据对极几何运动时，可对其进行三角测量。然而，由于未知的相对速度，动态对象会被估计得距离太近或太远。
如果代替单一对应关系，对多个相邻对应关系(对应特征)进行观察，则对象可根据不同的速度、缩放和变形加以划分/分割(segmentieren)。
根据本发明的用于从一车载摄像机的一图像序列中探测对象的方法包括下列步骤：
a)用车载摄像机拍摄一图像序列，
b)确定两个前后连续图像中的对应特征，
d)通过将相邻对应特征分别分配给空间中一相应平面来确定空间中的多个平面，以及
f)在考虑(步骤d)中)所确定的平面的情况下探测对象。
优选车载摄像机设计用于拍摄一车辆的周围环境。所述周围环境尤其是指车辆前方的周围环境。车载摄像机优选可被集成在一驾驶员辅助装置中或可与驾驶员辅助装置相连接，其中，所述驾驶员辅助装置尤其设计用于从车载摄像机装置提供的图像数据中识别对象。车载摄像机装置优选为一设置在机动车辆内挡风玻璃后并朝向行驶方向的摄像机。车载摄像机尤其优选为一单目摄像机。
优选采用车载摄像机在规定或已知时间点拍摄单图像，由此生成一图像序列。
第一图像中一特征与第二图像中相同特征的相应性被称为对应关系。两个图像中的对应特征也可被描述为指示所述特征在图像中如何移位的光流矢量。一特征尤其可以是一图像部分(或图像块)、一像素、一边缘或一角落。
作为替代选择，步骤d)可描述如下：确定多个平面，在这些平面中分别有或将有多个相邻对应特征。
步骤d)还包括：预先规定空间中的多个平面，并将相邻对应特征分别分配给预先规定的平面之一(参见步骤d2))。
在本发明的上下文中，术语“平面”描述了以下关系：一方面描述了针对累积相邻对应特征的一标准。即，如果所述相邻对应特征位于空间中一共同平面内，并根据平面的运动随时间发展，则这些相邻对应特征被认为是属于一起的。
随后，这类所累积的对应特征被称为例如“底平面”，因为它们都位于与车行道平面相应的平面中。然而，一如此的底平面不是延伸到无限远的，而是指该平面的部分区域，即实际对应特征布置在其中的部分区域。
在步骤f)中，表述“在考虑......的情况下”意味着在探测对象时对步骤d)中确定的多个平面加以考虑。这例如可以以下述方式进行：由一所识别底平面推导出一车行道假设并从一背平面/后壁平面或一侧平面/侧壁平面为一凸起对象生成一对象假设。从一车行道假设和针对凸起对象的(多个)对象假设就可进行一无障碍空间探测，该探测指出，车辆周围环境中哪些无障碍空间当前可供通行。所述无障碍空间探测的一有益应用例如为不依赖于车道标记识别的车行道边缘确定。
因此，表述“探测对象”例如可指对象假设或对象的生成。
根据一优选实施方式，所述方法包括以下步骤：
c)计算相邻对应特征的单应矩阵以确定多个平面。
一单应矩阵描述两个摄像机位置之间一平面上各点的对应关系或车载摄像机两个前后连续图像中两个点之间的对应关系。通过计算相邻对应特征的单应矩阵，可将相邻对应特征分别分配给空间中的一平面(参见步骤d))。
所述方法有利地包含下列步骤：
e)基于所计算的单应矩阵划分对应特征。
尤其是基于所计算单应矩阵，可划分对应特征，即分配不同区段。然后在步骤f)中可在考虑所划分的特征的情况下进行对象探测。
所述方法另一有益的改进形式包括步骤d2)：将相邻对应特征分别分配给一底平面、一背平面或一侧平面。其中，在x方向设置在水平和/或横向，y方向设置在竖直方向，以及z方向设置在车辆纵向的坐标系统的情况下，底平面可规定为垂直于y方向，背平面可规定为垂直于z方向，侧平面可规定为垂直于x方向。
通过计算底平面、背平面以及侧平面的单应矩阵，可将相邻对应特征分配给这些平面中的一个。
背平面的单应矩阵可优选根据等式(10)和/或底平面的单应矩阵可优选根据等式(9)和/或侧平面的单应矩阵可优选根据等式(11)进行计算。在此，a、b、c是常数，x0、y0、x1、y1表示拍摄于时间点t-0的第一图像(索引0)中和拍摄于一较早时间点t-1的第二图像(索引1)中的对应关系，tx、ty、tz是矢量t/d的分量。t描述了车载摄像机的平移，d描述了到一平面(垂直于该平面)的距离，即沿着该平面的法向矢量的距离。分量tx、ty和tz下面也被称为“碰撞时间倒数(inverse TTC)”。TTC是“Time to collision(碰撞时间)”的缩写，并在一空间方向上由距离除以平移速度得到。
根据另一有益的改进形式，如果多个平面具有相同的取向，则具有相同取向的平面可根据所属的tx、ty和tz值被分离。例如，可通过不同的tz值区分在z方向与车载摄像机相距不同距离的两个背平面。
优选可通过一栅格将一图像细分为相似的单元格，并可针对每个单元格从在该单元格中所确定的对应特征计算一单应矩阵。随后，可将具有一致单应矩阵的单元格进行聚类。
如果所计算出的第一单元格的单应矩阵没有充分与一相邻单元格的单应矩阵相一致，为了确定一平面界限，可优选以一有益的方式对单个对应特征的所谓反投影误差加以考虑。
对应特征可通过反投影误差来分析评估。反投影误差表示所测得的光流和从所计算单应矩阵预测出的光流之间的差异。换句话说，一平面的反投影误差表示的是在时间点t-0所描述的一个点x和在前面的时间点t-1根据该平面单应矩阵所成像的对应点之间的差异(见下面：等式4)。
如果将第一单元格中一对应特征的反投影误差与相邻单元格单应矩阵的反投影误差相比较，并且该对应特征被分配给具有最小差异的单应矩阵，则平面界限(或区段界限或聚类边界)可在第一单元格内细化。以此方式，可将一单元格的不同对应特征分配给不同平面。
将平面分配给相邻对应特征可优选基本上在车载摄像机的整个图像(例如图像面积的至少80％，优选至少90％)中加以确定。因为根据本发明的方法可非常迅速地设计，因此几乎整个图像可实时进行通用对象探测或场景解读。
本发明的主题还涉及一种用于从一车载摄像机的一图像序列中探测对象的装置，该装置包括一摄像机控制装置和一分析评估电子装置，
其中，摄像机控制装置配置或设计用于，
a)用车载摄像机拍摄一图像序列；
其中，分析评估电子装置配置/设计用于，
b)在两个前后连续的图像中确定对应特征，
d)通过将相邻对应特征分别分配给空间中一平面，确定空间中的多个平面，以及
g)在考虑(步骤d)中)确定的平面的情况下探测(或生成)一个或多个对象。
所述摄像机控制装置或分析评估电子装置尤其可包括一微控制器或微处理器，一数字信号处理器(DSP)，一ASIC(专用集成电路)，一FPGA(现场可编程门阵列)等，以及用于执行相应控制或分析评估步骤的软件。因此，本发明可在数字电子电路、计算机硬件、固件或软件中实现。
附图说明
本发明的其他特征、优点和效果可从以下对本发明优选实施例的描述中得出。其中：
图1以示意图的方式描述一正在接近的/迎面而来的背平面的典型变形；
图2以示意图的方式描述一正在接近的底平面的典型变形；
图3以示意图的方式描述a)一快速接近的和b)一缓慢接近或远距离的背平面的典型变形；
图4以示意图的方式描述一具有两个不同区段的图像细分成单元格；
图5示出第三迭代步骤后的划分结果；
图6示出用于目标验证(潜在碰撞对象验证)的平面取向；
图7示出碰撞时间观察；以及
图8示出在时间点t-0(右)到t-1(左)的护栏区段的投影(或扭曲变形)。
所有图中，相互之间相应的零部件通常采用相同的附图标记。
具体实施方式
图1中以示意图方式描述一背平面(英语：back plane)，其在一第一时间点t-1占据阴影所示区域(20，虚线所示)。在一随后的时间点t，车载摄像机和背平面之间的距离减小，这导致背平面在图像中的区域(21，实线所示)的由箭头(d1)所示的变形。区域(20；21)的缩放或放大是车载摄像机相对于背平面相对运动的结果。
图2以示意图方式描述了一底平面(英语：ground plane)，它在一第一时间点t-1占据阴影所示区域(30，虚线所示)。这可以是车辆在其上行驶的车行道路面的一部分。由于车载摄像机的自运动，(图像中的)区域在一随后的时间点t发生变化，由此导致由箭头(d2)勾勒出的、底平面的区域(32)的变形。在时间点t，用32所标记的线界定了底平面的区域。在此，“底平面”即是指车行道路面上一界定的区域。边缘区域例如由车行道路面上可在图像序列中被追踪的标志(或边缘点)得到。
如果在时间点t-1中图3a中背平面(20)具有与图3b中背平面(20)相同的与车载摄像机的距离，则图3直观地阐明一快速(图3a：20、21；变形d1)接近的背平面和一慢速(图3b)接近的背平面(20、23；变形d3)之间的差异。
作为替代选择，图3可描述一近距离背平面(图3a：20，21；变形d1)与一远距离背平面(20，23；变形d3)之间的差异，这两个背平面例如以相同的(相对)速度运动，此外，图3b中所示对象(20、21)在实际空间大于图3a中所示对象(20，23)。
如果代替单一对应关系，对多个相邻对应关系进行观察，则对象可根据不同的速度、缩放和变形加以划分。
假设世界是由平面组成的，人们可通过单应矩阵对其进行描述，并如下所示通过其距离、速度和取向进行分离。
一单应矩阵描述一平面上各点在两个摄像机位置之间的对应关系或描述在两个前后连续的帧中两个点的对应关系：
在此，矢量xt0描述矢量xt1在时间点t-0与时间点t-1的三维(3D)对应关系。单应矩阵可基于图像通过知道四个点对应关系来计算(参见教程：多视图几何(Multiple ViewGeometry)，作者：Hartley，R.以及Zisserman，A.，1999年6月国际计算机视觉与模式识别会议(CVPR)论文集：https://de.scribd.com/document/96810936/Hartley-Tut-4up，于2016年9月26日调用)。在教程第6页左上方(页面21)给定的关系上，可如下表述等式1中的记号：
其中，
作为替代选择，可在知道摄像机平移t、旋转R和沿平面法向矢量n的距离d的情况下根据等式3计算单应矩阵。等式3阐明，在一碰撞时间倒数t/d不等于零的情况下，带有不同取向n的平面可被建模并且带有相同取向n的平面可通过其碰撞时间倒数被分离。
理论上，一单应矩阵可被分解为法向矢量n、旋转矩阵R和碰撞时间倒数t/d。可惜这种分解在数值上非常不稳定并对测量误差敏感。
如果通过平面描述一场景，可按如下所示对其进行划分。
图4以示意图方式描述单元格(网格、栅格/线)的细分。所述场景被细分成N×M个初始单元格，并且每个点对应关系被分配一个唯一的/明确的标识符(ID)。该标识符(ID)首先表示与一单元格的归属关系。在进一步的过程中，标识符(ID)可指与一聚类或一对象的归属关系。
阴影部分所示的是前景中的一个对象(尤其是一背平面)。背景是白色的。如果一个单元格只包含一个对象(单元格B3、D3)，则一单应矩阵将很好地描述该单元格。但如果一单元格包含多于一个的对象(单元格C3)，则所述单应矩阵将不能很好描述这两个对象中的任何一个。如果点对应关系(黑点或黑十字或x)通过其反投影误差分配给相邻单元格(B3或D3)的聚类(或区段)，则黑点分配给单元格B3的区段并且黑十字分配给单元格D3的区段，因为单元格C3的单应矩阵既无法良好描述前景也无法良好描述背景。
如果存在对一场景的基本知识，则区段大小可与场景匹配，其方式为，例如，在车辆近距离区域中或具有正分类应答的区域中生成较大的区域。如等式5到10中所示，为每个区段计算一个专用的背平面/底平面单应矩阵和侧平面单应矩阵。
背平面单应矩阵/底平面单应矩阵和侧平面单应矩阵的计算提高了分离精度，这是由于一具有较少自由度的单应矩阵对含有不同平面的区域建模能力较差并由此对应点具有一较高的反投影误差，见图4。所述反投影误差ei是一如下量，它用于描述在时间点t-0一个点x通过一平面i的单应矩阵能多好地描述在时间点t-1的对应点的量：
ei＝xt0-Hixt1。 (4)
假设摄像机的静态安装位置和摄像机的旋转在两个不同的视图中给出(例如通过摄像机校准的认知以及通过在一单目系统中基本矩阵的计算或通过一转速传感器聚类的旋转值)，碰撞时间倒数t/d可借助经由静态摄像机旋转补偿的光流矢量来计算，如下面示例性地为一底平面n′＝[0 1 0]所示出的。如果所述旋转未知，则可以以近似方式通过单位矩阵来代替。
在等式3中如下通过碰撞时间倒数来替代商t/d：
通过引入常数a、b、c，其中，由此得到等式5的简化形式：
通过归一化齐次坐标得出的结果是：
x0(c-tzy1)＝a-txy1 (7)
y0(c-tzy1)＝b-tyy1 (8)
对多于一次的测量得到一形式为Mx＝v的等式系统，该系统包括一要确定的矢量x，一矩阵M和一矢量v(参见等式9)，该系统对于作为网格点/控制点的至少三个图像对应关系由例如奇异值分解(矩阵的奇异值分解)或最小二乘法求解。
背平面单应矩阵和侧平面单应矩阵的推导是类似的，并得出：
和
为了划分出较大的、由多个单元格构成的对象，在进一步的步骤中可对相邻单元格合并，方法是：反投影误差或通过网格点(参见下面的点1.：随机抽样一致性算法(RANSAC))计算相邻区段j和i及其单应矩阵。如果小于或例如归一化到预测光流长度上的反投影误差低于一可调节阈值，则合并两个相邻聚类。尤其是，如果小于并且两个反投影误差和低于一被归一化到光流长度上的阈值，则两个相邻聚类可被合并。作为替代选择，反投影误差可用作一图形中的潜在误差(Potentiale)并计算一整体解。在此，聚类的致密性可通过图中的边缘位势来确定。
如果所述区段已被合并，则单应矩阵被重新计算，并且点对应关系分配给具有最小的反投影误差的聚类。如果仅观察直接相邻的聚类，则可生成非常紧凑的对象。如果一最小误差超过一可调节阈值，会给对应关系分配新的(聚类/对象)标识符(ID)，以便能识别部分被遮挡的对象或碰撞时间略微不同的对象。通过调节阈值，分辨率可匹配(略微)不同的对象。
如果点对应关系在一较长时间上具有相同的标识符(ID)归属关系，则反投影误差可设置有一降低连贯区域成本的偏差或一提高标识符(ID)更换费用的偏差。
图5显示一场景划分的示例：
图5a展示由设置在车内并透过挡风玻璃检测车前周围环境的车载摄像机所拍摄的一图像。图上所示的是一个三车道车行道(51)，例如一高速公路。车道由相应的车道标记隔开。所有三个车道上都有车辆行驶。在自身车道上在前方行驶的车辆(53)可能挡住其他位于自身车道上的在前方行驶的车辆。在三车道车行道左侧是对于对向车道的建筑物凸起界限(52)。三车道车行道(51)右侧有一路肩或紧急车道，其向右由一护栏为界，护栏后是一相邻的森林区域。自身车辆前的一段距离处可识别到交通标志牌龙门架(54)，其横跨三车道车行道(51)中的某一车道。
类似于根据图4所述方法，可对该场景进行划分。图5b至5d中可识别到单元格(56)。所述单元格中描述的是点对应关系(55)。一单元格(56)对一区段的分配关系通过单元格边框的颜色或点对应关系(55)来描述。
图5b显示的是被划分图像的红色通道，图5c显示的是绿色通道，图5d显示的是蓝色通道。
不同区段已被配置不同颜色。原状为绿色的一区段在最下面的五到六个单元格(在图5b和图5d中对应于白色和无单元格边框)上延伸。该区段对应于底平面，即自身车辆在其上行驶的车行道(51)的路面。
在图像的中间可识别到原状为粉红色的另一区段。因此，其在图5b中有高红色值，在图5d中有弱蓝色值，而在图5c中没有绿色值。该区段对应于在自身车道上在前方行驶(运输)车辆(53)的背平面。
所示划分结果在对有关场景没有基本知识的情况下在仅三个迭代步骤中确定。这通过时间积分显示了本发明实施方式具有极快的处理速度和极强的运行性能。
图6显示在已在图5中描述的场景中平面的方向确定。图6a为了确定方向再次显示根据图5a的周围环境情形。图6b显示分配给一侧平面的所有对应关系。左边缘上的对应关系被分配给了一右侧的侧平面，这是适用的，这是因为在图像中在那里有对向车道建筑物界限(52)的右侧面。在图像右半部分中的对应关系被分配给了左侧的侧平面，这也同样是适用的，因为在那里在图像中有路边建筑物或路边植物的“左侧面”。图6c显示，哪些对应关系被分配给一底平面，这是适用的，因为图像中那里可看到车行道(51)的路面。
图6d显示了哪些对应关系被分配给一背平面。这在很大程度上是适用的。仅从这一确定还不能充分区分不同的背平面，例如，无法区分在相同车道上在前方行驶的送货车(53)的背平面与图像中布置在送货车上方的交通标志牌龙门架(54)的交通标志牌。然而，这一图示已可提供车辆周围环境中什么地方出现凸起对象的重要提示。
如图7中所示，可使用碰撞时间倒数(tx,ty,tz)识别动态对象。
图7a又展示车辆情形的图像(与图6a相同)。在自身车道上在前方行驶的车辆(73)是一送货车。左车道上有两辆车(71和72)行驶，右车道上有另两辆车(74和75)行驶。
图7b显示了对应关系，其又与底平面(原状为紫色)相应，并是唯一具有一红色成分的。
图7c显示了被分配给运动对象的对应关系。如果它们远离自身车辆(即行驶较快)，则在原状中为绿色，或如果它们行驶较慢，则为青绿色。
图7d显示含有蓝色成分的对应关系，即与底平面相应(参见图7b)的对应关系、靠近自身车辆的运动对象(参见图7c)以及与静态凸起对象相应的对应关系，其仅在图7d中示出，诸如高速公路左边和右边的森林区域和交通标志牌龙门架。从图7c和7d，合起来可识别出自身车道(73)上的车辆正在接近。这同样适用于右车道(75)上前面的车辆。与此相反，其他车辆(71、72和74)正在远离。
在图像中与天空相应的区域由于在图像中缺乏结构而导致没有对应关系(图7b至7d中为白色)。
如果在单应矩阵计算前考虑对应关系中的自旋转，或在旋转矩阵R中考虑自旋转，则超车车辆可根据其负的tz分量而被识别，或者脱离行列的或在一弯道中行驶的车辆可通过一侧向的tx分量不等于零而被识别。如果动态区段基于其单应矩阵来预测(参见“Verdichtung des optischen Flusses basierend auf Homographien(基于单应矩阵使光流致密)”)，则可在时间上建立一动态图。
观察等式3可看出，碰撞时间倒数等于零的区段描述了旋转矩阵，并可通过计算一带有完全自由度(等式2)的单应矩阵由具有等于零的t/d的区段确定旋转矩阵。假设平移分量在极点附近不明显，则还可确定俯仰率和横摆率，方法是：极点坐标(xe、ye)通过静态区段的单应矩阵来预测，并且atan((xe0-xe1)/f)和atan((ye0-ye1)/f)用与像素相关的焦距f来计算。
如果针对每个聚类计算一具有所有自由度的单应矩阵，则单应矩阵也可用于重建三维立体(3D)的周围环境，方法是，替代所测量的位置xt0，将预测位置H*xt1用于三角测量。这不仅减少测量误差的影响，而且还能重建靠近极点的对象。
下面描述一基于单应矩阵使光流致密的实施例。
如果已知时间点t-1时的划分，则既可将其用于预测对象，也可用其生成致密光流场。基于标志的光流方法生成标志，并尝试在连续的帧中对其进行明确地分配。大多数情况下，所述标志是由一具有所定义的尺寸的图像块(图像部分或图像区域)进行计算的。然而，如果图像块的大小和形状发生改变，则无法再用一固定模板(模板和样板是指例如图像序列中一图像的与一对象相应的图像部分——例如一车辆模板)找到对应关系。如果人们例如接近一背平面时，图像块的大小会发生变化。或如果人们在一底平面上或平行于侧平面移动时，图像块无论大小还是形状都会发生变化，参见图1和图2)。如果在时间点t-1存在划分，单应矩阵可通过已找到的光流矢量重新计算并用于预测从时间点t-1到时间点t-0已建立的对应关系的位置和形状。
作为替代选择，可将时间点t-0的当前帧变换到时间点t-1，以补偿缩放和形状变化。
图8描述了这样一个过程。
图8a描述一由车载摄像机在时间点t-1所拍摄到的另一行驶情形的图像。可见的是每个行驶方向有三个车道的一高速公路。高速公路本身的三车道左侧是一护栏(81)作为用于界定对向车道的凸起界限。车道右侧是一防噪音墙(82)。
图8b描述在随后时间点t所拍摄的一图像，并且该图像通过护栏的单应矩阵变换(“扭曲变形”，英语“to warp”)为，使基于车辆运动以及进而车载摄像机运动而在两个拍摄时间点之间在图像中发生的变化在护栏区域得到补偿。自身车辆的向前移动在图8b中导致车道标记的最近的刻度线比在图8a中更贴近自身车辆。该变换导致图像的梯形变形，其在图8f中通过一虚线所示。
图8c将在护栏(81，参见图8a)区域中已被确定的对应特征(85)示出为白点。
图8d描述在如图8b所述地进行了变换后，在下一图像中预期这些对应特征(86)在哪里。
在图8e和8f中，这种情况再次以一黑白图描述，其中，所述对应特征(85)现在与图像左半部分中护栏(81)上的黑点相应。
为生成致密光流场，针对每个区段，当前图像可扭曲变形到先前的图像，以便重新找到其缩放或形状已发生变化的现有对应关系或借助全等模板建立新的对应关系。
如果在一当前帧中没有足够的光流矢量用于重新计算单应矩阵，可以以近似方式运用上一帧的单应矩阵，以建立在防止形状和缩放比例变化方面更稳固的对应关系。
下列实施方式或方面是有益的，并可单独或组合使用：
1.图像被细分为N×M个单元格，一单元格的点对应关系被分配有一唯一的单元格标识符(ID)。从具有相同标识符(ID)的对应关系借助随机抽样一致性算法(RANSAC)计算背平面单应矩阵/底平面单应矩阵和侧平面单应矩阵(等式9、10和10)，并不仅存储带有最小反投影误差的单应矩阵，而且还存储用于计算单应矩阵的网格点。在随机抽样一致性算法(RANSAC)中，通常在每次迭代中使用最少数量的随机选择的对应关系，以构成一假设。随后，对每个对应特征计算一描述对应特征是否支持该假设的值。如果所述假设得到对应特征的充分支持，则不支持的对应特征可作为异常值被丢弃。否则，将重新随机选择最小数量的对应关系。
2.对相邻单元格i、j，反投影误差或通过相邻单应矩阵的网格点计算。如果反投影误差小于或反投影误差低于一在所述光流长度上归一化的阈值，则所述标识符(ID)被合并，单应矩阵被重新计算。尤其是，如果反投影误差小于以及如果两个反投影误差和低于一在所述光流长度上归一化的阈值，则两个相邻单元格可被聚类成属于相同平面(或属于相同区段或属于相同对象)。
3.针对邻接区段计算所有点对应关系的反投影误差xt0-Hixt1并为具有最小反投影误差的所述区段分配点对应关系。如果最小误差超过一阈值，则给所述对应关系设置一新的对象标识符(ID)，以便能识别较小对象或部分被遮挡的对象。
4.在时间点t-1所提取的区段的单应矩阵在一新帧(t-0)起始时通过已找到的图像对应关系重新计算并在当前帧中预测已有区段的标识符(ID)。如果当前帧中没有足够的光流矢量用于重新计算一单应矩阵，可以以近似方式运用上一帧的单应矩阵。
5.为生成致密光流场，针对每个区段，将当前帧(t-0)变形到上一帧(t-1)上，以重新找到已在其缩放或形状上发生变化的已有对应关系或建立新的对应关系。
6.背平面/底平面和侧平面的反投影误差可用于验证凸起目标，参见图6。
7.如果例如在一车载立体摄像机中有一差异图，则可从碰撞时间倒数t/d计算出绝对速度，这是因为在差异图中有针对单个像素的绝对距离d。
8.如果为每个区段计算一具有全部自由度的完整单应矩阵，则可从碰撞时间几乎无穷(或碰撞时间倒数近似于零)的区段确定旋转矩阵R。
9.三维立体(3D)周围环境可从所预测位置(Hxt1,xt1)而不从所测量位置(xt0,xt1)加以重建，并能对处于极点上的对象进行重建。
Claims (12)
1.用于从一车载摄像机的一图像序列中探测对象的方法，该方法包括下列步骤：
a)用车载摄像机拍摄图像序列，
b)在两个前后连续的图像中确定对应特征，
d)通过将相邻对应特征分别分配给空间中一相应平面，确定空间中的多个平面，以及
f)在考虑步骤d)中所确定的平面的情况下探测对象。
2.根据权利要求1所述的方法，其包括下列步骤：
c)计算相邻对应特征的单应矩阵以确定多个平面。
3.根据权利要求2所述的方法，其包括下列步骤：
e)根据所计算的单应矩阵划分对应特征。
4.根据上述权利要求中任一权利要求所述的方法，其包括下列步骤：
d2)将相邻对应特征分别分配给一底平面、一背平面或一侧平面。
5.根据权利要求4所述的方法，其中，按照下列等式计算至少一个背平面
其中，a、b、c是常数，x0、y0、x1、y1是在第一图像(索引0)和第二图像(索引1)中的对应关系，以及tx、ty、tz是矢量t/d的分量。t描述车载摄像机的平移，d描述到一平面的距离。
6.根据权利要求4或5所述的方法，其中，按照下列等式计算至少一个底平面
7.根据权利要求4、5或6所述的方法，其中，按照下列等式计算至少一个侧平面
8.根据权利要求4到7中任一权利要求所述的方法，其中，如果出现多个平面具有相同取向的情况，具有相同取向的平面根据所属的tx、ty、tz值被分离。
9.根据权利要求2到8中任一权利要求所述的方法，其中，通过一栅格将一图像细分为相似的单元格，
针对每个单元格从在该单元格中确定的对应特征计算一单应矩阵，
其中，对具有一致的单应矩阵的单元格进行聚类。
10.根据权利要求9所述的方法，其中，如果一第一单元格所计算的单应矩阵没有充分与一相邻单元格的单应矩阵相一致，则将第一单元格中一对应特征的反投影误差与相邻单元格单应矩阵的反投影误差相比较并将该对应特征分配给具有最小误差的单应矩阵，从而可在第一单元格内确定一聚类界限。
11.根据上述权利要求中任一权利要求所述的方法，其中，将平面分配给相邻对应特征的分配基本上在车载摄像机的整个图像中加以确定。
12.用于从一车载摄像机的一图像序列中探测对象的装置，该装置包括：一摄像机控制装置，该摄像机控制装置被设计用于，
a)用车载摄像机拍摄图像序列；
以及一分析评估电子装置，该分析评估电子装置被设计用于，
b)在两个前后连续的图像中确定对应特征，
d)通过将相邻对应特征分别分配给空间中一相应平面，确定空间中的多个平面，以及
g)在考虑所确定平面的情况下探测一个或多个对象。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016218852.6 | 2016-09-29 | ||
| DE102016218852.6A DE102016218852A1 (de) | 2016-09-29 | 2016-09-29 | Detektion von Objekten aus Bildern einer Kamera |
| PCT/DE2017/200102 WO2018059631A1 (de) | 2016-09-29 | 2017-09-28 | Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109791607A true CN109791607A (zh) | 2019-05-21 |
| CN109791607B CN109791607B (zh) | 2024-06-04 |
Family
ID=60262655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780060471.3A Active CN109791607B (zh) | 2016-09-29 | 2017-09-28 | 借助单应矩阵从摄像机的一系列图像中探测和验证对象 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10984263B2 (zh) |
| EP (1) | EP3520024B1 (zh) |
| JP (1) | JP7050763B2 (zh) |
| KR (1) | KR102491527B1 (zh) |
| CN (1) | CN109791607B (zh) |
| DE (2) | DE102016218852A1 (zh) |
| WO (1) | WO2018059631A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260719A (zh) * | 2020-01-09 | 2020-06-09 | 上海交通大学 | 一种基于神经网络算法的碰撞时间计算系统和方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016218853A1 (de) | 2016-09-29 | 2018-03-29 | Conti Temic Microelectronic Gmbh | Detektion und Validierung von Objekten aus Bildern einer Kamera |
| DE102016218852A1 (de) * | 2016-09-29 | 2018-03-29 | Conti Temic Microelectronic Gmbh | Detektion von Objekten aus Bildern einer Kamera |
| DE102016218849A1 (de) | 2016-09-29 | 2018-03-29 | Conti Temic Microelectronic Gmbh | Detektion und Tracking von Objekten aus Bildern einer Kamera |
| US10706587B1 (en) * | 2018-09-25 | 2020-07-07 | Amazon Technologies, Inc. | Calibration of multiple cameras |
| CN113284197B (zh) * | 2021-07-22 | 2021-11-23 | 浙江华睿科技股份有限公司 | Agv的tof相机外参标定方法及装置、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303735A (zh) * | 2007-05-03 | 2008-11-12 | 索尼德国有限责任公司 | 探测车辆盲点区域内运动物体的方法及盲点探测装置 |
| CN103477347A (zh) * | 2011-03-31 | 2013-12-25 | 罗伯特·博世有限公司 | 用于分析由车辆的摄像机拍摄的图像的方法和图像预处理设备 |
| US20150086080A1 (en) * | 2012-12-04 | 2015-03-26 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11353565A (ja) | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
| JP3463858B2 (ja) | 1998-08-27 | 2003-11-05 | 矢崎総業株式会社 | 周辺監視装置及び方法 |
| US6618672B2 (en) | 1998-10-21 | 2003-09-09 | Yazaki Corporation | Vehicle-applied rear-and-side monitoring system |
| DE19926559A1 (de) | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
| JP4118452B2 (ja) * | 1999-06-16 | 2008-07-16 | 本田技研工業株式会社 | 物体認識装置 |
| JP2002189075A (ja) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
| JP3895238B2 (ja) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
| JP3987048B2 (ja) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| DE10317044A1 (de) | 2003-04-11 | 2004-10-21 | Daimlerchrysler Ag | Freiraumüberwachung bei Kraftfahrzeugen |
| DE10351778A1 (de) | 2003-11-06 | 2005-06-09 | Daimlerchrysler Ag | Verfahren zur Korrespondenzanalyse in Bilddatensätzen |
| JP4328692B2 (ja) | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
| DE102004046101B4 (de) | 2004-09-23 | 2007-01-18 | Daimlerchrysler Ag | Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen |
| US7130745B2 (en) | 2005-02-10 | 2006-10-31 | Toyota Technical Center Usa, Inc. | Vehicle collision warning system |
| JP4203512B2 (ja) * | 2006-06-16 | 2009-01-07 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4166253B2 (ja) * | 2006-07-10 | 2008-10-15 | トヨタ自動車株式会社 | 物体検出装置、物体検出方法、および物体検出用プログラム |
| JP4267657B2 (ja) * | 2006-10-31 | 2009-05-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
| WO2008065717A1 (fr) * | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Système et procédé de détection de piéton |
| US8098889B2 (en) | 2007-01-18 | 2012-01-17 | Siemens Corporation | System and method for vehicle detection and tracking |
| WO2008114769A1 (ja) * | 2007-03-22 | 2008-09-25 | Nec Corporation | 移動体検知装置および移動体検知プログラムと移動体検知方法 |
| JP2009100342A (ja) | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
| JP5410730B2 (ja) * | 2008-10-09 | 2014-02-05 | 日立オートモティブシステムズ株式会社 | 自動車の外界認識装置 |
| DE102009028742A1 (de) | 2009-08-20 | 2011-02-24 | Robert Bosch Gmbh | Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts |
| US8232872B2 (en) | 2009-12-03 | 2012-07-31 | GM Global Technology Operations LLC | Cross traffic collision alert system |
| US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| US9118816B2 (en) * | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
| US9251708B2 (en) * | 2010-12-07 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Forward collision warning trap and pedestrian advanced warning system |
| EP2546804A1 (en) | 2011-07-10 | 2013-01-16 | Dürr Dental AG | Method and tomography apparatus for reconstruction of a 3D volume |
| JP5944781B2 (ja) * | 2012-07-31 | 2016-07-05 | 株式会社デンソーアイティーラボラトリ | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
| WO2015177648A1 (en) | 2014-05-14 | 2015-11-26 | Ofer Springer | Systems and methods for curb detection and pedestrian hazard assessment |
| DE102015224796A1 (de) | 2015-12-10 | 2017-06-14 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Erkennen einer möglichen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt |
| DE102016218853A1 (de) | 2016-09-29 | 2018-03-29 | Conti Temic Microelectronic Gmbh | Detektion und Validierung von Objekten aus Bildern einer Kamera |
| DE102016218852A1 (de) * | 2016-09-29 | 2018-03-29 | Conti Temic Microelectronic Gmbh | Detektion von Objekten aus Bildern einer Kamera |
| DE102016218849A1 (de) | 2016-09-29 | 2018-03-29 | Conti Temic Microelectronic Gmbh | Detektion und Tracking von Objekten aus Bildern einer Kamera |
-
2016
- 2016-09-29 DE DE102016218852.6A patent/DE102016218852A1/de not_active Withdrawn
-
2017
- 2017-09-28 WO PCT/DE2017/200102 patent/WO2018059631A1/de unknown
- 2017-09-28 CN CN201780060471.3A patent/CN109791607B/zh active Active
- 2017-09-28 KR KR1020197005955A patent/KR102491527B1/ko active IP Right Grant
- 2017-09-28 DE DE112017003466.3T patent/DE112017003466A5/de active Pending
- 2017-09-28 EP EP17794220.8A patent/EP3520024B1/de active Active
- 2017-09-28 US US16/323,826 patent/US10984263B2/en active Active
- 2017-09-28 JP JP2019513924A patent/JP7050763B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303735A (zh) * | 2007-05-03 | 2008-11-12 | 索尼德国有限责任公司 | 探测车辆盲点区域内运动物体的方法及盲点探测装置 |
| CN103477347A (zh) * | 2011-03-31 | 2013-12-25 | 罗伯特·博世有限公司 | 用于分析由车辆的摄像机拍摄的图像的方法和图像预处理设备 |
| US20150086080A1 (en) * | 2012-12-04 | 2015-03-26 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
Non-Patent Citations (3)
| Title |
|---|
| JOHANNPRANKL ET AL: "Interactive object modelling based on piecewise planar surface patches", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 * |
| MIA LOURAKIS: "Detecting Planes In An Uncalibrated Image Pair", 《PROCEEDINGS OF THE 13TH BRITISH MACHINE VISION CONFERENCE》 * |
| PENG CHANG ET AL: "Stereo-Based Vision System for Automotive Imminent Collision Detection", 《IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2004》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260719A (zh) * | 2020-01-09 | 2020-06-09 | 上海交通大学 | 一种基于神经网络算法的碰撞时间计算系统和方法 |
| CN111260719B (zh) * | 2020-01-09 | 2022-10-25 | 上海交通大学 | 一种基于神经网络算法的碰撞时间计算系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3520024B1 (de) | 2024-09-11 |
| DE102016218852A1 (de) | 2018-03-29 |
| KR20190059894A (ko) | 2019-05-31 |
| KR102491527B1 (ko) | 2023-01-20 |
| US10984263B2 (en) | 2021-04-20 |
| DE112017003466A5 (de) | 2019-03-21 |
| WO2018059631A1 (de) | 2018-04-05 |
| JP7050763B2 (ja) | 2022-04-08 |
| CN109791607B (zh) | 2024-06-04 |
| EP3520024A1 (de) | 2019-08-07 |
| US20190180121A1 (en) | 2019-06-13 |
| JP2019530924A (ja) | 2019-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dhiman et al. | Pothole detection using computer vision and learning | |
| CN109791607B (zh) | 借助单应矩阵从摄像机的一系列图像中探测和验证对象 | |
| JP6519262B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| Pfeiffer et al. | Efficient representation of traffic scenes by means of dynamic stixels | |
| Pfeiffer et al. | Towards a Global Optimal Multi-Layer Stixel Representation of Dense 3D Data. | |
| Broggi et al. | Terramax vision at the urban challenge 2007 | |
| US9042639B2 (en) | Method for representing surroundings | |
| CN108647638A (zh) | 一种车辆位置检测方法及装置 | |
| CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
| JP6150164B2 (ja) | 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム | |
| US10984264B2 (en) | Detection and validation of objects from sequential images of a camera | |
| Wedel et al. | Realtime depth estimation and obstacle detection from monocular video | |
| CN104376297A (zh) | 道路上的线型指示标志的检测方法和装置 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
| Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
| Huang et al. | Stereovision-based object segmentation for automotive applications | |
| CN115176288A (zh) | 用于重建道路的环境场景中的特征的方法 | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| US11087150B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
| Dornaika et al. | A new framework for stereo sensor pose through road segmentation and registration | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
| KR102368262B1 (ko) | 다중 관측정보를 이용한 신호등 배치정보 추정 방법 | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240412 Address after: Ingolstadt, Germany Applicant after: Continental Zhixing Germany Co.,Ltd. Country or region after: Germany Address before: Nuremberg, Germany Applicant before: CONTI TEMIC MICROELECTRONIC GmbH Country or region before: Germany |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |