CN106981074B - 用于估计相机相对于表面的取向的方法和装置 - Google Patents

用于估计相机相对于表面的取向的方法和装置 Download PDF

Info

Publication number
CN106981074B
CN106981074B CN201710070098.1A CN201710070098A CN106981074B CN 106981074 B CN106981074 B CN 106981074B CN 201710070098 A CN201710070098 A CN 201710070098A CN 106981074 B CN106981074 B CN 106981074B
Authority
CN
China
Prior art keywords
image
camera
normal vector
components
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710070098.1A
Other languages
English (en)
Other versions
CN106981074A (zh
Inventor
J·韦斯特霍夫
S·莱斯曼
M·莫伊特
J·西格蒙德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN106981074A publication Critical patent/CN106981074A/zh
Application granted granted Critical
Publication of CN106981074B publication Critical patent/CN106981074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

用于估计相机相对于表面的取向的方法和装置。估计相机相对于表面的取向的方法，限定相机坐标系且与表面垂直的法向矢量由相机坐标系中的三个分量表示，该方法包括：提供由相机捕获的第一图像和随后第二图像；第一图像选择第一点且从第二图像选择第二点，第一和第二点表示相同目标；限定连接第一点和第二点的第一光流矢量；执行第一估计步骤，该步骤包括通过使用第一光流矢量估计法向矢量在相机坐标系中的两个分量且将参数空间限制到法向矢量的仅两个分量，提供从表示第一图像和第二图像之间的投影变换的单应矩阵导出的线性方程组，且通过求解线性方程组估计法向矢量在相机坐标系中的两个分量；且使用第一估计步骤的结果确定相机相对于表面的取向。

Description

用于估计相机相对于表面的取向的方法和装置
技术领域
本发明涉及一种用于估计相机相对于表面(特别是路面)的取向的方法和装置。
背景技术
许多基于视觉的高级驾驶员辅助系统(ADAS)算法都要求关于车载相机到路面的取向(特别是俯仰角(pitch angle)和滚转角(roll angle))的信息。例如，前方碰撞警告(FCW)系统确定自身车辆和前方车辆之间的距离。为了计算该距离，必须知道自身车辆到路面的取向。如果相机取向未被充分知晓，则FCW算法产生错误输出信号，其可能使驾驶员分心或导致危险转向或制动反应。
通常的做法是在校准图案的帮助下确定针对静态车辆的静态相机取向、外在校准。当车辆移动时，相机到路面的取向不再是静止的而是时间依赖的。制动和加速操作以及路面不规则性导致快速且显著的相机取向变化。此外，可能由附加负载引起与静态校准不同的长时间取向偏移。
相机到路面的取向可以通过单应性(homography)描述，单应性表示从两个不同相机位置捕获的相同平面(这里是路面)的两个不同图像之间的投影变换。从单应矩阵提取角度信息是可能的，但是由于参数不确定性而不推荐。
发明内容
本发明的基本目的是提供一种允许通过低计算努力有效地估计相机相对于表面的取向的方法。本发明的进一步目的是提供用于估计相机相对于表面的取向的装置。
在本发明的一方面中，提供了一种估计相机相对于表面的取向的方法，其中，限定了相机坐标系并且与表面垂直的法向矢量由相机坐标系中的三个分量表示。根据所述方法，提供了由相机捕获的第一图像和随后第二图像，并且从第一图像选择第一点，且从第二图像选择第二点，其中，所述第一点和所述第二点表示相同目标。另外，限定连接第一点和第二点的第一光流矢量。执行第一估计步骤，第一估计步骤包括：通过使用第一光流矢量估计法向矢量在相机坐标系中的两个分量，并且将参数空间限制到法向矢量的仅两个分量。提供从表示第一图像和第二图像之间的投影变换的单应矩阵导出的线性方程组，并且通过求解线性方程组来估计法向矢量在相机坐标系中的两个分量。使用所述第一估计步骤的结果来确定相机相对于表面的取向。
将参数空间限制到法向矢量的仅两个分量允许相机的取向的快速估计。不要求初始参数猜测来估计取向。
特别地，相机坐标系的原点和表面之间的距离以及安装相机的车辆的速度是线性方程组的参数。
在另一实施方式中，执行在第一估计步骤之后的第二估计步骤，第二估计步骤包括：通过使用第一光流矢量并且将在所述第一估计步骤中忽略的法向矢量的分量设置为从所述第一估计步骤导出的值，再次估计法向矢量在相机坐标系中的两个分量。通过求解线性方程组来估计法向矢量在相机坐标系中的两个分量。通过使用在第二估计步骤中估计的法向矢量的分量来确定相机相对于表面的取向。
在第二估计步骤中，可以将在第一估计步骤中忽略的法向矢量的分量设置为从第一估计步骤导出的法向矢量的量的倒数(inverse)。
在另一实施方式中，第二光流矢量被限定为连接从所述第一图像选择的第三点和从所述第二图像选择的第四点，其中，第三点和第四点表示相同目标。通过使用第一光流矢量和第二光流矢量，在第一估计步骤中估计法向矢量在相机坐标系中的两个分量。特别地，通过使用第一光流矢量和第二光流矢量，在第二估计步骤中估计法向矢量在相机坐标系中的两个分量。
所述方法可以包括：在第一估计步骤和/或第二估计步骤中使用线性最小二乘估计，以便估计法向矢量在相机坐标系中的两个分量。
在一个实施方式中，限定了多个光流矢量，每个光流矢量连接第一图像中的相应点和第二图像中的相应点，其中，两个相应点表示相同目标。通过执行第一估计步骤并且特别是第二估计步骤，针对所述多个光流矢量中的每个估计法向矢量在相机坐标系中的两个分量。特别是通过使用随机样本一致过程，确定产生最高数量的内点(inlier)的光流矢量。
另外，可以通过针对所有内点执行第一估计步骤并且特别是第二估计步骤，在相机坐标系中估计法向矢量的两个分量。
相机相对于表面的取向的确定可以包括确定相机相对于表面的俯仰角和滚转角。
俯仰角和滚转角可以被多次确定并且可以特别是通过卡尔曼滤波器被滤波。
相机在捕获第一图像和捕获第二图像之间的旋转和平移可以使用MSAC(M-估计器样本一致)算法通过基于视觉的自身运动估计来提供。
自身运动的平移部分和旋转部分可以在迭代方案中被单独估计。
可以将迭代加权线性最小二乘法与归一化离散极线(epilolar)约束一起使用。
根据另一实施方式，作为MSAC算法的结果，获得多个内点，并且针对每个内点，使用通过MSAC算法提供的相机在捕获第一图像和捕获第二图像之间的旋转和平移来计算相应光流矢量长度。根据相应光流矢量长度对内点中的每个进行加权，并且使用加权的内点再次估计相机在捕获第一图像和捕获第二图像之间的平移。
相机可以被安装到车辆上并且表面可以是路面。特别地，车辆包括具有ADAS算法的系统，特别是基于相机的ADAS系统，例如FCW、车道偏离警告(LDP)或行人检测(PED)系统。
根据本发明的另一方面，提供了一种用于估计相机相对于表面的取向的装置，其中，限定了相机坐标系并且与表面垂直的法向矢量由相机坐标系中的三个分量表示。所述装置被配置为接收由相机捕获的第一图像和随后第二图像，从第一图像选择第一点且从第二图像选择第二点，其中，所述第一点和第二点表示相同目标，限定连接第一点和第二点的第一光流矢量，执行第一估计步骤包括：通过使用第一光流矢量估计法向矢量在相机坐标系中的两个分量，并且将参数空间限制到法向矢量的仅该两个分量，其中，通过求解从表示第一图像和第二图像之间的投影变换的单应矩阵导出的线性方程组，来估计法向矢量在相机坐标系中的两个分量，并且使用所述第一估计步骤的结果来确定相机相对于表面的取向。
所述装置可以包括与估计相机相对于表面的取向的方法关联的以上公开的具体实施方式。
附图说明
以下将参考实施方式和附图以示例性方式更详细地描述本发明。附图中示出：
图1是用于估计相机相对于路面的取向的系统和设备的示意图；
图2是示出俯仰角θ的几何结构的相机侧视图的示意性表示；
图3是示出滚转角Φ的几何结构的相机后视图的示意性表示；以及
图4是示出车辆自身运动估计的流程图。
具体实施方式
图1中示意性地示出用于估计相机相对于路面的取向的系统1。系统1包括装置2、相机3和速度传感器4。在本实施方式中，相机3被安装在车辆上并且捕获例如在车辆前方的区域的图像。速度传感器4测量车辆的速度。相机3和速度传感器4分别给装置2提供所捕获的图像和检测到的速度数据。装置2使用所捕获的图像和检测到的速度数据，以估计和输出关于相机3的取向和运动的数据。为此目的，装置2可以包括处理器并且采用以下解释的算法。
从移动车辆的连续姿势捕获的路面5的两个图像之间的单应性包括关于相机相对于路面5的滚动角和俯仰角的信息。所使用的坐标系在图2和图3中限定，图2和图3分别示出相机3的侧视图和后视图。坐标系被固定到相机3并且具有直角坐标x，y和z。路面5的法向矢量是n＝[nx，ny，nz]T。图2示出坐标系的y-z平面，其中，俯仰角θ被限定为法向矢量n到y-z平面的投影和y轴之间的角度。图3示出坐标系的x-y平面，其中，滚转角Φ被限定为法向矢量n到x-y平面的投影和y轴之间的角度。
相机3和路面5之间的俯仰角θ和滚转角Φ也通过等式(1)和(2)限定：
Figure GDA0002568506280000041
Figure GDA0002568506280000042
关于俯仰角θ和滚转角Φ的信息被包括在单应性中，单应性表示随后从相机3的两个不同位置捕获的路面5的两个不同图像之间的投影信息。单应矩阵H被如下限定
Figure GDA0002568506280000043
并且包括内在相机校准矩阵K、相机3的坐标系的原点和路面5之间的距离d、以及两个相机位置之间的相对旋转R和平移t。通过由归一化的平移矢量t'、由速度传感器4测量的车辆速度v和在两次图像捕获之间经过的时间s组成的t＝t′vs来计算度量平移(metrictranslation)。
先验信息被用于解决估计问题。车辆速度v通过总线系统提供并且两次图像捕获之间的时间s在相机3的数据表中给出。距离d可以被测量并且被假设为恒定的。通过标准校准过程，内在相机校准K是已知的。单应性的分量R和t’(其被称为自身运动)可以通过惯性测量单元(IMU)或者通过基于视觉的运动估计提供。本文中采用基于视觉的方法来确定自身运动，其将在下面更详细地论述。
估计法向矢量n以估计俯仰角θ和滚转角Φ。单应性中的法向矢量n以||n||＝1为条件。利用该知识，估计问题从三个参数(nx，ny，nz)减少到两个参数，即nx和nz，以获得俯仰角θ和滚转角Φ。
相机3捕获第一图像并且随后在时间s之后，相机3捕获第二图像。对于角度估计算法，光流(OF)矢量作为输入数据。OF矢量线性地连接表示世界上的相同目标的两个不同图像中的两个点。因此，选择第一图像中的第一点和第二图像中的第二点，其中，第一点和第二点表示相同目标。第一OF矢量连接第一点和第二点。
点在由OF矢量连接的图像中的位置对于第一图像由齐次矢量(homogenousvector)p＝[p1，p2，p3]T表示，并且对于第二图像由齐次矢量q＝[q1，q2，q3]T表示。单应矩阵H将齐次矢量p转换为齐次矢量
q＝Hp (4)
为了计算图像坐标(u,v)，我们可以写成
Figure GDA0002568506280000051
和
Figure GDA0002568506280000052
为了获得期望法向分量nx和nz，我们将方程(4)代入方程(5)和(6)。如方程(3)中给出的单应矩阵H的每个分量然后被分解为包括R、t、n、d和K的单个分量的部分。为了实现简单公式表达，以下部分使用按比例缩放的平移
Figure GDA0002568506280000053
和归一化坐标。在重新布置方程之后，我们获得线性方程组
Figure GDA0002568506280000054
寻找的法向矢量分量是nx、nz和
Figure GDA0002568506280000061
Figure GDA0002568506280000062
变量c1、c2由重新布置的方程的剩余部分构成
Figure GDA0002568506280000063
和
Figure GDA0002568506280000064
其不被连接到nx或nz。方程(10)和(11)中的Rij(i，j＝1，2，3)是3×3矩阵R的元素。方程(7)是非齐次方程组，并且为此原因，我们能够利用简单最小二乘技术通过低计算努力来对它求解。
在第一估计步骤中，为了估计，法向矢量n的第二分量ny最初被假设为-1(俯仰角θ＝0°，滚转角Φ＝0°)。在解决最小二乘问题(方程(7))之后，如果俯仰角θ和滚转角Φ不是0°，则结果违反条件||n||＝1。为了解决该问题，在第一估计步骤之后执行第二估计步骤。
在第二估计步骤中，我们计算ny＝-1/||n||并且用更新后的ny再次进行估计，其中，从第一估计步骤的结果计算法向矢量n的量(amount)||n||。通常，该过程将||n||减少到<1.0004，其满足我们的准确度需求。我们选择该启发式方法以避免将另外约束||n||＝1直接包含到优化问题中，因为这将导致非线性问题。
理论上，将参数空间限定到[nx，nz]T的方法使得我们能够仅从单个OF矢量估计俯仰角和滚转角。代替使用一个OF矢量，我们使用两个OF矢量以实现更好的条件问题。在这种情况下，从第一图像选择第三点并且从第二图像选择第四点，其中，第三点和第四点表示相同目标。第二OF矢量连接第三点和第四点。通过使用第一OF矢量和第二OF矢量，然后可以如上所述执行第一和第二估计步骤。
路面是主要平面的假设允许我们使用随机样本一致(RANSAC)过程来确定哪个OF矢量属于路面和哪个OF矢量不属于路面。OF矢量的数量N被用于RANSAC过程，其中，每个OF矢量连接第一图像中的相应点和第二图像中的相应点。针对每个OF矢量，如上所述执行第一估计步骤和第二估计步骤，并且获得法向矢量n的估计。另外，从每个OF矢量获得的结果被用于验证估计的质量。从第一图像中的矢量p和从法向矢量n的估计获得的结果，计算第二图像中的矢量q。将从所述估计获得的矢量q与从第二图像获得的矢量q进行比较。
通过对由所估计的单应性变形的点和OF矢量端点之间的误差进行阈值化，来进行RANSAC方法的内点/外点(outlier)判定。针对OF矢量的内点的数量越高，基于该OF矢量的估计的质量就越高。
通过求解由所有RANSAC内点构成的线性方程组进行法向矢量n的最终估计。需要多少次RANSAC迭代N的估计可以通过以下作出
Figure GDA0002568506280000071
其中，p是得到属于道路的至少一个流矢量的概率(参见Richard Hartley和Andrew Zisserman.Multiple view geometry in computer vision,Cambridgeuniversity press,2003)。参数e限定OF矢量的哪个部分不属于路面，并且s表示计算n所必须的OF矢量的量。方程(12)的结果N＝10指示需要仅非常少的RANSAC迭代来获取法向矢量的分量的估计，以获得相机3的俯仰角θ和滚转角Φ。
从基于OF的估计方法，我们最终获得法向矢量分量以及相机3相对于路面5的俯仰角θ和滚转角Φ。另外信息通过可以从自身运动旋转矩阵R获得的第一图像和第二图像之间的相对俯仰角Δθ和相对滚转角ΔΦ提供。两个信息源被组合到卡尔曼滤波器中。具有相同结构的两个单独卡尔曼滤波器被用于在每个时间步骤内估计相机3的最终俯仰角和滚转角。系统模型
xk＝xk-l+uk+wk (13)
分别使用x＝θ，x＝Φ。在时间k处的控制输入uk表示从自身运动获得的相对角度Δθ和ΔΦ。假设处理噪声uk利用自身运动角度估计的方差反映正态分布(零均值)。在测量值模型方程
Zk＝xk+vk (14)中，通过在试验中评估基于单应性的俯仰和滚动估计方差来确定观测噪声vk。为了确保卡尔曼滤波器被适当地限定并且为了获得用于外点检测的阈值，我们应用χ2测试。理论上，卡尔曼滤波器的加权新息(innovation)
Figure GDA0002568506280000072
(yk新息残差，Sk新息协方差)遵循x2分布(参见Yaakov Bar-Shalom.Kalman filtering techniques forradar tracking:K.V.Ramachandra；2000Marcel Dekker,New York,ISBN:0-8247-9322-6,Automatica,37(6):957-958，2001)。例如，如果我们查看χ2表，我们看到数据的加权新息的5％应该高于针对我们的一维滤波器的值3.8。这与我们的试验数据很好地吻合。另外，产生>3.8的加权新息的测量值被作为外点并且可以不应用卡尔曼滤波器的更新步骤。
以下描述车辆自身运动估计。自身运动估计特别被用于获得两个相机位置之间的相对旋转R和平移矢量t。
使用单眼视觉的车辆自身运动估计在基于视觉的驾驶员辅助系统应用中是困难且重要的问题。该困难主要从进入基线(相机平移)方向的运动发生，其使得潜在最小化问题对噪声敏感。另外，环境条件(像其它移动目标、阳光中的移动阴影、以及挡风玻璃上的雨和移动雨刮器)将引起额外外点，额外外点必须被忽略以获得可靠结果。一旦自身运动被计算，它就用作针对许多其它问题的输入，如FCW系统中的距离估计，其中，汽车的俯仰导致所确定的解和基于单应性的地平面估计中的粗差，并且由此，如此不浪费过多计算时间。
本文中呈现的用于健壮自身运动估计的方法包括M-估计器样本一致(MSAC)，其基于RANSAC并且进一步包括M-估计器。另外，自身运动的平移和旋转部分在迭代方案中被单独估计，其中，我们使用特别的约束并且添加另外加权参数。本文中，我们在平移和旋转的估计之间进行明确区分，这是因为旋转影响附近和远处的点，而我们在远处的点上仅具有少量平移。作为约束，我们取归一化离散极线约束(Sampson距离)，并且在迭代加权线性最小二乘法中使用它。这些距离被用于在每一个迭代步骤中确定针对我们的最小二乘问题的权重。进一步地，我们可以寻找用于我们的方程的更有效公式化，以节省另外计算步骤。为了处理外点，我们添加健壮估计方法，如MSAC和M估计器，其允许我们将图像划分成前景(其它移动对象或光流外点)和背景运动(自身运动)并且基于车辆的水平运动通过使用先验信息增强它。该算法还被在线成功地测试并且因此适用于实时应用，这是因为它收敛得很快。图4示出说明本文中使用的算法的流程图。
从用于光流的KLT特征跟踪器的金字塔实现(参见Bouguet,Jean-Yves.Pyramidalimplementation of the affine lucas kanade feature tracker description of thealgorithm.Intel Corporation,5:1-10，2001)开始，我们从由相机3捕获的当前图像i到图像i中的均匀样本网格上的下一个连续图像
Figure GDA0002568506280000081
导出M个特征轨迹。之前利用二次约束和来自车辆速度传感器的输入通过不可行轨道长度对光流进行过滤。在该轮廓的剩余部分中，我们假设我们的坐标以未失真规范形式给出，因为我们的内在校准参数是已知的。我们的目标现在是计算相机3从图像到图像的滚动R和平移t。从极线约束
Figure GDA0002568506280000091
导出接下来的步骤，具有头操作符
Figure GDA0002568506280000092
头操作符
Figure GDA0002568506280000093
描述根据斜对称矩阵的叉积。代替最小化
S(i)＝∑j(ψij(R，t))2 (15)
其中，
Figure GDA0002568506280000094
和归一化项
Figure GDA0002568506280000095
其中，第三单位矢量e3，(参见Hedborg,Johan和Felsberg,Michael.Fastiterative five point relative pose estimation.Robot Vision(WORV)，2013IEEEWorkshop on，60-67页，2013年，IEEE)使用像Levenberg Marquart的迭代求解器，我们将导出两个线性方程组，其将在迭代方案中被求解。如果我们假设针对旋转分量的小角度近似(这对于我们的目的是合理的)，旋转矩阵将变为
Figure GDA0002568506280000096
其中，Ω＝[ωx ωyωz]T。在估计处理中，平移t可以仅被估计达到一定规模(up-to-scale)，我们因此约束t＝[tx ty tz]T，使得||t||∞＝1，这意味着在车辆自身运动方面，我们可以假设第三平移分量tz＝-1(点向负方向的平移)。使得
Figure GDA0002568506280000097
从现在开始，我们将忽略图像参数i以用于简化，并且仅考虑两个连续图像。从极线约束的扩展，我们可以导出双线性方程：
Figure GDA0002568506280000098
因此我们想找到最小二乘解
Figure GDA0002568506280000099
其中，
Figure GDA00025685062800000910
文献“Bai,E and Liu,Yun.On the least squares solutions of a system ofbilinear equations”(IEEE CONFERENCE ON DECISION AND CONTROL,number 2,pages1197,2005.IEEE；1998)提到了用于求解双线性最小二乘问题的线性迭代方案并且还建立了针对该算法的快速收敛。在文献“Narendra,Kumpati S和Gallman,Philip G,Aniterative method for the identification of nonlinear systems using aHammerstein model”(Automatic Control,IEEE Transactions on，11(3):546-550，1966)中，收敛被进一步证明用于归一化情况。我们将采用该迭代方案的思想用于我们的目的，并且迭代地求解两个线性最小二乘问题，但是除此之外，我们的方程的右边也取决于估计参数。首先，我们根据t和Ω重新编写方程(18)：
Figure GDA0002568506280000101
并且类比(analog)：
Figure GDA0002568506280000102
其中，
Figure GDA0002568506280000103
我们现在针对每个方程，使用加权线性最小二乘进行以下方法。因此，归一化项μj被用作权重并且在每次迭代中被线性化两次，并且最小二乘函数被限定如下：
Figure GDA0002568506280000104
Figure GDA0002568506280000105
然后描述该算法
Figure GDA0002568506280000111
如上所示，该算法包括：在每个迭代步骤中，计算归一化项
Figure GDA0002568506280000112
和
Figure GDA0002568506280000113
并且随后，使用所计算的归一化项
Figure GDA0002568506280000114
和
Figure GDA0002568506280000115
分别更新平移和旋转。
为了节约计算成本，如果我们如下限定，则我们可以使用xj＝p(xj)1(xj)2 1]T和x′j＝p(x′j)1(x′j)2 1]T以更有效的方式公式化方程(20)和(21)：
Figure GDA0002568506280000116
Figure GDA0002568506280000117
Figure GDA0002568506280000118
Figure GDA0002568506280000119
Figure GDA00025685062800001110
Figure GDA00025685062800001111
然后，方程(20)可以被缩短到：
Figure GDA00025685062800001112
对于旋转部分，我们限定：
Figure GDA0002568506280000121
Figure GDA0002568506280000122
Figure GDA0002568506280000123
Figure GDA0002568506280000124
Figure GDA0002568506280000125
Figure GDA0002568506280000126
Figure GDA0002568506280000127
旋转方程(21)然后变成：
Figure GDA0002568506280000128
如果我们不使用所模仿的数据用于光流假设生成，则在真实世界场景中出现外点的问题，这是因为光流问题本身的解是困难的。自身运动估计的质量受到损害，因此需要健壮估计。一种方法是使用RANSAC(参见Fischler,Martin Aand Bolles,Robert C,Randomsample consensus:a paradigm for model fitting with applications to imageanalysis and automated cartography，Communications of the ACM，24(6):381-395,1981)，其中，首先从随机选择的光流样本的最小集合计算模型，并且之后选择使成本函数最小化的解
Figure GDA0002568506280000129
其中
Figure GDA00025685062800001210
用于所选阈值τ和残差ej。
在文献“Torr,Phil and Zisserman,Andrew.Robust computation andparametrization of multiple view relations”(Computer Vision,1998.SixthInternational Conference on，727-732页，1998，IEEE)和“Torr,Philip HS andZisserman,Andrew.MLESAC:A new robust estimator with application to estimatingimage geometry”(Computer Vision and Image Understanding，78(1):138-156,2000)中，呈现被称为MSAC(M估计器样本一致)的另一概念。成本函数ρ(·)变为
Figure GDA0002568506280000131
现在的区别是，内点也得到取决于它们的数据拟合的惩罚。针对外点的恒定阈值保持恒定，但是现在通过精确阈值边界给出。因为已经证明MSAC在运动估计应用中相对于RANSAC更为健壮，我们决定使用MSAC用于我们的方法。在MSAC例程之后，对由来自MSAC步骤的样本集合的最小解提供的图像中的所有内点执行进一步估计。另外，我们将结合M-估计器来进一步改进我们的结果。这里，我们测试Huber k-估计器WH(·)
Figure GDA0002568506280000132
并且包括其作为我们的算法的每个线性最小二乘步骤中的附加权重，扩展已经提到的权重μj。
由于远处的点仅具有少量平移，我们希望优选具有在MSAC循环之后用于平移估计的适当光流矢量长度的那些特征。我们将被称为
Figure GDA0002568506280000133
的权重乘以我们前面提到的权重。该权重以如下方式限定：
Figure GDA0002568506280000134
其中
Figure GDA0002568506280000135
用于所选阈值δ，其描述光流矢量长度。在本文中，使用欧几里德范数将平移归一化为1，f表示相机模型的焦距，Zj是适当3D点的三角化深度，v是车辆速度并且s是两个图像之间的时间。深度在每个迭代步骤之后被更新，以及使用更新后的平移更新权重
Figure GDA0002568506280000136
代替使用离散化权重，也可以使用0和1之间的缩放版本。
通常，我们具有关于我们还想考虑的参数的先验知识，例如到FOE方向或者两个极点(epipole)的大致向前运动应该接近固定水平线hy，其在之前被校准。但是我们还不想太严格地依赖于该假设。我们在MSAC步骤中使用类似Tikhonov的模型包括该附加信息，代替直接丢弃针对样本集合的所估计模型参数(其不适合先验信息)。如果我们分别用取决于旋转和平移的
Figure GDA0002568506280000137
和
Figure GDA0002568506280000138
表示左极点和右侧极点的y坐标，则成本函数C1变为
Figure GDA0002568506280000139
其中λ1，λ2≥0。参数λ1，λ2必须被仔细选择，以仅稍微地影响最佳模型选择。
内点选择自身还能够通过三角化我们的特征轨迹被增强并且应用正深度约束，这是因为在视频图像中可见的所有点应该具有正深度。
附图标记的列表
1 系统
2 装置
3 相机
4 速度传感器
5 路面

Claims (14)

1.一种估计相机(3)相对于表面的取向的方法，其中，限定相机坐标系并且与所述表面垂直的法向矢量由所述相机坐标系中的三个分量表示，所述方法包括：
提供由所述相机(3)捕获的第一图像和随后第二图像；
从所述第一图像选择第一点且从所述第二图像选择第二点，其中，所述第一点和所述第二点表示相同目标；以及
限定连接所述第一点和所述第二点的第一光流矢量，
其特征在于，所述方法还包括：
执行第一估计步骤，所述第一估计步骤包括：通过使用所述第一光流矢量估计所述法向矢量在所述相机坐标系中的两个分量，并且通过将所述法向矢量的剩余的第三分量最初假设为固定值而将参数空间限制到所述法向矢量的仅所述两个分量，其中，提供从表示所述第一图像和所述第二图像之间的投影变换的单应矩阵导出的线性方程组，并且通过求解所述线性方程组来估计所述法向矢量在所述相机坐标系中的所述两个分量；
使用所述第一估计步骤的结果来确定所述相机(3)相对于所述表面的所述取向；以及
在所述第一估计步骤之后执行第二估计步骤，所述第二估计步骤包括：通过使用所述第一光流矢量并且将在所述第一估计步骤中忽略的所述法向矢量的所述分量设置为从所述第一估计步骤导出的值，再次估计所述法向矢量在所述相机坐标系中的所述两个分量，其中，通过求解所述线性方程组来估计所述法向矢量在所述相机坐标系中的所述两个分量，并且通过使用在所述第二估计步骤中估计的所述法向矢量的所述分量来确定所述相机(3)相对于所述表面的所述取向，并且
其中，在所述第二估计步骤中，在所述第一估计步骤中忽略的所述法向矢量的所述分量被设置为从所述第一估计步骤导出的所述法向矢量的值的倒数。
2.根据权利要求1所述的方法，所述方法包括：
从所述第一图像选择第三点并且从所述第二图像选择第四点，其中，所述第三点和所述第四点表示相同目标；
限定连接所述第三点和所述第四点的第二光流矢量；
通过使用所述第一光流矢量和所述第二光流矢量在所述第一估计步骤中估计所述法向矢量在所述相机坐标系中的所述两个分量；以及
通过使用所述第一光流矢量和所述第二光流矢量在所述第二估计步骤中估计所述法向矢量在所述相机坐标系中的所述两个分量。
3.根据权利要求1所述的方法，所述方法包括：在所述第一估计步骤和所述第二估计步骤中的至少一者中使用线性最小二乘估计，以估计所述法向矢量在所述相机坐标系中的所述两个分量。
4.根据权利要求1所述的方法，所述方法包括：
限定多个光流矢量，每个光流矢量连接所述第一图像中的相应点和所述第二图像中的相应点，其中，两个相应点表示相同目标；
通过执行所述第一估计步骤以及所述第二估计步骤，针对所述多个光流矢量中的每个估计所述法向矢量在所述相机坐标系中的所述两个分量；以及
通过使用随机样本一致过程，确定所述光流矢量中产生最高数量的内点的一个光流矢量。
5.根据权利要求4所述的方法，所述方法包括：通过针对所有内点执行所述第一估计步骤以及所述第二估计步骤，估计所述法向矢量在所述相机坐标系中的所述两个分量。
6.根据前述权利要求中任一项所述的方法，其中，确定所述相机(3)相对于所述表面的所述取向包括：确定所述相机(3)相对于所述表面的俯仰角和滚转角。
7.根据权利要求6所述的方法，所述方法包括：多次确定所述俯仰角和所述滚转角，并且对所述俯仰角和所述滚转角进行滤波。
8.根据权利要求7所述的方法，其中，所述滤波是卡尔曼滤波。
9.根据权利要求1至5中任一项所述的方法，其中，使用M-估计器样本一致MSAC算法通过基于视觉的自身运动估计来提供所述相机(3)在捕获所述第一图像和捕获所述第二图像之间的旋转和平移。
10.根据权利要求9所述的方法，其中，所述自身运动的平移部分和旋转部分在迭代方案中被单独估计。
11.根据权利要求9所述的方法，其中，将迭代加权线性最小二乘法与归一化离散极线约束一起使用。
12.根据权利要求9所述的方法，其中，作为所述MSAC算法的结果，获得多个内点，并且针对所述内点中的每个，使用通过MSAC算法提供的所述相机(3)在捕获所述第一图像和捕获所述第二图像之间的所述旋转和所述平移计算相应光流矢量长度，其中，根据所述相应光流矢量长度对所述内点中的每个进行加权，并且使用加权的内点再次估计所述相机(3)在捕获所述第一图像和捕获所述第二图像之间的所述平移。
13.根据权利要求1至5中任一项所述的方法，其中，所述相机(3)被安装在车辆上并且所述表面是路面(5)。
14.一种用于估计相机(3)相对于表面的取向的装置(2)，其中，限定了相机坐标系并且与所述表面垂直的法向矢量由所述相机坐标系中的三个分量表示，所述装置(2)包括：
用于接收由所述相机(3)捕获的第一图像和随后第二图像的单元；
用于从所述第一图像选择第一点并且从所述第二图像选择第二点的单元，其中，所述第一点和所述第二点表示相同目标；
用于限定连接所述第一点和所述第二点的第一光流矢量的单元；
用于执行第一估计的单元，所述用于执行第一估计的单元通过使用所述第一光流矢量估计所述法向矢量在所述相机坐标系中的两个分量，并且通过将所述法向矢量的剩余的第三分量最初假设为固定值而将参数空间限制到所述法向矢量的仅所述两个分量，其中，所述法向矢量在所述相机坐标系中的所述两个分量是通过求解从表示所述第一图像和所述第二图像之间的投影变换的单应矩阵导出的线性方程组来估计的；
用于使用所述用于执行第一估计的单元的执行结果来确定所述相机(3)相对于所述表面的所述取向的单元；以及
用于执行第二估计的单元，所述用于执行第二估计的单元通过使用所述第一光流矢量并且将在所述第一估计中忽略的所述法向矢量的所述分量设置为从所述第一估计导出的值，再次估计所述法向矢量在所述相机坐标系中的所述两个分量，其中，所述法向矢量在所述相机坐标系中的所述两个分量是通过求解所述线性方程组来估计的，并且所述相机(3)相对于所述表面的所述取向是通过使用在所述第二估计中估计的所述法向矢量的所述分量来确定的，并且
其中，在所述第一估计中忽略的所述法向矢量的所述分量被设置为从所述第一估计导出的所述法向矢量的值的倒数。
CN201710070098.1A 2016-01-15 2017-01-10 用于估计相机相对于表面的取向的方法和装置 Active CN106981074B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16151517.6 2016-01-15
EP16151517.6A EP3193306B8 (en) 2016-01-15 2016-01-15 A method and a device for estimating an orientation of a camera relative to a road surface

Publications (2)

Publication Number Publication Date
CN106981074A CN106981074A (zh) 2017-07-25
CN106981074B true CN106981074B (zh) 2021-05-25

Family

ID=55221284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710070098.1A Active CN106981074B (zh) 2016-01-15 2017-01-10 用于估计相机相对于表面的取向的方法和装置

Country Status (3)

Country Link
US (1) US10102644B2 (zh)
EP (1) EP3193306B8 (zh)
CN (1) CN106981074B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156441B2 (en) 2016-01-05 2018-12-18 Texas Instruments Incorporated Ground plane estimation in a computer vision system
US10911745B2 (en) * 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
CN107388967B (zh) * 2017-08-14 2019-11-12 上海汽车集团股份有限公司 一种车载三维激光传感器的外参数补偿方法及装置
CN108171784B (zh) * 2017-12-22 2021-06-01 福建省天奕网络科技有限公司 一种渲染方法及终端
CN108154552A (zh) * 2017-12-26 2018-06-12 中国科学院深圳先进技术研究院 一种立体腹腔镜三维模型重建方法和装置
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
CN110567469B (zh) * 2018-06-05 2021-07-20 北京市商汤科技开发有限公司 视觉定位方法、装置、电子设备及系统
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
EP3667362A1 (en) * 2018-12-10 2020-06-17 Infineon Technologies AG Methods and apparatuses for determining rotation parameters for conversion between coordinate systems
CN111325800A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种单目视觉系统俯仰角标定方法
DE102020101718A1 (de) 2020-01-24 2021-07-29 Car.Software Estonia As Verfahren und Vorrichtung zum Ermitteln der Ausrichtung einer Fläche eines Objekts
CN111429530B (zh) * 2020-04-10 2023-06-02 浙江大华技术股份有限公司 一种坐标标定方法及相关装置
CN112284380A (zh) * 2020-09-23 2021-01-29 深圳市富临通实业股份有限公司 一种基于光流和imu融合的非线性估计方法及系统
DE102021205852A1 (de) 2021-06-10 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bereitstellen von Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche und Verfahren und Vorrichtung zum Steuern eines Betriebs eines Fahrzeugs
US11557089B1 (en) 2022-03-25 2023-01-17 Valerann Ltd System and method for determining a viewpoint of a traffic camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN104246825B (zh) * 2012-01-20 2016-01-06 Esg电子系统及逻辑股份有限公司 用于车辆摄像机的在线校准的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
DE102008058279A1 (de) * 2008-11-20 2010-05-27 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
US9202278B2 (en) * 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
EP2840550A1 (en) * 2013-08-19 2015-02-25 Delphi Technologies, Inc. Camera pose estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246825B (zh) * 2012-01-20 2016-01-06 Esg电子系统及逻辑股份有限公司 用于车辆摄像机的在线校准的方法和装置
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Automatic on-the-fly extrinsic camera calibration of onboard vehicular cameras;M.B. de Paula;《Expert Systems with Applications》;20140331;全文 *

Also Published As

Publication number Publication date
CN106981074A (zh) 2017-07-25
EP3193306B1 (en) 2018-11-28
US20170206674A1 (en) 2017-07-20
US10102644B2 (en) 2018-10-16
EP3193306B8 (en) 2019-01-23
EP3193306A1 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
CN106981074B (zh) 用于估计相机相对于表面的取向的方法和装置
CN110766716B (zh) 一种空间未知运动目标的信息获取方法及系统
CN107016705B (zh) 计算机视觉系统中的地平面估计
EP2538242B1 (en) Depth measurement quality enhancement.
EP2851870B1 (en) Method for estimating ego motion of an object
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
JP4480083B2 (ja) 物体認識装置
JP4919036B2 (ja) 移動物体認識装置
US10008002B2 (en) Single-camera distance estimation
JP4943034B2 (ja) ステレオ画像処理装置
EP3678096B1 (en) Method for calculating a tow hitch position
EP2901236B1 (en) Video-assisted target location
US20200402257A1 (en) Device and method for calculating a vehicle trailer pose using a camera
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
EP3293700B1 (en) 3d reconstruction for vehicle
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN116740126A (zh) 目标跟踪方法、高速相机及存储介质
JP2019109747A (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
JP2011209070A (ja) 画像処理装置
Westerhoff et al. Development and comparison of homography based estimation techniques for camera to road surface orientation
JP2005148784A (ja) 路面走行レーン検出装置
JPWO2020244717A5 (zh)
JP5113867B2 (ja) 車両周辺監視装置
Woelk et al. A monocular collision warning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210416

Address after: Babado J San Michael

Applicant after: Aptiv Technologies Ltd.

Address before: Michigan state

Applicant before: DELPHI TECHNOLOGIES, Inc.

GR01 Patent grant
GR01 Patent grant