CN109155066B - 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆 - Google Patents

用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆 Download PDF

Info

Publication number
CN109155066B
CN109155066B CN201780017443.3A CN201780017443A CN109155066B CN 109155066 B CN109155066 B CN 109155066B CN 201780017443 A CN201780017443 A CN 201780017443A CN 109155066 B CN109155066 B CN 109155066B
Authority
CN
China
Prior art keywords
block
motor vehicle
camera
determined
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780017443.3A
Other languages
English (en)
Other versions
CN109155066A (zh
Inventor
P.厄米利奥斯
B.麦克纳马拉
W.奥格雷迪
M.弗里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of CN109155066A publication Critical patent/CN109155066A/zh
Application granted granted Critical
Publication of CN109155066B publication Critical patent/CN109155066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明涉及一种用于由机动车辆(1)的摄像头(4)捕获的所述机动车辆(1)的环境区域(9)的两个图像之间的运动估计的方法，其中执行以下步骤：a)将第一图像的至少两个图像区域确定为所述第一图像中的至少两个第一块(B)；b)对于每个第一块(B)，在第二图像中限定相应的搜索区域，以在所述第二图像中的相应的搜索区域搜索对应于相应的第一块(B)的第二块(B)；c)确定每个第一块(B)及其相应的搜索区域的成本表面(18)；d)基于所述成本表面(18)确定所述至少两个第一块(B)中的一个的平均成本表面(19)；e)识别所述第一块(B)中的一个的运动矢量(v)，其描述所述第一图像中的第一块(B)和所述第二图像中的对应的第二块(B)的位置的运动。本发明还涉及计算装置(3)、驾驶员辅助系统(2)以及机动车辆(1)。

Description

用于机动车辆的环境区域的两个图像之间的运动估计的方 法，计算装置，驾驶员辅助系统以及机动车辆
技术领域
本发明涉及一种用于由机动车辆的摄像头捕获的机动车辆的环境区域的两个图像之间的运动估计的方法。此外，本发明涉及计算装置、驾驶员辅助系统以及具有驾驶员辅助系统的机动车辆。
背景技术
目前，兴趣集中在机动车辆的摄像头上。摄像头适于在图像或视频帧中捕获机动车辆的环境区域。从图像中提取的信息可以提供给机动车辆的驾驶员辅助系统。出于两个视频帧之间的运动估计的目的，从现有技术中已知使用块匹配算法以在视频帧的序列中定位匹配或对应的块，即所谓的宏块(macroblock)。对应的块被理解为至少部分地显示相同的环境区域的两个图像帧的图像区域。块匹配算法通常涉及将视频的当前帧划分为宏块，并将每个宏块与视频的附近帧(特别是前一帧)中的对应块及其相邻的邻居进行比较。创建运动矢量，其模拟宏块从一个位置到另一个位置的移动。针对包括帧的所有宏块计算的该移动构成帧中估计的运动。在诸如低光或恶劣天气等恶劣环境条件下，视频帧可能被高水平的噪声、运动模糊和其他伪像破坏，其通常会降低块匹配质量，并且从而降低提取的运动矢量的准确性或有效性，导致大量异常值。因此，从现有技术中已知的块匹配技术可能很难或不能产生可用的运动矢量。
发明内容
本发明的目的是提供一种解决方案，其可以以可靠的方式执行由车辆侧摄像头捕获的图像之间的运动估计，特别是即使在不利的环境条件下。
根据本发明，该目的通过包括根据相应的独立权利要求的特征的方法、计算装置、驾驶员辅助系统以及机动车辆来解决。本发明的有利实施例是从属权利要求、说明书和附图的主题。
在本发明的实施例中，提供一种用于由机动车辆的摄像头捕获的机动车辆的环境区域的两个图像之间的运动估计的方法。特别地，将第一图像的至少两个图像区域确定为第一图像中的至少两个第一块，且对于每个第一块，在第二图像中限定相应的搜索区域，以在第二图像的相应的搜索区域中搜索对应于相应的第一块的第二块。然后。可以确定每个第一块及其相应的搜索区域的成本表面，且可以基于成本表面为至少两个第一块中的一个确定平均成本表面。此外，可以确定与平均成本表面相关的第一块中的一个的运动矢量，其描述第一图像中的第一块和第二图像中的对应的第二块的位置的运动。
在本发明的优选实施例中，提供一种用于由机动车辆的摄像头捕获的机动车辆的环境区域的两个图像之间的运动估计的方法。为此，将第一图像的至少两个图像区域确定为第一图像中的至少两个第一块，且对于每个第一块，在第二图像中限定相应的搜索区域，以在第二图像的相应的搜索区域中搜索对应于相应的第一块的第二块。然后。确定每个第一块及其相应的搜索区域的成本表面，且基于成本表面为至少两个第一块中的一个确定平均成本表面。此外，确定与平均成本表面相关的第一块中的一个的运动矢量，其描述第一图像中的第一块和第二图像中的对应的第二块的位置的运动。
通过该方法，可以执行块匹配操作，例如，通过车辆侧计算装置，特别是甚至在不利的环境条件下。基于由车辆侧摄像头捕获的两个图像或视频帧来执行块匹配操作。车辆可以包括四个摄像头，其可以形成环绕观察摄像头系统，其中第一摄像头可以设置在机动车辆的前部区域，第二摄像头可以设置在机动车辆的后部区域，第三摄像头可以设置在机动车辆的驾驶员侧，特别是在驾驶员侧后视镜上，第四摄像头可以设置在机动车辆的乘客侧，特别是在乘客侧后视镜上。摄像头可以包括鱼眼镜头，以便扩大视角并因此扩大摄像头的检测范围。
图像可以分成块或宏块，这些块或宏块可以是相邻的或重叠的，并且它们的形状可以是矩形、圆形或任何其他形状。优选地，相邻的矩形块布置在规则网格上。在具有鱼眼镜头的摄像头的情况下，鱼眼畸变图像可以被转换到虚拟平面图中以便消除鱼眼畸变。确定块网格中的每个块的单独成本表面，其中第一块是从它们在一个帧(或者更确切地说是第一图像)中的块网格上的固定位置获得的，并在它们在另一帧(或者更确切地说是第二图像)中的相应的搜索区域内进行匹配。搜索区域的大小和位置可以通过预测例如来自车辆测距法的两帧之间的摄像头自运动(ego-motion)来固定或动态地分配。测距法是使用来自机动车辆的运动传感器的数据，例如，车轮旋转、转向角等，以估计车辆随时间的位置变化。这可以通过在另一帧的搜索区域或搜索窗口内的所有可能位置处将第一块作为来自一个帧的参考块定位来导出。该步骤的目的是为每个第一块找到对应的第二块，其中第二块至少部分地显示与对应的第一块相同的环境子区域。特别地，第一块具有的大小(例如32x32像素)小于搜索区域(例如64x64像素)。然后，可以获取参考块的像素与搜索窗口中的相应的像素之间的平方差的和(SSD)。单独的成本表面的形状可以本质上是不规则的。
基于针对至少两个第一块及其对应的搜索区域确定的单独的成本表面来确定一个块的平均成本表面。可以从该平均成本表面导出运动矢量，该平均成本表面具有的波动比单独的成本表面小。运动矢量或位移矢量描述两个图像之间的两个对应块的位移。
本发明基于以下认识：直接从单独的成本表面导出的运动矢量将被识别为异常值，特别是在不利的环境条件下，例如低光或恶劣天气，因为单独的成本表面的形状本质上是不规则的。与之相比，使用根据本发明的方法，即使在不利的环境条件下，也可以可靠地确定用于块匹配操作的运动矢量。
特别优选地，确定平均成本表面的全局最小值，并且根据全局最小值确定运动矢量。由于单独的成本表面可以是固有不规则的，因此很难识别全局最小值，或甚至在错误的位置。从该全局最小值位置提取的运动矢量因此是错误的。由于平均成本表面具有较小的波动，所以全局最小值作为强负峰清晰可见。因此，平均成本表面的全局最小值易于识别。基于平均成本表面的全局最小值，可以确定运动矢量，特别是运动矢量的坐标。
优选地，为了确定平均成本表面，确定每个成本表面的平均值，并基于平均值确定用于确定平均成本表面的相应的权重因数。特别地，权重因数被确定为相应的平均值的倒数。换句话说，平均成本表面被确定为单独的成本表面的加权平均值。可以选择权重以便近似均衡单独的成本表面的能量。
在本发明的另一实施例中，确定包括预定数量的第一块的滑动窗口，其中，基于滑动窗口内的所有第一块的成本表面，为滑动窗口内的第一块中的一个确定运动矢量。特别地，预设滑动窗口内的第一块的数量，使得一个第一块被滑动窗口内的另外的第一块完全围绕，其中为由另外的第一块居中围绕的第一块确定运动矢量。例如，使用具有3x3第一块的滑动窗口，可以从由滑动窗口包围的块网格中的一组相邻第一块选择成本表面。可以确定其成本值的加权平均值以获得新的成本表面，其中每个值是单独的成本表面的相应值的加权平均值。所得到的新成本表面是平均成本表面，特别是对应于滑动窗口的中心中的块的成本表面。然后，确定通常对应于滑动窗口的中心块的运动矢量。滑动窗口可以移动到下一个位置，并且可以重复该过程，直到块网格内的所有位置都已耗尽。
在本发明的有利改进中，基于从平均成本表面导出的运动矢量来执行摄像头的外部校准。在该实施例中，提供了一种用于摄像头的外部校准的方法。外部校准方法或运动跟踪校准(MTC)操作用于通过在车辆特别是在近似直线路径中移动时分析由摄像头捕获的至少两个图像的序列来在线校准车辆侧摄像头。换句话说，目的是借助于包括至少一对图像的时间序列在机动车辆的运动期间确定和校准摄像头的至少一个外部参数。例如，外部参数可以包括摄像头相对于路面或地平面的空间取向、以及摄像头相对于地面或相对于车辆的另一摄像头的高度。该方法可以由计算装置执行，该计算装置也可以适于单独校准车辆的每个摄像头。
图像至少部分地示出机动车辆附近的路面或地面，以及表面(例如柏油碎石路)上存在的纹理。特别地，根据该实施例的校准操作不需要任何特定的感兴趣的特征，例如存在于图像上的角部、轮廓、边缘或线。特别地，执行至少一个校准周期，从而产生单个校准结果。
优选地，为了执行外部校准，执行摄像头的旋转校准，其中确定描述运动矢量和预定矢量之间的偏差的损失函数，并且通过最小化损失函数来确定旋转补偿的运动矢量。换句话说，这意味着通过分析运动矢量，通过找到摄像头相对于地平面或路面的3-DOF(自由度)空间取向来执行旋转校准。摄像头的取向是要校准的第一外部参数。由于车辆制造过程中的机械公差，摄像头的取向可以偏离默认的预定取向。该取向可以例如以关于世界坐标系的固定的X、Y和Z轴的顺序旋转的滚转-俯仰-偏航旋转方案来表示，其中X轴沿着纵向车辆轴线取向，Y轴沿着横向车辆轴线取向，且Z轴沿着垂直车辆轴线取向。
然后，制定要最小化的损失函数或成本函数，其特别利用运动矢量在路面或地平面上的几何特性，特别是对机动车辆的近似直线行驶的约束。借助于迭代算法，例如梯度下降，Gauss-Newton，Levenberg-Marquardt或其他算法，可以最小化误差平方和或来自平均值或中位数的绝对误差之和，其中这些迭代的非线性方法在如何制定损失函数以调整解决方案方面提供了很大的灵活性。也可以将问题表述为超定(over-determined)的线性方程组，并用各种方法在最小二乘意义上求解。本发明基于以下事实：校准的系统应产生没有透视变形且长度相等的运动矢量，特别是在平坦地面上直线行驶时。例如，没有透视变形的运动矢量是全部平行于水平x轴(在图像帧中)的运动矢量，或者在运动矢量投射到地面上的情况下平行于纵向车辆轴线的运动矢量。因此，预定矢量是平行于水平轴线或纵向轴线的无变形矢量。该目标可以通过所有运动矢量的y分量的平方和和x分量的方差来表示。对于理想条件下的校准的摄像头，这将为零。因此，损失函数表示当前条件、实际条件和理想条件之间的差异。因此，通过找到损失函数，可以容易地将偏离默认摄像头取向的当前摄像头取向确定为摄像头的第一外部参数。通过最小化损失函数，可以导出旋转补偿的运动矢量。与图像内的多个对应块相关的旋转补偿的运动矢量可以被重新投射在路面或地平面11的平面上，其中重新投射的、校准的运动矢量特别是平行于纵向车辆轴线取向且也具有相等的长度。
在另外的改进中，为了校准摄像头，执行摄像头的高度校准，其中根据旋转补偿的运动矢量的长度和旋转补偿的运动矢量的长度的预期值来确定摄像头的高度。摄像头的高度是要校准的第二外部参数。由于空气悬挂系统(airmatic suspension)或由于机动车辆的载荷变化(例如车箱中的乘客数量或重量)，摄像头的高度可能偏离标称默认值。
通过分析从损失函数的最小化导出的旋转补偿的运动矢量来确定高度。这意味着通过分析来自前一步骤的旋转补偿的、校准的和重新投射的运动矢量，来执行高度校准以找到每个摄像头距地面的绝对高度或者摄像头之间的相对高度。
摄像头的校正的、旋转校准的和重新投射的运动矢量的长度与车辆的速率或速度成比例，并且与摄像头距地平面的高度成反比。因此，有利地根据车辆的速度预设长度的预期值。特别地，机动车辆的速度是通过机动车辆的测距法和/或基于至少一个另外的运动矢量来确定的，该运动矢量是基于由机动车辆的至少一个其另外的摄像头所捕获的图像来确定的。后者意味着可以考虑来自多个摄像头的运动矢量。因此，可以通过调整每个摄像头的高度值来确定摄像头的高度，使得重新投射的运动矢量在所有摄像头中具有相等的长度。为此目的，如果采取镜左和镜右摄像头的运动矢量的平均长度作为参考，并且调整其他摄像头的高度值以匹配它，则证明是有利的，因为镜式摄像头受到机动车载荷变化的影响最小。总之，MTC调整校准，使得地平面上投射的运动矢量平行于纵向车辆轴线并且也具有相等的长度。
本发明还涉及一种用于机动车辆的驾驶员辅助系统的计算装置，其适于执行根据本发明的方法。可以由车辆侧控制单元形成的计算装置适于即使在恶劣的环境条件下也执行块匹配程序。另外，计算装置可以适于基于块匹配程序的结果单独地校准机动车辆的每个摄像头。
此外，本发明还涉及一种用于机动车辆的驾驶员辅助系统，其包括至少一个摄像头和根据本发明的计算装置。驾驶员辅助系统通过摄像头监控车辆的环境区域来支持车辆的驾驶员。驾驶员辅助系统可包括四个摄像头，形成环绕观察摄像头系统。摄像头还可以包括扩大摄像头的检测区域的鱼眼镜头。驾驶员辅助系统可以可靠地检测由校准的摄像头捕获的图像中的对象，因此可以支持车辆的驾驶员，例如，通过当检测到机动车辆与检测到的对象即将发生碰撞时产生警告信号或自动制动机动车辆。另外，由校准的摄像头捕获的图像可以在车辆侧显示装置上显示，特别是作为视频。换句话说，摄像头可以配置为视频摄像头。
根据本发明的机动车辆包括根据本发明的驾驶员辅助系统。机动车辆特别配置为乘用车。
关于根据本发明的方法呈现的优选实施例及其优点相应地适用于计算装置、根据本发明的驾驶员辅助系统、以及根据本发明的机动车辆。
从权利要求、附图和附图的描述中，本发明的其他特征是显而易见的。以上在描述中提及的特征和特征组合，以及在下面的附图说明中提及的和/或仅在附图中示出的特征和特征组合不仅可以以相应的指定组合来使用，而且可以以其他组合来使用或单独使用，而不脱离本发明的范围。因此，实施方式也被认为是由本发明所涵盖和公开的，这些实施方式未在附图中明确示出并被解释，而是来自与所解释的实施方式分离的特征组合并且可以由其产生。实施方式和特征组合也被视为是公开的，其因此不具有最初制定的独立权利要求的所有特征。另外，特别是通过上述解释，超出或偏离权利要求的引述中阐述的特征组合的实施方式和特征组合也被视为是公开的。
附图说明
现在，基于优选实施例以及参考附图更详细地解释本发明。
图中示出了这些：
图1是根据本发明的机动车辆的实施例的示意图；
图2是块匹配操作的示意图；
图3a、3b是划分成块的运动场的示意图以及运动矢量的示意图；
图4是根据本发明的方法的实施例的流程图的示意图；以及
图5是成本表面以及平均成本表面的示意图。
具体实施方式
在附图中，相同和功能相同的元件具有相同的附图标记。
图1示出了根据本发明的机动车辆1。在当前情况下，机动车辆1配置为乘用车。机动车辆1具有用于支持机动车辆1的驾驶员的驾驶员辅助系统2。驾驶员辅助系统2包括计算装置3，其可以例如由车辆侧控制单元形成。另外，驾驶员辅助系统2包括至少一个摄像头4。在当前情况下，驾驶员辅助系统2包括四个摄像头4，其中第一摄像头4设置在机动车辆1的前部区域5中，第二摄像头4设置在机动车辆的后部区域6中，第三摄像头4设置在机动车辆1的驾驶员侧7上，特别是设置在驾驶员侧7的后视镜上，并且第四摄像头4设置在机动车辆1的乘客侧8上，特别是乘客侧的后视镜8上。设置在驾驶员侧7和乘客侧8上的摄像头4也可以代替后视镜，由此机动车辆1可以设计为无镜车辆1，从而实现无镜驾驶。借助于摄像头4，可以在图像中捕获机动车辆1的环境区域9。摄像头4可以包括鱼眼镜头，以便扩大视角并因此扩大摄像头4的检测范围。
计算装置3适于通过跟踪机动车辆1的道路10的路面11的纹理(例如柏油碎石路的纹理)基于由至少一个摄像头4捕获的图像或更确切的视频帧来执行块匹配操作。特别地，计算装置3适于在诸如低光或恶劣天气的困难环境条件下操作时改善块匹配算法中的路面纹理跟踪的准确性。在这样的条件下，图像或视频帧可能被高水平的噪声、运动模糊和通常降低块匹配质量的其他伪像破坏。
块匹配算法是出于运动估计或光流法的目的而定位图像或数字视频帧的序列中的图像数据的匹配块B(参见图2)的方法。图2显示了从现有技术中已知的块匹配操作。因此，当前视频帧被划分成块B，也称为宏块，其中每个宏块特别地与另一帧中指定的搜索窗口15内的相同大小的所有可能块就其相似性进行比较。在图2中，块14是当前视频帧中具有大小N×N的宏块B，并且块13是在搜索窗口15内的前一帧中具有大小NxN的搜索下的宏块B。可以选择在两个块13、14之间给出最高相似性的位置(即所谓的最小成本位置)，并将其登记为运动矢量，即二维矢量，其中两个分量x、y对应于两个帧之间的块13、14的水平和竖直相对位移。
相似性度量，也称为块变形度量或匹配成本，可以通过各种方法获得，例如互相关、归一化互相关、相位相关、绝对差之和(SAD)、平方差之和(SSD)、绝对变换差之和(SATD)、Census/Hamming距离等等。SAD和SSD因其对于许多应用程序的计算效率和足够好的质量而受到欢迎。特定位置处的匹配成本越低，则该位置处的比较的块13、14之间的相似性越高。例如，当采用两个块13、14的重叠像素的绝对或平方差之和时，完美或理想匹配将导致零成本。可以通过用高斯拉普拉斯算子、高斯差分或其他滤波器对图像进行预滤波来实现辐射测量不变性。
可以通过针对指定搜索窗口15内的所有可能位置的穷举搜素来计算参考块14与每个测试位置处的候选块13之间的匹配成本。这种方法也被称为全搜索(FS)，产生最准确的结果和最少的异常值或错误的运动矢量，但也是计算上最昂贵的。已知各种方法，其以降低结果质量为代价通过避免在所有可能的位置计算匹配成本来寻求减少计算量。这些包括菱形搜索(DS)、基于六边形的搜索(HEXBS)、自适应十字模式搜索(ARPS)等等。值得注意的例外是全搜索法的简单计算优化，称为全搜索的快速计算(FCFS)，其不会影响质量。
利用这些技术，每个参考块14可以在其指定的搜索窗口15内独立地匹配。所提出的技术可以以唯一的方式组合来自相邻块的信息，特别是在假设所有块B在同一平面上局部地表示均匀运动的情况下，从而导致强匹配。
例如，在图3a和图3b中示出了在车辆1直线行驶时通过对两个连续帧进行块匹配而获得的地面11上的运动场16a、16b。在摄像头4具有鱼眼镜头的情况下，帧已经预先被修正成虚拟平面视图，特别是出于摄像头4的外部校准算法的目的。图3a示出了未校准的摄像头4的运动场16a，其表现出透视变形，因为使用不正确的外部校准参数生成了虚拟平面视图。校准的系统应当在虚拟平面视图上产生没有透视变形的运动矢量，即平行于水平x轴并且长度相等。图3a中所示的运动矢量v并非与水平x轴平行且长度相等，因此表示未校准的系统。
图3b已经用正确的外部校准参数生成，并且没有透视变形，即地平面被正确地映射到平行虚拟图像平面。因此，图3b示出了校准的摄像头4的运动场16b。校准的运动矢量vc都平行于水平x轴且长度相等。方形17表示任意一组运动矢量v。
例如，如图3b所示的校准的运动矢量vc可以由外部校准生成，即所谓的运动跟踪校准MTC，其中通过分析运动场16a来校准摄像头4的外部旋转和高度。MTC操作使用由摄像头4连续捕获的至少两个图像并跟踪图像或视频帧之间的路面纹理(例如柏油碎石路)的相对移动，特别是不需要强特征，比如道路10旁边的路缘12。
特别地，使用校准算法，通过分析运动矢量v，可以找到摄像头4相对于地平面11的空间取向。摄像头4的取向可以用关于世界坐标系的固定的X、Y和Z轴的顺序旋转的滚转-俯仰-偏航旋转方案来表示，其中X是纵向车辆轴线，Y是横向车辆轴线，Z是竖直车辆轴线，如图1所示。
制定要最小化的损失函数，其利用运动矢量v在地平面11上的几何特性，特别是考虑到对机动车辆的近似直线行驶的约束。通过最小化成本函数，可以将运动矢量v映射并重新投射到旋转补偿的并校准的运动矢量vc，其没有透视变形并且都平行于水平x轴。
另外，摄像头4的高度可以通过分析校准的且重新投射的运动矢量vc，通过找到摄像头4距地面11的绝对高度或摄像头4之间的相对高度来校准。由于空气悬挂系统或由于机动车辆1的载荷变化(例如车箱中的乘客数量或重量)，摄像头4的高度可能偏离标称默认值。可以基于车辆测距法或具有已知比例的图像特征来估计单个摄像头4的绝对高度。单个摄像头4的校正的、旋转校准的且重新投射的运动矢量vc的长度与车辆1的速率或速度成比例，并且与该摄像头4距地平面11的高度成反比。给定来自例如为CAN或FlexRay的车辆侧网络的车辆的测距法，可以计算地面11上的运动矢量vc的预期长度，并且可以调整摄像头4的高度以使其与重新投射的运动矢量vc匹配。
通过平均滑动窗口内的运动矢量v，可以在将运动场16a用于校准之前平滑运动场16a。例如，滑动窗口17内的中心运动矢量v可以被计算为窗口17包含的九个运动矢量v的平均值。这可以对块网格中的滑动窗口17的每个可能位置重复，同时将输出运动矢量v存储在单独的缓冲器中以避免递归。当在反馈回路中从校准结果更新虚拟平面视图时，可以逐渐中和透视变形下的由运动矢量v的平均引入的任何小偏差。
在诸如低光或恶劣天气等恶劣环境条件下，块匹配主要产生异常的运动矢量v，即，随机长度和方向的运动矢量v。平均这些运动矢量v不会改善用于校准的信息的质量。因此，为了改善诸如MTC(即跟踪两个视频帧之间的路面纹理的相对移动)的基于自主道路的校准算法的性能，执行用于两个图像之间的运动估计的方法。该方法在图4中通过流程图示出。
特别地，该方法的主要想法是在提取关于滑动窗口17的块B，特别是中心块B的运动矢量v之前，对滑动窗口17内的所有块B的成本表面18(参见图5)进行加权平均。在该方法中，执行以下步骤S1、S2、S3、S4。
在第一步骤S1中，计算块网格中每个块B的单独的成本表面18，其中块B从其在一个帧中的块网格上的固定位置获得，并在另一帧中在它们相应的搜索区域内匹配。搜索区域的大小和位置可以通过预测例如来自车辆测距法的两帧之间的摄像头自运动(ego-motion)来固定或动态地分配。(注意：用于块匹配的搜索区域15或搜索窗口15不应与用于选择其成本表面18要被平均的块B的滑动窗口17混淆)。滑动窗口17内的块B的单独的成本表面18在图5中示出。例如，成本表面18可以通过以下方式导出：将来自一个帧的32×32像素参考块14定位在另一帧的64×64像素搜索窗口15内的所有可能位置，并且在参考块14的像素与搜索窗口15中的相应的像素之间取平方差之和(SSD)。从图5中可以看出，成本表面18的形状本质上是不规则的，因为在每个位置处，块12与搜索区域15的像素之间存在随机的相似性水平。最高相似性的位置具有最低的成本，即在成本表面18的全局最小值处——理想情况是零成本，其在所有减去的像素相同时发生。在较高水平的图像噪声中，这些波动变得更强，甚至可能超过预期有最佳匹配的位置处的深度，并且产生难以看见的全局最小值或错误的位置处的全局最小值。从该全局最小值位置提取的运动矢量v因此将是错误的。
在第二步骤S2中，确定每个成本表面18的平均值，并且将其倒数存储为权重因数wij(参见图5)以在下一步骤S3中使用。在接下来的第三步骤S3中，通过使用滑动窗口17，例如，大小3×3的块或另一大小，成本表面18选自由滑动窗口17包围的块网格中的一组相邻的块B。确定其成本值的加权平均值以获得新的成本表面19，其中每个值是单独的成本表面18的相应值的加权平均值。得到的成本表面19将具有由单独的成本表面18中的噪声破坏的较弱最小值的贡献形成的较强、清晰可见的最小值20，以及较小的波动。期望该较强的最小值20现在将是全局最小值，以便可以提取正确的运动矢量v。
在第四步骤S4中，确定平均成本表面19内的全局最小值位置。由此可以导出滑动窗口17的中心处的运动矢量v的坐标，即，通常对应于滑动窗口17的中心块B的运动矢量v。滑动窗口17然后可以移动到下一个位置，并且重复该过程步骤S1至S4，直到块网格内的所有位置都已耗尽。
总之，从加权平均的成本表面19的最小成本位置提取特定块B的运动矢量v。选择权重wij以便近似均衡单独的成本表面的能量。为此目的，单独的成本表面18由它们自己的平均值的倒数加权。为了避免破坏对称性，特别不计算没有对称邻居的块B的运动矢量v。该方法可以扩展到任何窗口大小，并且也可以以分层方式应用，使得多层成本平均约束下级层中的搜索区域，以进一步减少异常值的可能性。例如，可以从具有表示平均运动矢量的单个非常强的峰值的网格上的所有块B的平均成本表面19计算全局运动矢量。该全局运动矢量可以用于约束先前层中的搜索，或者以其他方式用于获得关于场景中的全局运动或透视误差的近似信息。

Claims (14)

1.用于由机动车辆(1)的摄像头(4)捕获的所述机动车辆(1)的环境区域(9)的两个图像之间的运动估计的方法，其中执行以下步骤：
a)将第一图像的至少两个图像区域确定为所述第一图像中的至少两个第一块(B)，
b)对于每个第一块(B)，在第二图像中限定相应的搜索区域，以通过块匹配在所述第二图像中的相应的搜索区域搜索对应于相应的第一块(B)的第二块(B)；
c)确定每个第一块(B)及其相应的搜索区域的成本表面(18)；
d)基于所述成本表面(18)确定所述至少两个第一块(B)中的一个的平均成本表面(19)；
e)识别所述第一块(B)中的一个的运动矢量(v)，其描述所述第一图像中的第一块(B)和所述第二图像中的对应的第二块(B)的位置的运动，并且从所述平均成本表面导出。
2.如权利要求1所述的方法，
其特征在于，确定所述平均成本表面(19)的全局最小值(20)，并且根据所述全局最小值(20)确定所述运动矢量(v)。
3.如权利要求1或2所述的方法，
其特征在于，为了确定所述平均成本表面(19)，确定每个成本表面(18)的平均值，并基于所述平均值确定用于确定所述平均成本表面(19)的相应的权重因数(wij)。
4.如权利要求3所述的方法，
其特征在于，将所述权重因数(wij)确定为相应的平均值的倒数。
5.如权利要求1或2所述的方法，
其特征在于，确定包括预定数量的第一块(B)的滑动窗口(17)，其中，基于所述滑动窗口(17)内的所有第一块(B)的成本表面(18)，为所述滑动窗口(17)内的所述第一块(B)中的一个确定所述运动矢量(v)。
6.如权利要求5所述的方法，
其特征在于，预设所述滑动窗口(17)内的第一块(B)的数量，使得一个第一块(B)被所述滑动窗口(17)内的另外的第一块(B)完全围绕，其中为由所述另外的第一块(B)居中围绕的第一块(B)确定所述运动矢量(v)。
7.如权利要求1或2所述的方法，
其特征在于，基于从所述平均成本表面(19)导出的运动矢量(v)执行所述摄像头(4)的外部校准。
8.如权利要求7所述的方法，
其特征在于，为了执行所述外部校准，执行所述摄像头(4)的旋转校准，其中确定描述所述运动矢量(v)和预定矢量之间的偏差的损失函数，并且通过最小化所述损失函数来确定旋转补偿的运动矢量。
9.如权利要求8所述的方法，
其特征在于，为了执行所述外部校准，执行所述摄像头(4)的高度校准，其中根据所述旋转补偿的运动矢量的长度和所述旋转补偿的运动矢量的长度的预期值来确定所述摄像头(4)的高度。
10.如权利要求9所述的方法，
其特征在于，根据所述机动车辆(1)的速度预设所述长度的预期值。
11.如权利要求10所述的方法，
其特征在于，通过测距法和/或基于为至少一个另外的摄像头(4)确定的至少一个另外的运动矢量来确定所述机动车辆(1)的速度。
12.用于机动车辆(1)的驾驶员辅助系统(2)的计算装置(3)，其适于执行如前述权利要求中任一项所述的方法。
13.用于机动车辆(1)的驾驶员辅助系统(2)，包括至少一个摄像头(4)和如权利要求12所述的计算装置(3)。
14.一种机动车辆(1)，具有如权利要求13所述的驾驶员辅助系统(2)。
CN201780017443.3A 2016-03-15 2017-03-10 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆 Active CN109155066B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016104732.5A DE102016104732A1 (de) 2016-03-15 2016-03-15 Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016104732.5 2016-03-15
PCT/EP2017/055715 WO2017157799A1 (en) 2016-03-15 2017-03-10 Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle

Publications (2)

Publication Number Publication Date
CN109155066A CN109155066A (zh) 2019-01-04
CN109155066B true CN109155066B (zh) 2022-03-29

Family

ID=58266636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017443.3A Active CN109155066B (zh) 2016-03-15 2017-03-10 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆

Country Status (7)

Country Link
US (1) US10567704B2 (zh)
EP (1) EP3430594B1 (zh)
JP (1) JP6685420B2 (zh)
KR (1) KR102079891B1 (zh)
CN (1) CN109155066B (zh)
DE (1) DE102016104732A1 (zh)
WO (1) WO2017157799A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
DE102018202360B4 (de) * 2018-02-15 2020-08-20 Robert Bosch Gmbh Verfahren zum Verfolgen eines Objekts in einem optischen Suchfenster einer Kamera für ein Fahrzeug
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
US10776928B1 (en) * 2018-10-16 2020-09-15 Hrl Laboratories, Llc Efficient egomotion estimation using patch-based projected correlation
EP3657441A1 (en) * 2018-11-26 2020-05-27 Connaught Electronics Ltd. Method for determining a mounting height of a camera by determining a motion vector, computer program product, electronic computing device, as well as camera
KR102545107B1 (ko) * 2018-12-03 2023-06-20 현대자동차주식회사 친환경 자동차 및 그를 위한 강판 주행 제어 방법
JP7186804B2 (ja) * 2019-01-23 2022-12-09 三菱電機株式会社 移動体搭載カメラキャリブレーション補助装置、移動体搭載カメラキャリブレーションシステムおよび移動体搭載カメラキャリブレーション補助方法
CN110139100B (zh) * 2019-05-16 2021-07-06 东莞职业技术学院 多图像运动估计的扩展块匹配及运动矢量估计算法
US10892786B1 (en) * 2019-10-17 2021-01-12 Analog Devices International Unlimited Company Digital predistortion with out-of-band and peak expansion regularization
US11663807B2 (en) * 2021-08-05 2023-05-30 Ford Global Technologies, Llc Systems and methods for image based perception
US11966452B2 (en) 2021-08-05 2024-04-23 Ford Global Technologies, Llc Systems and methods for image based perception

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485224A (en) * 1993-04-08 1996-01-16 Sony United Kingdom Limited Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same
JPH10111945A (ja) * 1996-10-04 1998-04-28 Nippon Hoso Kyokai <Nhk> 動画像の動き量推定装置
CN101640809A (zh) * 2009-08-17 2010-02-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
DE102014019078A1 (de) * 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100234264B1 (ko) * 1997-04-15 1999-12-15 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
KR100579542B1 (ko) 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
KR100588132B1 (ko) * 2004-10-04 2006-06-09 삼성전자주식회사 디스플레이장치
BRPI0606477A2 (pt) * 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
JP4899424B2 (ja) * 2005-11-04 2012-03-21 トヨタ自動車株式会社 物体検出装置
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
DE102008014790A1 (de) * 2008-03-18 2009-10-01 Micronas Gmbh Verfahren zum Testen eines Bewegungsvektors
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
JP6141601B2 (ja) * 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485224A (en) * 1993-04-08 1996-01-16 Sony United Kingdom Limited Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same
JPH10111945A (ja) * 1996-10-04 1998-04-28 Nippon Hoso Kyokai <Nhk> 動画像の動き量推定装置
CN101640809A (zh) * 2009-08-17 2010-02-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
DE102014019078A1 (de) * 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera

Also Published As

Publication number Publication date
KR20180112014A (ko) 2018-10-11
CN109155066A (zh) 2019-01-04
JP6685420B2 (ja) 2020-04-22
EP3430594A1 (en) 2019-01-23
WO2017157799A1 (en) 2017-09-21
US10567704B2 (en) 2020-02-18
JP2019510312A (ja) 2019-04-11
DE102016104732A1 (de) 2017-09-21
US20190104278A1 (en) 2019-04-04
KR102079891B1 (ko) 2020-02-20
EP3430594B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
KR101949263B1 (ko) 자동차 카메라 시스템의 온라인 교정
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
US10762643B2 (en) Method for evaluating image data of a vehicle camera
JP3868876B2 (ja) 障害物検出装置及び方法
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
US20180108150A1 (en) Systems and methods for in-field stereocamera calibration
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN106960454B (zh) 景深避障方法、设备及无人飞行器
US11393126B2 (en) Method and apparatus for calibrating the extrinsic parameter of an image sensor
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US10839231B2 (en) Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
JP7232005B2 (ja) 車両の走行環境検出装置及び走行制御システム
US20180182078A1 (en) Image processing apparatus and image processing method
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
CN117523010B (zh) 车辆的相机位姿确定方法、装置、计算机设备和存储介质
KR101949349B1 (ko) 어라운드 뷰 모니터링 장치
CN116529758A (zh) 图像和/或图像点的矫正方法，基于摄像装置的系统和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant