CN109074480B - 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆 - Google Patents

用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆 Download PDF

Info

Publication number
CN109074480B
CN109074480B CN201780023804.5A CN201780023804A CN109074480B CN 109074480 B CN109074480 B CN 109074480B CN 201780023804 A CN201780023804 A CN 201780023804A CN 109074480 B CN109074480 B CN 109074480B
Authority
CN
China
Prior art keywords
motion vector
motor vehicle
camera
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780023804.5A
Other languages
English (en)
Other versions
CN109074480A (zh
Inventor
P.厄米利奥斯
B.麦克纳马拉
W.奥格拉迪
M.弗里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of CN109074480A publication Critical patent/CN109074480A/zh
Application granted granted Critical
Publication of CN109074480B publication Critical patent/CN109074480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于检测由包括多个传感器线(15)的机动车辆(1)的至少一个相机(4)的图像传感器捕获的机动车辆(1)的环境区域(9)的图像中的滚动快门效应的方法，所述方法包括以下步骤：a)在捕获第一图像时确定对应于特征(14)的图像传感器的传感器平面(13)上的第一位置(P1)，并且在捕获第二图像时识别对应于特征(14)的传感器平面(13)上的第二位置(P2)，b)确定表征在第一位置(P1)和第二位置(P2)之间的传感器平面(13)上的特征(14)的位移的运动矢量(v)，c)确定运动矢量(v)的垂直跨度(Δy)，其表征至少部分地被运动矢量(v)覆盖的多个传感器线(15)，d)基于垂直跨度(Δy)检测滚动快门效应。此外，本发明还涉及计算装置(3)、驾驶员辅助系统(2)以及机动车辆(1)。

Description

用于检测机动车辆的环境区域的图像中的滚动快门效应的方 法、计算装置、驾驶员辅助系统以及机动车辆
技术领域
本发明涉及一种用于检测由机动车辆的至少一个相机的图像传感器捕获的机动车辆的环境区域的图像中的滚动快门效应的方法。此外，本发明还涉及计算装置、驾驶员辅助系统以及具有驾驶员辅助系统的机动车辆。
背景技术
目前，兴趣集中在机动车辆的相机上。相机适于在图像或视频帧中捕获机动车辆的环境区域。从图像中提取的信息可以提供给机动车辆的驾驶员辅助系统。这种包括CMOS传感器的汽车相机即所谓的CMOS相机通常使用滚动快门方法来捕获每个图像。这意味着图像中的每一行都在比前一行更晚的时间曝光。当车辆移动时，由于透视失真，即在传感器平面不平行于地平面或与车辆的纵向轴线对齐的情况下，可以在下一帧中的不同扫描线处捕获在一帧中的特定线或扫描线处捕获的相同点状特征。换句话说，并非场景图像的所有部分都在完全相同的瞬间被记录。这可能导致所谓的滚动快门效果，其在图像中可见为环境区域的失真描绘。
发明内容
本发明的目的是提供一种如何可以捕获机动车辆的环境区域的高质量图像的解决方案。
根据本发明，该目的通过一种方法、计算装置、驾驶员辅助系统以及包括根据各个独立权利要求的特征的机动车辆来解决。本发明的有利实施例是从属权利要求、说明书及附图的主题。
在本发明的实施例中，提供了一种方法，该方法用于检测由包括多个传感器线的机动车辆的至少一个相机的图像传感器捕获的机动车辆的环境区域的图像中的滚动快门效应。特别地，在捕获第一图像时确定对应于特征的图像传感器的传感器平面上的第一位置，在捕获第二图像时识别对应于特征的传感器平面上的第二位置，并且确定表征在第一位置和第二位置之间的传感器平面上的特征的位移的运动矢量。特别地，确定运动矢量的垂直跨度，其表征至少部分地被运动矢量覆盖的多个传感器线，并且基于垂直跨度检测滚动快门效应。
在本发明的优选实施例中，提供了一种方法，该方法用于检测由包括多个传感器线的机动车辆的至少一个相机的图像传感器捕获的机动车辆的环境区域的图像中的滚动快门效应。因此，在捕获第一图像时确定对应于特征的图像传感器的传感器平面上的第一位置，在捕获第二图像时识别对应于特征的传感器平面上的第二位置，并且确定表征在第一位置和第二位置之间的传感器平面上的特征的位移的运动矢量。此外，确定运动矢量的垂直跨度，其表征至少部分地被运动矢量覆盖的多个传感器线，并且基于垂直跨度检测滚动快门效应。
借助于可以由车辆侧计算装置执行的方法，可以通过至少一个车辆侧相机捕获高质量图像或图片。车辆可以包括可形成环视摄像系统的四个相机，其中第一相机可以设置在机动车辆的前部区域，第二相机可以设置在机动车辆的后部区域，第三相机可以设置在机动车辆的驾驶员侧，特别是在驾驶员侧的后视镜上，且第四相机可以设置在机动车辆的乘客侧，特别是在乘客侧的后视镜上。相机可以包括鱼眼镜头，以便扩大视角并因此扩大相机的检测范围。该相机包括图像传感器，其可以配置为CMOS传感器，其具有以行和列布置的传感器元件或像素。布置在一行中的传感器的所有像素形成一个传感器线或扫描线。传感器的像素对应于图像的像素。这意味着由一个传感器元件产生的传感器信号被转换为颜色信号，以由图像的一个像素输出。
特征，例如对应于机动车辆的环境区域中的物体，可以在由图像传感器连续捕获的视频序列的两个图像或图像帧中识别。确定图像传感器平面上的特征的第一位置，其还指代第一图片中的特征的第一位置。然后，确定图像传感器的平面上的特征的第二位置，其还指代第二图片中的特征的第二位置。确定具有第一位置作为起始点并且将第二位置作为终点的运动矢量，其中运动矢量描述第一记录时间和第二记录时间之间的特征的轨迹。
然后，确定运动矢量的垂直跨度。垂直跨度描述了多个传感器线，运动矢量在其上延伸。换句话说，确定起始点和终点之间的跨度，或者更确切地说，确定起始位置和结束位置之间的偏移。例如，如果终点低于起始点，或者更确切地说，如果终点的行位于起始点的行之下，则与标称帧时段相比已经过了额外的时间。如果终点高于起始点，或者更确切地说，如果终点的行位于起始点的行之上，则与标称帧时段相比经过较少的时间。这些偏移会影响地平面上的运动矢量的真实投影长度，并且在不考虑时会导致相机校准中的误差。因此，可以以非常简单的方式基于运动矢量的垂直跨度来识别滚动快门效应。
特别优选地，根据运动矢量的垂直跨度确定用于补偿滚动快门效应的校正因子。特别地，根据传感器线的总数确定校正因子，其中传感器线的总数包括多个有源传感器线和多个垂直消隐线。其中，有源线的数量是包含图像数据的行数。垂直消隐线的数量用于内部延迟。针对每个运动矢量确定校正因子，描述连续捕获的两个帧之间的特定特征的位移。可以应用该校正因子以补偿滚动快门效应。通过该因子，可以提供高质量且无失真的图像并显示在车辆侧显示设备上。
在本发明的另一实施例中，基于运动矢量和校正因子执行相机的外部校准。在该实施例中，提供了一种方法，其基于由相机连续捕获的至少两个图像用于相机的外部校准。其中，图像至少部分地显示路面的纹理。外部校准方法或运动跟踪校准(MTC)操作用于通过分析在车辆特别是在近似直线路径中移动时由相机捕获的至少两个图像的序列来在线校准相机。换句话说，目的是借助于包括至少一对图像的时间序列在机动车辆的运动期间确定和校准相机的至少一个外部参数。例如，外部参数可以包括相机相对于路面或地平面的空间定向以及相机相对于地面或相对于车辆的另一相机的高度。该方法可以由计算装置执行。
图像至少部分地示出了机动车辆附近的路面或地面以及表面例如柏油路面上存在的纹理。特别地，根据该实施例的校准步骤不需要任何感兴趣的特定特征，例如要在图像上出现的角、轮廓、边缘或线。可以执行至少一个校准周期，从而产生单个校准结果，其中在相机校准期间移除滚动快门效应。补偿滚动快门效应的优点是可以执行可靠正确的校准，因为滚动快门会在校准中引入显著的误差。
优选地，为了执行外部校准，执行相机的旋转校准，其中根据校正因子确定描述运动矢量与预定矢量之间的偏差的成本函数，并且旋转补偿运动矢量通过最小化成本函数来确定。换句话说，这意味着通过分析运动矢量通过找到相机相对于地平面的3-DOF(自由度)空间定向来执行旋转校准。相机的定向是要校准的第一外部参数。该定向可以例如以围绕世界坐标系的固定的X、Y和Z轴顺序旋转的侧倾-俯仰-偏航旋转方案来表示，其中X轴沿纵向车辆轴线定向，Y轴沿横向车辆轴线定向，Z轴沿垂直车辆轴线定向。
为了执行旋转校准，可以基于由相机连续捕获的两个图像来执行所谓的块匹配操作，以便找到图像内的对应块。对应块被理解为两个图像或视频帧的图像区域，其至少部分地显示相同的环境区域，或者更确切地说是相同的特征。
在识别出至少两个图像中的相互对应的块之后，可以为每对相互对应的块确定块运动矢量或块位移矢量。包括特定特征的两个相互对应的块的块运动矢量可以与用于检测滚动快门效应的该特征的运动矢量相同。然后，制定要最小化的成本函数或损失函数，其特别利用路面或地平面上的运动矢量的几何特性，特别是近似直线驱动的约束。根据校正因子确定成本函数。
本发明基于以下事实：校准系统应产生没有透视失真的运动矢量，即运动矢量全部平行于水平x轴(在图像帧中)，或者在运动矢量投射到地面上并且长度相等的情况下，与纵向车辆轴线平行，同时在平地上直行。因此，预定矢量是平行于水平轴或纵向轴的无失真矢量。该目标可以通过y分量的平方和和所有运动矢量的x分量的方差来表示。对于理想条件下的校准相机，这将为零。因此，成本函数表示当前、实际条件和理想条件之间的差异。因此，通过找到成本函数，可以容易地将偏离默认相机定向的当前相机定向确定为相机的第一外部参数。通过最小化成本函数，可以导出旋转补偿运动矢量。与图像内的多个特征相关的旋转补偿运动矢量可被重新投影在路面或地平面上，其中重新投影的校准运动矢量特别定向成平行于纵向车辆轴线并且还具有相同的长度。用于补偿滚动快门的校正因子应用在成本函数内，以调整投影在地平面上的运动矢量的长度，并消除由滚动快门效应引起的偏移。
在进一步的发展中，为了校准相机，执行相机的高度校准，其中根据旋转补偿运动矢量的长度和旋转补偿运动矢量的长度的预期值来确定相机的高度。相机的高度是要校准的第二外部参数。通过分析从成本函数的最小化导出的旋转补偿运动矢量来确定高度。这意味着通过分析来自前一步骤的旋转补偿的、校准的和重新投影的运动矢量来执行高度校准以从地面找到每个相机的绝对高度或相机之间的相对高度。
相机的校正的、旋转校准的和重新投影的运动矢量的长度与车辆的速度或速率成比例，并且与相机距地平面的高度成反比。因此，有利地根据车辆的速度预设长度的预期值。特别地，机动车辆的速度通过机动车辆的里程测量和/或基于至少一个另外的运动矢量来确定，其是基于由机动车辆的至少一个另外的相机捕获的图像确定的。里程测量是使用来自机动车辆的运动传感器的数据，例如车轮旋转、转向角等，以估计车辆随时间的位置变化。另外或可替代地，可以考虑来自多于一个相机的运动矢量。因此，可以通过调整每个相机的高度值来确定相机的高度，使得重新投影的运动矢量在所有相机中具有相等的长度。为此，如果将镜子左右相机的运动矢量的平均长度作为参考并且调整其他相机的高度值以匹配它，则证明是有利的，因为镜子相机受到机动测量的载荷变化的影响最小。
本发明还涉及一种用于机动车辆的驾驶员辅助系统的计算装置，其适于执行根据本发明的方法。计算装置可以集成到车辆侧控制单元中。计算装置适于补偿由至少一个车辆侧相机捕获的图像中的滚动快门效应。此外，计算装置适于在车辆运动期间借助于图像单独地校准至少一个相机，特别是每个车辆侧相机，其中图像特别显示存在于机动车辆道路的路面上存在的纹理。
此外，本发明还涉及一种用于机动车辆的驾驶员辅助系统，其包括至少一个相机和根据本发明的计算装置。驾驶员辅助借助于监控车辆的环境区域的相机支持车辆的驾驶员。驾驶员辅助系统可包括形成环视摄像系统的四个相机。相机还可以包括鱼眼镜头，其扩大了相机的检测区域。驾驶员辅助系统可以可靠地检测由校准相机捕获的图像中的物体，并且因此可以支持车辆的驾驶员，例如通过在检测到机动车辆与检测到的物体即将发生碰撞时产生警告信号或者自动制动机动车辆。另外，由校准相机捕获的图像可以在车辆侧显示设备上显示，特别是作为视频。换句话说，相机可以配置为摄像机。
根据本发明的机动车辆包括根据本发明的驾驶员辅助系统。机动车辆特别构造为乘用车。
关于根据本发明的方法呈现的优选实施例及其优点相应地适用于计算装置、根据本发明的驾驶员辅助系统以及根据本发明的机动车辆。
从权利要求、附图以及附图的描述中，本发明的其他特征是显而易见的。在说明书中上面提到的特征和特征组合以及下面在附图说明中和/或单独在附图中示出的特征和特征组合不仅可以在相应指定的组合中使用，而且可以在其他组合中使用或者单独使用，而不脱离本发明的范围。因此，实施方式也被认为是由本发明所涵盖和公开的，这些实施方式未在附图中明确示出并被解释，而是源于由与所解释的实施方式的分离的特征组合并且可由其产生。实施方式和特征组合也被认为是公开的，因此不具有最初制定的独立权利要求的所有特征。此外，实施方式和特征组合也被认为是公开的，特别是通过上面阐述的解释，其超出或偏离权利要求的关系中阐述的特征组合。
附图说明
现在，基于优选实施例以及参考附图更详细地解释本发明。
这些示出了：
图1是根据本发明的机动车辆的实施例的示意图；
图2是传感器平面上的运动矢量的示意图；以及
图3是地平面上的运动矢量的示意图。
具体实施方式
图1示出了根据本发明的机动车辆1。在当前情况下，机动车辆1配置为乘用车。机动车辆1具有用于支撑机动车辆1的驾驶员的驾驶员辅助系统2。驾驶员辅助系统2包括计算装置3，其例如可以由车辆侧控制单元形成。另外，驾驶员辅助系统2包括至少一个相机4。在当前情况下，驾驶员辅助系统2包括四个相机4，其中第一相机4设置在机动车辆1的前部区域5中，第二相机4设置在机动车辆1的后部区域6中，第三相机4设置在机动车辆1的驾驶员侧7上，特别是在驾驶员侧7的后视镜上，且第四相机4设置在机动车辆1的乘客侧8上，特别是在乘客侧8的后视镜上。设置在驾驶员侧7和乘客侧8上的相机4也可以代替后视镜，由此机动车辆1可以设计为无反光镜车辆1，实现无反光镜驾驶。借助于相机4，可以在图像或视频帧中捕获机动车辆1的环境区域9。相机4可以包括鱼眼镜头，以便扩大视角并因此扩大相机4的检测范围。
相机4适于以二维图像的形式显示机动车辆1的三维环境区域9。因此，相机4可以基于相机4的内部和外部参数的知识将3D世界坐标X、Y、Z变换为2D像素坐标。例如，这些的内部参数是相机4的焦距和图像传感器格式。外部参数特别包括相机4的姿势，其描述在侧倾-俯仰-偏航坐标系X、Y、Z中给出的相机4的空间定向和相机4的高度。因为相机4由于车辆的负载或由于机动车辆1的运动期间的冲击而可能改变其姿势，所以计算装置3特别适于在车辆1在道路10上的运动期间单独地执行每个相机4的外部校准，特别是在近似直线运动期间。
这里，相机4包括配置为CMOS传感器的图像传感器。因此，使用滚动快门方法捕获图像。这意味着图像中的每一行都在比前一行更晚的时间曝光。当车辆1移动时，由于透视失真，可以在下一帧中的不同扫描线处捕获在一帧中的特定扫描线处捕获的相同点状特征。该效果可归因于图像传感器的传感器平面13(参见图2)通常不平行于位于路面11的平面中或与车辆1的纵向轴线X对齐的地平面16(参见图3)，并且由于鱼眼变形而在较小程度上也是如此。
因此，捕获由图2中的点表示的相同特征14的两个实例所花费的时间根据传感器线15的数量针对不同特征14而变化，其轨迹跨越图像传感器的传感器平面13。当车辆1在直线路径上行进时，连续帧之间的特征轨迹是线性的并且可以由传感器平面13上的二维运动矢量v定义。例如，考虑在没有透视失真的情况下在两个帧之间跟踪的单个特征14，其运动矢量v如图2所示。运动矢量v表示特征14在彼此重叠的两个图像或帧之间的传感器平面13上的位移。换句话说，运动矢量v描述了在捕获第二图像或帧的同时将第一图像或帧捕获到对应于特征14的第二位置P2的同时改变对应于特征14的第一位置P1。第一位置P1对应于运动矢量v的起始点或起始位置，第二位置P2对应于运动矢量v的终点或结束位置。运动矢量v可以使用相机4的校准参数投影在地平面16上。在图3中，示出了投影运动矢量vp。对于相机4的外部校准，可以执行所谓的运动跟踪校准MTC。
可以借助于由相机4连续捕获的图像来执行相机4的外部校准，其中图像至少部分地显示道路10的路面11的纹理。纹理特别地包括柏油路面。此外，图像不必显示强大的特征，如道路10旁边的路缘12。在MTC方法中，可以执行块匹配操作，其匹配两个图像之间的小矩形像素块。
可以在一个图像例如第一图像中的预定义固定位置处选择参考块，并且在另一图像例如第二图像中的指定搜索区域内搜索。参考块可以是相邻的或重叠的，并且它们的形状可以是矩形、圆形或任何其他形状。在识别两个图像中的两个相互对应的块之后，对于每对对应的块，可以确定块运动矢量或块位移矢量，其描述由于车辆运动而在图像之间显示特定路面区域的一个图像区域的位置的位移。换句话说，块匹配步骤为每个相机4产生一组块运动矢量。由于块运动矢量描述了块内特征的位移，块运动矢量可以与运动矢量v相同。
可以使用典型的块匹配算法，例如用于视频压缩的运动估计的算法。这些包括但不限于全搜索，也称为穷举搜索算法，其中检查指定搜索区域内的所有可能位置，以及基于梯度下降的方法，例如菱形搜索或基于六边形的搜索。还可以使用典型的成本函数，也称为块失真度量，例如互相关、绝对差之和、平方差之和或更先进的方法，例如绝对变换差之和、秩、统计、频域方法等。
然后，为了校准相机4，可以通过分析块运动矢量，通过找到每个相机4到路面11的3-DOF空间定向来执行旋转校准。相机4的定向可以表示为围绕世界坐标系的固定X、Y和Z轴依次旋转的侧倾-俯仰-偏航旋转方案，其中X是纵向车辆轴线，Y是横向车辆轴线，Z是垂直车辆轴线，如图1所示。
制定要最小化的成本函数，其利用地平面11上的块运动矢量的几何特性，特别是考虑到对机动车辆1的近似直线驱动的约束。当在平坦地面上直线行驶时，校准系统应当产生投射到没有透视失真的地平面16(参见图3)上的运动矢量vp，因此，运动矢量vp全部平行于纵向X轴并具有相等的长度。
通过最小化成本函数，校准被调整成使得地平面16上的投影运动矢量vp平行于纵向车辆轴线X并且也具有相等的长度。如果所有运动矢量vp表示在相同时间段内的特征14的运动，即仅当传感器的所有传感器线15或扫描线已经同时曝光时，后一条件才成立。否则，该间隔对于每个运动矢量v而变化，这取决于在传感器平面13上的位置P1、P2处由其端点跨越的扫描线15的数量。如果结束位置(这里是位置P2)低于起始位置(这里是位置P1)，则与标称帧时段相比已经过了额外的时间。如果结束位置P2高于起始位置P1，则与标称帧时段相比经过了较少的时间。这些偏移影响地平面16上的运动矢量vp的真实投影长度，并且在不考虑时导致校准中的误差，特别是在旋转校准中。因此，对于每个运动矢量v，可以定义校正因子k，其如下移除偏移：
Figure BDA0001828935780000091
Δy是传感器线15中的运动矢量v的垂直跨度，H是传感器线15的总数，h是传感器内部消耗的额外数量的线15作为“消隐时段”。在校准成本函数内应用该因子k，以调整投影在地面16上的块运动矢量的长度，并移除由不一致定时引入的偏移。特别地，该校正在直线车辆运动、恒定车辆速度和无透视失真(即已知的外部校准)的假设下是适用的。后一个要求可能看似矛盾，但实际上它完全满足，因为校准通过最小化成本函数来收敛。
垂直跨度Δy的符号取决于运动矢量v的端点之间的相对位置P1、P2，如前所述，导致校正因子大于、小于或等于1。大于1的因子意味着运动矢量v在比标称帧时段更少的时间内被捕获，因此必须扩展它。小于1的因子意味着运动矢量v在比标称帧时段更多的时间内被捕获，因此必须缩短它。单位因子意味着不需要调整，即运动矢量v在同一扫描线15上。

Claims (7)

1.一种用于检测由包括多个传感器线(15)的机动车辆(1)的至少一个相机(4)的图像传感器捕获的机动车辆(1)的环境区域(9)的图像中的滚动快门效应的方法，所述方法包括以下步骤：
a)在捕获第一图像时确定对应于特征(14)的图像传感器的传感器平面(13)上的第一位置P1，并且在捕获第二图像时识别对应于特征(14)的传感器平面(13)上的第二位置P2，
b)确定表征在第一位置P1和第二位置P2之间的传感器平面(13)上的特征(14)的位移的运动矢量v，
c)确定运动矢量v的垂直跨度Δy，其表征至少部分地被运动矢量v覆盖的多个传感器线(15)，
d)基于垂直跨度Δy检测滚动快门效应，其中，
根据运动矢量v的垂直跨度Δy确定用于补偿滚动快门效应的校正因子，根据传感器线(15)的总数确定校正因子，其中传感器线(15)的总数包括多个有源传感器线和多个垂直消隐线，并且基于运动矢量v和校正因子执行相机(4)的外部校准；
为了执行外部校准，执行相机(4)的旋转校准，其中，根据校正因子确定描述运动矢量v与预定矢量之间的偏差的成本函数，并且旋转补偿运动矢量通过最小化成本函数来确定；
对于每个运动矢量v，定义校正因子k，其如下移除偏移：
Figure FDA0003524080910000011
Δy是传感器线(15)中的运动矢量v的垂直跨度，H是传感器线(15)的总数，h是传感器内部消耗的额外数量的传感器线(15)作为消隐时段；
通过最小化成本函数，校准被调整成使得地平面(16)上的投影运动矢量vp平行于纵向车辆轴线X并且也具有相等的长度。
2.根据权利要求1所述的方法，
其特征在于，
为了执行外部校准，执行相机(4)的高度校准，其中，根据旋转补偿运动矢量的长度和旋转补偿运动矢量的长度的预期值确定相机(4)的高度。
3.根据权利要求2所述的方法，
其特征在于，
根据机动车辆(1)的速度预设长度的预期值。
4.根据权利要求3所述的方法，
其特征在于，
借助于里程测量和/或基于为至少一个另外的相机(4)确定的至少一个另外的运动矢量来确定机动车辆(1)的速度。
5.一种用于机动车辆(1)的驾驶员辅助系统(2)的计算装置(3)，其适于执行根据前述权利要求中任一项所述的方法。
6.一种用于机动车辆(1)的驾驶员辅助系统(2)，包括至少一个相机(4)和根据权利要求5所述的计算装置(3)。
7.一种具有根据权利要求6所述的驾驶员辅助系统(2)的机动车辆(1)。
CN201780023804.5A 2016-03-15 2017-03-13 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆 Active CN109074480B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016104731.7A DE102016104731A1 (de) 2016-03-15 2016-03-15 Verfahren zum Detektieren eines Rolling-Shutter-Effekts in Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016104731.7 2016-03-15
PCT/EP2017/055786 WO2017157826A1 (en) 2016-03-15 2017-03-13 Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle

Publications (2)

Publication Number Publication Date
CN109074480A CN109074480A (zh) 2018-12-21
CN109074480B true CN109074480B (zh) 2022-07-12

Family

ID=59751899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023804.5A Active CN109074480B (zh) 2016-03-15 2017-03-13 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆

Country Status (5)

Country Link
US (1) US10839231B2 (zh)
EP (1) EP3430564A1 (zh)
CN (1) CN109074480B (zh)
DE (1) DE102016104731A1 (zh)
WO (1) WO2017157826A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles
TWI705011B (zh) * 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
US10893201B2 (en) * 2019-05-16 2021-01-12 Pelco, Inc. Video stabilization method with non-linear frame motion correction in three axes
DE102020108898A1 (de) 2020-03-31 2021-09-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum betreiben einer fahrzeugkameravorrichtung, fahrzeugkameravorrichtung und fahrzeug
US11405557B1 (en) * 2021-07-20 2022-08-02 Locus Robotics Corp. Rolling shutter compensation for moving digital optical camera sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764818A (zh) * 2003-05-09 2006-04-26 施耐宝公司 用于自适应巡航控制(acc)传感器调节的相机技术
JP2007180734A (ja) * 2005-12-27 2007-07-12 Megachips Lsi Solutions Inc 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
CN102821252A (zh) * 2011-06-06 2012-12-12 苹果公司 使用图像稳定来校正卷帘式快门
EP2665037A1 (en) * 2012-05-15 2013-11-20 Toshiba Alpine Automotive Technology Corporation Onboard camera automatic calibration apparatus
CN103444191A (zh) * 2010-12-07 2013-12-11 罗伯特·博世有限公司 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5221765B2 (ja) 2008-10-01 2013-06-26 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
US8350922B2 (en) * 2010-04-30 2013-01-08 Ecole Polytechnique Federale De Lausanne Method to compensate the effect of the rolling shutter effect
DE102010062297B4 (de) * 2010-12-01 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug
CN103856711A (zh) * 2012-12-05 2014-06-11 联咏科技股份有限公司 滚动快门的校正方法与图像处理装置
US9277361B2 (en) * 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
CN106663193B (zh) * 2014-05-14 2020-12-25 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764818A (zh) * 2003-05-09 2006-04-26 施耐宝公司 用于自适应巡航控制(acc)传感器调节的相机技术
JP2007180734A (ja) * 2005-12-27 2007-07-12 Megachips Lsi Solutions Inc 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
CN103444191A (zh) * 2010-12-07 2013-12-11 罗伯特·博世有限公司 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置
CN102821252A (zh) * 2011-06-06 2012-12-12 苹果公司 使用图像稳定来校正卷帘式快门
EP2665037A1 (en) * 2012-05-15 2013-11-20 Toshiba Alpine Automotive Technology Corporation Onboard camera automatic calibration apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Efficient rolling shutter distortion removal using block-based motion interpolation;Donggeun Lee et al;《The 18th IEEE International Symposium on Consumer Electronics (ISCE 2014)》;20140828;1-4 *
Geometric models of rolling-shutter cameras;Marci Meingast et al;《ARXIV》;20050329;2-9 *
Rolling shutter correction for video with large depth of field;YenHao Chiao et al;《2013 IEEE International Conference on Image Processing》;20140213;900-904 *
基于多点合作目标的多线阵CCD空间物体姿态测量;李晶等;《光学精密工程》;20130630;第21卷(第6期);1635-1641 *

Also Published As

Publication number Publication date
US20190080181A1 (en) 2019-03-14
US10839231B2 (en) 2020-11-17
WO2017157826A1 (en) 2017-09-21
CN109074480A (zh) 2018-12-21
EP3430564A1 (en) 2019-01-23
DE102016104731A1 (de) 2017-09-21

Similar Documents

Publication Publication Date Title
CN109074480B (zh) 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆
US11131753B2 (en) Method, apparatus and computer program for a vehicle
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
US10834324B2 (en) Image distortion correction of a camera with a rolling shutter
US10594943B2 (en) Camera calibration device and camera calibration system
GB2559760B (en) Apparatus and method for displaying information
US9357208B2 (en) Method and system for dynamically calibrating vehicular cameras
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
JP2012198075A (ja) ステレオカメラ装置、画像補整方法
KR102365501B1 (ko) 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치
US20100060735A1 (en) Device and method of monitoring surroundings of a vehicle
JP2009044730A (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
KR102104005B1 (ko) 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
US9846031B2 (en) Method and system for testing a vehicle underbody of a motor vehicle
CN101861255A (zh) 图像处理装置和方法、驾驶支持系统、车辆
US10783665B2 (en) Apparatus and method for image processing according to vehicle speed
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
WO2018202464A1 (en) Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
JP5907914B2 (ja) 車両用運転支援装置
JP2008033781A (ja) 路面勾配検出装置及び画像表示装置
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2018136739A (ja) キャリブレーション装置
KR20180102080A (ko) 차량 주변의 전방-뷰를 디스플레이하기 위한 방법 및 장치 그리고 각각의 차량

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant