CN108292441A - 用于机动车辆的视觉系统和控制视觉系统的方法 - Google Patents

用于机动车辆的视觉系统和控制视觉系统的方法 Download PDF

Info

Publication number
CN108292441A
CN108292441A CN201680070552.7A CN201680070552A CN108292441A CN 108292441 A CN108292441 A CN 108292441A CN 201680070552 A CN201680070552 A CN 201680070552A CN 108292441 A CN108292441 A CN 108292441A
Authority
CN
China
Prior art keywords
image
offset
vertical
vision system
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680070552.7A
Other languages
English (en)
Other versions
CN108292441B (zh
Inventor
利夫·林德格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anzher Software Co
Original Assignee
Autoliv Development AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autoliv Development AB filed Critical Autoliv Development AB
Publication of CN108292441A publication Critical patent/CN108292441A/zh
Application granted granted Critical
Publication of CN108292441B publication Critical patent/CN108292441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种用于机动车辆的视觉系统(10)，包括形成立体成像设备(11)的一对成像装置(12a、12b)和数据处理设备(14)，该数据处理设备(14)适于对所述立体成像设备(11)所拍摄的图像执行修正、对经修正的图像执行立体匹配，并且适于从立体匹配的图像中检测出机动车辆周围的物体。该数据处理装置(14)适于对来自一个成像装置的经修正的图像的图像元素(43)检索来自另一个成像装置的相应的经修正的图像中的最佳匹配图像元素(44')，所述检索覆盖二维检索区域，所述检索产生竖直偏移信息，能够由竖直偏移信息推导出从图像元素(43)至最佳匹配图像元素(44')的竖直偏移，其中，所述数据处理装置(14)适于由所述竖直偏移信息计算出成像装置(12a、12b)的或其之间的俯仰角误差和/或滚转角误差。

Description

用于机动车辆的视觉系统和控制视觉系统的方法
技术领域
本发明涉及一种用于机动车辆的视觉系统，该视觉系统包括形成立体成像设备的一对成像装置和数据处理设备，该数据处理设备适于对所述立体成像设备所拍摄的图像执行修正、对经修正的图像执行立体匹配并且适于从立体匹配的图像中检测机动车辆周围的物体。本发明还涉及一种控制视觉系统的方法。
背景技术
为了精确计算来自立体相机的视差图像或深度图像，两个相机相对于彼此的定向必须是已知的。两个相机之间的俯仰角上的误差使得一个相机相较于另一个更加向下看。滚转角是指相应光轴周围的图像平面的转动。这两个角都必须是已知的，以便在左右图像之间执行精确的立体匹配。对于汽车立体相机，由于汽车系统的热变化和长使用寿命，这些角在车辆使用寿命期间将不会是恒定的。因此，需要用于估算俯仰和滚转角误差的在线方案。
被称为5点方法或特征点方法的用于估计俯仰和滚转角的常规方法包含在左侧和右侧图像对中找出例如五个不同的点(称为特征点)并且由这些特征点估算俯仰和滚转角误差。然而，这种方法需要找出图像中的特征点，并且例如在不能找出不同特征点的单调、低光或下雨的环境中不会良好地工作。
发明内容
本发明的目的在于，提供一种视觉系统和方法，其允许在机动车辆操作期间精确地确定立体相机之间的俯仰角误差和/或滚转角误差。
本发明通过独立权利要求的特征来解决这一目的。根据本发明，对于来自一个成像装置的经修正的图像的图像元素，检索来自另一个成像装置的相应的经修正的图像的二维检索区域中的最佳匹配图像元素。该检索产生竖直偏移信息，能够由该竖直偏移信息推导出从该图像元素至最佳匹配图像元素的竖直偏移。本发明已经实现了可以基于(即，直接或间接地由)这样的竖直偏移信息轻易地计算出成像装置的或其之间的俯仰角误差和/或滚转角误差。根据本发明，不需要找出图像中的不同特征点，并且在所检查的汽车环境中的所有条件下，都可以确定俯仰和滚转角误差。由于对经修正的图像执行计算，因此在所计算的立体匹配或修正中使用的是俯仰和/或滚转角的误差。
根据本发明的图像元素可以为像素(即最小的可能图像元素或图片元素)或由多个像素组成的图像区域(例如p×q像素的矩形区域，其中，p和q为大于一的整数)。
在具体涉及一维水平检索引擎的使用的一个实施例中，竖直偏移信息包括多个匹配相关评分，由此产生竖直匹配代价立方体，其中，所述多个匹配相关评分表示考虑中的图像元素与来自另一个成像装置的相应的经修正图像的、相对于考虑中的图像元素偏移不同竖直分量的多个图像元素之间的竖直匹配度。具体而言，当使用一维水平检索引擎时，每次一维水平检索计算出水平匹配或代价元组，并且一维水平检索中的每个水平位置具有一个匹配或代价值。提取出每个水平匹配或代价元组中的最低匹配或代价值，由此产生包含针对所执行的每次水平检索的一个匹配或代价值的竖直匹配代价立方体。这样的竖直匹配评分立方体包含计算影响立体匹配的俯仰角误差和/或滚转角误差所需要的图像的所有信息。
优选地，多个图像元素被捆绑到更大的图像区域中，并且对于每个竖直偏移，总计或累计来自该图像区域中的每个图像元素的代价值或匹配相关评分，由此产生减小尺寸的匹配代价立方体。这种方法的优点在于相较于大型竖直匹配代价立方体小得多的数据量，同时仍然能够使得关于俯仰角误差和滚转角误差的计算的精确性高且充分。换言之，来自许多像素的匹配评分或代价值可以结合到图像区域中以节省存储带宽、存储容量和处理要求。
优选地，由减小的代价立方体确定给予每个图像区域的最佳匹配的竖直偏移，由此产生竖直偏移映射。可以由这样的偏移映射最轻易地计算出俯仰转角误差和/或滚转角误差。例如，可以由对偏移映射的贡献估算出俯仰误差，该贡献指向相同方向且具有相同尺寸；可以由对偏移映射的贡献估算出滚转误差，该贡献在右侧上和在左侧上指向相反方向并且从中心向左侧和右侧增加。替代地，可以使用最小化函数、尤其是最小二乘法最小化函数由偏移映射同时计算出俯仰误差和滚转误差。也可以直接由竖直匹配评分立方体或由减小的代价立方体计算出俯仰和/或滚转角误差，而不使用偏移映射。
在一些实施例中，除了计算俯仰转角误差和/或滚转角误差，还可以由竖直偏移信息计算出两个成像装置之间的焦距差上的误差。例如，可以从对偏移映射的贡献中估计出焦距差，该贡献在顶部上和在底部上指向相反方向并且从中心向顶部和底部增加。替代地，可以使用最小化函数通过俯仰误差和/或滚转误差由偏移映射同时计算出焦距差误差。也可以直接由竖直匹配评分立方体或从减小的代价立方体计算出焦距差误差，而不使用偏移映射。
在优选的实施例中，使用一维水平检索引擎并且执行相对于彼此在竖直方向上偏移不同量的多个一维水平检索来执行该检索。换言之，可以例如通过将现有的一维立体匹配硬件或软件随视觉系统中进行的标准立体计算进行分时，来简单地将其再利用。例如，可以在水平立体匹配过程的空闲时隙中和/或与水平立体匹配过程交替的时隙中执行该检索。
在另一实施例中，可以使用充分二维检索引擎来同时执行水平立体匹配过程和该检索。光流计算中所使用的二维检索引擎尤其合适，这是由于支撑两个任务的数学问题是本质相同的。这样的二维检索引擎产生向量形式的竖直偏移信息，该向量从考虑中的每个图像元素至来自另一个成像装置的相应图像中的最佳匹配图像元素。通过简单地取向量的竖直分量，可以轻易地从这些向量中推导出竖直偏移映射。
检索引擎可以为软件引擎或专用检索硬件。具体地，一维检索引擎可以由水平立体匹配硬件块形成。
优选地，计算出的俯仰角误差和/或滚转角误差在后来的立体匹配过程中使用。换言之，俯仰角误差和/或滚转角误差所导致的成像装置的任何不匹配都可以在驾驶期间得到自动且持续的补偿。
为了具有稳定且精确的结果，可以使用合适的信号处理算法对从每个图像对估算出的俯仰角和/或滚转角进行滤波。也可以在估算俯仰角和/或滚转角之前组合多个偏移映射，以便改善统计数据并进而改善精确性。由于相同原因，可以在基于匹配评分立方体或代价立方体执行进一步处理之前、尤其是在计算偏移映射之前，组合多个匹配评分立方体或代价立方体。
附图说明
下面将参照附图基于优选的实施例来阐释本发明，其中：
图1示出机动车辆中的立体视觉系统的示意图；
图2图示左/右图像对的水平立体匹配和竖直匹配；
图3以示意性方式图示由代价立方体计算偏移映射；
图4-6图示由偏移映射分别计算俯仰角误差、滚转角误差和焦距漂移。
具体实施方式
视觉系统10安装在机动车辆中并且包括成像设备11，该成像设备11用于获取机动车辆周围区域(例如机动车辆前方的区域)的图像。成像设备11包括形成立体成像设备11并且在可见光和/或红外线波长范围内操作的两个光学成像装置12a、12b(具体为相机)，其中，红外线包括具有5微米以下波长的近红外辐射(IR)和/或具有超出5微米波长的远红外辐射(IR)。
成像设备11耦接到数据处理装置14，数据处理装置14适于处理从成像设备11接收的图像数据。有益地，数据处理装置14包括预处理部件13，预处理部件13适于控制成像设备11的图像拍摄、从成像设备11接收包含图像信息的电信号、将左/右图像对修正或弯曲至对齐和/或创建视差图像，这本身是现有技术中已知的。图像预处理部件13可以通过专用硬件电路(例如现场可编程门阵列(FPGA))来实现。替代地，预处理部件13或其功能的部分可以在微处理器或包含例如FPGA、DSP、ARM和/或微处理器功能的片上系统(SoC)装置中实现。
通过相应的软件在数据处理装置14中实施进一步的图像和数据处理。具体而言，数据处理装置14包括物体检测部件15、追踪部件16以及估算和判断部件17，物体检测部件15适于对机动车辆前方的可能物体(比如行人、其他车辆、骑自行车者和/或大型动物)进行识别并且优选地还进行分类，追踪部件16适于追踪物体检测部件15所识别的记录图像中的物体候选者随时间的位置，估算和判断部件17适于估算被追踪物体的碰撞概率并且根据所估算的碰撞概率激活或控制至少一个驾驶辅助装置18、19。驾驶辅助装置18具体可以包括用于显示关于被检测物体的信息的显示装置18。然而，本发明不限于显示装置18。驾驶辅助装置18、19可以另外地或者替代地包括：警告器件，警告器件适于通过合适的光、声和/或触觉警告信号向驾驶员提供碰撞警告；一个或多个约束系统，比如乘客安全气囊或安全带张紧器、行人安全气囊、发动机罩提升器等；和/或动态车辆控制系统，比如制动器或转向器件。优选地，数据处理装置14包括存储装置25。
数据处理装置14优选为这样的数字装置，其被编程或者可编程并且便利地包括微处理器、微控制器、数字信号处理器(DSP)或包括例如FPGA和微处理器功能的片上系统(SoC)装置。优选地，包括预处理部件13和存储装置25的数据处理装置14在车载电子控制单元(ECU)中实现，并且可以经由单独的线缆或车辆数据总线连接到成像设备11。在另一实施例中，ECU和一个或多个成像装置12中可以集成到单个单元中，其中，可以优选包括ECU和所有成像装置12的一盒式解决方案(one box solution)。从成像、图像预处理、图像处理到驾驶辅助装置18的可能的激活或控制和/或回归分析的所有步骤都在驾驶期间实时地自动且持续地执行。
下面，通过示例的方式来解释在驾驶期间对成像装置12a、12b之间的俯仰和/或滚转角误差的创造性计算。以下过程发生在数据处理设备14中、优选为其预处理部件13中。
图2示出通过左侧相机12a拍摄的图像40和通过右侧相机12b拍摄的图像41。首先，如以上所提及的，设置修正步骤，其中相对于彼此修正或弯曲左侧图像/右侧图像以便使其对齐。
在修正步骤之后，对经修正的左侧图像/右侧图像执行水平立体匹配步骤。该步骤包括找出左侧图像/右侧图像的每个像素的最佳水平匹配并且计算出每个像素的视差值，由此产生包含深度信息的视差图像。具体而言，在找出左侧图像/右侧图像的每个像素的最佳水平匹配的步骤中，通常对于一个图像中的每个像素42，取该像素周围的小图像部分43，并且使用代价函数(例如绝对差之和或平方差之和)对另一图像中的相应的小图像部分44进行一维水平检索45。
图3中图示的方法包括找出经修正的左侧图像/右侧图像的像素或像素区域的最佳竖直匹配的步骤。该步骤可以对整个经修正的图像执行，或者，为了节省处理资源，仅对经修正图像的一个或多个较小部分执行，例如图像的每n条线或每n组的m条线，其中n和m为大于1的整数，例如n＝2而m＝64。而且，该步骤可以对经修正图像的、或所考虑的(一个或多个)经修正图像部分的每个像素或所有像素的子集(例如每n个像素，其中，n为大于1的整数，例如n＝2)执行。
在找出最佳竖直匹配的步骤中，通常对于一个图像40中的每个像素42，取该像素周围的小图像部分43，并且使用代价函数(例如绝对差之和或平方差之和)对另一图像41中二维检索区域51中的相应小图像部分44进行检索。
在本实施例中，通过多次重复一维水平检索45、46、47来执行检索，其中每次水平检索在检索45附近向上和向下偏移不同的量。在图2中，例如执行关于水平检索45竖直向上偏移的两次水平检索46和竖直向下偏移的两次水平检索47，由此导致五次水平检索。应当理解，水平检索45-47的数量优选为大于五、优选为至少10、更加优选为至少20、甚至更加优选为至少30，例如16+1+16＝33。
水平检索45、46、47相对于彼此优选等距的竖直偏移可以为偏移一个或多个像素，或者优选为亚像素偏移(即偏移像素的一部分，这通过图像处理技术来执行)。竖直亚像素偏移在俯仰和/或滚转角误差的确定上提供比偏移一个或多个像素更高的精确度。通过新的修正或通过再采样来对两个图像40、41之一执行竖直偏移。
每次一维水平检索45、46、47计算出水平匹配或代价元组，并且每个水平位置在一维水平检索中具有一个匹配或代价值。然后提取出每个水平匹配或代价元组中的最低匹配或代价值，由此产生包含针对所执行的每次水平检索的一个匹配或代价值的竖直匹配代价立方体。更一般而言，二维检索中所使用的代价函数产生对所考虑的每个单个像素43所执行的每次水平检索的单个代价值。因此，针对所考虑的每个像素的单个代价值的数量等于对该像素所执行的水平检索的次数，例如在以上所提及的示例中为33。在此，代价值形成匹配评分；代价值越小，匹配得越好。其他类型的匹配评分是可能的，包括匹配值，其中，匹配值越高，匹配得越好。
以上提及的经由多次竖直偏移的一维水平检索来执行有效二维检索的实施例具有以下优点，即用于执行最佳水平匹配的通常的一维匹配引擎或硬件也用于找出最佳竖直匹配。因此，不需要新的或调整的引擎或硬件。水平匹配引擎或硬件可以再用于经由分时找出最佳竖直匹配。例如，在交替时隙A-B-A-B-…中，非同时地执行水平立体匹配(时隙A)和竖直偏移的水平检索(时隙B)。因此，借助通过立体匹配硬件块在一个图片上以不同的水平和竖直偏移多次运行，使用一维匹配硬件来执行二维检索。
所提取的(竖直)代价值的组构建起(竖直)代价立方体52，参见图3。在此，图3中代价立方体52的前方具有图像40、41的尺寸，同时通过针对所执行的竖直偏移的竖直代价值形成第三维度。图3中单纯以示例方式给出的数量涉及具有1024像素×288像素和如以上所提及的针对每个像素所计算出的33个竖直代价值的图像。因此，代价立方体52为三十三个单元深，并且包括将近10^7个代价值。
举例而言，图2中的图像元素44'可以具有与另一图像的图像元素43的最低代价值或最佳竖直匹配。提供最佳竖直匹配的从中心图像元素44至图像元素44'的箭头为图像元素44'的竖直偏移45。可以通过针对代价立方体中的每个像素识别出33个相应代价值的最低者来从大型代价立方体52中提取出1024×288的竖直偏移映射。然而，这样的大型偏移映射在计算上将会非常昂贵。
为了使本发明在计算上更可负担，优选由大型代价立方体52计算出图3右侧上示出的减小的代价立方体50。这通过将多个图像元素或像素捆绑到更大的n×m个像素的图像区域中来进行，其中，n和m为大于一的整数，优选为至少五，更加优选为至少十。所考虑的图像区域的数量优选为至少十个，和/或优选为比该图像中像素的总数小至少一个数量级，更加优选为小至少两个数量级。在实际的实施例中，可以将完整的1024像素×288像素图像捆绑到图3中所示的64像素×48像素的区域中，由此导致16×6＝96的像素区域。对于每个图像区域，将捆绑匹配评分元组(在此包含33个竖直偏移代价值)或捆绑代价元组计算为例如属于考虑中的图像的大型代价立方体52的n×m个代价元组(例如64×48个)的和或平均值。这导致尺寸小得多的减小代价立方体50，其具有例如16×6×33＝3168个(捆绑)代价值。
较小代价立方体50的主要优点在于需要缓冲的数据量大大减小。对应于一次竖直偏移，可以一次计算出代价立方体中的每个水平面。因此，在该实施例中，不需要在大型代价立方体52的情况下对每次竖直偏移储存1024×288个代价值，而是在小型代价立方体50的情况下对每次竖直偏移储存16×6个代价值，这减小了超过3000倍。
优选由减小的代价立方体50计算出偏移映射48。对于减小代价立方体50中的每个图像元素49，确定出相应代价元组的最佳匹配评分或最低代价值(在此在33个相应代价值之外)。该最佳匹配评分或最低代价值等同于给出左侧图像/右侧图像中的图像区域之间的最佳匹配的特定竖直偏移。每个元素49的竖直偏移产生例如由16×6个图像区域49组成的二维偏移映射48。因此，偏移映射48为二维映射，其中，给出最佳匹配的竖直偏移分配给偏移映射48的每个元素49。
可以由偏移映射48以简单的方式计算出俯仰角误差、滚转角误差和影响立体匹配的其他参数。例如，可以由对偏移映射的贡献中估算出俯仰误差，该贡献指向相同的方向(在此向上)并且具有相同的尺寸，参见图4。可以由对偏移映射的贡献中估算出滚转误差，该贡献在右侧上和在左侧上指向相反方向并且从中心向左侧和右侧增加，参见图5。可以由对偏移映射的贡献估算出焦距差或焦距漂移，其中，该贡献在顶部上和在底部上指向相反方向并且从中心向顶部和底部增加，参见图6。
实际上，图4和5中所示的纯图案的线性组合有可能在偏移映射48中出现。可以使用合适的处理技术从偏移映射48中提取出来自俯仰角误差和滚转角误差的贡献。
优选地，所计算出的俯仰角误差和/或滚转角误差被反馈到预处理部件13中，以便允许对后续修正和/或立体匹配中的这些误差进行补偿。

Claims (14)

1.一种用于机动车辆的视觉系统(10)，所述视觉系统(10)包括形成立体成像设备(11)的一对成像装置(12a、12b)和数据处理设备(14)，所述数据处理设备(14)适于对所述立体成像设备(11)所拍摄的图像执行修正、对经修正的图像执行立体匹配并且适于从立体匹配的图像中检测出所述机动车辆周围的物体，其特征在于，所述数据处理装置(14)适于对来自一个所述成像装置的经修正的图像的图像元素(43)检索来自另一个所述成像装置的相应的经修正的图像中的最佳匹配图像元素(44')，所述检索覆盖二维检索区域，所述检索产生竖直偏移信息，能够从所述竖直偏移信息中推导出从所述图像元素(43)至所述最佳匹配图像元素(44')的竖直偏移，其中，所述数据处理装置(14)适于由所述竖直偏移信息计算出所述成像装置(12a、12b)的或其之间的俯仰角误差和/或滚转角误差。
2.根据权利要求1所述的视觉系统，其特征在于，所述竖直偏移信息包括多个匹配相关评分，由此产生竖直匹配代价立方体(52)，其中，所述多个匹配相关评分表示考虑中的所述图像元素(43)与来自另一个所述成像装置的相应图像的、相对于考虑中的所述图像元素(43)偏移不同竖直分量的多个图像元素(44)之间的竖直匹配度。
3.根据权利要求2所述的视觉系统，其特征在于，所述多个图像元素被捆绑到更大的图像区域(49)中，并且对于每个竖直偏移，累计来自所述图像区域(49)中的每个图像元素的匹配相关评分，由此产生减小尺寸的匹配代价立方体(50)。
4.根据权利要求3所述的视觉系统，其特征在于，由所述减小的代价立方体(50)确定给予每个所述图像区域(49)的最佳匹配的竖直偏移，由此产生竖直偏移映射(48)。
5.根据前述权利要求中任一项所述的视觉系统，其特征在于，所述数据处理装置(14)适于由所述竖直偏移信息计算出两个所述成像装置之间的焦距差。
6.根据前述权利要求中任一项所述的视觉系统，其特征在于，所述竖直偏移信息包括从考虑中的每个所述图像元素(43)到来自另一个所述成像装置的相应的经修正的图像中的所述最佳匹配图像元素(44')的矢量。
7.根据权利要求6所述的视觉系统，其特征在于，由所述矢量的竖直分量推导出所述竖直偏移映射(48)。
8.根据权利要求4或7所述的视觉系统，其特征在于，使用最小化函数、尤其是最小二乘法最小化函数由所述偏移映射(48)同时计算出俯仰误差和滚转误差。
9.根据前述权利要求中任一项所述的视觉系统，其特征在于，使用一维水平检索引擎并且执行相对于彼此在竖直方向上偏移不同量的多个一维水平检索(45-47)来执行所述检索。
10.根据权利要求9所述的视觉系统，其特征在于，所述一维水平检索引擎用于经由分时不同时地执行立体匹配过程和所述检索。
11.根据权利要求10所述的视觉系统，其特征在于，在所述立体匹配过程的空闲时隙中和/或与所述立体匹配过程交替的时隙中执行所述检索。
12.根据权利要求1至8中任一项所述的视觉系统，其特征在于，使用二维检索引擎、尤其是采用能够执行光流计算的算法来执行所述检索。
13.根据前述权利要求中任一项所述的视觉系统，其特征在于，所计算出的俯仰角误差和/或滚转角误差用于后来的修正和/或立体匹配过程中。
14.一种用于机动车辆的视觉方法，其使用形成立体成像设备(11)的一对成像装置(12a、12b)，所述方法包括对所述立体成像设备(11)所拍摄的图像进行修正、对经修正的图像进行立体匹配并从立体匹配的图像中检测出所述机动车辆周围的物体，其特征在于，对来自一个所述成像装置的经修正的图像的图像元素(43)检索来自另一个所述成像装置的相应的经修正的图像中的最佳匹配图像元素(44')，所述检索覆盖二维检索区域，所述检索产生竖直偏移信息，能够由所述竖直偏移信息推导出从所述图像元素(43)至所述最佳匹配图像元素(44')的竖直偏移，并且由所述竖直偏移信息计算出所述成像装置(12a、12b)的或其之间的俯仰角误差和/或滚转角误差。
CN201680070552.7A 2015-12-04 2016-12-02 用于机动车辆的视觉系统和控制视觉系统的方法 Active CN108292441B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15198019.0A EP3176750B1 (en) 2015-12-04 2015-12-04 Vision system for a motor vehicle and method of controlling a vision system
EP15198019.0 2015-12-04
PCT/EP2016/079644 WO2017093518A1 (en) 2015-12-04 2016-12-02 Vision system for a motor vehicle and method of controlling a vision system

Publications (2)

Publication Number Publication Date
CN108292441A true CN108292441A (zh) 2018-07-17
CN108292441B CN108292441B (zh) 2022-05-24

Family

ID=54843673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070552.7A Active CN108292441B (zh) 2015-12-04 2016-12-02 用于机动车辆的视觉系统和控制视觉系统的方法

Country Status (5)

Country Link
US (1) US10706589B2 (zh)
EP (1) EP3176750B1 (zh)
JP (1) JP6635621B2 (zh)
CN (1) CN108292441B (zh)
WO (1) WO2017093518A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369425A (zh) * 2020-02-20 2020-07-03 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3410705B1 (en) * 2017-06-02 2021-11-03 Veoneer Sweden AB 3d vision system for a motor vehicle and method of controlling a 3d vision system
EP4300423A1 (en) 2022-06-27 2024-01-03 Continental Autonomous Mobility Germany GmbH Robust stereo camera image processing method and system
KR102608332B1 (ko) * 2023-03-03 2023-11-30 국방과학연구소 대상 추적 알고리즘

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
DE102008008619A1 (de) * 2008-02-12 2008-07-31 Daimler Ag Verfahren zur Kalibrierung eines Stereokamerasystems
CN102428494A (zh) * 2009-05-19 2012-04-25 奥托立夫开发公司 汽车视觉系统和方法
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266827B2 (ja) 1997-06-25 2002-03-18 本田技研工業株式会社 車両の物体検知装置
US5964822A (en) 1997-08-27 1999-10-12 Delco Electronics Corp. Automatic sensor azimuth alignment
DE19751004A1 (de) 1997-11-18 1999-05-20 Daimler Chrysler Ag Verfahren zur Verarbeitung von Radarsignalen
US6707419B2 (en) 2000-08-16 2004-03-16 Raytheon Company Radar transmitter circuitry and techniques
JP4265803B2 (ja) 2005-11-22 2009-05-20 三菱電機株式会社 レーダシステム
JP5285619B2 (ja) * 2006-12-18 2013-09-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラシステムのキャリブレーション
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
US20130016186A1 (en) 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
JP2013093013A (ja) 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
DE102011055795A1 (de) 2011-11-29 2013-05-29 Continental Automotive Gmbh Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
DE102012009577A1 (de) 2012-05-15 2012-11-29 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
JP5695000B2 (ja) * 2012-08-13 2015-04-01 本田技研工業株式会社 車両周辺監視装置
US9066085B2 (en) 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
EP3100206B1 (en) 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
DE102008008619A1 (de) * 2008-02-12 2008-07-31 Daimler Ag Verfahren zur Kalibrierung eines Stereokamerasystems
CN102428494A (zh) * 2009-05-19 2012-04-25 奥托立夫开发公司 汽车视觉系统和方法
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ATANASSOV K 等: "Unassisted 3D camera calibration", 《PROCEEDINGS OF SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *
F ZILLY等: "Joint estimation of epipolar geometry and rectification parameters using point correspondences for stereoscopic TV sequences", 《PROCEEDINGS OF 3DPVT》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369425A (zh) * 2020-02-20 2020-07-03 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN111369425B (zh) * 2020-02-20 2024-05-14 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN108292441B (zh) 2022-05-24
US10706589B2 (en) 2020-07-07
WO2017093518A1 (en) 2017-06-08
JP6635621B2 (ja) 2020-01-29
EP3176750A1 (en) 2017-06-07
US20180357792A1 (en) 2018-12-13
EP3176750B1 (en) 2019-03-13
JP2019518253A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
Suhr et al. Automatic parking space detection and tracking for underground and indoor environments
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US9672635B2 (en) Method for analyzing related images, image processing system, vehicle comprising such system and computer program product
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
US9912933B2 (en) Road surface detection device and road surface detection system
Joglekar et al. Depth estimation using monocular camera
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
US10187630B2 (en) Egomotion estimation system and method
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
US11410430B2 (en) Surround view system having an adapted projection surface
CN108292441A (zh) 用于机动车辆的视觉系统和控制视觉系统的方法
EP3594902B1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
CN103424105B (zh) 对象检测方法和装置
CN111443704B (zh) 用于自动驾驶系统的障碍物定位方法及装置
JP7041172B2 (ja) 自動車用３ｄ視覚システム、及び３ｄ視覚システムを制御する方法
JP4052291B2 (ja) 車両用画像処理装置
US20160093065A1 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN107924570B (zh) 用于机动车辆的视觉系统和控制视觉系统的方法
US9465102B2 (en) Apparatus, method, and computer readable medium for correcting an interpolation coefficient for stereo matching
JP2019160251A (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
CN115661794A (zh) 一种立体视觉感知方法、装置、设备、介质及无人收割机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190306

Address after: Sweden Wajiada

Applicant after: Vennell Sweden

Address before: Sweden Wajiada

Applicant before: AUTOLIV DEVELOPMENT AB

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220831

Address after: Linkping

Patentee after: Anzher software Co.

Address before: Sweden Wajiada

Patentee before: Vennell Sweden

TR01 Transfer of patent right