CN103444191B - 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置 - Google Patents

用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置 Download PDF

Info

Publication number
CN103444191B
CN103444191B CN201180058509.6A CN201180058509A CN103444191B CN 103444191 B CN103444191 B CN 103444191B CN 201180058509 A CN201180058509 A CN 201180058509A CN 103444191 B CN103444191 B CN 103444191B
Authority
CN
China
Prior art keywords
sensor
image information
sensors
sections
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180058509.6A
Other languages
English (en)
Other versions
CN103444191A (zh
Inventor
S·亚伯拉罕
W·尼森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN103444191A publication Critical patent/CN103444191A/zh
Application granted granted Critical
Publication of CN103444191B publication Critical patent/CN103444191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于处理立体传感器系统的两个适合用于图像检测的传感器(201,203)的图像信息的方法,其中,所述传感器(201,203)中的每一个被构造用于,在所述传感器(201,203)的设置在不同位置上的传感器区段内逐段地检测图像信息。所述方法包括下述步骤:提供关于所述第一和第二传感器(201,203)的两个具有对应的图像信息(105)的传感器区段的位置之间的几何错位(107)的信息(807);以及读取(861)所述第一传感器(201)的图像信息和所述第二传感器(203)的图像信息,其中,以所述错位(107)进行涉及所述传感器区段的所述位置的所述读取,从所述传感器区段中读取所述图像信息。

Description

用于处理立体传感器系统的两个适合用于图像检测的传感器 的图像信息的方法和装置
技术领域
本发明涉及用于处理可以用于车辆中的立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置。
背景技术
立体视频图像处理对于通过驾驶辅助系统中的车辆周围环境检测、对于机器人技术和自动化技术中的其他应用变得越来越重要。借助立体视频系统可以确定立体视频系统的检测区域中的对象的空间位置,以便因此例如在驾驶员辅助系统中探测行人。
数字图像中的立体测量在用于图像处理的教科书(例如Trucco和Verri的《Introductory techniques for3-D Computer Vision》,施普林格出版社,1998年)中描述。用于立体测量的基础形成在左侧和右侧的传感器之间对对应的图像区段的搜索。在考虑传感器的光学成像和几何设置的情况下,可以实现图像区段的3D重构。
为了便于寻找对应的图像区段,经常进行图像校正。这允许沿着图像行寻找对应的图像区段。
WO02/095681A1描述一种方法,其中借助表格式的成像规则将通过相机镜组失真的源图像转变为矫正的目标图像的方法。在此,不给源图像的每个源像素分派目标图像中的目标像素或分派一个或多个目标像素。
发明内容
在此背景下,借助本发明,提出根据独立权利要求的用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法,此外提出根据独立权利要求的使用所述方法的装置以及最后提出一种根据独立权利要求的相应的计算机程序产品。有利的构型由相应的从属权利要求和下面的描述得出。
由立体传感器系统的两个传感器摄取的图像典型地具有几何错位,也就是说,在照片中在不同的几何位置上重新获得由传感器检测的真实的对象的成像。根据本发明,使用关于错位的信息,以便一方面通过传感器检测图像信息并且另一方面优化从传感器中对图像信息的读取。关于读取,可以是在知晓错位的情况下同时读取传感器的不同区段。与熟知的其中同时读取传感器的相同区段的方法相比,可以减小其中中间存储读取的信息用于再处理的中间存储器的大小。此外,可以加速再处理。关于图像信息的检测,可以在知晓错位的情况下,控制传感器的同时用于检测图像信息的不同区段。在此,产生以下优点:传感器同时提供图像信息,所述图像信息不具有或具有至少一个减小的错位。
可以有利地在基于硬件的、用于借助立体传感器系统的3D立体测量的方法中使用根据本发明的方法。
尤其可以实现用于优化地读取立体视频系统的视频传感器的方法。在此,根据校准信息实现例如右侧和左侧的图像传感器的读取。例如,可以根据在校准过程中求取的行错位以时间上的行错位读取图像传感器。也可以在图像传感器中,根据左侧和右侧相机中的存在于校准过程中的行错位读取传感器的不同区段,即,所谓的感兴趣区域(ROIs:Regions ofInterest)。由此得出的优点是,立体测量硬件中输入缓冲器的必要的大小的降低和在使用卷帘式快门传感器用于立体测量时3D测量误差的降低。
本发明实现一种用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法,其中,所述传感器中的每一个被构造用于,在传感器的设置在不同位置上的传感器区段内逐段地检测图像信息,其中,所述方法包括以下步骤:
提供关于第一和第二传感器的两个具有对应的图像信息的传感器区段的位置之间的错位的信息;以及
读取第一传感器的图像信息和第二传感器的图像信息,其中,以错位进行涉及传感器区段的位置的所述读取,从传感器区段中读取图像信息。
立体传感器系统可以涉及具有两个视频传感器的立体视频系统。借助立体视频系统可以确定传感器的检测区域中对象的空间位置。立体传感器系统例如可以为车辆的驾驶辅助系统提供信息。传感器能够逐段地,例如,逐行地检测图像信息,所述图像信息对由传感器探测的真实的周围环境成像。每个图像信息可以包括一个或多个亮度值。因此,传感器区段可以涉及行并且传感器区段的位置涉及行号。所述传感器可以是相同的,并且尤其具有相同的类型、数量和设置的传感器区段。两个传感器的两个对应的传感器区段在传感器内在其位置方面相应。每个传感器区段可以具有多个像点。每个像点可以包括一个图像信息,所述图像信息对由传感器检测的周围环境的确定的区域成像。各个传感器区段可以同时或时间上彼此相继地检测图像信息。关于错位,对应的图像信息可以理解为那些对由传感器检测的周围环境的相同的或近似相同的区域成像的图像信息。因此,对应的图像信息关于其图像内容相应。关于错位的信息可以代表已在校准过程中求取的信息。所述信息可以保存在存储器中并且从中读取。错位可以定义具有包括对应的图像信息的像点的两个传感器区段的位置之间的区别。基于第一传感器的传感器区段的位置,可以借助错位确定第二传感器的具有与第一传感器的传感器区段相对应的图像信息的传感器区段的位置。如果传感器区段是逐行设置的,则错位说明行数。可以直接从传感器中或从中间存储器中读取第一传感器和第二传感器的图像信息。可以在共同的读取步骤中读取第一传感器和第二传感器的图像信息。例如,在时间上可以直接地在读取第一传感器的图像信息之前,同时地,或直接地在读取第一传感器的图像信息之后读取第二传感器的图像信息。因此,在一个读取步骤中可以从两个传感器的不同位置读取图像信息。因此,通过读取,已经在对应的图像信息之间进行分配。读取的图像信息可以直接被再处理或存储在中间存储器内用于再处理。例如,可以基于读取的和关于图像内容相对应的图像信息来实施立体测量。
根据一种实施方式,所述方法可以包括确定错位的步骤。可以基于第一传感器的传感器区段中的图像信息和第二传感器的传感器区段中的图像信息之间的比较来实现错位。通过比较可以求取具有对应的图像内容的传感器区段并且将这种传感器区段的经校准的间距作为错位存储。可以一次性地,连续地或例如在立体视频系统的每次开始运转时确定错位。
在读取步骤中,可以只从一个第一传感器区段读取第一传感器的图像信息并且只从一个第二传感器区段读取第二传感器的图像信息,其中,第一传感器区段在第一传感器内的设置与第二传感器区段在第二传感器内的设置不同。第一传感器区段和第二传感器区段可以具有相同的大小。第一传感器区段和第二传感器区段优选具有对应的图像内容。在理想情况下,可以在随后的步骤中直接处理读取的传感器区段,而无需校正。
在此,所述方法可以包括确定第一传感器区段内第一像点与第二传感器区段内第二像点之间的错位的步骤,其中,第一像点与第二像点在检测的图像信息方面彼此对应。在此,第一传感器区段的第一区域可以相对于第二传感器区段的第二区域以一位移值移位。通过这种方式,可以确定在两个传感器的对应的传感器区段内的在图像信息方面相对应的区域之间的错位。
根据一种实施方式,本发明可以包括提供第一触发信号的步骤,所述第一触发信号被构造用于,通过设置在第一传感器的第一位置上的传感器区段触发第一传感器的图像信息的检测。此外,所述方法还可以包括时间上在提供第一触发信号的步骤之后或之前提供第二触发信号的步骤,其中,第二触发信号被构造用于,通过设置在第二传感器的第一位置上的传感器区段触发第二传感器的图像信息的检测。因此,可以在不同的时刻检测对应的图像信息,所述对应的图像信息随后的读取步骤中一起被读取。在这种情形中,可能需要检测的图像信息的中间存储。
替代地,本发明可以包括提供触发信号的步骤,所述触发信号被构造用于,通过设置在第一传感器的第一位置上的传感器区段和通过设置在第二传感器的第二位置上的传感器区段触发对第一传感器的图像信息和对第二传感器的图像信息的同时检测,其中,在第一位置与第二位置之间存在错位。因此,可以同时检测在随后的读取步骤中一起读取的对应的图像信息。在这种情形中,不需要检测的图像信息的中间存储。
根据一种其中逐行地设置传感器区段的实施方式,可以在读取步骤中从第一传感器的一行中读取第一传感器的图像信息并且从第二传感器的一行中读取第二传感器的图像信息。在此,错位可以确定第二传感器的行的行号和第一传感器的行的行号之间的差。
所述方法可以包括至少一个读取第一传感器的另一个图像信息和第二传感器的另一个图像信息的其他步骤。在此,以错位进行涉及其他传感器区段的其他位置的所述读取,从其他传感器区段中读取其他图像信息。因此,可以分别从两个传感器中连续地读取错开设置的图像信息。例如,在每个读取步骤中,对于每个传感器,可以从与在前面的读取步骤中已读取的传感器区段邻接的传感器区段中读取图像信息。
此外,本发明还实现一种用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的装置,其中,所述传感器中的每一个被构造用于,在传感器的设置在不同位置上的传感器区段内逐段检测图像信息,所述装置具有以下特征:
提供装置,用于提供关于第一和第二传感器的两个具有对应的图像信息的传感器区段的位置之间的几何错位的信息;以及
读取装置,用于读取第一传感器的图像信息和第二传感器的图像信息,其中,借助错位,进行涉及从中读取图像信息的传感器区段的位置的所述读取。
通过本发明的所述以装置的形式的实施变型方案,也能够快速而高效地解决本发明所基于的任务。所述装置可以是立体传感器系统的一部分或在后面连接的处理单元的一部分。装置在此可以理解为处理传感器信号并且据此输出控制信号的电设备。所述装置可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中,接口例如可以是包括所述设备的最不同功能的所谓的系统ASIC的一部分。然而,还可能的是,接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中,接口可以是软件模块,其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品也是有利的,所述程序代码可以存储在机器可读的载体,如半导体存储器、硬盘存储器或光学存储器上并且用于当在与计算机相应的设备上执行程序时根据先前描述的实施方式之一来实施所述方法。
附图说明
下面根据附图示例性地详细解释本发明。示出:
图1示出借助图像校正的立体测量的原理;
图2示出用于立体测量的硬件的原理构造;
图3示出两个图像传感器的时间同步的读取的示意图;
图4示出两个图像传感器的时间错开的读取的示意图;
图5示出两个图像传感器的区域的读取的示意图;
图6示出通过两个图像传感器的时间同步的图像检测的示意图;
图7示出通过两个图像传感器的时间错开的图像检测的示意图;以及
图8示出用于处理图像信息的方法的流程图。
在本发明的优选实施例的后续描述中,对于在不同附图中示出并且起类似作用的元件使用相同的或类似的参考标记,其中不重复描述这些元件。
具体实施方式
图1示出借助图像校正的立体测量的原理。示出立体图像检测系统的左侧传感器的原始传感器图像101和右侧传感器的原始传感器图像103。传感器图像101涉及在左侧的视频图像和传感器图像103涉及在右侧的视频图像。在传感器图像101、103中可以分别识别出以车辆的形式的对象。在传感器图像101、103中,车辆位于不同的位置上。因此,在对象的对应的区域——例如车辆的右上角区域105之间存在行错位107。因此,在传感器图像101、103中,在相同的扫描行内不存在立体对应109。
通过图像校正110,由传感器图像101生成经校正的图像111并且由另一个传感器图像103生成另一个经校正的图像113。在图像111、113中,车辆的右上角区域105位于相同的行中,从而在相同的图像行内存在立体对应109。
图2示出用于立体测量的硬件的原理构造。示出两个图像传感器201、203。图像传感器201可以涉及在左侧的图像传感器并且图像传感器203可以涉及在右侧的图像传感器。图像传感器201的图像信息通过左侧的传感器的串行线路221提供给在左侧的输入缓冲器222,随后提供给在左侧的逻辑电路223用于校正并且随后提供给在左侧的用于经校正的图像的行缓冲器224。通过校正来改变车辆的位置。图像传感器203的图像信息通过右侧的传感器的串行线路231提供给在右侧的输入缓冲器232,随后提供给在右侧的逻辑电路233用于校正并且随后提供给在右侧的用于经校正的图像的行缓冲器234。通过校正来改变车辆的位置。行缓冲器224、234中的数据提供给逻辑电路240用于不一致性测量,所述逻辑电路被构造用于,产生3D坐标242。
在硬件支持的实时立体测量中,通常进行原始传感器图像101、103到经校正的图像111、113的校正,即矫正。随后,在经校正的图像111、113中,沿着图像行进行左侧图像与右侧图像之间的特征的对应寻找。这对于在硬件中,例如FPGA或ASIC中的实现是有利的。图1示意性地示出流程。
在立体硬件例如FPGA内,逐行顺序地组织视频图像数据的处理。图2示出相应的硬件的示意性构造。
对于每个传感器201、203都有一个串行数据线路221、231,相机图像数据,即亮度值,在所述串行数据线路中例如借助LVDS(Low-Voltage Differential Signaling:低电压差分信号)从传感器201、203转输至分析处理硬件。在分析处理硬件中有输入缓冲器222、232,其中中间存储输入图像的数量限定的行。校正逻辑电路223、233分别从输入缓冲器222、232中读取图像信息并生成经校正的图像信息。所述经校正的图像信息被逐行保存在下一个数据缓冲器224、234中。在具有左侧相机图像和右侧相机图像的经校正的图像数据的中间缓冲器224、234的行之间,进行立体测量并且最终进行3D重构。
在实践中,借助相机彼此的定向的有限的精度实现立体相机系统的机械构造。此外,出于这个原因,首先,立体相机系统的校准,也就是说,相机彼此的几何位置和光学畸变的确定因此对于有意义的立体测量是必需的。然后,在分析处理期间使用校准信息的情况下,图像校正补偿位置和成像误差。
在目前常用的立体系统中通常时间同步地摄取左侧和右侧的相机的图像,以便能够实现动态运动的对象的精确的立体测量。此外,与此相关联的是,由左侧和右侧的传感器时间上同步串行地传输图像行到处理硬件中,用于立体测量。
对于根据图2的顺序处理,这意味着,在左侧和右侧的相机之间几何位置偏差的情况下,出现对应行的错位,如在图1中所示那样。所述行错位增大了矫正硬件中需要的输入缓冲器。这是不利的,因为在FPGA实现方面的存储器昂贵。
根据本发明的方法能够实现在硬件的输入缓冲器中需要的存储器的减小。
如果使用具有卷帘模式的CMOS传感器用于图像摄取,则在不同的时刻进行每一行的图像摄取。这根据图6和7示意性地示出。如果由于相机的机械方面不利的装配,行错位是大的,则在不同的时刻摄取立体测量所需要的对应的特征。对于在高速度的情况下的机动车中的立体测量,这尤其导致,由于图像中图像特征的快速运动,在左侧图像行与右侧图像行之间的对应测量失败。
在使用卷帘式快门传感器用于立体测量的情况下,根据本发明的方法能够实现对应的图像特征的测量的时间错位的减小,并且因此能够实现3D立体测量的误差的减小。图1中示意性地示出用于点特征和其对应点分配的立体测量的方法。概述了用于立体图像对的措施。
上面的立体图像对201、203示出通过相机摄取后的原始图像对。由于相机的装配方面的机械不精确性和由于光学畸变,成像的车辆后部正面的所示对应角105错开多行。以图表示意性地说明行错位107。
在借助专门为相机系统单独求取的校准参数校正110原始图像101、103之后,对应的图像特征105在左侧和右侧的经校正的图像111、113中分别处在一个图像行中。现在能够在一行中实现对应寻找,这大大便于计算硬件方面的实时实现。图2示出用于立体测量的硬件的构造。
由两个图像传感器201、203中分别将图像内容顺序地读入硬件的相应的输入缓冲器222、232中。输入缓冲器222、232由用于多个图像行的存储器组成并且因此包含输入图像的片段(Ausschnitt)。
用于校正图像的逻辑电路223、233顺序地、又逐行地填充校正缓冲器224、234。下一个逻辑电路240在左侧和右侧的校正缓冲器224、234之间实施逐行的立体测量并生成位移测量。由此可以推导出图像特征的3D坐标242。
由于机械制造公差而限制立体系统装配的精度。未经调准的立体相机系统的行错位是不可避免的。在图2中所示的具有图像传感器201、203的同步读取的硬件方案中,行错位要求在硬件方面输入缓冲器222、232必需被放大相应的行错位。根据本发明,可以减小输入缓冲器222、232的大小,其方式是,时间上错开地读取图像传感器201、203。根据校准信息实现时间错位的控制。
图3和图4示意性地示出在图2中所示的相机线路221、231上读取的流程。
图3示出在时间同步地读取左侧和右侧的图像传感器的情况下,在串行的数据线路上读取图像传感器时的信号曲线。上面的曲线分配给左侧的传感器,下面的曲线分配给右侧的传感器。在时间t内分别同时读取左侧和右侧的图像传感器的行1351、行2352和行3353等等的图像信息并通过串行的数据线路传输。行351、352、353中的每行具有多个亮度值356,为了清楚起见,其中仅仅示出在行351的开始处的两个亮度值。
示意性地示出用于将数据读入立体分析处理硬件的常用的措施。以同步的节拍串行读取所述两个传感器。左侧和右侧的传感器中的相同的行分别被时间同步地在所述线路上传输。
与图3相对应,根据本发明的一个实施例,图4示出在根据校准信息、时间错开地读取图像传感器的情况下,在串行的数据线路上读取图像传感器时的信号曲线。上面的曲线分配给左侧的传感器,下面的曲线分配给右侧的传感器。在时间t内关于左侧的传感器读取行1351、行2352和行3353,等等。与此并行,关于右侧的传感器读取行j451、行j+1452和行j+2453,等等。因此,在一个读取步骤读取行351、451,在一个其他的读取步骤中读取行352、452,并且在一个其他的读取步骤读取行353、453。
示出根据本发明优化的措施。几何上近似对应的行时间同步地由图像传感器传输。从校准信息中计算哪些行近似地彼此对应并且可以对于每种传感器构造是独特的。通过硬件自身可以实现时间错位的控制。这允许输入缓冲器大小的减小。
根据本发明的一个实施例,图5示出从左侧的图像传感器201和右侧的图像传感器203中读取区域501、503,用于根据校准信息的立体测量。区域501、503一样大并且覆盖传感器201、203的不同的传感器区段。在此,关于传感器201、203的行,区域501、503彼此移位。相对于左侧的传感器201的区域501,右侧的传感器203的区域503向上移位一间距507。间距507说明行数。附加地,关于传感器201、203的间隙,区域501、503也可以彼此移位。在区域501、503内,对应的图像内容105设置在区域501、503内相同或近似相同的位置上。
许多CMOS传感器允许图像传感器201、203的区域501、503的选择性读取。对于立体测量,这使得可能的是,根据校准数据分别有针对性地如此选择左侧和右侧的传感器201、203中的区域,使得在左侧和右侧的图像中的区域501、503之间尽可能地不出现行错位或出现仅仅一个小的行错位。
这同样能够实现立体硬件中输入缓冲器的大小的减小。相应的措施在见图5中示意性地示出。
在使用卷帘式快门传感器的情况下,时间上顺序地曝光和读取影像的行。图6和图7示意性地示出这点。
图6以示意图示出借助卷帘式快门传感器的图像摄取的时间过程,其中,借助左侧和右侧的图像传感器时间同步地摄取。
示出在左侧的图像传感器201和在右侧的图像传感器203,尤其分别检测具有角区域105的车辆。角区域105又错开多行107地设置。此外,示出摄取时刻t0、t1以及时间差dt。示出左侧和右侧的图像传感器201、203的同步的曝光和读取。分别在时刻t0实现逐行的曝光。随后,相继地曝光和读取传感器201、203的行。相应的图像旁左侧的箭头说明这点。
对于具有图1中所示的几何行错位的传感器构造,这导致,左图中所示的图象特征105比右侧图中的更晚一时间dt被摄取。
实际上这意味着如下。对于25Hz的图像频率和500行的图像分辨率,一个图像行的周期时间约为80微秒。在行错位20个图像行的情况下,左侧和右侧的图像行之间的曝光时间错位为约1.6毫秒。尤其在图像中快速运动的对象,例如位于近距离的车辆的情况下,对象的每从一个图像到另一个图像仅仅25个像素的垂直运动速度导致在经校正的图像中1个像素的视差。这就是说,动态对象的对应特征105在校正之后仍然还错开约一个图像行。立体测量由此变得困难。
与图6相对应,根据本发明的一个实施例,图7以示意图示出借助卷帘式快门传感器、在时间错开的快门模式的情况下图像摄取的时间过程。
示出在左侧的图像传感器201和在右侧的图像传感器203,又尤其分别检测具有角区域105的车辆。
通过立体系统中卷帘式快门方法的时间错开的工作,可以有利地降低根据图6描述的效果:动态对象的对应特征105在校正之后仍然还错开。根据校准信息选择行时间错位,如在图7中所示的那样。左侧传感器201的图像摄取的开始时间延迟约时间dt。重新由校准信息计算和为每个立体系统单独确定延迟时间dt。
这种措施在使用卷帘式快门传感器的情况下改善立体测量的精度和可靠性。
图8示出立体传感器系统的两个适合用于处理图像检测的传感器201、203的图像信息的处理方法。传感器201、203被构造用于,在设置在不同位置上的传感器区段内逐段检测图像信息。在此,每7个行被示例性地显示为传感器区段。为了补偿传感器201、203所摄取的照片之间的图像错位107,从传感器201、203的传感器区段中彼此错开地读取图像信息。通过读取装置861控制读取。读取装置861被构造用于,接收关于图像错位107的信息并基于此在一个读取步骤中读取传感器201的传感器区段和传感器203的传感器区段。示例性地示出,读取装置861在一个读取步骤中从传感器201的第二行读取一个图像信息并且从传感器203的第六行读取一个图像信息。传感器201的第二行和传感器203的第六行分别具有对应的图像内容105。因此,根据所述实施例读取具有4行的错位的传感器区段。在下一个读取步骤中,相应地从传感器201的随后的第三行读取一个图像信息并且从传感器203的随后的第七行读取一个图像信息。读取的图像信息可以被输出到处理装置865并由其再处理或分析处理。
图像信息可以由传感器区段检测并中间存储。在这种情形中,读取装置861可以被构造用于,从中间存储器中读取图像信息。替代地,读取装置861可以被构造用于,通过相应的传感器区段触发检测图像信息的检测。在这种情形中,读取装置861可以直接从传感器区段读取图像信息。
根据一个实施例,可以由读取装置861分别只读取传感器区段的部分区域。在这种情形中,读取装置861被构造用于,除了错位807还接收关于各个传感器区段内、在此在水平方向上的错位的其他信息,并且响应于此,只读取相应的部分区域。如果例如存在四分之一行长度的错位,则例如可以在所示的读取步骤中读取左侧传感器201的第二行的左半侧和右侧传感器203的第六行中间的两个四分之一。
根据本发明的、时间错开地读取图像传感器或根据校准信息选择区域的方法例如可以与机动车中的辅助系统关联地使用。
所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个实施例的特征来补充。此外,可以重复以及以不同于所描述的顺序的顺序执行根据本发明的方法步骤。

Claims (9)

1.一种用于处理立体传感器系统的两个适合用于图像检测的传感器(201,203)的图像信息的方法,其中,所述传感器中的每一个被构造用于,在传感器的设置在不同位置上的传感器区段内逐段地检测图像信息,其中,所述方法包括下述步骤:
提供关于第一和第二传感器的两个具有对应的图像信息的传感器区段的位置之间的几何错位(107)的信息(807);以及
读取(861)所述第一传感器(201)的图像信息和所述第二传感器(203)的图像信息,其中,以所述错位进行涉及所述传感器区段的所述位置的所述读取,从所述传感器区段读取所述图像信息。
2.根据权利要求1所述的方法,具有基于所述第一传感器(201)的传感器区段中的图像信息和所述第二传感器(203)的传感器区段中的图像信息之间的比较来确定所述错位(107)的步骤。
3.根据以上权利要求中任一项所述的方法,其中,在所述读取(861)的步骤中,只从一个第一传感器区段读取所述第一传感器(201)的图像信息并且只从一个第二传感器区段读取所述第二传感器(203)的图像信息,其中,所述第一传感器区段在所述第一传感器内的几何设置与所述第二传感器区段在所述第二传感器内的几何设置不同。
4.根据权利要求3所述的方法,具有确定所述第一传感器区段内的第一像点(105)与所述第二传感器区段内的第二像点(105)之间的偏移的步骤,其中,所述第一像点与所述第二像点在检测的图像信息方面彼此对应。
5.根据权利要求1或2所述的方法,具有提供第一触发信号的步骤,所述第一触发信号被构造用于,通过设置在所述第一传感器的第一位置上的传感器区段触发所述第一传感器(201)的图像信息的检测,并且具有时间上在提供所述第一触发信号的步骤之后或之前提供第二触发信号的步骤,其中,所述第二触发信号被构造用于,通过设置在所述第二传感器的所述第一位置上的传感器区段触发所述第二传感器的所述图像信息的检测。
6.根据权利要求1或2所述的方法,具有提供触发信号的步骤,所述触发信号被构造用于,通过设置在所述第一传感器的第一位置上的传感器区段和通过设置在所述第二传感器的第二位置上的传感器区段触发对所述第一传感器(201)的图像信息和对所述第二传感器(201)的图像信息的同时检测,其中,在所述第一位置与所述第二位置之间存在所述错位。
7.根据权利要求1或2所述的方法,其中在所述读取(861)的步骤中从所述第一传感器(201)的一行中读取所述第一传感器的所述图像信息并且从所述第二传感器的一行中读取所述第二传感器(203)的所述图像信息。
8.根据权利要求1或2所述的方法,具有至少一个读取所述第一传感器(201)的另一个图像信息和所述第二传感器(203)的另一个图像信息的其他步骤,其中,以所述错位进行涉及其他传感器区段的其他位置的读取,从所述其他传感器区段中读取其他图像信息。
9.一种用于处理立体传感器系统的两个适合用于图像检测的传感器(201,203)的图像信息的装置,其中,所述传感器中的每一个被构造用于,在所述传感器的设置在不同位置上的传感器区段内逐段检测所述图像信息,具有以下特征:
提供装置,用于提供关于第一和第二传感器的两个具有对应的图像信息的传感器区段的位置之间的错位(107)的信息(807);以及
读取装置(861),用于读取所述第一传感器的图像信息和所述第二传感器的图像信息,其中,以所述错位进行涉及所述传感器区段的所述位置的所述读取,从所述传感器区段读取所述图像信息。
CN201180058509.6A 2010-12-07 2011-11-08 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置 Active CN103444191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010062496.9A DE102010062496B4 (de) 2010-12-07 2010-12-07 Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE102010062496.9 2010-12-07
PCT/EP2011/069617 WO2012076274A1 (de) 2010-12-07 2011-11-08 Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems

Publications (2)

Publication Number Publication Date
CN103444191A CN103444191A (zh) 2013-12-11
CN103444191B true CN103444191B (zh) 2017-06-06

Family

ID=44992889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180058509.6A Active CN103444191B (zh) 2010-12-07 2011-11-08 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置

Country Status (6)

Country Link
US (1) US9414044B2 (zh)
EP (1) EP2649802A1 (zh)
JP (1) JP2014503408A (zh)
CN (1) CN103444191B (zh)
DE (1) DE102010062496B4 (zh)
WO (1) WO2012076274A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
CA2902430C (en) * 2013-03-15 2020-09-01 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US10412600B2 (en) * 2013-05-06 2019-09-10 Itron Networked Solutions, Inc. Leveraging diverse communication links to improve communication between network subregions
US20140348416A1 (en) * 2013-05-23 2014-11-27 Himax Media Solutions, Inc. Stereo image rectification apparatus and method
CN104811688B (zh) * 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
CN104811680B (zh) * 2014-01-28 2017-04-12 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
TWI520098B (zh) 2014-01-28 2016-02-01 聚晶半導體股份有限公司 影像擷取裝置及其影像形變偵測方法
US8988509B1 (en) * 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
US9883118B2 (en) 2014-03-24 2018-01-30 Htc Corporation Method of image correction and image capturing device thereof
KR102425895B1 (ko) * 2015-12-24 2022-07-27 삼성전자주식회사 전자장치의 데이터 동기 장치 및 방법
DE102016104731A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Rolling-Shutter-Effekts in Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102023108151A1 (de) 2023-03-30 2023-06-15 Daimler Truck AG Verfahren zum Betreiben eines Stereokamerasystems für ein Nutzfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107517A (ja) * 1993-09-30 1995-04-21 Sanyo Electric Co Ltd 立体撮像装置
JPH10224823A (ja) * 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
JP2008123141A (ja) * 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および3次元位置計測方法
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
WO2010015499A1 (de) * 2008-08-05 2010-02-11 Robert Bosch Gmbh Mehrkamerasystem und verfahren zu dessen kalibrierung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8012A (en) * 1851-04-01 Improved machine for forming a lock on sheet metal
US5007A (en) * 1847-03-13 Improvement in steam-presses
EP1390913B1 (de) 2001-05-25 2004-09-22 Siemens Aktiengesellschaft Vorrichtung und verfahren zur verarbeitung von bilddaten
US20040070667A1 (en) * 2002-10-10 2004-04-15 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP4260129B2 (ja) * 2005-03-22 2009-04-30 富士フイルム株式会社 複眼撮影装置及びその調整方法
US8456515B2 (en) 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107517A (ja) * 1993-09-30 1995-04-21 Sanyo Electric Co Ltd 立体撮像装置
JPH10224823A (ja) * 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
JP2008123141A (ja) * 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および3次元位置計測方法
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
WO2010015499A1 (de) * 2008-08-05 2010-02-11 Robert Bosch Gmbh Mehrkamerasystem und verfahren zu dessen kalibrierung

Also Published As

Publication number Publication date
WO2012076274A1 (de) 2012-06-14
US9414044B2 (en) 2016-08-09
JP2014503408A (ja) 2014-02-13
DE102010062496A1 (de) 2012-06-14
EP2649802A1 (de) 2013-10-16
DE102010062496B4 (de) 2022-01-20
CN103444191A (zh) 2013-12-11
US20130321588A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
CN103444191B (zh) 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置
US11131753B2 (en) Method, apparatus and computer program for a vehicle
JP2018179911A (ja) 測距装置及び距離情報取得方法
US11082633B2 (en) Method of estimating the speed of displacement of a camera
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
JP5164351B2 (ja) 物体検出装置および物体検出方法
JP2004061446A (ja) パターンマッチング処理方法及び画像処理装置
JPH07167649A (ja) 距離測定装置
JP2007256029A (ja) ステレオ画像処理装置
US20140055572A1 (en) Image processing apparatus for a vehicle
WO2009138350A1 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
WO2021070813A1 (ja) 誤差推定装置、誤差推定方法、誤差推定プログラム
US6980210B1 (en) 3D stereo real-time sensor system, method and computer program therefor
US10542875B2 (en) Imaging device, endoscope apparatus, and imaging method
CN108541371A (zh) 用于相机校准的方法和装置
US9500475B2 (en) Method and apparatus for inspecting an object employing machine vision
JP6635621B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
JP5073700B2 (ja) 物体検出装置
CN108376384A (zh) 视差图的矫正方法、装置及存储介质
JP2001338280A (ja) 3次元空間情報入力装置
US20130176388A1 (en) Method and device for providing temporally consistent disparity estimations
JP4605582B2 (ja) ステレオ画像認識装置及びその方法
US10708493B2 (en) Panoramic video
CN111316322A (zh) 路面区域检测装置
JP2016081108A (ja) 物体検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant