CN107121132A - 求取车辆环境图像的方法和设备及识别环境中对象的方法 - Google Patents

求取车辆环境图像的方法和设备及识别环境中对象的方法 Download PDF

Info

Publication number
CN107121132A
CN107121132A CN201710099675.XA CN201710099675A CN107121132A CN 107121132 A CN107121132 A CN 107121132A CN 201710099675 A CN201710099675 A CN 201710099675A CN 107121132 A CN107121132 A CN 107121132A
Authority
CN
China
Prior art keywords
view data
image
vehicle
processing
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710099675.XA
Other languages
English (en)
Other versions
CN107121132B (zh
Inventor
W·尼森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN107121132A publication Critical patent/CN107121132A/zh
Application granted granted Critical
Publication of CN107121132B publication Critical patent/CN107121132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于求取车辆(100)的周围环境(110)的图像(107)的方法(500)。所述方法(500)包括读取(510)第一图像数据(120)和至少第二图像数据(125)的步骤，其中，所述第一图像数据(120)代表在车辆中或者车辆上的摄像机(115)的第一图像拍摄区域(130)的图像数据，并且所述第二图像数据(125)代表来自所述摄像机(115)的不同于所述第一图像拍摄区域(130)的第二图像拍摄区域(132)的图像数据，其中，所述第二图像数据(125)在时间上在所述第一图像数据(120)之后被拍摄。此外，所述方法(500)包括在使用车辆参数和/或行驶参数(147)的情况下处理(520)所述第二图像数据(125)，以便获得经处理的第二图像数据(125’)的步骤。最后，所述方法(500)包括将所述第一图像数据(120)与所述经处理的第二图像数据(125’)组合(530)，以便获得所述车辆(100)的所述周围环境(110)的图像(107)的步骤。

Description

求取车辆环境图像的方法和设备及识别环境中对象的方法
技术领域
本发明从根据独立权利要求所述类型的一种方法或一种设备出发。计算机程序也是本发明的主题。
背景技术
由关于借助于滚动快门(Rolling-Shutter)摄像机进行3D重构的现有技术(在Proc.6th OmniVis WS，2005年中的由C.Geyer，M.Meingast和S.Sastry.所著的Geometricmodels of rolling-shutter cameras和在Proc.ISMAR’09，奥兰多市，2009年10月中的由G.Klein和D.Murray.所著的Parallel tracking and mapping on a camera phone)已知这样的方法，所述方法在假定待重构的对象的已知的3D几何结构(例如额平行平面(fronto-parallele Ebenen))的情况下补偿滚动快门的影响。此外，由公开文献“在Proc.IEEE Int.Conf.on Computer Vision(ICCV)Workshops，2011年中的由J.Hedborg、E.Ringaby、P.-E.Forssen和M.Felsberg.所著的Structure and motion estimation fromrolling shutter video”已知一些更复杂的方法。
用于解释图像序列的基本方法在于场景的基于至少两个单个图像的3D重构，所述至少两个单个图像从不同的摄像机位置提供场景的2D投影。在此，首先从图像序列数据估计摄像机运动并且接着通过三角测量法确定(静态的)空间点的3D坐标(Structure fromMotion，SfM：由运动恢复结构)。用于所观察的场景的准确的3D重构的重要的前提在于在相应的图像拍摄时刻充分准确地确定摄像机自身运动、即摄像机姿势(位置和定向)。然而，当今在多种应用(驾驶员辅助、安全性技术、机器人技术、移动设备等等)中，此外出于成本原因而通常使用具有滚动快门的摄像机系统(不同于具有全局快门(Global-Shutter)的高端摄像机系统)，从而在不同的时刻曝光并且读取不同的图像行的图像点。
然而，在使用SfM算法用于3D场景重构时，这通常不被考虑，由此产生系统性的3D重构误差。在假定待重构的对象(例如额平行平面)的已知的3D几何结构的情况下补偿滚动快门的影响的方法构成关于借助滚动快门摄像机进行3D重构的现有技术。更复杂的方案通过使用昂贵的计算方法(束均衡(Bündelausgleich))避免包括对关于场景几何结构的先验的假定，所述计算方法不能在嵌入式摄像机系统上(例如用于在机动车中的驾驶员辅助系统的摄像机)高效地实现。
在这里提出的方案能够实现在使用滚动快门摄像机的情况下3D场景重构的高效实现。这种方案尤其适合用于具有有限的资源的嵌入式系统并且能够在没有系统性的残留误差的情况下实现逐点的3D重构并且绝不需要关于场景几何结构的预先知识。
发明内容
在此背景下，借助在此提出的方案提出根据主权利要求的一种方法、使用所述方法的设备以及相应的计算机程序。通过在从属权利要求中列举的措施能够实现在独立权利要求中说明的设备的有利的扩展方案和改进。
在此提出的方案实现一种用于求取车辆的周围环境的图像(在代表或者重构的意义上)的方法，其中，所述方法具有以下的步骤：
读取第一图像数据和至少第二图像数据，其中，所述第一图像数据代表在车辆中或者车辆上的摄像机的第一图像拍摄区域的图像数据，并且所述第二图像数据代表来自所述摄像机的不同于所述第一图像拍摄区域的第二图像拍摄区域的图像数据，其中，所述第二图像数据在时间上在所述第一图像数据之后被拍摄；
在使用车辆参数和/或行驶参数的情况下处理所述第二图像数据，以便获得经处理的第二图像数据；以及
将所述第一图像数据与所述经处理的第二图像数据组合，以便获得所述车辆的所述周围环境的图像。
图像数据例如可以理解为部分图像的数据，所述部分图像在如例如摄像机或者诸如此类的图像拍摄传感器的部分区段中被提供。图像拍摄区域可以理解为这样的部分区域：在所述部分区域中，图像传感器可以检测图像数据。例如这样的图像接收区域可以是图像传感器的图像行、图像列或者像素。车辆参数可以理解为例如这样的参数：所述参数代表车辆的、对象的或者所述对象相对于车辆的物理参量。行驶参数理解为在车辆行驶时可检测的物理参量。车辆的周围环境可以理解为对象的存在和/或一个或多个对象在空间中、尤其相对于车辆的布置。
在此提出的方案基于这样的认识：通过使用车辆参数和/或行驶参数以及合适的模型构建并且考虑图像拍摄过程在时间上的特性可以创建图像，在所述图像中可以补偿由于第一图像数据相对于第二图像数据在时间上的偏移而出现的失真。由此可能的是，创建车辆的周围环境的图像，所述图像可以被用于在车辆的另外的驾驶员辅助系统中的分析处理。在此，在此提出的方案提供这样的优点：可以使用成本更便宜的、技术上更简单的图像拍摄传感器来产生车辆的周围环境的图像，其中，在分析处理这样的图像时由于具有在时间上的偏移的相应的部分图像而出现的误差可以通过在使用车辆参数或者行驶参数的情况下处理第二图像数据来补偿。
此外，可以考虑在此提出的方案的一种实施方式，其中，在所述处理的步骤中，在将所述车辆的或者所述摄像机的行驶速度作为行驶参数使用和/或将所述摄像机在所述车辆中或者所述车辆上的布置高度作为车辆参数使用的情况下处理所述第二图像数据。行驶参数的和/或车辆参数的使用一方面在技术上可以简单地被检测并且另一方面是用于实现车辆的周围环境在图像中的尽可能接近现实的成像的相当合适的参量。
根据另一种实施方式，可以在所述读取的步骤中，作为第一和/或第二图像数据读取以下图像数据：所述图像数据代表摄像机的通过扫描行或者扫描列扫描的图像或者所述图像数据代表所述摄像机的图像点。在此提出的方案的这样的实施方式提供对第一和第二图像数据的拍摄在时间上的偏移非常灵活并且因此非常准确地进行补偿的优点。同时，可以在技术上非常简单并且在没有大的换算耗费的情况下求取所述第一或者第二图像数据。
在此提出的方案的一种实施方式是特别有利的，其中，在所述处理的步骤中，处理所述第二图像数据，以便将在所述第二图像拍摄区域之外的图像拍摄区域中的图像数据作为经处理的第二图像数据来求取。在此提出的方案的这样的实施方式提供这样的优点，在图像的相当于第二图像拍摄区域的区域之外也进行改变，由此开启非常灵活的并且因此非常准确的、用于求取接近现实地成像车辆的周围环境的图像的可能性。
替代地或者附加地，在此提出的方案的另一种实施方式，可以在所述处理的步骤中，为了求取所述经处理的第二图像数据，使用在所述车辆的所述周围环境中的对象的在所述第一和/或第二图像数据中识别的结构，尤其其中，比较所识别的结构与存储在存储器中的比较结构。对象的结构可以理解为例如在第一或第二图像数据中的边沿或者诸如此类的，所述第一或第二图像数据例如在使用模式识别算法(Mustererkennung)的情况下被识别。在此提出的方案的这样的实施方式提供在将第一图像数据与经处理的第二图像数据组合时的可能的可信度检查的优点，从而例如可以避免图像中的这样的边沿断裂，所述断裂在物理上可能不存在。
在此提出的方案的一种实施方式也是有利的，其中，在所述读取的步骤中，至少读取第三图像数据，所述第三图像数据代表来自所述摄像机的不同于所述第一和所述第二图像拍摄区域的第三图像拍摄区域的图像数据，其中，所述第三图像数据在时间上在所述第一和所述第二图像数据之后被拍摄，其中，在所述处理的步骤中，在使用所述车辆参数和/或行驶参数的情况下处理所述第三图像数据，以便获得经处理的第三图像数据，其中，在所述组合的步骤中，将所述第一图像数据与所述经处理的第二图像数据和所述经处理的第三图像数据组合，以便获得所述车辆的所述周围环境的图像。在此提出的方案的这样的实施方式提供非常灵活并且因此高度准确的、用于将车辆的周围环境成像在图像中的可能性，因为对于图像的组合可以使用多个相应地经处理的图像数据。通过这种方式可以求取由在不同的时刻检测的部分图像构成的图像，所述部分图像通过相应的图像数据代表。
在数值上或者在电路技术上可以非常高效地实现在此提出的方案的实施方式，其中，在所述处理的步骤中，在使用线性微分方程组的情况下求取所述经处理的第二图像数据。
在此提出的方案也实现一种用于识别在车辆的周围环境中的对象的方法，其中，所述方法具有以下步骤：
读取图像，所述图像根据相应于在此提出的实施方式的方法地被求取；以及
在使用至少一个模式识别算法的情况下分析处理所读取的图像，以便识别在所述车辆的所述周围环境中的对象。
通过在此提出的方案的这样的实施方式也可以快速地并且技术上高效地实现所述优点。
这些方法可以例如以软件或者硬件形式或者以由软件和硬件组成的混合形式例如在控制装置或者设备中执行。
此外，在此提出的方案实现一种设备，所述设备构造用于在相应的装置中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本发明的以设备形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
为此，所述设备可以具有至少一个用于处理信号或者数据的计算单元、至少一个用于存储信号或者数据的存储单元、至少一个用于从传感器读取传感器信号或者用于向致动器输出数据信号或者控制信号的、到传感器或者致动器的接口和/或用于读取或者输出数据的至少一个通信接口，所述数据嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器或者诸如此类的，其中，存储单元可以是闪存、EPROM或者磁存储单元。通信接口可以构造用于无线地和/或有线地读取或者输出数据，其中，可以读取或者输出有线的数据的通信接口可以例如电学地或者光学地从相应的数据传输线路读取这些数据或者输出这些数据到相应的数据传输线路中。
设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立构件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
在一种有利的构型中，通过所述设备实现图像处理器的控制，所述图像处理器应用在车辆中，以便分析处理车辆的周围环境的摄像机图像并且由此提供用于另外的驾驶员辅助系统——如例如碰撞识别单元——的图像信号。为此，设备可以访问例如如作为图像传感器的摄像机的图像数据这样的传感器信号。然后，经组合的图像的输出可以例如对图像处理器实现，在所述图像处理器中实现在所求取的图像中的对象的识别，所述对象例如在碰撞识别的情况下可以用于控制如安全气囊或者安全带张紧装置这样的人身安全防护单元。
具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质，如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在以下的描述中详细地阐述本发明的实施例。附图示出：
图1示出具有用于求取车辆的周围环境的图像的设备的一个实施例的车辆的框图；
图2以滚动快门摄像机作为车辆中的摄像机为例示出用于在时间上相邻的两个图像在时间上的相关性的和图像序列的示意性示图；
图3根据两个帧示出作为图像的合成场景(在这里建筑工地)，用于说明在此提出的方案；
图4示出作为图像的、上下相叠地布置的两个部分图像，在所述两个部分图像中，上方的部分图像在不使用在此提出的方案的情况下被重构或者组合，并且下方的部分图像在使用在此提出的方案的情况下被重构或者组合；
图5示出根据一个实施例的方法的流程图；以及
图6示出根据一个实施例的方法的流程图。
具体实施方式
在本发明的有利的实施例的以下描述中，对于在不同的附图中示出并且类似地起作用的元件使用相同或类似的附图标记，其中，省去对这些元件的重复描述。
图1示出具有用于求取车辆100的周围环境110的图像107的设备105的实施例的车辆100的框图。此外，车辆100具有作为光学图像传感器的摄像机115，其中，摄像机115构造用于提供第一图像数据120和第二图像数据125。在这里，第一图像数据120由第一图像拍摄区域130提供，而第二图像数据125由摄像机115的第二图像拍摄区域132提供。图像拍摄区域130和132为摄像机115的图像检测传感器的不同的部分区段并且可以将摄像机115到周围环境110中的不同的区段或者视角图像式地成像在图像107中。在优选在此提出的方案中应使用的成本便宜的摄像机115中，也比第二图像数据125更早地提供第一图像数据120。如果现在车辆100以行驶速度135行驶，则以摄像机115到周围环境110中的不同的视角拍摄第二图像数据125，从而现在在第一图像数据120与第二图像数据120的组合中出现视角的失真，所述失真使得周围环境110的以这样的方式出现的图像107的处理例如对于驾驶员辅助系统137而言明显变得困难或者完全变得不可能。
为了确保在车辆区域中能够使用成本便宜的部件如这样的摄像机115、例如以滚动快门摄像机形式的摄像机，现在使用设备105用于求取车辆100的周围环境110的图像107，在所述设备中，进行在时间上随后提供的第二图像数据125的校正，从而现在可以将经处理的、也即经校正的第二图像数据125’与第一图像数据120组合成图像107，该图像然后例如可以提供给驾驶员辅助系统137以供使用。
为了确保该功能性，设备105具有读取接口140，通过所述读取接口读取第一图像数据120和第二图像数据125。接着，从读取接口140向处理单元145发送第一图像数据120和第二图像数据125。然后，在处理单元145中，在使用车辆参数和/或行驶参数147的情况下处理第二图像数据125，所述车辆参数和/或行驶参数例如从车辆100的存储单元149加载到处理单元145中。车辆参数和/或行驶参数147可以代表例如车辆100的行驶速度135和/或摄像机115在车辆100中、例如相对于行车道的平面的安装高度150。附加地，对于第二图像数据125的处理，处理单元145可以例如使用持续时间，所述持续时间相当于第一图像数据的通过摄像机115中的图像拍摄传感器的拍摄相对于第二图像数据125的通过摄像机115中的图像拍摄传感器的拍摄之间的时间差。由此现在可能的是，如此处理第二图像数据125，使得获得经处理的第二图像数据125’，所述经处理的第二图像数据“反算(zurückgerechnet)”到这样的时刻：在该时刻，第一图像数据120被拍摄。随后，将经处理的第二图像数据125’以及第一图像数据120发送到组合单元155，在所述组合单元中现在由经处理的第二图像数据125’和第一图像数据120求取图像107，该图像现在以其整体非常好地接近地在第一图像数据120的通过摄像机115的图像拍摄传感器的拍摄时刻非常接近现实地重现周围环境110。
现在，可以例如在驾驶员辅助系统137中进一步处理图像107，以便例如借助于模式识别算法158从所述图像107识别如在车辆100前方的路标或者在车辆100前方的道路上的车道这样的对象157。这现在使得对于驾驶员辅助系统137能够实现：支持或者完全自动地进行车辆100的通过转向单元160的转向和/或对于从图像107中识别出与对象157直接临近的碰撞的情况能够实现对如例如驾驶员安全气囊165这样的人身安全防护单元的控制。
根据在此提出的方案的另一个实施例，摄像机115也可以提供来自于与第一图像拍摄区域130和第二图像拍摄区域132不同的第三图像拍摄区域172的第三图像数据170，所述第三图像数据然后由读取接口140读取并且转发到处理单元145上。然后，第三图像数据170例如作为所读取的第三行或者所读取的第三像素在时间上在第一图像数据120和第二图像数据125之后被拍摄或者由摄像机115提供。然后，在处理单元145中，在使用车辆参数和/或行驶参数147的情况下处理第三图像数据170，以便获得经处理的第三图像数据170’，所述经处理的第三图像数据然后被传送给组合单元155。然后，在组合单元155中，将第一图像数据120与经处理的第二图像数据125’和经处理的第三图像数据170’组合，以便获得车辆100的周围环境110的图像107。通过这种方式，可以实现在可供使用的图像数据中的通过在时间上的延迟引起的失真的还进一步改善的补偿，所述延迟例如通过滚动快门的在时间上偏移的读取决定。
在此提出的方案的一个方面在于，在使用四元数的情况下对摄像机自身运动进行高效的模型构建和基于此对于每个图像行或者必要时也对于每个图像点和点状的3D场景几何结构同时地估计摄像机自身运动。所述方法导出用于摄像机115的转动和摄像机115的平移的线性微分方程组，所述线性微分方程组可以借助适当的数值方法稳健地并且具有高的收敛速度地解出。与此不同，基于欧拉角(Euler-Winkel)的经典的方案导出具有奇点的非线性微分方程，所述奇点使在数值积分时的收敛性变差。在此提出的方案提供例如在没有由于图像序列的在图像数据120和125中包含的单个图像或者部分图像的滚动快门-失真引起的系统性的残留误差的情况下对周围环境110的所观察的场景的逐点式的3D重构。此外，在此提出的方案能够实现在车辆中从全局快门到滚动/快门摄像机的应用的不受约束的过渡，并且提供一种用于对图像数据120或者125中的单个图像或者部分图像进行修正或者进行滚动快门补偿的高效方法，从而在信号流中可以如例如在驾驶员辅助系统137中执行后续的处理方法，而不进一步考虑滚动快门效应。
图2以滚动快门摄像机作为车辆100中的摄像机115为例根据时间t示出用于图像序列的在时间上相邻的两个图像200和205在时间上的相关性的示意性示图。在这里，以对于每个图像的读取时间Tr读取图像，其中，所述读取时间划分为持续时间Tf的N个帧时间间隔(Rahmenzeitintervalle)。在该实施例中假定，同时曝光并且读取n＝N个图像行210中的每一个图像行的图像点。然而应注意，可以将随后的实施方案直接转用到滚动快门摄像机的情况，所述滚动快门摄像机具有用于图像行的部分的或者在边界情况下用于每个图像点的不同的曝光时刻或者读取时刻。在光学系统的扭曲校正的情况下，在这里考虑的滚动快门摄像机通常也导出图像点时间戳不但与所考虑的图像点的行索引而且与列索引的相关性，然而，所述相关性又可以通过所描述的方案的简单扩展来直接考虑。
在这种情况下，可以借助
描述摄像机115的转动方程，并且借助
s′＝v′(t′-t)
描述摄像机115的平移方程。
借助在图2中引入的参量，可以通过线性微分方程组
借助用于描述摄像机转动的单元-四元数q以及借助平移向量t’完整地描述用于足够平滑的轨迹(见图2中下方)的摄像机自身运动，其中假定，根据量值和方向(n)的角速度以及平移速度的向量(v’)在所考虑的时间间隔内是恒定的。在摄像机坐标系统中测量的转速的斜对称的(3x3)矩阵Ω在这些假设下也是恒定的，从而可以解析地解出并且如以上所说明地执行所给出的微分方程组。
如在图2中所说明的那样，借助该模型构建可以将全局快门摄像机的自身运动不受约束地转用到滚动快门摄像机的自身运动上。在滚动快门摄像机(在其中，图像点时间戳不但与行索引而且与列n索引相关)的上述形式的情况下，可以直接使所说明的、摄像机自身运动的模型一般化，其方式是，扩大时间差
δt(n，n′)＝t′(n′)-t(n)
δt(n，m，n′，m′)＝t′(n′，m′)-t(n，m)
摄像机自身运动的所述模型到所观察的场景的基于SfM的3D重构上的应用导出逐点的3D重构，然而，所述逐点的3D重构首先仅仅关于相应的在时间上可变的摄像机坐标系统来提供。然而，对于后续的处理步骤有利的是，使逐点的3D重构与具有固定的参考时间戳的共同的参考摄像机坐标系统关联。对此，尤其在图2中说明的参考时间戳(k x Tf)适合，所述参考时间戳通过帧的读取时刻的相应的平均值产生。
以下足够用于参考摄像机坐标系统进行3D重构：即利用所说明的、摄像机自身运动的模型用于将在时刻(t)的3D点(P)反向投影(Rückprojektion)到参考时刻(tref＝kхTf)上，其中，以上提到的时间差仅仅必须通过(δt＝t-tref)取代。这借助相应的旋转矩阵(R＝R(δt))和所属的平移向量(s′＝s′(δt))首先导出
P(t)＝R(δt)P(tref)+s′(δt)
并且，最终导出所寻求的反向投影：
P(tref)＝RT(δt)P(t)-s′(δt)
图3根据两个帧将合成的场景(在这里建筑工地)作为图像107示出以便说明在此提出的方案，其中，车辆100中的滚动快门摄像机以Vcam＝80km/h在具有在侧向上以15m的间距设置的作为对象157的路标的道路上运动。摄像机115的安装高度150为1.2m，分辨率为1280x720个图像点并且水平的张角为50°。图像重复率为25fps，相当于Tf＝40ms。滚动快门的读取时间为Tr＝35ms。尤其在图3的右边图像中，可以明显地看出滚动快门的影响，因为垂直于行车道表面的、作为对象157的路标随着到摄像机115的距离的减小而越来越强地被剪切。在图4中说明在此提出的方案的效用。
在这里，图4示出两个上下相叠地布置的部分图像作为图像107，在所述部分图像中，上方的部分图像在不使用在此提出的方案的情况下被重构或者组合，并且，下方的部分图像在使用在此提出的方案的情况下被重构或者组合。在这里，在右上方的示图中，在逐行地读取摄像机115的图像传感器时对象157的距离作为与所读取的行相关的、对象的距离示出。图4的在左侧下方示出的部分图像对于参考时刻tref＝Tf示出图3中的右边图像的重构。如可看到的这样，在图像的整个图像区域中作为对象157的路标现在具有正确的垂直定向，即滚动快门的影响已经完全被补偿，从而可以例如在驾驶员辅助系统137中使用后置(nachgelagert)的方法，而不明确地考虑滚动快门影响。现在，在图4中右下方示出的曲线图又示出在逐行地读取摄像机115的图像传感器时对象157的距离，其中，现在，在时间上稍晚被读取的图像数据已被处理并且因此已被反算到相同的读取时刻。在此，在右下方示图中，又根据所读取的行示出对象的(现在通过计算校正的)距离。
此外，在图4中示出在具有和没有滚动快门的补偿的情况下在右边的行车道侧上的作为对象157的第一路标的基于SfM的3D重构。如可预期的那样，未经补偿的3D重构(在图4中在右上方)具有作为对象157的路标的距离与所考虑的图像行的明确的相关性。反之，在RS补偿的SfM-重构(在图4中在右下方)的情况下，正确地估计作为对象157的路标的距离，随机误差除外，所述随机误差由对图像点对应性的量化造成。
图5示出用于求取车辆的周围环境的图像的方法500的流程图。所述方法包括读取第一图像数据和至少第二图像数据的步骤510，其中，第一图像数据代表在车辆中或者车辆上的摄像机的第一图像拍摄区域的图像数据，并且，第二图像数据代表来自摄像机的不同于第一图像拍摄区域的第二图像拍摄区域的图像数据，其中，第二图像数据在时间上在第一图像数据之后被拍摄。此外，方法520包括在使用车辆参数和/或行驶参数的情况下处理第二图像数据以便获得经处理的第二图像数据的步骤。最后，方法500包括将第一图像数据与经处理的第二图像数据组合以便获得车辆的周围环境的图像的步骤530。
图6示出用于识别在车辆100的周围环境110中的对象157的方法600的流程图。方法600包括读取图像的步骤610，所述图像根据相应于以上描述的实施例的方法500地求取。此外，方法600包括在使用至少一个模式识别算法的情况下分析处理所读取的图像以便识别在车辆的周围环境中的对象的步骤620。然后，可以例如在驾驶员辅助系统137中实施所述方法600，在所述驾驶员辅助系统中，可借助于模式识别算法158识别包含在图像107中的对象。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以解读如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (11)

1.一种用于求取车辆(100)的周围环境(110)的图像(107)的方法(500)，其中，所述方法(500)具有以下步骤：
读取(510)第一图像数据(120)和至少第二图像数据(125)，其中，所述第一图像数据(120)代表在车辆中或者车辆上的摄像机(115)的第一图像拍摄区域(130)的图像数据，并且所述第二图像数据(125)代表来自所述摄像机(115)的不同于所述第一图像拍摄区域(130)的第二图像拍摄区域(132)的图像数据，其中，所述第二图像数据(125)在时间上在所述第一图像数据(120)之后被拍摄；
在使用车辆参数和/或行驶参数(147)的情况下处理(520)所述第二图像数据(125)，以便获得经处理的第二图像数据(125’)；以及
将所述第一图像数据(120)与所述经处理的第二图像数据(125’)组合(530)，以便获得所述车辆(100)的所述周围环境(110)的图像(107)。
2.根据权利要求1所述的方法(500)，其特征在于，在所述处理(520)的步骤中，在将所述车辆(100)的或者所述摄像机(115)的行驶速度(135)作为行驶参数(147)使用和/或将所述摄像机(115)在所述车辆(100)中或者所述车辆(100)上的布置高度(150)作为车辆参数(147)使用的情况下处理所述第二图像数据(125)。
3.根据以上权利要求中任一项所述的方法(500)，其特征在于，在所述读取(510)的步骤中，作为第一(120)和/或第二图像数据(125)读取以下图像数据：所述图像数据代表摄像机(115)的通过扫描行或者扫描列扫描的图像或者所述图像数据代表所述摄像机(115)的图像点。
4.根据以上权利要求中任一项所述的方法(500)，其特征在于，在所述处理(520)的步骤中，处理所述第二图像数据(125)，以便将在所述第二图像拍摄区域(132)之外的图像拍摄区域中的图像数据作为经处理的第二图像数据(125’)来求取。
5.根据以上权利要求中任一项所述的方法(500)，其特征在于，在所述处理(520)的步骤中，为了求取所述经处理的第二图像数据(125’)，使用在所述车辆(100)的所述周围环境(110)中的对象(157)的在所述第一和/或第二图像数据(125)中识别的结构，尤其其中，比较所识别的结构与存储在存储器中的比较结构。
6.根据以上权利要求中任一项所述的方法(500)，其特征在于，在所述读取(510)的步骤中，至少读取第三图像数据(170)，所述第三图像数据代表来自所述摄像机(115)的不同于所述第一(130)和所述第二(132)图像拍摄区域的第三图像拍摄区域(172)的图像数据，其中，所述第三图像数据(170)在时间上在所述第一(120)和所述第二图像数据(125)之后被拍摄，其中，在所述处理(520)的步骤中，在使用所述车辆参数和/或行驶参数(147)的情况下处理所述第三图像数据(170)，以便获得经处理的第三图像数据(170’)，其中，在所述组合(530)的步骤中，将所述第一图像数据(120)与所述经处理的第二图像数据(125’)和所述经处理的第三图像数据(170’)组合，以便获得所述车辆(100)的所述周围环境(110)的图像(107)。
7.根据以上权利要求中任一项所述的方法(500)，其特征在于，在所述处理(520)的步骤中，在使用线性微分方程组(q)的情况下求取所述经处理的第二图像数据(125’)。
8.一种用于识别在车辆(100)的周围环境(110)中的对象(157)的方法(500)，其中，所述方法(500)具有以下步骤：
读取(610)图像(107)，所述图像根据相应于以上权利要求中任一项所述的方法(500)地被求取；以及
在使用至少一个模式识别算法(158)的情况下分析处理(620)所读取的图像(107)，以便识别在所述车辆(100)的所述周围环境(110)中的对象(157)。
9.一种设备(105)，所述设备设置用于在相应的单元(140，145，155)中实施和/或控制根据以上权利要求中任一项所述的方法(500)的步骤。
10.一种计算机程序，所述计算机程序设置用于实施根据以上权利要求中任一项所述的方法(500，600)。
11.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求10所述的计算机程序。
CN201710099675.XA 2016-02-25 2017-02-23 求取车辆环境图像的方法和设备及识别环境中对象的方法 Active CN107121132B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016202948.7A DE102016202948A1 (de) 2016-02-25 2016-02-25 Verfahren und Vorrichtung zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs
DE102016202948.7 2016-02-25

Publications (2)

Publication Number Publication Date
CN107121132A true CN107121132A (zh) 2017-09-01
CN107121132B CN107121132B (zh) 2021-05-25

Family

ID=58461996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710099675.XA Active CN107121132B (zh) 2016-02-25 2017-02-23 求取车辆环境图像的方法和设备及识别环境中对象的方法

Country Status (4)

Country Link
US (1) US10616555B2 (zh)
CN (1) CN107121132B (zh)
DE (1) DE102016202948A1 (zh)
GB (1) GB2548970B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801711A (zh) * 2018-03-14 2020-10-20 法弗人工智能有限公司 图像标注
CN112109850A (zh) * 2019-06-20 2020-12-22 沃尔沃汽车公司 可充气结构
CN112640413A (zh) * 2018-08-29 2021-04-09 罗伯特·博世有限公司 用于显示周围环境的模型的方法、控制设备和车辆
CN115136578A (zh) * 2020-03-25 2022-09-30 宝马股份公司 用于控制摄像机的方法和控制单元

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles
CN110319816A (zh) * 2018-03-29 2019-10-11 上海勘测设计研究院有限公司 基于摄影测量技术的地质编录系统及编录方法
CN114915731A (zh) * 2021-02-07 2022-08-16 华为技术有限公司 处理图像传感器图像数据的方法和装置
US11790606B2 (en) * 2021-07-06 2023-10-17 Bentley Systems, Incorporated Determining camera rotations based on known translations
CN113790710B (zh) * 2021-09-10 2022-10-25 同济大学 一种高速视频水下结构三维定位验证方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072080A1 (en) * 2004-11-18 2012-03-22 Oliver Jeromin Image acquisition and processing system for vehicle equipment control
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
US20150178884A1 (en) * 2013-12-19 2015-06-25 Kay-Ulrich Scholl Bowl-shaped imaging system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292211A1 (en) * 2002-04-02 2008-11-27 Frantz Robert H Vehicle exterior examination and search system
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
GB2483224A (en) * 2010-08-26 2012-03-07 Dreampact Ltd Imaging device with measurement and processing means compensating for device motion
JP2012222374A (ja) * 2011-04-04 2012-11-12 Hitachi Consumer Electronics Co Ltd 車載カメラシステム
US20150124088A1 (en) * 2012-11-16 2015-05-07 Scopix Inc. Tubular camera module
DE102013220477B4 (de) * 2013-10-10 2021-07-01 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung
US10089766B2 (en) * 2014-03-28 2018-10-02 Konica Minolta Laboratory U.S.A., Inc Method and system of stitching aerial data using information from previous aerial images
JP6225889B2 (ja) * 2014-11-19 2017-11-08 株式会社豊田中央研究所 車両位置推定装置及びプログラム
CN106611411B (zh) * 2015-10-19 2020-06-26 上海联影医疗科技有限公司 一种医学图像中肋骨分割的方法及医学图像处理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072080A1 (en) * 2004-11-18 2012-03-22 Oliver Jeromin Image acquisition and processing system for vehicle equipment control
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
US20150178884A1 (en) * 2013-12-19 2015-06-25 Kay-Ulrich Scholl Bowl-shaped imaging system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801711A (zh) * 2018-03-14 2020-10-20 法弗人工智能有限公司 图像标注
CN112640413A (zh) * 2018-08-29 2021-04-09 罗伯特·博世有限公司 用于显示周围环境的模型的方法、控制设备和车辆
CN112640413B (zh) * 2018-08-29 2023-10-13 罗伯特·博世有限公司 用于显示周围环境的模型的方法、控制设备和车辆
CN112109850A (zh) * 2019-06-20 2020-12-22 沃尔沃汽车公司 可充气结构
CN115136578A (zh) * 2020-03-25 2022-09-30 宝马股份公司 用于控制摄像机的方法和控制单元
CN115136578B (zh) * 2020-03-25 2024-04-09 宝马股份公司 用于控制摄像机的方法和控制单元

Also Published As

Publication number Publication date
CN107121132B (zh) 2021-05-25
GB2548970B (en) 2022-01-19
DE102016202948A1 (de) 2017-08-31
US20170251195A1 (en) 2017-08-31
US10616555B2 (en) 2020-04-07
GB2548970A (en) 2017-10-04
GB201702436D0 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
CN107121132A (zh) 求取车辆环境图像的方法和设备及识别环境中对象的方法
US10748247B2 (en) Computing high-resolution depth images using machine learning techniques
EP2570993B1 (en) Egomotion estimation system and method
US9177389B2 (en) Motion vector generation apparatus and motion vector generation method
US8050459B2 (en) System and method for detecting pedestrians
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
US20090297036A1 (en) Object detection on a pixel plane in a digital image sequence
KR20170064652A (ko) 에고모션 추정 시스템 및 방법
Yeol Baek et al. Scene understanding networks for autonomous driving based on around view monitoring system
WO2005010820A2 (fr) Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
US11113583B2 (en) Object detection apparatus, object detection method, computer program product, and moving object
JP6635621B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
JP5107154B2 (ja) 運動推定装置
US10417507B2 (en) Freespace detection apparatus and freespace detection method
JP6699323B2 (ja) 電車設備の三次元計測装置及び三次元計測方法
US20200150280A1 (en) Vehicle localization
KR102002228B1 (ko) 동적 객체 검출 장치 및 방법
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Esparza et al. Wide base stereo with fisheye optics: A robust approach for 3d reconstruction in driving assistance
JP2020201587A (ja) 撮像装置、車両及びプログラム
US11282223B2 (en) Signal processing apparatus, signal processing method, and imaging apparatus
EP4195151A2 (en) Computer vision system for object tracking and time-to-collision
US11893799B2 (en) Computer vision system for object tracking and time-to-collision
Broggi et al. Handling rolling shutter effects on semi-global matching in automotive scenarios
bin Rasdi et al. Around View Monitoring System with Motion Estimation in ADAS Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant