CN101996388A - 用于修正摄像机图像的方法和控制装置 - Google Patents

用于修正摄像机图像的方法和控制装置 Download PDF

Info

Publication number
CN101996388A
CN101996388A CN2010102604582A CN201010260458A CN101996388A CN 101996388 A CN101996388 A CN 101996388A CN 2010102604582 A CN2010102604582 A CN 2010102604582A CN 201010260458 A CN201010260458 A CN 201010260458A CN 101996388 A CN101996388 A CN 101996388A
Authority
CN
China
Prior art keywords
picture point
motion vector
revising
modification rule
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102604582A
Other languages
English (en)
Inventor
S·亚伯拉罕
A·文特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN101996388A publication Critical patent/CN101996388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种用于修正摄像机图像的方法，所述方法包括：通过接口接收畸变的摄像机图像(215，216)的多个畸变的像点的步骤和接收经压缩的修正规则(617，618)的步骤。根据所述方法，进行所述经压缩的修正规则的解压缩(621，622)，以便获得用于修正所述畸变的摄像机图像的经解压缩的修正规则。在使用所述经解压缩的修正规则的情况下由所述多个畸变的像点确定经修正的摄像机图像(223，224)的多个经修正的像点。

Description

用于修正摄像机图像的方法和控制装置
技术领域
本发明涉及根据权利要求1所述的用于修正摄像机图像的方法、根据权利要求8所述的用于修正立体摄像机图像的方法、根据权利要求9所述的用于压缩查找表的方法以及根据权利要求10的控制装置。
背景技术
立体视频图像处理对于驾驶辅助系统中的周围环境检测、机器人学和自动化技术中的其他应用而言均具有重要的意义。利用立体视频系统可以确定摄像机前方物体的空间位置。例如，由此可以在机动车的驾驶辅助系统中检测机动车前方的行人。在此，对图像处理任务的要求越来越高。这尤其也涉及与更高的处理速度相联系的几何精度的提高。
DE 10229336A1描述了一种用于借助标定物来校准图像传感器系统的方法。
US 2008/0002879描述了一种方法，其中，以像素时钟分别在数学上重新计算用于修正的向量。这节省了存储器，但是增加了连续计算修正规则所需的计算功率。
发明内容
在此背景技术下，本发明提出了根据独立权利要求的用于修正摄像机图像的方法、用于修正立体摄像机图像的方法、用于压缩查找表的方法以及使用这些方法的控制装置。有利的构型由各个从属权利要求和以下描述中得出。
本发明的核心是一种用于节省存储器地压缩查找表(Look-Up-Tabelle，LUT)并且实时地解压缩所述查找表的方法，所述查找表适用于例如立体视频系统中的图像校正。由此实现了一种用于校正或者用于实时的图像修正的方法，所述方法可以用作3D立体测量的子步骤。所述方法特别适于借助基于FPGA或ASIC的计算硬件来使用。
与已知的方法相比，根据本发明可以通过查找表的编码如在实时处理时所需的数据量那样减少待存储和待传输的数据量。对于基于FPGA或者ASIC的硬件而言，这节省了用于内部存储查找表的昂贵的存储空间。因此可以显著地减小存储器存取所需的带宽。与之相比，虽然存在额外实施的解码，但根据本发明解码能够以非常小的计算耗费来实现。这允许以成本有利的硬件来进行立体实时处理。
本发明提供了一种用于修正摄像机图像的方法，所述方法具有以下步骤：通过接口接收畸变的摄像机图像的多个畸变的像点；通过接口接收经压缩的修正规则；解压缩所述经压缩的修正规则，以便获得经解压缩的用于修正畸变的摄像机图像的修正规则；以及在使用经解压缩的修正规则的情况下由多个畸变的像点确定经修正的摄像机图像的多个经修正的像点。
摄像机图像可以表示光学的图像采集装置——例如视频摄像机的拍摄。因此，摄像机图像可以是视频图像。摄像机图像可以由多个单独的像点构成。在此，可以通过预先确定的方式、例如矩阵式地布置像点，以便形成摄像机图像。摄像机图像可能由于内在参数和外在参数发生畸变。例如，可以在校准图像采集装置时确定并且存储这些参数。为了由畸变的像点确定经修正的像点，修正规则可以具有经修正的像点与畸变的像点之间的对应关系。所述对应关系可以基于内在参数和外在参数。因此，可以借助于修正规则来校正畸变的摄像机图像。例如，修正规则可以为此具有位移向量，所述位移向量为畸变的像点分配新的位置，以便获得经修正的图像。经压缩的修正规则可以具有包含在修正规则中的具有经编码并且尤其是经压缩的形式的对应关系。经压缩的修正规则可以是以经压缩的形式存在的查找表。畸变例如可以是桶形畸变或者枕形畸变。根据本发明的方法可以由合适的装置、例如控制装置来执行。因此，可以通过控制装置的一个或多个接口接收畸变的摄像机图像和经压缩的修正规则。可以同时或者在时间上相继地接收畸变的摄像机图像和经压缩的修正规则。在此，对于每个接收畸变的摄像机图像的步骤，可以执行接收经压缩的修正规则的步骤。这意味着，不需要在控制装置中存储经压缩的修正规则。特别地，可以实时地执行所述方法。因此，可以在等于或者小于接收两个前后相继的畸变的摄像机图像之间的时间间隔的时间间隔内执行接收经压缩的修正规则、解压缩以及确定多个经修正的像点的步骤。
根据本发明，经解压缩的修正规则可以具有多个位移向量。这些位移向量可以定义多个畸变的像点与多个经修正的像点之间的对应关系。位移向量可以定义以何种方式移动畸变的像点，以便构造经修正的像点。位移向量可以因此从畸变的像点的集合和经修正的像点的集合中彼此匹配相对应的像点。因此，可以为每个经修正的像点或者替换地为每个畸变的像点分配至少一个位移向量。位移向量可以布置在查找表中，所述查找表可以具有与经修正的摄像机图像的像点的结构或者畸变的摄像机图像的像点的结构相对应的结构。
经压缩的修正规则可以具有多个位移向量记录项。在解压缩所述经压缩的修正规则时，对于多个经修正的像点中的每一个像点，可以由多个位移向量记录项确定位移向量。这些位移向量记录项可以是位移向量的经压缩形式。为了压缩和解压缩可以使用已知的压缩方法。
根据一个实施方式，可以由对应于随后的经修正的像点的随后的位移向量记录项以及由对应于在前的经修正的像点的在前的位移向量确定随后的位移向量。因此，用于形成位移向量的信息可以划分成多个位移向量记录项。可以按照预先确定的顺序布置对应于随后的位移向量记录项和随后的位移向量的随后的像点以及对应于在前的位移向量记录项和在前的位移向量的在前的像点。例如，可以相邻地布置随后的像点和在前的像点。
在此，随后的位移向量记录项可以定义与在前的位移向量的差值。因此，如果经压缩的修正规则基本上包括各个位移向量之间的变化，则足够了。
根据另一个实施方式，经压缩的修正规则可以具有多个行程记录项和多个差值变化记录项。如果对应于随后的经修正的像点的行程记录项具有第一值，则随后的经修正的像点的随后的位移向量可以对应于在前的经修正的像点的在前的位移向量。此外，如果对应于随后的经修正的像点的行程记录项具有第二值，则可以由在前的位移向量以及对应于随后的经修正的像点的差值变化记录项来确定随后的位移向量。例如，对应的行程记录项的第一值可以是逻辑0而第二值可以是逻辑1，或者相反。因此，行程记录项可以取决于前后相继的、不变的位移向量的数量。在此，可以预先给定各个位移向量的顺序并且所述顺序例如对应于经修正的摄像机图像的经修正的像点的布置。如果位移向量的值按照所给定的顺序之一变化，则可以根据数值和符号通过相应的差值变化记录项来定义相应的变化。以此方式可以进一步减小经压缩的修正规则的大小。替换地，可以使用其他已知的用于数据压缩的编码方法。例如，可以使用在D.A.HUFFMAN所著的“AMethod for the Construction of Minimum Redundancy Codes”——IRE汇刊，40，1098-1101(1952)中描述的霍夫曼(Huffmann)码或根据US 4.558.302的LZW方法。
有利地，可以如此执行所述方法步骤，使得所述方法是具有实时能力的方法。这种方法例如适用于机动车的驾驶辅助系统中的周围环境检测。
本发明还提供了一种用于修正立体摄像机图像的方法，所述方法具有以下步骤：通过接口接收第一畸变的摄像机图像的多个第一畸变的像点和第二畸变的摄像机图像的多个第二畸变的像点；通过接口接收第一经压缩的修正规则和第二经压缩的修正规则；解压缩第一经压缩的修正规则和第二经压缩的修正规则，以便获得用于修正第一畸变的摄像机图像的第一经解压缩的修正规则和用于修正第二畸变的摄像机图像的第二经解压缩的修正规则；以及在使用第一经解压缩的修正规则的情况下由多个第一畸变的像点确定第一经修正的摄像机图像的多个第一经修正的像点并且在使用第二经解压缩的修正规则的情况下由多个第二畸变的像点确定第二经修正的摄像机图像的多个第二经修正的像点。在此，可以分别并行地执行对应于第一和第二摄像机图像的方法步骤。这两个经修正的摄像机图像可被用于距离确定。因此，可以在分辨率非常高的视频摄像机中实现实时立体视频修正。根据本发明的方法可以基于在WO 02/078346A1或WO 02/095681A1中所述的用于立体校正的方法来构造。
本发明还提供了一种用于压缩用于修正摄像机图像的查找表的方法，所述方法具有以下步骤：通过接口接收多个位移向量，其中，所述多个位移向量定义畸变的摄像机图像的畸变的像点与经修正的摄像机图像的经修正的像点之间的对应关系；确定多个位移向量记录项，其中，位移向量记录项分别定义所述多个位移向量中的至少两个位移向量之间的变化；以及提供经压缩的查找表，其具有所述多个位移向量记录项。可以例如在进行摄像机校准时求得这些位移向量。为了进一步压缩，可以例如借助行程编码来进一步编码这些位移向量记录项。
本发明还提供了一种用于解压缩经压缩的用于修正摄像机图像的查找表的方法，所述方法具有以下步骤：通过接口接收经压缩的查找表，其中，所述查找表具有多个位移向量记录项，这些位移向量记录项分别定义多个位移向量中的至少两个位移向量之间的变化；由所述多个位移向量记录项确定所述多个位移向量，其中，所述多个位移向量定义畸变的摄像机图像的畸变的像点与经修正的摄像机图像的经修正的像点之间的对应关系；以及提供所述多个位移向量记录项。
本发明还提供了一种控制装置或计算硬件，其被构造用于执行或实施根据本发明的方法的步骤。同样，通过本发明的形式为控制装置的实施方案也可以快速并且高效地解决本发明的任务。
本文中，控制装置可理解成处理传感器信号并且据此输出控制信号的电装置。控制装置可以具有可以硬件地和/或软件地进行构造的接口。在硬件构造中，接口例如可以是包含控制装置的各种功能的所谓的系统ASIC的一部分。然而，接口也可以是独立的集成电路或者至少部分地由分立元件组成。在软件构造中，接口可以是例如与其他软件模块一起位于微控制器上的软件模块。
具有程序代码的计算机程序产品也是有利的，所述程序代码存储在诸如半导体存储器、硬盘存储器或者光存储器的机器可读载体上并且当在控制装置上执行程序时用于实施根据以上所述实施方式之一的方法。
实际中，为了实施修正可以改变根据本发明的实施方式。可以在校正硬件(例如，FPGA+RAM)中顺序地处理视频图像数据。在此，设置输入端，摄像机图像数据(亮度值)以像素时钟进入所述输入端，并且设置输出端，由所述输出端以像素时钟提供经修正的图像数据。此外，可以设有输入缓冲器，在所述输入缓冲器中可以保存有限行的输入图像。因此，不在存储器中存储整个图像。
此外，可以连续地计算经修正的输出图像并且由此生成输出信号。输出图像不必存储在修正硬件中。
对于在FPGA中实施而言，可以在FPGA本身中或者在外部的RAM组件中存储用于修正的LUT。在存储在成本较低的外部RAM中的情况中，在RAM与FPGA之间产生高的数据传输率，这是不利的。在全部LUT存储在FPGA中的情况中，在FPGA中需要很多相对昂贵的存储器。
通过压缩LUT来避免这两个缺点。如此有针对性地进行LUT的压缩，使得可以在有限的计算耗费下以像素时钟顺序地解码LUT。因此，在FPGA的存储器中仅仅具有计算当前输出像素所需的、当前的经解码向量。整个经解码的LUT不全部存储在硬件中。
可以或者在FPGA本身中或者外部地在RAM中存储经压缩的LUT。
因此，可以进行顺序的处理。这涉及LUT的解码以及图像的修正。因此，图像和LUT分别不完全位于硬件(FPGA)的存储器中。
此外，可以在(FPGA/ASIC)本身中存储LUT。由此无需多次传输LUT。
附图说明
以下根据附图示例性地详细说明本发明。附图示出：
图1：立体测量和3D三角测量的原理；
图2：用于立体视频图像处理的数据流；
图3：借助查找表进行图像修正的原理；
图4：查找表内的向量差值的原理；
图5：差值查找表的行程编码的原理；以及
图6：根据本发明的实施例的立体视频图像处理的数据流。
在以下对本发明的优选实施例的描述中，在不同附图中示出的并且功能相似的元件使用相同或相似的附图标记，其中，省去对这些元件的重复描述。
具体实施方式
图1示出根据一个实施例的立体测量和3D三角测量的原理。图中示出了左边的图像101和右边的图像102。图像101、102可以分别由摄像机或者立体视频系统拍摄并且具有多个像点。示例性地，在图像101中示出了像点PL并且在图像102中示出了像点PR。像点PL和PR在共同的扫描线(Bildzeile)105上。像点PR在图像101中的位置可以借助x′-y′坐标系来说明。像点PL在图像102中的位置可以借助x″-y″坐标系来说明。像点PL和PR成像一个真正的点p。可以借助三角测量由点PL和PR的位置确定点p的距离确定。
为了高度准确地由立体视频图像数据对几何特征进行3D确定，必须考虑由摄像机校准过程确定的内在参数和外在参数。内在参数基于成像模型描述图像光线从物体场景中的物理表面出发通过摄像机的物镜直至其在传感器表面上成像所经历的函数关系。内在参数还描述了光学焦距和光学畸变。与之相反，外在参数描述立体视频系统的摄像机彼此之间的几何布置。这是摄像机彼此之间的相对位置和角位置。在立体视频系统中，一般相对于另一个摄像机的投影中心描述一个摄像机的投影中心，这也被称为相对定向。
现在，可以借助经校准的立体视频系统测量所拍摄的物体场景，其方式是，首先检测相对应的像点并且随后通过前方交会在空间上进行三角测量。图1示意性地示出由两个图像101、102进行立体测量的过程。
图2示出根据一个实施例的用于立体视频图像处理的数据流。左边的图像流211可以由第一摄像机接收而右边的图像流212可以由第二摄像机接收。左边的图像流211可以提供第一畸变的立体图像A1215而右边的图像流212可以提供第二畸变的立体图像A2216。此外，可以提供第一查找表LUT1217和第二查找表LUT2218。第一查找表217可以对应于左边的图像流211而第二查找表218可以对应于右边的图像流212。查找表217、218可以包括用于修正相应立体图像215、216的信息。可以借助第一校正221由第一畸变的立体图像215和第一查找表217求得第一经校正的图像B1223。可以借助第二校正222由第二畸变的立体图像216和第二查找表218求得第二经校正的图像B2224。基于经校正的图像223、224，可以执行立体测量227。基于立体测量，例如可以提供距离信息229。
图2一般性地描述了用于实时立体图像处理的方法。首先，借助计算单元来校正221、222来自左边的摄像机和右边的摄像机的数据流211、212。随后，在左边的和右边的立体图像对223、224之间进行视差测量227。视差测量227允许随后摄像机前方的特征的3D计算。本文描述了一种用于校正的方法。为了实时视差测量，可以使用已知的方法。
根据此实施例，图2示出立体测量在计算硬件中的可能过程。为了在各处理步骤中可以简化地考虑由校准确定的内在参数和外在参数，首先修正或校正221、222图像数据215、216以实现最优化的处理。随后，可以借助简单的针孔摄像机模型描述几何关系。经修正的立体图像数据223、224对应于所谓的立体标准情形(Stereonormalfall)。随后，进行视差测量227以确定3D特征的距离。通过校正221、222可以在数字图像223、224的一行中进行视差测量227，由此显著简化了计算技术的实施。
对于实时立体视频图像修正而言，困难的是：必须同样以图像接收215、216的时钟来处理修正221、221，因为这是实时算法的基础。对于计算硬件中的快速顺序处理，可以以查找表(LUT)217、218的形式为每个像点预先计算它的实际位置(畸变的)与应有位置(经修正的)之间的位移向量并且将这些位移向量存储在存储器中。对于立体摄像机的情形，需预先计算两个LUT 217、218。LUT 217、218表示用于修正摄像机图像215、216的一般性的计算规则并且包含具有差分dx和dy分量的位移向量。
图3描述了图像校正的原理，例如图2中所示的校正221的方法步骤可以基于所述图像校正。在此，可以借助接收到的查找表LUT 217将接收到的原始图像215转换成经修正的图像223。根据此实施例，查找表217具有多个记录项(Eintrag)331、332。这些记录项331、332可以对应于经修正的图像223的位置341、342。根据此实施例，记录项331具有指向原始图像215的一个位置的位移向量351，在所述原始图像215上存在一个像点，所述像点为了进行图像修正被布置在经修正的图像的位置341处。与之相应地，记录项332具有指向原始图像215的一个位置的位移向量352，在所述原始图像215上存在一个像点，所述像点为了进行图像修正被布置在经修正的图像的位置342处。
在实时立体视频图像修正中，对于处理而言，必须在计算单元中同时处理两个输入图像的数据流、两个查找表的数据流以及两个输出图像的数据流。目前，所述任务的实时处理的限制在于由输入图像、查找表和输出图像产生的数据量的传输。对分辨率为640×480像素、每像素8位和25Hz的VGA立体视频图像的处理产生128M bit/s的图像数据流。将用于校正的查找表从存储器中并行读取到例如基于FPGA的计算单元中需要相同的数据率。这使得具有实时能力的立体硬件相对昂贵。
替换方案——即查找表例如存储在FPGA计算单元中，由于查找表的大小导致FPGA中的高存储器消耗并且需要使用更昂贵的FPGA。
本发明尤其致力于两个查找表的数据流。与图像数据相反，这些查找表的待传输内容保持不变并且占数据量的很大部分。取代完全传输所述数据量，应用显著减小查找表的数据量的编码/解码规则。在实时处理之外预先一次性地实施查找表的编码。与之相反，由于减小的数据量可以实时地实施解码。
立体校正原则上是输入图像的畸变和输出图像的生成。查找表包含关于畸变的规则。用于立体校正的查找表对于经校正的图像的每个像素(xr，yr)均包含一个位移向量(dx，dy)。所述位移向量确定可以从输入图像的哪个像素(x0，y0)获得位置(xr，yr)的灰度值。函数关系为：
x0＝xr+dx
y0＝yr+dy
图4示出了根据本发明的一个实施例的经压缩的查找表ddx-LUT 417。经压缩的查找表417具有多个记录项431、432。根据此实施例，布置在左上角的记录项431具有根据图3中所示的查找表的原始向量。然而记录项432不具有原始向量而是具有差值。记录项432的当前向量由相邻位置中先前计算的向量431加上ddx-LUT查找表417中的当前记录项432得到。因此，可以通过由多个记录项431、432确定当前向量的方式来解压缩所述经压缩的查找表417。当前向量可记录在经解压缩的查找表中并且提供用于校正。除记录项432外，查找表417可以因此仅仅具有差值记录项，这些差值记录项分别定义了当前位移向量与相对应的、优选已经确定的相邻位移向量的差值。
查找表在数学上表示位移向量场。所述位移向量场通常相对较平。因此，根据本发明，查找表的记录项可描述为相对于相邻记录项的差值。产生以下称为dd-LUT 417的“差值LUT”417。如在图4中所示，通过由相邻位置的先前计算出的位移向量加上dd-LUT 417的当前记录项的解码计算出当前的位移向量。得到：
dx(x，y)＝dx(x-1，y)+ddx(x，y)
dy(x，y)＝dy(x-1，y)+ddy(x，y)
形成dd-LUT 417是编码方法的第一步骤。
对于数字处理，必须离散化这些差值，即必须离散化dd-LUT 417中的记录项。因此可以进一步编码这些记录项。由于位移向量场的已经提及的平滑变化，在dd-LUT 417中经常出现零记录项。因此，提出用于进一步压缩的行程编码。
图5示出如在图4中所示的差分LUT 417的行程编码的原理。根据此实施例，查找表417在第一记录项中具有原始向量的值。随后的记录项具有与分别在前的记录项的差值。那么，第一记录项431后面的记录项432具有值“+1”。这意味着，此位置的当前向量相对于在前位置——在此为左边相邻的位置——的当前向量增加1。随后的两个记录项具有值“0”。这意味着这些位置上的当前向量与在前位置的向量相同。随后的记录项具有值“-1”。这意味着，此位置的当前向量相对于在前的当前向量减少1。随后的三个记录项又具有值“0”并且再随后的记录项具有值“+1”。为了行程编码，可以使用行程记录项和差值变化记录项。
那么，第一行程记录项可以由于前两个“0”记录项而具有值“2”并且第二行程记录项由于后三个“0”记录项而具有值“3”。由此，编码的结果是具有不等于“0”的记录项之间的距离的向量a＝[2，3，...，...]。同样可以在一个向量中汇总指示当前向量相对于在前的当前向量的值变化的差值变化记录项。因此，以[+1，-1]编码的结果是向量b＝[1，0，1，...]。根据此实施例，相应的经编码的修正规则可以具有第一记录项431的位移向量以及向量a和向量b。由这些信息可以确定用于修正图像的相应查找表的所有记录项的位移向量。
因此，根据图5中所示的实施例，在向量a中存储不等于0的dd-LUT记录项的距离并且在向量b中存储涉及的是正差值变化还是负差值变化的状态。
行程编码是编码方法的第二步骤。
由逆向应用编码方法得到解码的计算规则。
图6示出根据本发明的一个实施例的立体视频图像处理的经改变的数据流。在初始工作步骤中，可以预先编码查找表。随后，可以向计算硬件传输经编码的并且因此在数据量方面减小的查找表。根据本发明，计算硬件中立体测量的可能过程扩展了根据本发明的方法的步骤。
基于第一摄像机的校准，可以确定第一查找表LUT1217，而基于第二摄像机的校准，可以确定第二查找表LUT2218。这些摄像机可以是立体视频系统的一部分。查找表217、218可被编码610。在编码610查找表217、218时，可以由第一查找表217确定形式为经编码的LUT1的第一经压缩的查找表617并且由第二查找表218确定形式为经编码的LUT2的第二经压缩的查找表618。
根据本发明的用于校正的方法，这些经压缩的查找表可被用于修正第一摄像机图像A1215和第二摄像机图像A2216。第一摄像机图像215可以通过左边的图像流211接收而第二摄像机图像216可以通过右边的图像流212接收。在步骤621中，可以进行第一经压缩的查找表617解码，以便获得可以与第一查找表217相对应的经解码的第一查找表。因此，经解码的查找表可以包括具有多个位移向量的经解压的修正规则，所述修正规则可以定义图像215的多个畸变的像点与经修正的图像223的多个经修正的像点之间的对应关系。随后，可以在使用经解码的第一查找表的情况下校正第一摄像机图像215，以便获得经修正的第一图像B1223。与之相应地，在步骤622中，可以进行第二经压缩的查找表618解码，以便获得可以与第二查找表218相对应的经解码的第二查找表。随后，可以在使用经解码的第二查找表的情况下校正第二摄像机图像216，以便获得经修正的第二图像B2224。基于图像223、224可以实施立体测量227并且提供距离信息229。
对于在时间上随后接收到的、相应于图像215、216进行接收的图像而言，可以重复地执行接收查找表617、618的步骤以及解码和校正的步骤621、622，以便获得随后的经修正的图像。因此，对于每个接收到的图像而言，可以连续地接收相对应的查找表。
根据图6中所示的实施例，可以在校准摄像机和计算查找表217、218之后首先进行查找表217、218的编码610，以便将这些查找表高效地存储在计算硬件中。所述步骤在立体实时处理之前进行。
为了进行实时图像校正，可以在实时立体视频处理期间进行图像校正621、622，其中，可以进行经压缩的查找表数据617、618的连续解码。
根据此实施例，可以如下进行解码。解码可以如查找表的编码那样分成两个步骤进行。
首先，需解码行程编码。这可以在硬件中非常容易地通过逻辑单元来实现。将经解码的行程从向量存储到计数器
Figure BSA00000243395300121
中。
在第二步骤中，计算当前的位移向量以进行像素校正。在此，以视频时钟递减用于存储行程的计数器。在计数器达到零位置时，按照向量b中的位记录项递增或递减当前的位移向量。将下一个行程记录项从向量a读取到计数器中。
借助逻辑单元、计数器和用于查找表向量的当前值的存储器实施解码方法使得所述方法特别适于在FPGA或ASIC硬件中实施。
根据一个替换实施例，可以取代对查找表的差值进行编码将更高阶的差值也用于编码。具有二阶差值的编码和解码的计算规则示出了以下公式：
ddx2(x，y)＝2*dx(x，y)-dx(x-1，y)-dx(x+1，y)
ddy2(x，y)＝2*dy(x，y)-dy(x-1，y)-dy(x+1，y)
根据另一个实施例，可以取消dd-LUT的行程编码或者由数据压缩方面的其他已知的编码方法——诸如霍夫曼(Huffmann)码或LZW方法来替代行程编码。
根据本发明的方法还可用于单目视频系统、例如监视摄像机中的光学系统的几何畸变的实时校正。
所描述的并且在附图中示出的实施例仅仅是示例性地进行选择的。不同的实施例可以完全地或者在各个特征方面彼此组合。一个实施例还可以由另一实施例的特征进行补充。此外，可以重复根据本发明的方法步骤以及以不同于所述次序的次序执行根据本发明的方法步骤。

Claims (10)

1.用于修正一摄像机图像的方法，所述方法具有以下步骤：
通过一接口接收一畸变的摄像机图像(215，216)的畸变的像点；
提供一经压缩的修正规则(617，618)；
解压缩所述经压缩的修正规则，以便获得用于修正所述畸变的摄像机图像的经解压缩的修正规则；以及
在使用所述经解压缩的修正规则的情况下由所述畸变的像点确定一经修正的摄像机图像(223，224)的经修正的像点。
2.根据权利要求1所述的方法，其中，所述经解压缩的修正规则具有多个位移向量(351，352)，所述多个位移向量(351，352)定义所述畸变的像点与所述经修正的像点(341，342)之间的对应关系。
3.根据权利要求2所述的方法，其中，所述经解压缩的修正规则(617，618)具有多个位移向量记录项(431，432)，其中，在所述解压缩时对于所述经修正的像点(341，342)中的每个像点由所述多个位移向量记录项确定一位移向量(351，352)。
4.根据权利要求3所述的方法，其中，由一对应于一随后的经修正的像点(342)的随后的位移向量记录项(332)和由一对应于一在前的经修正的像点(341)的在前的位移向量(351)确定一随后的位移向量(352)。
5.根据权利要求4所述的方法，其中，所述随后的位移向量记录项(332)定义与所述在前的位移向量(351)的差值。
6.根据权利要求3所述的方法，其中，所述经压缩的修正规则具有多个行程记录项(a)和多个差值变化记录项(b)，其中，如果一对应于一随后的经修正的像点的行程记录项具有一第一值，则所述随后的经修正的像点的一随后的位移向量对应于一在前的经修正的像点的一在前的位移向量，其中，如果对应于所述随后的经修正的像点的行程记录项具有一第二值，则由所述在前的位移向量和一对应于所述随后的经修正的像点的差值变化记录项确定所述随后的位移向量。
7.根据以上权利要求中任一项所述的方法，其中，如此执行所述方法步骤，使得所述方法是具有实时能力的方法。
8.用于修正一立体摄像机图像的方法，所述方法具有以下步骤：
通过一接口接收一第一畸变的摄像机图像(215)的第一畸变的像点和一第二畸变的摄像机图像(216)的第二畸变的像点；
提供一第一经压缩的修正规则(617)和一第二经压缩的修正规则(618)；
解压缩(621，622)所述第一经压缩的修正规则和所述第二经压缩的修正规则，以便获得用于修正所述第一畸变的摄像机图像的第一经解压缩的修正规则和用于修正所述第二畸变的摄像机图像的第二经解压缩的修正规则；
在使用所述第一经解压缩的修正规则的情况下由所述第一畸变的像点确定一第一经修正的摄像机图像(223)的第一经修正的像点并且在使用所述第二经解压缩的修正规则的情况下由所述第二畸变的像点确定一第二经修正的摄像机图像(224)的第二经修正的像点。
9.用于压缩用于修正一摄像机图像的查找表(217，218)的方法，所述方法具有以下步骤：
通过一接口接收多个位移向量(351，352)，其中，所述多个位移向量定义一畸变的摄像机图像(215)的畸变的像点与一经修正的摄像机图像(223)的经修正的像点之间的对应关系；
确定多个位移向量记录项(431，432)，其中，位移向量记录项分别定义所述多个位移向量中的至少两个位移向量之间的变化；以及
提供一经压缩的查找表(617，618)，所述经压缩的查找表具有所述多个位移向量记录项。
10.控制装置，所述控制装置被构造用于实施根据权利要求1到9中任一项所述的方法的步骤。
CN2010102604582A 2009-08-20 2010-08-20 用于修正摄像机图像的方法和控制装置 Pending CN101996388A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009028743.4 2009-08-20
DE102009028743A DE102009028743B4 (de) 2009-08-20 2009-08-20 Verfahren und Steuergerät zur Entzerrung eines Kamerabildes

Publications (1)

Publication Number Publication Date
CN101996388A true CN101996388A (zh) 2011-03-30

Family

ID=43571003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102604582A Pending CN101996388A (zh) 2009-08-20 2010-08-20 用于修正摄像机图像的方法和控制装置

Country Status (4)

Country Link
US (1) US8644641B2 (zh)
JP (1) JP2011045059A (zh)
CN (1) CN101996388A (zh)
DE (1) DE102009028743B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809696A (zh) * 2014-01-27 2015-07-29 中国科学院苏州纳米技术与纳米仿生研究所 图像畸变矫正方法和系统
CN106168988A (zh) * 2015-05-22 2016-11-30 罗伯特·博世有限公司 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备
CN108540790A (zh) * 2018-04-24 2018-09-14 深圳超多维科技有限公司 一种用于移动终端的立体图像获取方法、装置及移动终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011007644A1 (de) * 2011-04-19 2012-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes
JP2014512958A (ja) * 2011-05-12 2014-05-29 ビューラー・アクチエンゲゼルシャフト 流動性の材料内の粒子を粉砕する装置および方法
US9129378B2 (en) 2011-09-07 2015-09-08 Thomson Licensing Method and apparatus for recovering a component of a distortion field and for determining a disparity field
WO2013139814A2 (fr) 2012-03-19 2013-09-26 Fittingbox Modèle et procédé de production de modèle 3d photo-réalistes
KR101355570B1 (ko) * 2012-07-13 2014-01-27 (주)자인미디어 룩업 테이블 압축 장치 및 방법
EP2843616A1 (de) * 2013-08-29 2015-03-04 Sick Ag Optoelektronische Vorrichtung und Verfahren zur Aufnahme entzerrter Bilder
US10341634B2 (en) 2016-01-29 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for acquiring image disparity
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11648945B2 (en) 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US10991155B2 (en) * 2019-04-16 2021-04-27 Nvidia Corporation Landmark location reconstruction in autonomous machine applications
DE112020004139T5 (de) 2019-08-31 2022-05-12 Nvidia Corporation Erstellung von karten und lokalisierung für anwendungen im bereich des autonomen fahrens
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070188619A1 (en) * 2006-02-13 2007-08-16 Sony Corporation Method for correcting distortion of captured image, device for correcting distortion of captured image, and imaging device
CN101072288A (zh) * 2007-06-15 2007-11-14 林进灯 取得鱼眼影像校正关系与鱼眼校正的方法
US20080002879A1 (en) * 2006-06-29 2008-01-03 Sungkyunkwan University Foundation For Corporate Collaboration Rectification system and method of stereo image in real-time
CN101156434A (zh) * 2004-05-01 2008-04-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4558302A (en) 1983-06-20 1985-12-10 Sperry Corporation High speed data compression and decompression apparatus and method
EP1368970B1 (de) * 2001-03-05 2005-08-10 Siemens Aktiengesellschaft Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
DE50103815D1 (de) 2001-05-25 2004-10-28 Siemens Ag Vorrichtung und verfahren zur verarbeitung von bilddaten
DE10229336A1 (de) 2002-06-29 2004-01-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Bildsensorsystemen
JP3824237B2 (ja) * 2003-09-05 2006-09-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101156434A (zh) * 2004-05-01 2008-04-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机
US20070188619A1 (en) * 2006-02-13 2007-08-16 Sony Corporation Method for correcting distortion of captured image, device for correcting distortion of captured image, and imaging device
US20080002879A1 (en) * 2006-06-29 2008-01-03 Sungkyunkwan University Foundation For Corporate Collaboration Rectification system and method of stereo image in real-time
CN101072288A (zh) * 2007-06-15 2007-11-14 林进灯 取得鱼眼影像校正关系与鱼眼校正的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809696A (zh) * 2014-01-27 2015-07-29 中国科学院苏州纳米技术与纳米仿生研究所 图像畸变矫正方法和系统
CN106168988A (zh) * 2015-05-22 2016-11-30 罗伯特·博世有限公司 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备
CN108540790A (zh) * 2018-04-24 2018-09-14 深圳超多维科技有限公司 一种用于移动终端的立体图像获取方法、装置及移动终端

Also Published As

Publication number Publication date
US20110044557A1 (en) 2011-02-24
US8644641B2 (en) 2014-02-04
DE102009028743B4 (de) 2011-06-09
DE102009028743A1 (de) 2011-03-17
JP2011045059A (ja) 2011-03-03

Similar Documents

Publication Publication Date Title
CN101996388A (zh) 用于修正摄像机图像的方法和控制装置
US10812830B2 (en) Method and electronic device for processing raw image acquired through camera by using external electronic device
US20130216135A1 (en) Visual search system architectures based on compressed or compact descriptors
CN102326391B (zh) 多视点图像编码装置及方法、多视点图像译码装置及方法
US8730302B2 (en) Method and system for enhancing 3D effects for 3D video rendering
CN102790890B (zh) 立体图像编码设备及其方法和摄像设备
US20190028722A1 (en) Electronic device and method for encoding image data therein
US10187584B2 (en) Dynamic range extension to produce high dynamic range images
CN1672432B (zh) 用于编码数字视频信号的方法和设备
US10467737B2 (en) Method and device for adjusting grayscale values of image
US7949193B2 (en) Apparatus and method for compressing three-dimensional stereoscopic images
CN103167306A (zh) 一种基于图像匹配的高分辨率深度图实时提取装置及方法
Turturici et al. Low-power DSP system for real-time correction of fish-eye cameras in automotive driver assistance applications
EP3301926A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
Akin et al. Compressed look-up-table based real-time rectification hardware
US11665369B2 (en) Method and a device for encoding a signal representative of a light-field content
CN113727073A (zh) 一种基于云计算实现车载视频监控的方法及系统
CN109643454B (zh) 集成cmos感应的立体图形整合系统及方法
Kim et al. Efficient hardware implementation of real-time rectification using adaptively compressed Lut
US11962745B2 (en) Method and apparatus for processing image content
JP7417388B2 (ja) 符号化装置、復号装置、及びプログラム
US20230412831A1 (en) Method for encoding and decoding a multi-view video
WO2022016331A1 (en) Method of compensating tof depth map and electronic device
US20220261963A1 (en) Image sensors with variable resolution image format
CN115523921A (zh) 一种基于天地协同的星上目标高精度定位方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110330