CN101388072A - 用于评测图像的方法和装置 - Google Patents

Abstract

本发明涉及用于评测图像的方法和设备。该设备包括处理装置(3)，其具有用于接收表示图像的图像数据的输入端(4)，以及用于接收对象相对于图像的图像平面的距离的距离信息的另外的输入端(5)。可基于包括深度信息的三维图像来确定该距离信息，其中该三维图像是利用3D照相机装置(7)来捕获的。该处理装置(3)配置为同时基于距离信息和预先确定的参考距离来对图像数据的至少一部分重新采样，以产生经重新采样的图像数据，要进行重新采样的图像数据的部分表示对象的至少一部分。

Description

用于评测图像的方法和装置

技术领域

本发明涉及用于评测图像的方法和装置。具体地，本发明涉及用于评测图像的方法和装置，其可用于在不同的环境中，比如在车载驾驶员辅助系统中或者在监测系统中，识别目标对象。

背景技术

当前，为了协助驾驶员控制车辆和/或提高驾驶的安全性，车辆提供了多种驾驶员辅助功能。就这种驾驶员辅助功能的例子来说，其包括停车辅助设备，碰撞预测功能和安全措施，该安全措施包括安全气囊或者由控制逻辑操控的座位安全带收缩装置。这些驾驶员辅助功能中的一些功能可能依赖于，或者至少利用了，以图像数据形式出现的车辆周围的信息，其中对该图像数据被自动地评测以，例如，检测所接近的障碍物。在一些驾驶员辅助功能中，不仅可以自动地确定接近车辆的对象的存在性，还可以确定它的“类型”或者“分类”，比如车辆或者行人，以便基于所确定的对象分类采取适当的动作。这可通过捕获相应于车辆周围的一部分视域的图像及评测表示该图像的图像数据，以检测对象并且基于例如，由图像数据所显示的对象的特有几何学特征和其大小，来确定各个对象的对象分类来实现，其中可将图像数据与参考数据相比较。这种常规的图像评测方法通常具有与之相关的缺点。例如，当直接将图像数据和参考数据相比较的时候，对象分类的可靠性可能会取决于对象相对于安装了驾驶员辅助功能的车辆的距离。例如，离车辆距离较远的卡车可能会被错误地识别为离该车辆较近的小汽车，或者相反，距离该车较近的小汽车可能会被误认为离该车较远的卡车，因为卡车具有更大的侧向尺寸。

相似的问题还存在于其它的情况中，在这些情况中希望自动地识别图像中的对象，比如安装在公共区域或者私有地产中的监控照相机系统。

发明内容

因此，本领域存在着对改进的评测图像方法和设备的需要。特别是，存在着对改进的评测图像方法和设备的需要，这种方法和设备获得的结果更不容易出现由对象相对于捕获要评测的图像的照相机距离的变化所引起的误差。

根据本发明，这种需要是由独立权利要求所定义的方法和设备来体现的。从属权利要求定义了优选的或者有效的实施例。

根据本发明的一个方面，提供了评测图像的方法，其包括步骤：获取(retrieve)表示图像的图像数据，获取对象相对于图像的图像平面的距离的距离信息，其中至少一部分对象由图像数据表示，并且基于距离信息和预先确定的参考距离重新采样图像数据的至少一部分以产生经重新采样的图像数据，其中要进行重新采样的图像数据部分表示至少部分的对象。如同此处所使用的，术语“图像平面”指代的是(通常是虚拟的)由捕获图像的光学系统将要评测的图像映射到其上的平面。根据该方法，同时基于对象相对于图像平面的距离和预先确定的参考距离，来对表示感兴趣的对象的图像数据的一部分进行重新采样。因此，对经重新采样的图像数据的后续分析将会较少地受到对象相对于图像平面距离的影响，其原因在于通过重新采样图像数据的一部分，该方法允许了至少部分地考虑与距离相关的影响。

在一个实施例中，可基于对象距离和参考距离的比较来确定重新采样因子，其中根据该重新采样因子来对图像数据的部分重新采样。例如，当对象的距离超过大于或者等于参考距离的预先确定阈值时，对图像数据的部分向上采样，和/或当对象的距离比小于或者等于参考距离的另外的预先确定阈值小时，对图像数据的部分向下采样。可将该预先确定的阈值和另外的预先确定的阈值都选择为近似等于参考距离。例如，在一个示范性的实施例中，当对象的距离小于参考距离时，可根据向下采样因子向下采样图像数据的部分，该向下采样因子近似等于参考距离除以对象的距离，并且当对象的距离大于参考距离时，可根据向上采样因子向上采样图像数据的部分，该向上采样因子近似等于对象的距离除以参考距离。通过基于对象距离和参考距离的比较来选定重新采样因子，表示对象的图像数据部分可在尺寸上变大或变小，以便至少在某种程度上适应由于对象距离变化所带来的对象图像的大小改变。例如，可重新采样图像数据的部分以便使经重新采样的图像数据的像素对应于对象的宽度，该对象宽度近似等于位于离图像平面参考距离处的对象的图像数据中每一像素的宽度，由此重新调节对象图像的比例，使对象图像的尺寸近似等于当对象在参考距离处成像时其将具有的尺寸。

该方法可进一步包括步骤：获得另外的(further)图像数据，其表示三维图像并且包括深度信息，其中三维图像的视野与图像的视野相重叠。通过利用表示三维图像的另外的图像数据，可方便地识别表示对象的图像数据部分，并且还可根据该另外的图像数据来确定对象相对于图像平面的距离。以这种方式，可通过同时使用图像数据和另外的图像数据，即，通过组合二维(2D)图像和三维(3D)图像的信息来评测图像。在本文中使用时，术语“深度信息”指代关于对象距离的信息，该对象位于沿着由三维图像的像素所表示的多个观察方向上。

该方法可包括基于深度信息识别另外的图像数据的一部分，该另外的图像数据表示至少部分对象。例如，可将相应于近似相等的或者至少近似的深度值的另外的图像数据的若干像素，分配给表示至少部分对象的另外的图像数据的部分。在一个实施例中，可以用这样的方式在另外的图像数据中识别多个对象，以创建包括了不同对象的位置和深度信息的对象列表。可采用额外的逻辑函数来在另外的图像数据中识别对象，例如，通过评测具有相差不大的深度值的像素的形状和/或对称性来识别对象。例如，如果要在图像数据中识别车辆，那么可仅仅选择具有正方形或者梯形形状的另外的图像数据中的像素结构来做进一步的处理。用这样的方式，对图像数据进行的评测可仅限于图像数据的相关部分，从而提高了处理速度。

那部分另外的图像数据可用来选择将被重新采样的图像数据部分。即，可基于在另外的图像数据中识别的对象来选择要被重新采样的那部分图像数据。这包括了识别与另外的图像数据的像素相对应的图像数据的像素，即，通过执行从另外的图像数据到图像数据的像素映射进行识别，其中该另外的图像数据的像素包括在表示对象的一部分的另外的图像数据的部分中。

可利用基于光脉冲传播时间的技术来捕获三维图像，例如，利用PMD(Photonic Mixer Device：光混合器装置)照相机。也可利用立体照相机来捕获三维图像。可利用2D照相机，例如，CMOS或者CCD照相机来捕获图像。

可进一步对经重新采样的图像数据进行分析，例如，对对象进行分类。在本文中被使用时，对象的“分类”这一术语用于指代一种处理，在这种处理中，确定对象是否属于若干给定的对象类型或分类中的一个对象类型或分类，给定的对象类型或分类比如是小汽车、卡车、摩托车、交通标志和/或行人。该方法可包括步骤：获取表示多个对象类型的参考对象的参考数据，并且基于该参考数据分析经重新采样的图像数据以对对象进行分类。该参考数据可具有不同的形式，并且可相应地以多种方式来实现该分析。例如，可采用所谓的学习算法来分析经重新采样的图像数据，其中可在给定对象类型的若干有效的或者好的对象上训练该学习算法，以便随后对这种对象类型的对象进行识别。在这种情况下，参考数据可包括用于分析重新采样的图像数据的参数，其通过训练学习算法而获得。参考数据也可包括关于特定对象类型的特征形状和/或色彩的信息，并且通过识别这种特征形状和/或色彩来分析经重新采样的图像数据，以将对象与对象类型相匹配。参考数据也可包括对于给定对象类型的一个或几个对象的图像数据，例如，表示几种不同小汽车或者几种不同卡车的图像数据，并且可将经重新采样的图像数据和这种参考数据相比较，以将该对象与对象类型相匹配。

不考虑分析步骤的具体实现方式，可在离图像平面的距离近似等于参考距离处的至少一个参考对象的图像基础上产生参考数据。然后将分析步骤适当地调整成适用于基于经重新采样的图像数据对对象进行分类，该经重新采样的图像数据是通过与距离相关的重新采样得到的。

该方法可用于对几个由图像数据所表示的对象进行分类。例如，可基于表示三维图像的另外的图像数据，来产生包括了多个对象以及它们各自的距离的对象列表，并且可分别对多个对象中的每一个执行获取距离信息、重新采样和分析这些步骤。

可将分析步骤的结果输出到驾驶员辅助系统。例如，可向驾驶员辅助系统输出关于正在接近的对象的对象类型信息，比如行人、小汽车或者卡车，该驾驶员辅助系统基于对象类型信息来驱动安全装置和/或输出警报信号。

根据本发明的另一个方面，提供了一种数据存储介质，其具有存储在其上的指令，当由电子计算装置的处理器执行该指令时，控制该计算装置以执行根据本发明任何一个实施例的方法。该电子计算装置可配置为具有用于接收图像数据和另外的图像数据的输入端的通用处理器。该电子计算装置也可包括处理器、CMOS或者CCD照相机以及PMD照相机，该处理器从CMOS或者CCD照相机获取图像数据并且从PMD照相机获取另外的图像数据。

根据本发明的另一个方面，提供了用于评测图像的设备，该设备包括处理装置，其具有输入端以接收表示图像的图像数据，以及另外的输入端以接收对象关于图像的图像平面的距离的距离信息，至少部分对象由该图像来表示。该处理装置配置为，同时基于距离信息和预先确定的参考距离来重新采样图像数据的至少一部分，以产生经重新采样的图像数据，要重新采样的图像数据的部分表示了至少部分对象。在这个装置中，通过同时基于对象相对于图像平面的距离以及预先确定的参考距离，来对表示所感兴趣的对象的图像数据部分重新采样，在分析经重新采样的图像数据之前可至少部分地考虑到与距离相关的影响，例如，对象的分类。

该设备可包括连接于另一个输入端的3D照相机装置，所述3D照相机装置配置为捕获另外的图像数据，其中另外的图像数据表示三维图像并且包括深度信息，三维图像的视野与图像的视野相重叠。3D照相机装置可包括PMD(光混合器装置)照相机或者立体照相机。该3D照相机装置可进一步包括对象识别装置，其配置为基于另外的图像数据来识别对象以及它们各自的距离。该对象识别装置可进一步配置为基于另外的图像数据来确定距离信息，并向处理装置提供该距离信息。因为有这种配置的3D照相机，可基于另外的图像数据来识别对象的存在以及它们各自相对于图像平面的距离。例如，3D照相机装置可向处理装置提供对象列表，该对象列表包括与对象位置和距离相关的信息。

3D照相机装置可配置为向处理装置提供与表示至少部分对象的另外的图像数据的部分相关的信息，该处理装置继而可配置为基于与该另外的图像数据的部分相关的信息来选择图像数据的部分。用这样的方式，可基于从另外的图像数据所获得的对象位置信息来选择要重新采样的图像数据的部分。

该设备可进一步包括连接到处理装置输入端并且配置为捕获图像的2D照相机。该2D照相机可包括CCD照相机或者CMOS照相机。

处理装置可配置为通过重新采样因子来对图像数据的部分进行重新采样，其中该重新采样因子是基于对象距离和参考距离之间的比较来确定的。基于对象距离和参考距离的比较，重新采样可包括向上采样或者向下采样。特别是，处理装置可配置为对图像数据的部分重新采样，由此经重新采样图像数据的像素对应于对象宽度，该对象宽度近似等于在位于离图像平面参考距离处的对象的图像数据中的每一个像素的宽度。用这样的方式，可重新调整在图像中对象表示的比例，以帮助图像的进一步评测。

该设备也可包括存储装置，在其上存储有关于表示多个对象类型的多个参考对象的参考数据。然后处理装置可连接到存储装置以获取参考数据并且可配置为基于该参考数据来分析经重新采样的图像数据，以将对象分类到多个对象类型中的一种中。可在离图像平面的距离近似等于参考距离的至少一个参考对象的图像基础上产生参考数据。由于同时基于对象距离和参考距离对图像数据的部分进行了重新采样，通过利用参考数据来分析经重新采样的图像数据，可减少由所成像对象中与距离相关的变化所带来的影响。

该设备可被包括在驾驶员辅助系统中。驾驶员辅助系统可进一步包括基于由该设备执行的图像评测的结果来提供至少一个光学、声音或者触觉输出信号的输出设备。驾驶员辅助系统可，例如，基于图像评测的结果来输出警报信号。此外或者可供选择的，驾驶员辅助系统可包括乘坐者和/或行人保护系统，其与该设备相连并且配置为基于该设备执行的图像评测的结果进行操控。例如，该保护系统可包括乘坐者安全气囊和行人安全气囊，当基于图像评测结果预测到要发生车辆碰撞时激活该乘坐者安全气囊，而在预测到要与行人发生碰撞时激活该行人安全气囊。

可以预料到，本发明的一个应用领域将会在车载驾驶员辅助系统中。然而，本发明的不同实施例并不局限于这种特定的应用并且可在不同的领域中找到应用，比如对在与安全相关的应用中所捕获的图像进行评测，例如公共场所的监视。

附图说明

通过参考附图，根据以下对优选的或者有效的实施例的详细说明，将可以更容易地理解本发明的额外特征和优点，其中：

图1显示了驾驶员辅助系统的示意性框图，其包括根据本发明实施例的用于评测图像的装置。

图2是表示根据本发明实施例的方法的流程图。

图3是表示根据本发明另一个实施例的方法的流程图。

图4(a)是二维图像的示意性表示，并且图4(b)示意性地说明了对图4(a)图像的部分的重新采样。

图5是显示了道路分段的示意性俯视图，将对其进行参考来说明根据本发明实施例的方法。

图6示意性地显示了图5的道路分段的二维图像。

图7示意性地显示了图5的道路分段的三维图像。

图8(a)、图8(b)以及图8(c)示意性地显示了图6的二维图像的被重新采样的部分。

图9是表示根据本发明另一个实施例的方法的流程图。

图10显示了驾驶员辅助系统的示意性框图，其包括根据本发明另一个实施例的用于评测图像的装置。

图11是表示了根据本发明另一个实施例的方法的流程图。

具体实施方式

在下文中，将参考附图来说明本发明示范性的实施例。可以理解，所给出的以下说明仅仅是为了更好地说明本发明，而并不包括限制的意义。还可以理解，除非具体地指出，否则如下所述的不同实施例的特征可彼此结合。

图1是表示驾驶员辅助系统1的示意性框图，其包括根据实施例的用于评测图像的设备2以及辅助装置12。设备2包括处理装置3，其具有用于接收表示了将要被评测的图像的图像数据的输入端4，以及用于接收关于对象相对于图像平面的距离的距离信息的另外的输入端5。处理装置3还与存储装置10相连，在存储装置10上存储了用于对象分类的参考数据。

处理装置3的输入端4连接到2D照相机6，其捕获图像并将表示该图像的图像数据提供给处理装置3。该2D照相机6可配置为，例如，CMOS或者CCD照相机，并且可包括附加电路以在向处理装置3输出图像数据之前对其进行处理。例如，在将该图像数据输出到处理装置3之前可对其过滤或者适当地编码。

处理装置3另外的输入端5连接到3D照相机装置7，其包括3D照相机8和与该3D照相机8相连的对象识别装置9。该3D照相机8捕获表示三维图像的另外的图像数据，该另外的图像数据包括了多个观察方向上的深度信息，即关于沿着多个观察方向其中的一个的视线所定位的最接近障碍物的距离信息。对象识别装置9从3D照相机8接收表示三维图像的另外的图像数据，并且基于深度信息确定在该3D照相机8的视野之内对象的侧向位置以及它们各自的距离。对象识别装置9可被配置为执行分割算法，在该算法中将与3D照相机相距的距离相差不大的相邻像素指定为属于一个对象。可将额外的逻辑功能结合到对象识别装置9中。例如，若在图像数据中仅需识别车辆，则只有形状类似于长方形或者梯形的另外的图像数据中的像素区域才可能被识别，以便当评测图像数据时不考虑具有的形状不是车辆通常具有的形状的对象。该对象识别装置9可识别在另外的图像数据中所感兴趣的所有对象的侧向位置，即，对象所处区域的坐标，并且可确定各个对象相对于3D照相机8的距离。然后将该数据提供给处理装置3，该数据在下面也被称为“对象列表”。

对2D照相机6和3D照相机装置7的3D照相机8进行布置和配置，以便2D照相机6的视野与3D照相机8的视野有所重叠。在一个实施例中，视野的范围基本上重合。为简单起见，假定2D照相机6和3D照相机8设置为彼此足够接近，使得对于各个对象与2D照相机6的图像平面相距的距离，3D照相机捕获的深度信息也提供了较好的近似值。将理解为，在其它的实施例中，2D照相机6和3D照相机8也可设置为彼此远离，在这种情况下当3D照相机8相对于2D照相机6的位置是已知的时候，对象相对于2D照相机6的图像平面的距离可从3D照相机8所捕获的深度信息中导出。

处理装置3接收来自3D照相机装置7的对象列表，其包括了在由2D照相机6所捕获的图像中表示的至少一个对象(通常为多个对象)的距离信息。如同在下面将要参考图2和3进行更详细说明的那样，处理装置3基于由图像数据所表示的对象的距离信息并且基于预先确定的参考距离对至少一部分图像数据重新采样，以产生经重新采样的图像数据，然后对其进行进一步的评测。

装置2通过总线11与辅助装置12相连，以向辅助装置12提供图像评测的结果。该辅助装置12包括控制装置13，和报警装置14，以及与控制装置13相连的乘坐者和/或行人保护装置15。基于通过总线11从装置2所接收的信号，控制装置13启动报警装置14和保护装置15中的一个或者全部。

图2是表示可由设备2的处理装置3执行的方法20的流程图。在21，获取表示图像的图像数据。可直接从例如2D照相机6的照相机或者从存储介质获取图像数据。在22，获取关于对象离图像平面的距离的距离信息。该距离信息可能是单个数字值，但是也可能是任何其它适合的形式，例如对象列表的形式，该对象列表包括关于一个或者多个对象的侧向位置和距离的信息。在23，选择要重新采样的图像数据部分。可以以多种方式来选择要重新采样的图像数据的一部分。如果从表示三维图像的另外的图像数据获得了距离信息，则步骤23可包括识别对应于一部分另外的(三维)图像数据的一部分图像数据，从而将该图像数据和另外的图像教据相匹配，该另外的图像数据表示至少部分的对象。在24，同时基于距离信息和预先确定的参考距离对在23所选择的部分进行重新采样。在一个实施例中，同时基于距离信息和参考距离选择重新采样因子。如同下面将要参考图4进行更详细说明的，可选择重新采样因子以便，在重新采样的图像数据中，使像素对应于成像对象的宽度，该成像对象的宽度近似等于在对象与图像平面相距参考距离时所成像的对象的每一个像素的宽度。以这种方式，可至少部分地考虑到受到相对于图像平面的距离改变影响的对象尺寸变化。在25，可进一步分析重新采样的图像数据。

为了简单的关系，上面已经参考实例说明了方法20，在该实例中仅仅由图像数据表示一个感兴趣的对象。当多个感兴趣的对象在图像中是可见的时候，可对每个对象，或者对象的子集执行步骤22-25，这些对象或对象子集可根据感兴趣的对象类型来选择，例如通过丢弃不具有大致为长方形或者梯形的轮廓的对象。将理解在22所获取的距离信息对于不同的对象可能有所变化，而且在24处执行的重新采样可根据相对于图像平面不同的距离相应地有所变化。当图像数据表示若干对象时，可对所有对象连续地执行步骤22-25，或者先对每个对象执行步骤22，随后对每个对象执行步骤23，及其他步骤。

在步骤25对重新采样的图像数据进行进一步分析，例如，包括将重新采样的图像数据与参考数据相比较以对对象进行分类。重新采样的图像数据的进一步分析也可包括利用重新采样的图像数据来，例如，建立成像对象的数据库，以训练图像识别算法，或者类似的东西。

在一个实施例中，在步骤25的分析包括对对象进行分类，即，将对象分配到多个对象类型或者分类中的一个中。参考图1，装置2包括存储装置10，其用于存储要进行检索以对对象进行分类的参考数据。该参考数据包括关于多个不同对象类型的信息，不同的对象类型是从包括了小汽车、卡车、摩托车、行人、交通标志或者类似物的分组中选出的。对于这些对象类型中的任何一个，当对象位于离2D照相机6图像平面的距离近似等于预先确定的参考距离时，通过捕获具有这个对象类型(例如小汽车)的对象图像来产生参考数据。以这种方式，该参考数据适合于识别以下这种对象的图像，这种对象的图像和参考对象的图像具有近乎一样的大小，该参考对象位于距离图像平面预先确定的参考距离处。

根据在步骤25中分析步骤的具体实现方式，存储在存储装置10中的参考数据可具有不同的形式。例如，在25的分析步骤可基于学习算法，该算法通过训练来识别特定的对象类型。在这种情况下，参考数据可以是一组参数，其控制学习算法的运算并且已经被训练来使用位于与图像平面相距参考距离处的参考对象的图像。在另一个实施例中，在25进行的分析可包括确定由重新采样的图像数据所表示的对象是否具有特定的几何特性、色彩、彩色图案，或者大小，这些都可由参考数据来指定。在另一个实施例中，在25进行的分析可包括重新采样图像数据与不同对象类型的参考对象的多个图像之间的比特-方式(bit-wise)的比较，其中参考对象的图像是在参考对象位于接近于与图像平面相距参考距离处时获取的。

可以以任何适合的方式获得在22获取的距离信息，基于该距离信息在24对图像的一部分重新采样。在图1的设备中，通过捕获和评测包括了深度信息的三维图像来获得距离信息。因此，设备2基于2D照相机6和3D照相机装置7的传感器融合(sensor fusion)对由2D照相机6捕获的图像进行评测。

图3是表示可由设备2执行的方法30的流程图说明。在31，捕获二维图像，该二维图像由图像数据来表示。在32，捕获三维图像，其由另外的图像数据来表示。在33，评测该另外的图像数据以识别另外的图像数据的多个部分，即，在三维图像中的区域，其分别表示图像从而产生对象列表，该对象列表分别包括关于对象距离的距离信息。可利用分割算法基于深度信息来产生对象列表，同时可有选择地基于对象的对称性或者大小采用额外的逻辑函数。可从三维图像的深度信息推断出距离信息。在31进行的二维图像的捕获以及在32进行的三维图像的捕获可同时执行或者两个动作之间有一定延迟地连续执行，该时间延迟足够短以便在二维图像和三维图像中成像的对象的动作保持较小。

在34，基于另外的图像数据来选择一部分图像数据。在33产生的对象列表包括了表示对象的另外的图像数据中的关于像素或者像素区域的信息。通过识别与在由对象列表所指定的另外的图像数据中的像素或者像素区域相对应的图像数据中的像素来选择图像数据部分。如果二维图像和三维图像具有同样的分辨率和同样的视野，则在图像数据中的像素和在另外的图像数据中的像素之间存在一对一的对应。然而，如果三维图像的分辨率比二维图像低，那么图像数据的若干像素对应于另外的图像数据的一个像素。

如同参考上面方法20的步骤24已经说明的，在35，基于在对象列表中所包括的距离信息和预先确定的参考距离，对在23已经选择的图像数据部分重新采样，以产生重新采样的图像数据。在36，对重新采样的图像数据进行分析以对由重新采样的图像数据部分表示的对象进行分类。

当在另外的图像数据中识别了具有离图像平面不同距离处的几个对象的时候，基于各自的距离信息以及预先确定的参考距离，对表示多个对象中的一个对象的图像数据的每一部分进行重新采样。

如同接下来将要参考图4进行说明的，通过重新采样表示多个对象中的一个对象的部分图像数据，可至少部分地将受到距离变化影响的对象图像的尺寸变化考虑在对图像的评测中。图4(a)用示意图说明了显示道路41的二维图像40。由42示意地表示地平线。四个对象43-46，例如，车辆，位于道路上与图像平面相距四个不同的距离处，并且对象图像的大小相应地变化。在参考对象上进行学习算法的训练，该参考对象与图像平面的距离近似等于对象44与图像平面的距离，其中参考对象与图像平面之间的距离定义为参考距离，该学习算法可在对象44的对象分类中提供较好的结果，但是由于距离导致的大小差异，可能会导致学习算法在对象43、45和46的分类中出现较差的结果。

如同在图4(b)中示意性地说明，通过向下采样(downsample)表示对象43的图像40的一部分，产生了重新采样的图像数据53，其在大小上与表示对象44的图像40的那部分相当，表示对象44的图像40的一部分在图4(b)中示意性地表示为54。类似的，通过向上采样(upsample)表示对象45和46的图像40的各部分，产生重新采样的图像数据55和56，其在大小上与表示对象44的图像40的那部分相当。这样，通过基于对象相对于图像平面的距离和参考距离来适当地向下采样或者向上采样图像数据的一部分，可产生重新采样的图像数据，在该重新采样的图像数据中，一个像素对应于对象宽度，该对象宽度近似地等于在对象位于离图像平面预先确定的参考距离处时由原始图像所表示的一个对象。因此，倘若对象离图像平面的距离并没有大到使得对象仅仅由原始图像数据的几个像素来表示，则即使当对象在离图像平面不同的距离处成像时，在重新采样的图像数据中对象可具有按像素计量的近似相等的大小。从而，如在图4(b)中示意性显示的，可将对象虚拟地转移到相同的对象平面上，其中所有对象53-56是虚拟地位于离图像平面参考距离处。因为重新采样的图像数据不必与图像数据的剩余部分相结合以形成新的图像，但是可单独地进行评测，所以将理解图4(b)仅仅是示意性的。

接着将参考图5-8，更详细地说明对基于三维图像表示对象的图像数据的部分进行的重新采样。

图5是道路的示意性俯视图60，该道路具有由车道划线标识64和65所划定的三条车道61-63。车辆66位于中央车道62上，在该车辆上设置了如同在图1所显示的设备2一样配置的设备67。设备67至少包括3D照相机和具有图像平面71的2D照相机。其它三个车辆68-70位于车辆66的后方，分别位于与车辆66相距不同的三个距离处d_A、d_B和d_C。将距离d_A、d_B和d_C分别定义为在图像平面71和对象平面72-74之间的距离，对象平面72-74相应于车辆68-70的最前端部分。图像平面71和关于车辆69的对象平面73之间的距离d_B等于参考距离d_ref，即，车辆69离图像平面的距离等于参考距离。

图6是使用设备67的2D照相机所捕获的图像数据80的示意性表示。该图像数据具有表示车辆68的图像82的部分81，表示车辆69的图像84的部分83，和表示车辆70的图像86的部分85。由于2D照相机有限的像素分辨率，仅仅示意性地显示了图像数据的像素。表示车辆68-70的图像82、84和86的尺寸随着车辆离图像平面的距离的增加而变小。车辆图像的尺寸随着车辆离图像平面的距离变化而变化，其取决于设备67的2D照相机的特定光学特性。为了说明，假定车辆图像82、84和86的尺寸近似地与分别离图像平面71的距离d_A、d_B和d_C成反比。在示范性的图像数据中，可以在车辆69的图像84中识别车辆69的特征要素，比如梯级的外在形状91、前灯92、车号牌93和轮胎94，其中该车辆69位于与图像平面相距参考距离处。在表示车辆68的图像82中所有的这些特征也是可见的。然而，由于它较小的尺寸和图像数据80有限的像素分辨率，不是所有的这些特征都能在表示车辆70的图像86中识别出来的。例如，梯级的外在形状和车号牌不能由图像86表示出来。由于有限的像素分辨率，比如前灯95和轮胎96的其它特征也变形了。

图7是使用设备67的3D照相机所捕获的图像数据110的另外的图像数据的示意性表示。该图像数据具有表示车辆68的图像112的部分111，表示车辆69的图像114的部分113，和表示车辆70的图像116的部分115。示意性地显示了由于3D照相机有限的分辨率产生的图像数据的像素。在所说明的例子中，3D照相机的像素分辨率低于2D照相机的像素分辨率，三维图像的一个像素相当于二维图像的四个像素的四倍。此外，在所说明的例子中，2D照相机的视野和3D照相机的视野相同。另外的图像数据包括深度信息，即，与在多个观察方向上的障碍物的距离相关的信息。在图7中不同的深度由不同的图案来示意性地显示。例如，在车辆68的图像112中，表示车辆68的客舱和轮胎的部分121和122相对于3D照相机的距离，大于表示车辆68引擎盖的部分123的距离。尽管在车辆68的整个图像111中的距离值存在变化，但只要距离的变化位于车辆的特征长度尺度之内，分割算法就仍能够将另外的图像数据的部分111指定到一个车辆。类似的，尽管表示客舱和引擎盖的部分124和125，分别与车辆69的图像114中的图像平面相距不同的距离，仍可再一次将另外的图像数据的部分113分配给一个车辆。与图像112相比，如同由图像114的不同图案示意性显示的，另外的图像数据的深度信息表示车辆69位于比车辆68更远的地方。类似的，部分116的像素值指示了由图像116表示的车辆70位于比车辆69更远的地方。

基于另外的图像数据110，分割算法识别了部分111、113和115，并且将它们分配给对象列表中不同的对象。对每个对象，将距离值确定为，例如，分别在图像112、114和116其中一个图像的最小距离值，或者在各个图像中的距离值的加权平均值。

将理解为，虽然为了清楚起见没有在图7中显示，但该另外的图像数据将包括指示除了车辆68-70之外的对象的深度信息，例如，指示车辆所位于的道路、在道路或者类似物两侧的树的深度信息。基于例如车辆的特征形状或者基于车辆通常包括垂直延伸部分的事实，可以将这种背景信号与指示车辆的信号中区分开，其中车辆的垂直延伸部分在几个相邻像素中产生相当的距离值。

接着基于在另外的图像数据110中的部分111、113和115的侧向位置，对图6的图像数据80中的相应部分进行重新采样。重新采样包括，对另外的图像数据的部分111、113和115中的每一个像素，识别在图像数据80中的相应的像素，从而确定将要重新采样的图像数据80的部分。在所说明的例子中，图像数据的这些部分，分别地，与部分81、83和85相对应。为图像数据这些部分中的每一部分，确定是否对该部分进行重新采样。如果要对该部分进行重新采样，则基于各自对象的距离和预先确定的参考距离来确定重新采样因子。

在一个实施例中，当对象的所在之处离图像平面的距离d大于预先确定的参考距离dref时，对表示对象的图像数据部分进行向上采样，向上采样因子是

s_fup＝d/d_ref，(1)

而当对象所在之处离图像平面的距离d小于预先确定的参考距离dref时，对该图像数据部分进行向下采样，向下采样因子是

sf_down＝d_ref/d。(2)

在一个实施例中，为了确定向上采样因子或者向下采样因子，可用有理数来近似公式(1)和(2)右侧的分值，其中该有理数在分子和分母处分别不具有太大的数值，或者可用整数来近似右侧的分值。

在其它的实施例中，可以以其他方式来分别确定向上采样因子sf_up和向下采样因子sf_down。例如，可将2D照相机的焦距考虑进来以模拟图像尺寸随着对象距离的变化，并且可通过将相对离图像平面参考距离处的对象所获得的以像素为单位的图像尺寸除以相对实际对象距离所获得的以像素为单位的图像尺寸来确定重新采样因子。

返回图5-7的例子，用因子sf_down＝d_ref/d_A＝2来对图像数据80的部分81进行向下采样，同时用因子sf_up＝d_c/d_ref＝2来对图像数据80的部分85进行向上采样。用整数向上采样因子n对图像数据的部分进行向上采样可通过，首先将部分中的每一行复制n-1次以产生中间图像，然后将中间图像的每一列复制n-1次来实现。相似的，用整数向下采样因子n进行向下采样可通过，仅仅保留该部分的每第n行以产生中间图像，然后仅仅保留中间图像的每第n列以产生重新采样的图像数据来实现。用分数采样因子sf＝p/q进行的向上采样可通过，利用采样因子p进行向上采样并且，随后利用采样因子q进行向下采样来实现，其中p和q是整数。可以相应的方式来实现利用分数采样因子所进行的向下采样。

图8示意性地说明了通过对图像数据80的部分81和85进行重新采样而获得的经重新采样的图像数据。图8(a)显示了通过利用sf_down＝2对图像数据部分81进行向下采样所获得的经重新采样的图像数据131。由此产生的图像132以与位于参考距离处车辆69的图像84近似相同的细节水平显示了车辆68，并且图像132的尺寸与图像84近似相同。如上所述，通过从部分81中除去每隔一个的像素行和每隔一个的像素列来获得经重新采样的图像数据131。例如，在将列中的每隔一个的像素移除后，经重新采样的图像数据131的列141对应于部分81的列101。

图8(c)显示了通过利用sf_up＝2对图像数据的部分85进行向上采样所获得的经重新采样的图像数据135。在经向上采样的图像数据中，部分85的每个像素已经被复制到两倍的两个像素(two times tow pixels)上。例如，通过将部分85的列105的每个像素都复制到垂直相邻的像素上来产生经重新采样的图像数据135的列142，并且列143是列142的副本。相似的，经重新采样的图像数据的列144和145是从部分85的列106获得的。尽管车辆70由此产生的图像136与原始图像数据中的图像86相比不包括额外的细节，但车辆图像136总的尺寸和具体特征，比如前灯146和轮胎147，变得可与位于相对于图像平面参考距离处的车辆69的图像84的总的尺寸和具体特征相比较。

图8(b)显示了车辆69的图像84。不需要对部分83进行重新采样，因为车辆69位于参考距离处。

如同从图8(a)和8(c)所能看见的，通过对图像数据的部分进行重新采样，可将车辆68和70的图像132和136按比例缩放成，使得车辆被虚拟地转移到离图像平面参考距离处。通过重新采样，对图像数据进一步的分析或者评测变得更为方便，其中对图像数据进一步的分析或者评测依赖于在车辆位于参考距离处时所捕获的参考数据。例如，当已经在车辆图像84上训练了用于图像识别的学习算法时，对该学习算法来说，正确地识别图像数据中的图像82和86则比较困难，尽管可更容易地将经重新采样的图像数据中的图像132和136分类为车辆。

除上面描述的方法之外也可以用其他方法执行对图像数据部分的向上采样和向下采样。例如，在向下采样中，可采用过滤器(filter)，其模拟车辆位于更加远离图像平面处时所变换的分辨率。从而，可以更加精确地控制在经重新采样的图像数据中仍可以识别的细节水平。也可通过使用插值函数来在添加更多像素时插入，例如，像素色值，以执行向上采样。也可通过捕获要进行向上采样的部分所位于的视野中的图像来执行向上采样，即，通过使用2D照相机俘获新的，更高分辨率的图像将该视野放大。

图9是表示方法150的流程图，该方法150可由图1的设备2或者图5的设备67执行。在方法150中，在151-153执行对二维和三维图像的捕获并且基于该三维图像产生对象列表。可如上面参考图3已经说明的那样实现这些步骤。

在154，从对象列表中选取对象，并获取对象相对于图像平面的距离。在155，表示二维图像的图像数据部分被确定为包括对象的至少一部分。在155进行的确定也可包括匹配二维和三维图像，例如，通过将三维图像的像素映射到二维图像的相应像素上。

在156，比较从对象列表中获取的距离d与参考距离d_ref。如果d小于或者等于d_ref，则在157，利用向上采样因子sf_up对图像数据部分进行向上采样，其中向上采样因子sf_up可例如通过参考上面公式(1)所说明的那样来确定。如果d大于d_ref，则在156，利用向下采样因子sf_down对图像数据部分进行向下采样，其中向下采样因子sf_down可例如通过如以上参考公式(2)所说明的那样来确定。

在159，接着基于该经重新采样的图像数据将对象分类。可如同参考图3中的步骤36所说明的来执行对象分类。

在160，从对象列表中选出新的对象并获取其距离信息，然后重复步骤155-159。

可以规则的时间间隔重复方法150。例如，当设备2装配于车辆之上时，可每秒重复该方法150若干次地，以类似连续不断的方式对车辆的周围进行监控。

将理解，在图1中显示的用于评测图像的设备2的结构仅仅是示范性的，并且在其它实施例中可以其它不同的结构来实现。

图10是表示驾驶员辅助系统171的示意性框图，其包括辅助装置12和根据另一个实施例用于评测图像的设备172。可如同以上参考图1所描述的来配置该辅助装置12，其通过总线181连接到设备172。

设备172包括处理装置173，其具有用于接收表示将要进行评测图像的图像数据的输入端174以及用于接收关于对象距离的距离信息的另外的输入端175，该对象由与图像平面相关的图像来表示。处理装置173进一步连接到存储装置180，在该存储装置上存储了用于对象分类的参考数据。

设备172进一步包括三维照相装置176，其包括例如立体照相机的3D照相机177、对象识别装置179以及图像处理器178。对象识别装置179连接到3D照相机177，以识别在3D照相机177所拍摄的三维图像中的对象，例如，在由立体照相机所拍摄的两个图像中的对象，以及对象相对于3D照相机177的图像平面的位置，并且在输入端175处将这种信息提供给处理装置173。图像处理器178连接到3D照相机177，以基于由3D照相机177所拍摄的三维图像来产生表示二维图像的图像数据。例如，当3D照相机是立体照相机时，图像处理器178可通过将由立体照相机所捕获的两个图像的数据合并来产生二维图像，或者二维图像可设置为与由立体照相机所捕获的两个图像中的一个相同。在输入端174将表示二维图像的图像数据提供给处理装置173。

处理装置173在输入端175接收距离信息并且在输入端174接收图像数据，然后基于该距离信息和预先确定的参考距离来对图像数据的一部分进行重新采样。处理装置173可根据以上参考图2-9所说明的任何一个方法来进行操作。

图11是表示方法190的流程图，该方法可由图10的设备171执行。在191，捕获由三维图像数据表示的三维图像。在192，基于三维图像数据产生包括了由图像所表示的对象的距离信息的对象列表。在193，基于三维图像产生表示二维图像的图像数据。在194，基于对象列表，即，基于对三维图像数据的分析来选择图像数据的一部分。在195，基于距离信息和预先确定的参考距离来重新采样图像数据的至少一部分从而产生经重新采样的图像数据。在196，通过例如执行对象分类来对经重新采样的图像数据进行评测。

应理解，以上对实施例的说明是说明性的而非限制的，并且在其它的实施例中可实施不同的修改。例如，尽管设备2的对象识别装置9以及设备172的对象识别装置179已经被显示为分别包括在三维照相装置7和176中，但该对象识别装置也可分别与处理装置3和173一起一体化形成。即，对象列表由处理装置产生。

也可理解，不同的物理实体，比如2D照相机、3D照相机、处理装置、对象识别装置，和设备的存储装置可由任何适合的硬件、软件或者其组合来实现。例如，2D照相机可为CMOS照相机、CCD照相机，或者任何其它的照相机或者提供图像数据的光学部件的组合。相似的，3D照相机可配置为PMD照相机、立体照相机，或者任何其它的适于捕获深度信息的装置。处理装置可为专用电路或者适于编程的通用处理器。

此外，在图1和10中所显示的或者上面所说明的任何其它实施例中的设备装置的不同组件，可以一体化形成或者可以组合到一起以形成适于预期应用程序的设备。例如，在一个示范性的实施例中，图1的处理装置3和存储装置10可包括在驾驶员辅助系统12中，或者图10的处理装置173和存储装置180可包括在驾驶员辅助系统12中。但是此外，对象识别装置9也可包括在驾驶员辅助装置12中。处理装置3、173可与驾驶员辅助装置12的控制单元13或处理器一起一体化形成，即，在驾驶员辅助装置12中设置的一个处理器可同时控制警告和/或保护装置14、15的操作，并且可根据任何一个实施例执行用于评测图像的方法。但是此外，驾驶员辅助装置的对象识别装置、处理装置和控制装置可一体化地形成。将理解，在其它的实施例中可实施其它的修改，在这些实施例中可以任何其它适合的办法设置和互连不同的组件。

尽管已经参考了在驾驶员辅助系统中的应用来描述了本发明的实施例，但本发明不局限于这种应用并且可容易地被用于任何对图像进行评测的应用上。例如，本发明的实施例也可用于公共场所的监视，或者用于生物学、医学或其它科学应用的图像分析。

Claims (40)

1、一种评测图像的方法，包括以下步骤:

获取表示所述图像的图像数据(40；80)，

获取对象(43-46；68-70)相对于所述图像的图像平面(71)的距离(d_A，d_B，d_C)的距离信息，所述对象(43-46；68-70)的至少一部分是由所述图像数据(40；80)来表示的，以及

基于所述距离信息和预先确定的参考距离(d_ref)对所述图像数据(40；80)的至少一部分(43，45，46；81，85)进行重新采样，以产生经重新采样的图像数据(53，55，56；131，135)，要进行重新采样的所述图像数据(40；80)的所述部分(43，45，46；81，85)表示所述对象的至少一部分(43，45，46；68，70)。

2、如权利要求1所述的方法，其中通过重新采样因子来对所述图像数据(40；80)的所述部分重新采样，该重新采样因子是基于所述对象(43，45，46；68，70)的所述距离(d_A，d_B，d_C)与所述参考距离(d_ref)之间的比较来确定的。

3、如权利要求1或2所述的方法，其中当所述对象(45，46；70)的所述距离(d_C)超过预先确定的阈值时，对所述图像数据(40；80)的所述部分向上采样，该预先确定的阈值大于或者等于所述参考距离(d_ref)。

4、如前面的权利要求中任一项所述的方法，其中当所述对象(43；68)的所述距离(d_A)小于另外的预先确定的阈值时，对所述图像数据(40；80)的所述部分向下采样，该另外的预先确定的阈值小于或者等于所述参考距离(d_ref)。

5、如前面的权利要求中任一项所述的方法，其中所述经重新采样的图像数据(53，55，56；131，135)的像素对应于对象宽度，该对象宽度近似等于对象(44；69)的所述图像数据(40；80)中的每一个像素的宽度，该对象(44；69)位于与所述图像平面(71)相距所述参考距离(d_ref)处。

6、如前面的权利要求中任一项所述的方法，包括以下步骤:

获得另外的图像数据(110)，其表示三维图像并且包括深度信息，所述三维图像的视野与所述图像的视野相重叠。

7、如权利要求6所述的方法，包括以下步骤:

基于所述深度信息来识别所述另外的图像数据(110)的一部分(111，113，115)，该另外的图像数据(110)的一部分(111，113，115)表示所述对象的至少一部分(68-70)。

8、如权利要求7所述的方法，包括以下步骤:

基于所述另外的图像数据(110)的被识别的部分(111，113，115)来选择要被重新采样的所述图像数据(40；80)的所述部分(43，45，46；81，85)。

9、如权利要求8所述的方法，其中选择所述图像数据(40；80)的所述部分(43，45，46；81，85)的所述步骤包括:识别所述图像数据(40；80)的至少一个像素，该至少一个像素对应于由所述另外的图像数据(110)的所述部分(111，113，115)所包括的所述另外的图像数据(110)的像素。

10、如权利要求6至9中任一项所述的方法，包括以下步骤:

基于所述另外的图像数据(110)确定所述距离信息。

11、如权利要求6至10中任一项所述方法，包括以下步骤:

利用PMD(光混合器装置)照相机(8)或者立体照相机(177)来捕获所述三维图像。

12、如前面的权利要求中任一项所述的方法，包括以下步骤:

利用2D照相机(6；177，178)捕获所述图像。

13、如前面的权利要求中任一项所述的方法，包括以下步骤:

在表示多个对象类型的多个参考对象上获取参考数据，以及

基于所述参考数据分析所述经重新采样的图像数据(53，55，56；131，135)，以将所述对象分类到所述多个对象类型中的一个对象类型中。

14、如权利要求13所述的方法，其中所述的多个对象类型是从包括小汽车、卡车、摩托车、交通标志和行人的分组中选出的。

15、如权利要求13或14所述的方法，其中在离所述图像平面(71)的距离近似等于所述参考距离(d_ref)处的所述参考对象中的至少一个参考对象的图像的基础上，产生所述参考数据。

16、如权利要求13至15中任一项所述的方法，其中对由所述图像数据(40；80)所表示的多个对象(43，45，46；68，70)中的每一个对象分别执行获取距离信息、重新采样和分析的所述步骤。

17、如权利要求13至16中任一项所述的方法，包括以下步骤:将所述分析步骤的结果提供给驾驶员辅助装置(12)。

18、一种数据存储介质，具有存储在其上的指令，当由电子计算装置(2；172)的处理器(3；173)执行该指令时，指导该计算装置(2；172)执行前面权利要求中的任意一个权利要求所述的方法。

19、一种用于评测图像的设备，包括

处理装置(3；173)，其具有输入端(4；174)以及另外的输入端(5；175)，其中输入端(4；174)用于接收表示所述图像的图像数据(40；80)，另外的输入端(5；175)用于接收对象(43-46；68-70)相对于所述图像的图像平面(71)的距离(d_A，d_B，d_C)的距离信息，所述对象(43-46；68-70)的至少一部分是由所述图像表示的，

其中所述处理装置(3；173)配置为同时基于所述距离信息和预先确定的参考距离(d_ref)对所述图像数据(40；80)的至少一部分(43，45，46；81，85)进行重新采样，以产生经重新采样的图像数据(53，55，56；131，135)，要进行重新采样的所述图像数据(40；80)的所述部分表示所述对象的至少一部分(43，45，46；68，70)。

20、如权利要求19所述的设备，包括连接到所述另外的输入端的3D照相机装置(7；176)，所述3D照相机装置(7；176)配置为捕获另外的图像数据(110)，该另外的图像数据(110)表示三维图像并且包括深度信息，所述三维图像的视野与所述图像的视野相重叠。

21、如权利要求20的设备，其中所述3D照相机装置(7；176)包括PMD(光混合器装置)照相机(8)或者立体照相机(177)。

22、如权利要求20或者21所述的设备，其中所述3D照相机装置(7；176)包括对象识别装置(9；179)，该对象识别装置(9；179)配置为基于所述另外的图像数据(110)来识别对象(43-46；68-70)以及它们各自的距离(d_A，d_B，d_C)。

23、如权利要求22所述的设备，其中所述对象识别装置(9；179)配置为基于所述另外的图像数据(110)确定所述距离信息，并且将所述距离信息提供给所述处理装置(3；173)。

24、如权利要求20至23中的任一项所述的设备，其中所述3D照相机装置(7；176)配置为向所述处理装置(3；173)提供关于所述另外的图像数据(110)的一部分(111，113，115)的信息，该另外的图像数据(110)的一部分(111，113，115)表示所述对象的至少一部分。

25、如权利要求24所述的设备，其中所述处理装置(3；173)配置为基于所述另外的图像数据(110)的所述部分(111，113，115)的所述信息来选择所述图像数据(40；80)的所述部分(43，45，46；81，85)。

26、如权利要求19至25中任一项所述的设备，包括连接到所述处理装置(3；173)的所述输入端的2D照相机(6；177，178)，并且该2D照相机(6；177，178)配置为捕获所述图像。

27、如权利要求26所述的设备，其中所述2D照相机(6)包括CCD照相机或者CMOS照相机。

28、如权利要求19至27中任一项所述的设备，其中所述处理装置(3；173)配置为通过重新采样因子来对所述图像数据(40；80)的所述部分(43，45，46；81，85)重新采样，该重新采样因子是基于所述对象的所述距离(d_A，d_B，d_C)与所述参考距离(d_ref)之间的比较来确定的。

29、如权利要求19至28中任一项所述的设备，其中所述处理装置(3；173)配置为在所述对象(45，46；70)的所述距离(d_C)超过预先确定的阈值时对所述图像数据(40；80)的所述部分(45，46；85)向上采样，该预先确定的阈值大于或者等于所述参考距离(d_ref)，并且所述处理装置(3；173)在所述对象(43；68)的所述距离(d_A)小于另外的预先确定的阈值时对所述图像数据(40；80)的所述部分(46；81)向下采样，该另外的预先确定的阈值小于或者等于所述参考距离(d_ref)。

30、如权利要求19至29中任一项所述的设备，其中所述处理装置(3；173)配置为对所述图像数据(40；80)的所述部分(43，45，46；81，85)重新采样，使得所述经重新采样的图像数据(53，55，56；131，135)的像素对应于对象宽度，该对象宽度近似等于对象(44；69)的图像数据(40；80)中的每一个像素的宽度，所述对象(44；69)位于与所述图像平面(71)相距所述参考距离(d_ref)处。

31、如权利要求19至30中任一项所述的设备，包括:

其上存储有参考数据的存储装置(10；180)，该参考数据是关于表示多个对象类型的多个参考对象的参考数据，所述处理装置(3；173)连接到所述存储装置(10；180)以获取所述参考数据，并且配置为基于所述参考数据分析所述经重新采样的图像数据(53，55，56；131，135)，以将所述对象(43-46；68-70)分类到所述多个对象类型中的一个对象类型中。

32、如权利要求31所述的设备，其中所述的多个对象类型是从包括小汽车、卡车、摩托车、交通标志和行人的分组中选出的。

33、如权利要求31或者32所述的设备，其中在离所述图像平面(71)的距离近似等于所述参考距离(d_ref)处的所述参考对象中的至少一个参考对象的图像的基础上，产生所述参考数据。

34、一种驾驶员辅助系统，包括权利要求19至33中任一项所述的设备(2；172)。

35、如权利要求34所述的驾驶员辅助系统，包括输出单元(14)，该输出单元(14)基于由所述设备(2；172)执行的图像评测的结果来提供光学、声音或者触觉输出信号中的至少一个。

36、如权利要求34或者35所述的驾驶员辅助系统，包括被连接到所述设备(2；172)的乘坐者和/或行人保护系统(15)，该乘坐者和/或行人保护系统(15)被配置为基于所述设备(2；172)执行的图像评测的结果来进行操控。

37、一种评测图像的方法，包括

捕获图像，

捕获包括深度信息的三维图像，所述三维图像的视野与所述图像的视野相重叠，以及

基于所述三维图像对所述图像的至少一部分重新采样。

38、如权利要求37所述的方法，其中利用PMD(光混合器装置)照相机捕获所述三维图像。

39、一种用于评测图像的设备，包括

照相机装置，其配置为捕获图像，

3D照相机装置，其配置为捕获包括有深度信息的三维图像，所述三维图像的视野与所述图像的视野相重叠，以及

处理装置，其连接到所述照相机装置以从所述照相机装置接收表示所述图像的图像数据，并且连接到所述3D照相机装置以从所述3D照相机装置接收表示所述三维图像的另外的图像数据，该处理装置配置为基于所述另外的图像数据来重新采样所述图像数据的至少一部分。

40、如权利要求39的设备，其中所述3D照相机装置包括PMD(光混合器装置)照相机。

Images