CN109291931A - 识别车辆环境中的道路使用者的方法和装置 - Google Patents

Abstract

本公开涉及识别车辆环境中的道路使用者的方法和装置。该车辆包括拍摄车辆环境的图像的至少一个基于摄像机的传感器，其中该装置实施该方法以对图像进行处理。该方法包括在多个不同时间中的每一个时间拍摄位于车辆环境中的物体的图像，对在不同时间拍摄的图像执行图像分析，以及基于所执行的图像分析的结果来确定物体应被解释为道路使用者还是无生命实体。该装置实施控制自主驾驶系统的方法，以根据结果控制车辆移动。

Description

识别车辆环境中的道路使用者的方法和装置

技术领域

本公开涉及一种识别车辆环境中的道路使用者的方法和装置。

背景技术

随着自主驾驶系统的发展，这些系统的正确操作以便准确识别或确认其它道路使用者——特别是行人——变得越来越重要。例如，配备有自主驾驶系统并在市区移动的车辆必须识别横穿道路的行人，以便在行人距离车辆非常近时可以降低行驶速度或启动突然制动。

基于摄像机系统(例如激光雷达摄像机)识别物体或道路使用者的自主驾驶系统在现有技术中是公知的。考虑中的其它道路使用者可以是其它车辆、骑车者或行人。

DE 10 2013 020 435 A1尤其公开了一种在车辆环境中使用图像采集装置识别物体的方法，在该方法中，在第一步执行物体的粗略分类，并且在第二步基于至少一个附加物体特征执行精细分类。特别地，对于在粗略分类中被识别为行人的物体，基于行人的移动性执行精细分类，为此，检测并分析行人的移动以识别例如儿童、成人或老人。

关于进一步的现有技术，参考DE 10 2015 118 067 A1。

尽管各种已知方法使用基于摄像机的传感器来识别和确认行人，但实践中可能出现这样的问题：行人、动物或自行车可能被描绘在许多广告表面上(例如可以以广告牌的形式存在于卡车上或公共汽车站处)，导致传统的图像处理算法相应地被误导。例如，图像处理算法可能将在公共汽车站处的广告海报上描绘的行人错误地解释为打算过马路的真实行人。然后，基于这种图像处理算法的自主驾驶系统可以根据车辆速度和广告的位置使用相应的误评估作为启动突然制动或回避动作或者将车辆停在道路中间的原因。在这种情况下，相关车辆的行为对于车辆乘员来说是不可理解的并且对于其它道路使用者(特别是位于车辆后面的交通)是令人惊讶的，后者可能被迫在他们的位置上执行突然制动动作以避免碰撞。

发明内容

本公开的目的在于提供一种识别车辆环境中的道路使用者的方法和装置，其允许识别尽可能可靠，同时降低对环境的误解的风险。

根据本公开的识别车辆环境中的道路使用者的方法，该车辆包含至少一个拍摄车辆环境图像的基于摄像机的传感器，该方法包括以下步骤：

-在多个不同时间中的每一个时间拍摄位于车辆环境中的物体的图像；

-对在不同时间拍摄的图像执行图像分析；以及

-根据所进行的图像分析的结果对物体应被解释为道路使用者还是无生命实体做出决定。

根据一个实施例，在执行图像分析的步骤中，方法和装置确定在连续时间拍摄的物体的任何两个图像是否可以通过采用相似变换彼此互换。

在本申请的上下文中，相似变换被理解为意指由以下变换构成或包括以下变换的变换或几何变换：拉伸(即，通过缩放因子放大或缩小)、平移、旋转、映射或前述变换的任何组合。

本公开在此从以下方面出发：例如行人、骑车者或动物这样的“真正的”道路使用者执行复杂的运动序列，其在不同的情况下涉及身体的大多数部分——例如手臂、腿和头部。从图像处理的角度来看，具有复杂运动序列的“真实”道路使用者意味着真实的行人——有别于不随时间变化的行人图像——在显示或识别的图案中产生一定的变化，表明涉及真实的移动物体或生物。相反，尽管来自移动车辆的无生命实体的图像——例如在广告海报上——由于车辆运动而在每个车辆位置看起来可能非常不同，在这种情况下，如下所述，仍然存在对于真实行人不太可能的相似关系。

根据本公开，例如，特别是物体(例如行人)的图像可以在特定时间窗口上进行分析。尝试确定各个图像之间的相似变换或相似性关系。在相似变换中，装置或方法尤其可以确定物体(例如行人)的特定图像是否可以由较早拍摄的图像通过拉伸、平移、旋转和映射的组合来生成。如果是这种情况，则物体或行人可以借助于装置或方法分别归类为无生命实体或者非真实的行人(“伪”行人)。

在另一个实施例中，根据本公开的方法或装置还可以识别由摄像机产生的行人图像中的特定标记。特别地，这些标记可以是构成广告的典型特征的字母或徽标。在该过程中，还可以访问保存于云存储(Cloud memory)中的数据库，该数据库包括已知广告、徽标、广告中使用的字体等的集合，由此可以使根据本公开的数据处理更快更简单。另外，可以使用合适的图像处理算法，例如字符识别算法或物体识别算法。

根据一个实施例，在执行图像分析的步骤中，装置或方法检查在不同时间拍摄的图像是否显示出至少一个指示广告存在的特征。

根据一个实施例，借助于装置或方法通过访问至少一个数据库——特别是存储于云存储中的数据库——来执行在不同时间拍摄的图像的检查。

根据一个实施例，在不同时间拍摄的图像的检查包含运行至少一个字符识别算法或物体识别算法。

根据一个实施例，该方法还包含以下步骤：分析物体的红外特征，其中，装置在分析的红外特征的基础上另外做出关于物体是应被解释为道路使用者还是无生命实体的决定。

根据一个实施例，方法还包含分析在不同时间拍摄的图像的光谱，其中，借助于装置在分析的光谱基础上另外做出关于物体是应被解释为道路使用者还是无生命实体的决定。

根据一个实施例，确定相关物体应被解释为道路使用者还是无生命实体的结果被传送到自主驾驶系统，使得自主驾驶系统调整车辆控制以与结果相匹配。

本公开还涉及一种识别车辆环境中的道路使用者的装置，该车辆包括至少一个拍摄车辆环境图像的基于摄像机的传感器。该装置被配置为借助于实施该方法的控制逻辑来执行具有上述特征的方法。该装置可以是控制器或微处理器，以实施该方法并调整自主驾驶系统以与结果匹配。关于装置的优点和优选实施例可参考与根据本公开的方法相关的上述实施例。

附图说明

下面使用示例性实施例并参考附图对本公开进行更详细地解释，其中：

图1示出了用于在依据本公开的装置和车辆的部件之间通信的控制逻辑的框图；以及

图2示出了使用摄像机拍摄的车辆前方的交通环境的多个图像。

具体实施方式

根据需要，在此公开了本公开的详细实施例，然而，应当理解的是，公开的实施例仅仅是本公开的示例，其可以以各种替代形式实施。附图不一定是等比例的，一些附图可以被放大或缩小以显示特定组件的细节。因此，这里公开的具体结构和功能细节不应被解释为限制，而仅仅是作为用于教导本领域技术人员以各种方式使用本公开的典型依据。

图1示出了解释依据本公开的装置的设计以及车辆的部件和装置的模块的相关功能的框图。

根据图1，摄像机传感器11用于监控道路交通并且以特定速率将图像发送到根据本公开的车辆。摄像机传感器11设计用于自主驾驶。

行人识别模块12用于基于图像处理本身检测行人。行人识别模块将行人相对于车辆的位置发送到设计用于自主驾驶的车辆。

存储模块13用于在特定的短时间间隔内——在存储器中——保存由行人识别模块12检测到的至少一个行人的图像序列。

装置进一步包括变换模块14。该变换模块14计算相似变换。该变换模块14对在时间“t”和“t+1”或“t+n”保存在存储模块13中的成对的图像运行算法，以确定在时间“t+1”或“t+n”拍摄的图像是否可以通过下面列出的几何变换的任意组合由时间“t”拍摄的图像获得：

-拉伸：根据比例因子(放大或缩小)保留行人的形状。

-平移：保留行人的形状和大小，但改变行人的位置。

-旋转：改变行人的形状，但保留形状的角度和尺寸。可以相对于点或轴旋转(例如在转弯的公共汽车上的广告的情况下)。

-映射(可选)：行人的形状相对于轴“映射”

相似变换可以在二维中或甚至在三维空间中执行。

另一个模块14a用于提取广告等典型的特定“标记”或特征。因此，该模块14a分析保存在存储模块13中的图像，并尝试提取诸如字符、字母或徽标之类的特定特征。模块14a可以通过运行字符识别算法或物体识别算法来实现特定特征的提取。此外，可以使用云存储或云服务器，其包括例如已知公司徽标的集合和广告中使用的已知字符，并且如果适用的话，还可以访问已知广告图像的集合，由此可以使根据本公开的处理在装置、或控制器、或微处理器中更快地进行。

搜索模块15用于运用上述算法，以寻找保存于存储模块13中的连续行人图像的相似变换。如果可以为每个图像对找到合适的相似变换，则将行人归类为非真实的行人(“伪”行人)。非真实的行人的归类意味着对能够实现自主驾驶的控制系统实施车辆软件的装置或微处理器并不打算将该行人视为“真实的行人”。在另一个实施例中，搜索模块15还可以对每个行人图像提取广告标记。如果存在相似变换和/或如果已经识别出任何广告标记，则将行人归类为非真实的行人(“伪”行人)。

“16”用于表示用于协调上述模块的中央协调单元16，使得装置或微处理器控制自主驾驶系统以控制车辆移动。

在另一个实施例(未示出)中，模块15可以扩展到使伪行人或非真实行人可以是全息图、动画图像或动画广告表面的效果。在这种情况下，在最初接受行人图像作为真实行人的图像的情况下，执行以下分析中的一个或多个：

根据一个实施例，可以使用合适的摄像机分析行人图像的红外特征(这利用了全息图或显示具有与生物不同的特征的事实)。另外，还可以分析行人图像的光谱，以检查光特征是否与LED显示器的光特征匹配。另外，还可以分析行人图像的光谱，以确定频率分布和强度分布是否与人工生成的图像的频率分布和强度分布匹配。作为选择地，还可以通过雷达传感器或无线通信将“声脉波信号(ping signal)”发送给行人，以便例如从由“真实”行人携带的智能手机等接收确认信号(如果适用的话)。

图2所示内容旨在解释在执行根据本公开的方法时出现的可能情况。如上所述，使用照摄像机拍摄车辆前方的交通环境的多个图像21、22和23。在示例场景中，假设车辆在左转弯行驶。在道路的左侧是具有从车辆可以看见的广告表面的公共汽车站。广告表面显示了一个人跑步的图像。该车辆配备有为自主驾驶系统提供合适的图像信号的摄像机，以基于广告表面上的多个图像控制车辆移动。

在上述场景中，当车辆向左转弯时，如图2所示，摄像机拍摄车辆前方的交通环境的多个图像21、22和23。作为车辆运动的结果，车辆在每次图像采集21、22和23过程中位于道路上的不同位置。因此，所拍摄的图像21、22和23中广告表面的位置和大小彼此不同。因此原则上，在这些图像21、22和23中以不同形式检测到的行人21a、22a，23a也可以被解释为正在跑步并且打算在车辆前方穿过道路的行人。

借助于根据本公开的装置，如上所述在模块内执行方法，现在保存图像21、22和23，并且在图像21和22之间以及图像22和23之间寻找相似变换。在两种情况下，装置确定通过按比例因子拉伸并运用平移，图像22中的行人22a可以从图像21中的行人21a获得(图像23中的行人23a可以从图像22中的行人22a获得)。因此，在借助于自主驾驶系统控制车辆移动时，根据本公开的装置将行人归类为非真实的行人(“伪”行人)，并使得用于自主驾驶的算法或系统忽略该“伪”行人。

尽管以上描述了示例性实施例，但这些实施例并不旨在描述本公开的所有可能的形式。相反，说明书中使用的词语是描述性的词语而并非限制性的词语，并且应当理解的是，在不脱离本公开的精神和范围的情况下可以进行各种改变。另外，各种实现实施例的特征可以被组合以形成本公开进一步的实施例。

Claims (20)

1.一种识别车辆环境中的道路使用者的方法，包含：

在多个不同时间中的每一个时间通过摄像机拍摄所述车辆环境和位于所述车辆环境中的物体的图像；以及

根据对不同时间拍摄的所述图像执行的图像分析，以所述图像内的物体是被解释为道路使用者还是无生命实体为依据来控制车辆移动。

2.根据权利要求1所述的方法，其中，执行图像分析包括将相似变换应用于在连续的不同时间拍摄的物体的任何两个图像。

3.根据权利要求1所述的方法，其中，执行图像分析包括检查在不同时间拍摄的所述图像是否显示至少一个指示广告存在的特征。

4.根据权利要求3所述的方法，还包含通过访问存储于云存储的至少一个数据库来执行在不同时间拍摄的所述图像的所述检查。

5.根据权利要求4所述的方法，还包含在执行在不同时间拍摄的所述图像的所述检查期间运行至少一个字符识别算法或物体识别算法。

6.根据权利要求1所述的方法，还包含分析所述物体的红外特征，其中所述结果以所述物体的所述红外特征为基础。

7.根据权利要求1所述的方法，还包含分析在不同时间拍摄的所述图像的光谱，其中所述图像内的所述物体是被解释为道路使用者还是无生命实体进一步以所述光谱为基础。

8.根据权利要求1所述的方法，其中，控制车辆移动包括将所述图像内的所述物体被解释为道路使用者还是无生命实体的结果发送到控制车辆部件的自主驾驶系统。

9.一种车辆自主驾驶系统，包含：

至少一个基于摄像机的传感器，其用于拍摄车辆环境的图像；以及

装置，所述装置配置为响应于指示道路使用者或无生命实体的结果根据所述结果控制车辆移动，其中所述结果来自于对借助于所述至少一个基于摄像机的传感器在多个不同时间中的每一个时间拍摄的位于所述车辆环境中的物体的图像进行的图像分析。

10.根据权利要求9所述的自主驾驶系统，其中，所述结果以由所述至少一个基于摄像机的传感器拍摄的所述物体的红外特征为基础。

11.根据权利要求9所述的自主驾驶系统，其中，所述结果以由所述至少一个基于摄像机的传感器在多个不同时间拍摄的所述图像的光谱为基础。

12.根据权利要求9所述的自主驾驶系统，其中，所述图像分析包括针对至少一个指示广告的特征对在多个不同时间中的每一个时间拍摄的所述物体的所述图像进行的检查。

13.根据权利要求12所述的自主驾驶系统，其中，通过访问存储在云存储中的至少一个数据库来执行所述检查。

14.根据权利要求13所述的自主驾驶系统，其中，所述检查运行至少一个字符识别算法或物体识别算法。

15.一种车辆，包含：

自主驾驶系统，所述自主驾驶系统具有拍摄环境图像的摄像机；以及

控制器，所述控制器配置为响应于指示道路使用者或无生命实体的结果通过所述自主驾驶系统根据所述结果控制车辆移动，其中所述结果来自于对借助于所述摄像机在多个不同时间中的每一个时间拍摄的位于车辆环境中的物体的图像进行的图像分析。

16.根据权利要求15所述的车辆，其中所述图像分析包括将相似变换应用于在连续时间拍摄的物体的任何两个图像。

17.根据权利要求15所述的车辆，其中，所述控制器配置为将所述结果发送到所述自主驾驶系统，所述自主驾驶系统根据所述结果控制车辆部件。

18.根据权利要求15所述的车辆，其中，所述结果以由所述至少一个基于摄像机的传感器拍摄的所述物体的红外特征为基础。

19.根据权利要求15所述的车辆，其中，所述结果以由所述至少一个基于摄像机的传感器在多个不同时间拍摄的所述图像的光谱为基础。

20.根据权利要求15所述的车辆，其中，所述图像分析包括针对至少一个指示广告的特征对在多个不同时间中的每一个时间拍摄的所述物体的所述图像进行的检查。