CN109389073A - 通过车载摄像头确定检测行人区域的方法及装置 - Google Patents

Abstract

本发明涉及车联网技术领域，具体涉及一种通过车载摄像头确定检测行人区域的方法及装置，该方法包括获取多份不同车速下车载摄像头采集到的车前方图像作为训练样本，确定每份训练样本在预设直角坐标系中的中心点，依据中心点确定参考线段，进而选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段，同时选取出现在车载摄像头视野范围内的最低点，并依据最低点和参考线段确定第二线段，最后确定不同车速下第一线段和第二线段所包括的视野范围，该视野范围则为需要进行行人检测的检测行人区域。由此可见，本发明实施例不同车速下针对不同的视野范围进行行人检测，以提高行人检测的精确性。

Description

通过车载摄像头确定检测行人区域的方法及装置

技术领域

本发明涉及车联网技术领域，具体而言，涉及一种通过车载摄像头确定检测行人区域的方法及装置。

背景技术

如今，随着科技的发展，汽车数量的不断增多为人们生活提供了巨大的便利，然而在便利的背后也存在着发生交通事故的安全隐患。为解决重大交通事故中的行人保护问题，能够辅助车辆驾驶的行人检测系统应运而生。

现在最常用的检测方法是基于深度学习的目标检测与识别，其中主要用到深度神经网络模型是由Krizhevsky等专家提出的经典的CNN(Convolutional Neural Network)架构。它的检出率能达到66.9％。但是在实际应用的过程中还是存在许多问题，准确率和鲁棒性较差。

发明内容

本发明的目的在于提供一种通过车载摄像头确定检测行人区域的方法，以通过在确定的检测行人区域中对行人进行识别，以提高行人检测的精度。

本发明的另一目的在于提供一种通过车载摄像头确定检测行人区域的装置，以通过在确定的检测行人区域中对行人进行识别，以提高行人检测的精度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种通过车载摄像头确定检测行人区域的方法，所述方法包括：获取多份不同车速下所述车载摄像头采集到的车前方图像为训练样本；确定每份所述训练样本在预设直角坐标系中的中心点；依据所述中心点确定参考线段；选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段；选取出现在所述车载摄像头视野范围内的最低点，并依据所述最低点和参考线段确定第二线段；确定不同车速下所述第一线段和第二线段所确定的视野范围，所述视野范围为用于检测是否存在行人的检测行人区域。

第二方面，本发明实施例还提供了一种通过车载摄像头确定检测行人区域的装置，所述装置包括：获取模块，用于获取多份不同车速下所述车载摄像头采集到的车前方图像为训练样本；第一确定模块，用于确定每份所述训练样本在预设直角坐标系中的中心点；第二确定模块，用于依据所述中心点确定参考线段；第一选取模块，用于选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段；第二选取模块，用于选取出现在所述车载摄像头视野范围内的最低点，并依据所述最低点和参考线段确定第二线段；第三确定模块，用于确定不同车速下所述第一线段和第二线段所确定的视野范围，所述视野范围为用于检测是否存在行人的检测行人区域。

本发明实施例提供的一种通过车载摄像头确定检测行人区域的方法及装置，该方法包括获取多份不同车速下车载摄像头采集到的车前方图像作为训练样本，确定每份训练样本在预设直角坐标系中的目标中心点，依据目标中心点确定参考线段，进而选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段，同时选取出现在车载摄像头视野范围内的最低点，并依据最低点和参考线段确定第二线段，最后确定不同车速下第一线段和第二线段所包括的视野范围，该视野范围则为需要进行行人检测的检测行人区域。由此可见，本发明实施例通过依据不同的车速圈定视野范围，使得不同车速下针对不同的视野范围进行行人检测，以提高行人检测的精确性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种通过车载摄像头确定检测行人区域的方法的流程示意图。

图2示出了本发明实施例提供的一种中心点的确定示意图。

图3示出了本发明实施例提供的一种参考线段确定方式示意图。

图4示出了本发明实施例提供的一种第一线段和第二线段的确定方式示意图。

图5示出了本发明实施例提供的一种车速与视野范围变化的关系图。

图6示出了本发明实施例提供的一种视野范围示意图。

图7示出了本发明实施例提供的另一种视野范围示意图。

图8示出了本发明实施例提供的另一种视野范围示意图。

图9示出了本发明实施例提供的一种通过车载摄像头确定检测行人区域的装置的功能模块示意图。

图示：100-通过车载摄像头确定检测行人区域的装置；110-获取模块；120-第一确定模块；130-第二确定模块；140-第一选取模块；150-第二选取模块；160-第三确定模块；170-新增模块；180-检测模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

通常情况下确定车载摄像头采集到的画面中重点对行人进行识别的区域，是通过在该画面中确定一条参考线段，该参考线段以下的区域均为行人可能出现的区域，进而在对行车过程中，重点对该区域进行是否存在行人进行检测。由于该区域在行车过程中是大致不变的，但是行人的成像大小却是随着车辆距离行人的远近由小到大，故通过该种方法确定的检测区域是不精确的。因此，本发明实施例提供了一种通过车载摄像头确定检测行人区域的方法，该方法通过分析不同车速下的不同观测区域，使得对行人的检测更加精准。

请参照图1，是本发明实施例提供的一种通过车载摄像头确定检测行人区域的方法的流程示意图，该方法包括：

步骤S110，获取多份不同车速下所述车载摄像头采集到的车前方图像为训练样本。

具体为，在不同车速下，都控制车载摄像头采集车前方图像，并将该采集得到的多份车前方图像作为训练样本。

步骤S120，确定每份所述训练样本在预设直角坐标系中的中心点。

该预设直角坐标系的建立方式为：以该训练样本，即车前方图像的左上角作为坐标原点，以与车前方图像上边线重合的线为X轴，以与车前方图像左边线重合的线为Y轴，进而构建直角坐标系。

经过透视原理可知，车前方图像中任意与观测者视角所在平面垂直的两条线都会聚集到一个点上，该点即为车前方图像的中心点，如图2所示，是本发明实施例提供的一种目标中心点的确定示意图，即VP(X0,Y0)为目标中心点。即是说，顺着观测者的视角观看车前方图像，该车前方图像内所有与该视角平行的两条线都会聚集到一个点。该目标中心点会随着车载摄像头的摆放位置，以及车身高度而发生变化。

步骤S130，依据所述目标中心点确定参考线段。

即是说，确定通过该目标中心点且与X轴平行的直线为参考线段，如图3所示，是本发明实施例提供的一种参考线段确定方式示意图。且由于车载摄像头不能确保水平竖直的拍摄角度，以及车辆前挡风玻璃会产生曲折的镜头效果，故该参考线段往往不能呈现为水平的直线，而是也有一定的弯曲幅度。

步骤S140，选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段。

即是说，若有行人出现在车前，此时需确定该行人在车载摄像头视野范围内可达的最高点，以使得划定的检测行人区域可包含整个行人。进而可假定该行人为最高身高，如220cm，且打着伞，此时该行人紧贴着车前走过，以采集该车载摄像头视野范围内行人可达的最高点，此种最高点的确定方式是在车速为零的情况下确定的，若当前车速不为0，则直接根据实际行人情况确定出现在车载摄像头视野范围内的最高点即可。

进而，确定通过该最高点以及与参考线段弯曲幅度一致的线为第一线段，如图4所示，是本发明实施例提供的一种第一线段和第二线段的确定方式示意图，在目标中心点VP(X0,Y0)上方且呈现一定弯曲幅度的线为第一线段，该第一线段与车载摄像头的视野范围的右侧存在一个交点为(A，minY)。

步骤S150，选取出现在所述车载摄像头视野范围内的最低点，并依据所述最低点和参考线段确定第二线段。

即是说，由于车载摄像头安装的问题，该镜头的视野范围内可能包含小部分车体，且该部分被车体遮挡的视野范围不能出现行人，故选取该车载摄像头视野范围内的最低点，即出现车体的点，作为最低点。

进而，确定通过该最低点以及与参考线段弯曲幅度一致的线为第二线段，如图4所示，是本发明实施例提供的一种第一线段和第二线段的确定方式示意图，在目标中心点VP(X0,Y0)下方且呈现一定弯曲幅度的线为第二线段，该第二线段与车载摄像头的视野范围的右侧存在一个交点为(A，maxY)。

步骤S160，确定不同车速下所述第一线段和第二线段所确定的视野范围，所述视野范围为用于检测是否存在行人的检测行人区域。

具体为，第一线段和第二线段为车载摄像头的视野范围，但是第一线段和第二线段的确定与距离行人的远近有关，进一步地与车速有关，故需确定不同车速下视野范围的情况，该视野范围即为可能出现行人，且需要重点识别是否存在行人的区域。请参照图5，是本发明实施例提供的一种车速与视野范围变化的关系图，当车速为[0，40](第一预设范围)时，当前车辆处于低速缓慢行驶状态，其视野范围为180度，如图6所示，是本发明实施例提供的一种视野范围示意图；当车速为[100，+∞](第二预设范围)时，当前车辆处于高速行驶状态，其视野范围为45度，如图7所示，是本发明实施例提供的另一种视野范围示意图；当车速处于[40，100](第三预设范围)时，当前车辆处于常速行驶状态，其视野范围与车速的函数关系为：

w＝270-2.25v

其中，v为车速，w为视野范围，如图8所示，是本发明实施例提供的另一种视野范围示意图，该图中反应了视野范围逐步变小的过程。

进一步地，当车速处于第一预设范围，所述视野范围内的点的坐标为：

当车速处于第二预设范围，所述视野范围内的点的坐标为：

当车速处于第三预设范围，所述视野范围内的点的坐标为：

其中，(A，minY)为第一线段与车载摄像头视野范围的交点坐标，(A，maxY)为第二线段与车载摄像头视野范围内的交点坐标。

由此通过确定不同车速下的视野范围，在实际场景下，可根据不同车速下确定的视野范围(即最有可能存在行人的区域，也是驾驶者最关注是否存在行人的区域)进行行人识别，由于识别的区域是通过计算得到，故在特定车速下在该区域进行行人识别将更为精准。通过将本发明实施例确定的检测行人区域与结合30位有丰富驾驶经验的驾驶员在模拟驾驶场景中确定的感兴趣区域，初步验证匹配率达到60％-70％。

此外，以上改进方法，针对的人群都是竖直站立的。实际上真实生活中，行人有可能不以垂直于地面的方式呈现在场景中(例如：突发疾病的行人躺倒在地)，或者车载摄像头以大角度出现偏移旋转，致使画面整个倒置等，进而针对此类复杂检测目标提出两种不同角度的改进方式。具体为：

第一种方式为：

步骤S170，选取旋转预定角度的车前方图像加入训练样本中进行训练。

具体为，将顺时针旋转270°过后的训练样本加入进原本的训练样本中进行训练，通过训练得出的检测器再对样本进行检测。

第二种方式为：

步骤S180，保持训练样本不变，选取多张旋转预定角度的车前方图像进行检测。

具体为，在不改变训练样本的基础上(即训练得到的检测器不变)，将样本进行旋转预定角度后作为测试集，并使用检测器对测试集进行多次检测。

即以上两种方式都将非常态的情况要么作为训练集进行训练，要么作为测试集进行反复检测，以使得非常态的情况在实际场景下可识别，经实验证明该手段可使对行人检测的精确率提升6％。总的来说，通过在本发明实施例确定的检测行人区域的基础上，通过其他行人识别算法如FasterR-CNN算法对行人进行检测，可使得精准率有5％-18％的提升，平均可达到88％。

请参照图9，是本发明实施例提供的一种通过车载摄像头确定检测行人区域的装置100的功能模块示意图，该装置包括获取模块110、第一确定模块120、第二确定模块130、第一选取模块140、第二选取模块150、第三确定模块160、新增模块170以及检测模块180。

获取模块110，用于获取多份不同车速下所述车载摄像头采集到的车前方图像为训练样本。

在本发明实施例中，步骤S110可以由获取模块110执行。

第一确定模块120，用于确定每份所述训练样本在预设直角坐标系中的中心点。

在本发明实施例中，步骤S120可以由第一确定模块120执行。

第二确定模块130，用于依据所述中心点确定参考线段。

在本发明实施例中，步骤S130可以由第二确定模块130执行。

第一选取模块140，用于选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段。

在本发明实施例中，步骤S140可以由第一选取模块140执行。

第二选取模块150，用于选取出现在所述车载摄像头视野范围内的最低点，并依据所述最低点和参考线段确定第二线段。

在本发明实施例中，步骤S150可以由第二选取模块150执行。

第三确定模块160，用于确定不同车速下所述第一线段和第二线段所确定的视野范围，所述视野范围为用于检测是否存在行人的检测行人区域。

在本发明实施例中，步骤S160可以由第三确定模块160执行。

新增模块170，用于选取旋转预定角度的车前方图像加入训练样本中进行训练。

在本发明实施例中，步骤S170可以由新增模块170执行。

检测模块180，用于保持训练样本不变，选取多张旋转预定角度的车前方图像进行检测。

在本发明实施例中，步骤S180可以由检测模块180执行。

由于在通过车载摄像头确定检测行人区域的方法部分已经详细描述，在此不再赘述。

综上所述，本发明实施例提供的一种通过车载摄像头确定检测行人区域的方法及装置，该方法包括获取多份不同车速下车载摄像头采集到的车前方图像作为训练样本，确定每份训练样本在预设直角坐标系中的中心点，依据中心点确定参考线段，进而选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段，同时选取出现在车载摄像头视野范围内的最低点，并依据最低点和参考线段确定第二线段，最后确定不同车速下第一线段和第二线段所包括的视野范围，该视野范围则为需要进行行人检测的检测行人区域。由此可见，本发明实施例通过依据不同的车速圈定视野范围，使得不同车速下针对不同的视野范围进行行人检测，以提高行人检测的精确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种通过车载摄像头确定检测行人区域的方法，其特征在于，所述方法包括：

获取多份不同车速下所述车载摄像头采集到的车前方图像为训练样本；

确定每份所述训练样本在预设直角坐标系中的中心点；

依据所述中心点确定参考线段；

选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段；

选取出现在所述车载摄像头视野范围内的最低点，并依据所述最低点和参考线段确定第二线段；

确定不同车速下所述第一线段和第二线段所确定的视野范围，所述视野范围为用于检测是否存在行人的检测行人区域。

2.如权利要求1所述的方法，其特征在于，所述确定不同车速下所述第一线段和第二线段所确定的视野范围的步骤包括：

当车速处于第一预设范围，所述视野范围为180度；

当车速处于第二预设范围，所述视野范围为45度；

当车速处于第三预设范围，所述视野范围与车速的函数关系为：

w＝270-2.25v

其中，v为车速，w为视野范围。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

确定不同视野范围内的点的坐标的计算方式为：

当车速处于第一预设范围，所述视野范围内的点的坐标为：

当车速处于第二预设范围，所述视野范围内的点的坐标为：

当车速处于第三预设范围，所述视野范围内的点的坐标为：

其中，(A，minY)为第一线段与车载摄像头视野范围的交点坐标，(A，maxY)为第二线段与车载摄像头视野范围内的交点坐标。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

选取旋转预定角度的车前方图像加入训练样本中进行训练。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

保持训练样本不变，选取多张旋转预定角度的车前方图像进行检测。

6.一种通过车载摄像头确定检测行人区域的装置，其特征在于，所述装置包括：

获取模块，用于获取多份不同车速下所述车载摄像头采集到的车前方图像为训练样本；

第一确定模块，用于确定每份所述训练样本在预设直角坐标系中的中心点；

第二确定模块，用于依据所述中心点确定参考线段；

第一选取模块，用于选取出现在所述车载摄像头视野范围内的行人可达最高点，并依据所述最高点和参考线段确定第一线段；

第二选取模块，用于选取出现在所述车载摄像头视野范围内的最低点，并依据所述最低点和参考线段确定第二线段；

第三确定模块，用于确定不同车速下所述第一线段和第二线段所确定的视野范围，所述视野范围为用于检测是否存在行人的检测行人区域。

7.如权利要求6所述的装置，其特征在于，所述第三确定模块具体用于：

当车速处于第一预设范围，所述视野范围为180度；

当车速处于第二预设范围，所述视野范围为45度；

当车速处于第三预设范围，所述视野范围与车速的函数关系为：

w＝270-2.25v

其中，v为车速，w为视野范围。

8.如权利要求7所述的装置，其特征在于，所述第三确定模块具体用于：

当车速处于第一预设范围，所述视野范围内的点的坐标为：

当车速处于第二预设范围，所述视野范围内的点的坐标为：

当车速处于第三预设范围，所述视野范围内的点的坐标为：

其中，(A，minY)为第一线段与车载摄像头视野范围的交点坐标，(A，maxY)为第二线段与车载摄像头视野范围内的交点坐标。

9.如权利要求6所述的装置，其特征在于，所述装置还包括：

新增模块，用于选取旋转预定角度的车前方图像加入训练样本中进行训练。

10.如权利要求6所述的装置，其特征在于，所述装置还包括：

检测模块，用于保持训练样本不变，选取多张旋转预定角度的车前方图像进行检测。