CN110084118B - 行人检测训练数据库的建立方法、行人检测方法及装置 - Google Patents

Abstract

本申请提供了一种行人检测训练数据库的建立方法、行人检测方法及装置，方法包括：在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；将第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；将第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库。通过增加指定卧姿行人样例图像数据和对非卧姿行人样例数据分别进行基于颜色替换和人体比例的扩增，提高数据库中行人样本的外观多样性；提出的对行人数据集进行卧姿行人样例图像的扩增，对驾驶环境下的行人检测具有克服技术偏见的重要意义。

Description

行人检测训练数据库的建立方法、行人检测方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种行人检测训练数据库的建立方法、行人检测方法及装置。

背景技术

作为人工智能重要赋能技术的自动驾驶技术具有重要的研究与工程应用价值。有效的行人检测与避让是自动驾驶技术的核心环节之一。在深度学习在计算机视觉任务中取得大家公认的高性能的背景下，深度学习也被引入到自动驾驶应用中的行人检测，而且取得了不错的效果。

一个显而易见的事实是，深度学习的性能严重依赖于训练数据的多少；一般认为深层的网络更容易取得优异性能，但是，越深的网络需要的训练数据越多。理论上讲，只有自动驾驶汽车搭载的行人检测技术方案能有效处理所有场景下的行人判别任务，才能做到绝对安全。

但是，我们无法获取所有场景下的数据供深度网络训练与学习；现实中，即使已经使用了很大的数据集训练网络，自动驾驶技术实际应用时，仍然会碰到训练数据集中没有出现过的新场景，已固化的技术方案也可能因此而实效。这也是已有的自动驾驶汽车出现车祸甚至致人死亡的原因之一。对于自动驾驶应用中的行人检测，训练样本的不足是一个严重的问题；此外，当前数据集中卧姿行人的缺失也是一个不可忽略的技术缺陷。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的行人检测训练数据库的建立方法、行人检测方法及装置。

为了解决上述问题，本发明实施例公开了一种行人检测训练数据库的建立方法，应用于自动驾驶行人检测训练，上述建立方法在仅包含有非卧姿行人样例图像数据的初始行人检测训练数据库的基础上进行建立，上述建立方法包括如下步骤：

在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；

将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；

将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库。

进一步地，将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库的步骤，包括如下步骤：

将上述第一扩增数据库中所有上述非卧姿行人样例图像进行图像分割，获得上述非卧姿行人样例图像中的上装区域和下装区域；

将图像分割后的上述非卧姿行人样例图像中的上装区域和下装区域进行指定的颜色替换，获得多种上述上装区域和下装区域颜色组合不同的扩展非卧姿行人样例图像。

进一步地，将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库的步骤，包括如下步骤：

将上述扩展非卧姿行人样例图像进行指定比例的缩放处理，得到指定数量的第一缩放扩展样例图像。

进一步地，将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库的步骤，包括如下步骤：

获取上述扩展非卧姿行人样例图像中的行人轮廓；

将上述扩展非卧姿行人样例图像中的行人轮廓沿竖直方向分割为M段，并对每段分别进行缩放获得第二缩放扩展样例图像。

为了解决上述问题，本发明实施例公开了一种行人检测方法，应用于自动驾驶中对行人的检测，上述训练方法采用的训练数据库的建立方法包括本发明实施例中任意一项上述的行人检测训练数据库的建立方法，上述训练方法包括如下步骤：

根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件；

根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果。

进一步地，根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件的步骤，包括如下步骤：

根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练获得上述深度卷积神经网络模型的基础数据；

通过获取上述基础参数后的深度卷积神经网络模型检测出上述训练数据库中上述正样例的样例特征，其中，上述训练数据库中的正样例包括非卧姿行人样例图像正样例和扩展行人样例图像正样例；

将上述正样例的样例特征进行泛化扩增。

进一步地，上述根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果的步骤，包括以下步骤：

将上述自动驾驶时的实时监控图像进行卷积计算，对指定区域内的卷积结果值按照绝对值大小排序，并根据指定条件将前n个绝对值最大的卷积结果值中的一个值作为池化结果；

计算出上述自动驾驶时的实时监控图像中预选区域的后验概率，并判断上述后验概率是否大于指定阈值β；

若大于，则判定上述预选区域为行人区域，并输出上述预选区域的坐标值。

为了解决上述问题，本发明实施例公开了一种行人检测训练数据库的建立装置，应用于自动驾驶行人检测训练，上述建立装置在仅包含有非卧姿行人样例图像数据的初始行人检测训练数据库的基础上进行建立，装置包括如下：

第一扩增模块，用于在上述初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；

第二扩增模块，用于将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；

第三扩增模块，用于将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库。

为了解决上述问题，本发明实施例公开了一种行人检测装置，应用于自动驾驶中对行人的检测，装置包括如下：

训练模块，用于根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件；

检测模块，用于根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果。

为了解决上述问题，本发明实施例公开了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述程序时实现本发明实施例中任意一项所述的行人检测方法。

为了解决上述问题，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中任意一项所述的行人检测方法。

与现有技术相比，本申请包括以下优点：

本发明实施例中，通过增加指定卧姿行人样例图像数据和对非卧姿行人样例数据分别进行基于颜色替换和人体比例的扩增，提高数据库中行人样本的外观多样性；通过对现有的非卧姿行人样例图像数据进行扩增，减少了获取新样例所需要付出的成本和时间，花费代价低，实现简便；提出的对行人数据集进行卧姿行人样例图像的扩增，对驾驶环境下的行人检测具有克服技术偏见的重要意义；通过本建立方法得出的数据集对行人检测模型中的深度卷积网络模型进行训练，使训练后的网络模型获得更准确的行人检测结果。

附图说明

图1是本发明一实施例的行人检测训练数据库的建立方法的步骤流程示意图；

图2是本发明一实施例的行人检测训练数据库的建立方法的步骤流程示意图；

图3是本发明一实施例的行人检测方法的步骤流程示意图；

图4是本发明一实施例的行人检测方法的步骤流程示意图；

图5是本发明一实施例的行人检测训练数据库的建立装置的模块结构示意图；

图6是本发明一实施例的行人检测装置的模块结构示意图；

图7是本发明一实施例的一种计算机设备的结构示意图。

12、计算机设备；14、外部设备；16、处理单元；18、总线；20、网络适配器；22、(I/O)接口；24、显示器；28、系统存储器；30、随机存取存储器(RAM)；32、高速缓存存储器；34、存储系统；40、程序/实用工具；42、程序模块；110、第一扩增模块；120、第二扩增模块；130、第三扩增模块；210、训练模块；220、检测模块。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

最后，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

需要说明的是，本发明任一实施例中的初始行人检测训练数据库为基于现有的行人检测数据集建立，数据集中的图像包含有行人图像和无行人图像，其中，有行人图像中包括至少一个行人，数据集中不包含有任一卧姿行人图像数据。

需要说明的是，本发明任一实施例中正样例代表为包含行人的样例图像，负样例代表为不含有行人的样例图像。

参照图1，示出了本申请一种行人检测训练数据库的建立方法，应用于自动驾驶行人检测训练，上述建立方法在仅包含有非卧姿行人样例图像数据的初始行人检测训练数据库的基础上进行建立，上述建立方法包括如下步骤：

S110、在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；

S120、将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；

S130、将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库。

如上述步骤S110所述，在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库，需要说明的是，上述指定卧姿一般至少包括睡卧、躺卧、侧卧等卧姿，且卧姿的正样例集总数一般不多于300。

如上述步骤S120所述，将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库，需要说明的是，上述基于颜色替换的行人样例图像扩增一般为针对与行人着装颜色的样例扩增，因此，在进行扩增之前一般会对行人样例图像中行人区域进行上装和下装之间的分割识别，以对上下部分躯干的着装分别进行扩增；

如上述步骤S130所述，将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库，需要说明的是，上述基于人体比例的行人样例图像扩增一般包括两种扩增方式，一为通过将非卧姿行人样例图像中行人区域通过不同的比例进行缩放处理从而得出不同身材比例的非卧姿行人样例图像数据；二为通过将非卧姿行人样例图像中的行人区域进行竖直方向的分割并将分割后的每段图像段进行双随机缩放因子缩放处理从而得出不同身材比例的非卧姿行人样例图像数据。

参照图2，示出了本申请一种行人检测训练数据库的建立方法另一实施例的步骤流程图，具体可以包括如下步骤：

在本发明实施例中，将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库的步骤，包括如下步骤：

S121、将上述第一扩增数据库中所有上述非卧姿行人样例图像进行图像分割，获得上述非卧姿行人样例图像中的上装区域和下装区域；

S122、将图像分割后的上述非卧姿行人样例图像中的上装区域和下装区域进行指定的颜色替换，获得多种上述上装区域和下装区域颜色组合不同的扩展非卧姿行人样例图像。

如上述步骤S121所述，将上述第一扩增数据库中所有上述非卧姿行人样例图像进行图像分割，需要说明的是，本步骤所描述的行人样例图像均为非卧姿行人样例图像，需要说明的是，上述图像分割为对上述行人样例图像进行上装区域和下装区域的分割，具体如下：首先，采用已有行人检测方法得出行人样例图像，如：对数据集中的每一个图像，采用已有的TP(预测为正样本，实际上也为正样本的比率)高而FP(预测为正样本，实际上为负样本的比率)低的行人检测方法得出行人样例图像，

然后，对得出的行人样例图像，在竖直方向将其平均分为两个子图像，分别为上半身子图像和下半身子图像；对上半身子图像和下半身子图像分别进行基于颜色的区域分割，并在此基础上进行多次膨胀操作；然后将上半身子图像的最大连通区域作为上装区域，将下半身子图像的最大连通区域作为下装区域。

如上述步骤S122所述，将图像分割后的上述非卧姿行人样例图像中的上装区域和下装区域进行指定的颜色替换，获得多种上述上装区域和下装区域颜色组合不同的扩展非卧姿行人样例图像，需要说明的是，在现实中同一款衣服存在不同颜色的可能，因此，需要对对非卧姿行人的上装与下装区域进行颜色替换，以增加行人样例图像的多样性。具体如下：首先，构建一个上装与下装颜色库，库中每一个颜色对应一组具体的RGB值，其中，颜色库的颜色包括但不限于黑色、炭黑、暗黑、漆黑、白色、象牙白、牡蛎白、珍珠白、玉石白、银白、羊毛白、乳白、米白、雪白、灰白、纯白、本白、粉红白、浅紫白、灰色、银灰色、炭灰色、烟灰、雾灰、黑灰、金色、银色、青古铜色、驼色、米色、卡其色、奶油色、豆沙色、水晶色、荧光色、彩虹色、棕色、茶褐、淡褐、咖啡色、紫色、紫罗兰色、紫水晶色、葡萄紫、茄皮紫、玫瑰紫、丁香紫、墨紫、绛紫、暗紫、乌紫、蓝紫、鲜紫、深紫、浅紫、淡紫、淡白紫、青莲、雪青、墨绛红、暗绛红、浅绛红、橙色、黄色、深桔黄、浅桔黄、柠檬黄、玉米黄、橄榄黄、稻草黄、芥末黄、杏黄、蛋黄、藤黄、象牙黄、日光黄、土黄、砂黄、金黄、深黄、棕黄、青黄、灰黄、米黄、嫩黄、鲜黄、鹅黄、中黄、浅黄、淡黄、绿色、豆绿、浅豆绿、橄榄绿、茶绿、葱绿、苹果绿、森林绿、苔藓绿、草地绿、灰湖绿、水晶绿、玉绿、石绿、松石绿、孔雀绿、墨绿、墨玉绿、深绿、暗绿、青绿、碧绿、蓝绿、黄绿、灰绿、褐绿、中绿、浅绿、淡绿、靛青、蓝色、天蓝、月光蓝、海洋蓝、海蓝、湖蓝、深湖蓝、中湖蓝、冰雪蓝、孔雀蓝、宝石蓝、粉末蓝、藏蓝、海军蓝、宝蓝、墨蓝、紫蓝、浅紫蓝、青蓝、深灰蓝、深蓝、鲜蓝、中蓝、浅蓝、淡蓝、红色、朱红、粉红色、梅红、玫瑰红、桃红、樱桃红、桔红色、石榴红、枣红色、莲红色、浅莲红、豆红、辣椒红、高梁红、芙蓉红、胭脂红、鲑鱼红、玳瑁红、海螺红、宝石红、玛瑙红、珊瑚红、金红、铁红、铁锈红、铬红、砖红、土红、紫红(酒红)、深紫红、棕红、暗红、鲜红、绯红、米红、深红和淡红。

然后，根据颜色库对所述上装区域和下装区域进行颜色替换，以上装区域为例，先将上装区域的颜色进行识别判定，在颜色库中寻找与上装区域的颜色最接近的色彩；然后，将上装区域中的颜色替换为除该最接近色彩以外的其余颜色，获得新行人样例图像，下装区域颜色替换与上装区域相同。

在本发明实施例中，将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库的步骤，包括如下步骤：

S130、将上述扩展非卧姿行人样例图像进行指定比例的缩放处理，得到指定数量的第一缩放扩展样例图像。

如上述步骤S131所述，将上述扩展非卧姿行人样例图像进行指定比例的缩放处理，得到指定数量的第一缩放扩展样例图像，需要说明的是，上述指定比例的缩放处理具体为通过将步骤122得到的扩展后的非卧姿行人样例图像(检测结果为包含行人的矩形区域)，然后对上述非卧姿行人样例图像整体上进行不同比例的放大与缩小，具体缩放如下：设水平方向的缩放因子分别为{a1、a2、…、as}，垂直方向的缩放因子分别为{b1、b2、…、bt}，则一张非卧姿行人样例图像经过缩放后得到的新样例图像将为s*t张。

在本发明实施例中，将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库的步骤，包括如下步骤：

S132、获取上述扩展非卧姿行人样例图像中的行人轮廓；

S133、将上述扩展非卧姿行人样例图像中的行人轮廓沿竖直方向分割为M段，并对每段分别进行缩放获得第二缩放扩展样例图像。

如上述步骤S132所述，获取上述扩展非卧姿行人样例图像中的行人轮廓，需要说明的是，一般通过轮廓检测方法获取的上述非卧姿行人样例图像的行人轮廓，轮廓检测方法包括但不限于：传统检测方法：Canny边缘检测、Sobel算子；深度学习边缘检测方法：MaskR-CNN，FCN等，优选为：Mask R-CNN深度学习边缘检测方法；

如上述步骤S133所述，将上述扩展非卧姿行人样例图像中的行人轮廓沿竖直方向分割为M段，并对每段分别进行缩放获得第二缩放扩展样例图像，需要说明的是，上述缩放具体为采用双随机缩放因子进行缩放方式，其中，双随机缩放因子为计算机产生的两个随机数，分别代表水平方向与垂直方向的缩放比率。在实际应用中，一般为对每一段分别产生范围为0.9-1.1之间的两个随机数，并将其分别作为水平方向与垂直方向的缩放比率，相应地，一张非卧姿行人样例图像经过该步骤将得到一张新样例图像。

参照图3，示出了本申请一种行人检测方法，应用于自动驾驶中对行人的检测，上述训练方法采用的训练数据库的建立方法包括本发明实施例中任意一项所述的行人检测训练数据库的建立方法，上述训练方法包括如下步骤：

S210、根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件；

S220、根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果。

如上述步骤S210所述，根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件，通过上述步骤S110-133得出的数据库对深度卷积神经网络模型进行训练，得出该网络模型达到收敛条件后的所有参数，在训练完成后一般需要分别运行该网络模型得出数据库中每一个行人检测正样例的特征，然后，对通过扩增得到的行人检测正样例，进行特征扩增，以增强特征的多样性；

如上述步骤S220所述，根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果，需要说明的是，一般通过计算出图像中区域为行人的后验概率，若该后验概率大于阈值，则判定该区域为行人，并同时输出区域的坐标值，该坐标值即为当检测到行人时的检测结果。

参照图4，示出了本申请一种行人检测方法另一实施例的步骤流程图，具体可以包括如下步骤：

在本发明实施例中，根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件的步骤，包括如下步骤：

S211、根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练获得上述深度卷积神经网络模型的基础数据；

S212、通过获取上述基础参数后的深度卷积神经网络模型检测出上述训练数据库中上述正样例的样例特征，其中，上述训练数据库中的正样例包括非卧姿行人样例图像正样例和扩展行人样例图像正样例；

S213、将上述正样例的样例特征进行泛化扩增。

如上述步骤S211所述，根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练获得上述深度卷积神经网络模型的基础数据，其中，在本发明实施例中，训练的深度卷积神经网络模型结构包括三个卷积层加两个全连接层，每个卷积层包括卷积计算、限制性随机池化、对称激活函数计算三个部分，其中，本发明提出的对称激活函数设计如下：若x>δ或x<-δ，则f(x)＝x；否则，f(x)＝0；其中，δ为一个取值为正的常数，一般可以取任意在正值域的常数，在本发明实施例中优选为1或0.5。

如上述步骤S212所述，通过获取上述基础参数后的深度卷积神经网络模型检测出上述训练数据库中上述正样例的样例特征，其中，上述训练数据库中的正样例包括非卧姿行人样例图像正样例和扩展行人样例图像正样例。

如上述步骤S213所述，将上述正样例的样例特征进行泛化扩增，需要说明的是，泛化扩增为对上述正样例的样例特征添加合适比例的随机噪声，以增强特征的多样性，其中，泛化扩增的具体过程具体如下，设深度网络得出的一个扩增后的行人检测正样例的特征为向量ν,其扩增特征向量表示为v¹。采用公式

对其添加随机噪声，其中γ＝sgn(rand)，即γ为一个1或0的随机数(rand代表计算机产生的-1至1区间内的随机数)；γ＝0意味着对特征为向量ν的元素v_j不添加噪声。η为计算机产生的0.01-0.2之间的一个随机数。v_j,

分别表示扩增后的行人检测正样例的特征为向量的第j个分量与其扩增特征向量的第j个分量。

在本发明实施例中，上述根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果的步骤，包括以下步骤：

S221、将上述自动驾驶时的实时监控图像进行卷积计算，对指定区域内的卷积结果值按照绝对值大小排序，并根据指定条件将前n个绝对值最大的卷积结果值中的一个值作为池化结果；

S222、计算出上述自动驾驶时的实时监控图像中预选区域的后验概率，并判断上述后验概率是否大于指定阈值β；

S223、若大于，则判定上述预选区域为行人区域，并输出上述预选区域的坐标值。

如上述步骤S221所述，将上述自动驾驶时的实时监控图像进行卷积计算，对指定区域内的卷积结果值按照绝对值大小排序，并根据指定条件将前n个绝对值最大的卷积结果值中的一个值作为池化结果，需要说明的是，上述指定区域为一个固定大小的区域，在本发明实施例中优选为3*3，对区域内的卷积结果值按照绝对值从大到小的顺序进行排序，其中，在本发明实施例中，n优选为3，指定条件为随机选取；

如上述步骤S222所述，计算出上述自动驾驶时的实时监控图像中预选区域的后验概率，并判断上述后验概率是否大于指定阈值β，需要说明的是，在本发明实施例中，通过支持向量机SVM计算上述自动驾驶时的实时监控图像中预选区域的后验概率，其中，上述指定阈值β在本发明实施例中优选为0.65；

如上述步骤S223所述，若大于，则判定上述预选区域为行人区域，并输出上述预选区域的坐标值，需要说明的是，若判断结果为小于或等于，则判定该区域为非行人区域。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

参照图5，示出了本申请一种行人检测训练数据库的建立装置，应用于自动驾驶行人检测训练，上述建立装置在仅包含有非卧姿行人样例图像数据的初始行人检测训练数据库的基础上进行建立，装置包括如下：

第一扩增模块110，用于在上述初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；

第二扩增模块120，用于将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；

第三扩增模块130，用于将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库。

上述第一扩增模块110，一般用于在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库，需要说明的是，上述指定卧姿一般至少包括睡卧、躺卧、侧卧等卧姿，且卧姿的正样例集总数一般不多于300。

上述第二扩增模块120，一般用于将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库，需要说明的是，上述基于颜色替换的行人样例图像扩增一般为针对与行人着装颜色的样例扩增，因此，在进行扩增之前一般会对行人样例图像中行人区域进行上装和下装之间的分割识别，以对上下部分躯干的着装分别进行扩增；

上述第三扩增模块130，一般用于将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库，需要说明的是，上述基于人体比例的行人样例图像扩增一般包括两种扩增方式，一为通过将非卧姿行人样例图像中行人区域通过不同的比例进行缩放处理从而得出不同身材比例的非卧姿行人样例图像数据；二为通过将非卧姿行人样例图像中的行人区域进行竖直方向的分割并将分割后的每段图像段进行双随机缩放因子缩放处理从而得出不同身材比例的非卧姿行人样例图像数据。

参照图6，示出了本申请一种行人检测装置，应用于自动驾驶中对行人的检测，装置包括如下：

训练模块210，用于根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件；

检测模块220，用于根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果。

上述训练模块210，一般用于根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件，通过上述行人检测训练数据库的建立装置得出的数据库对深度卷积神经网络模型进行训练，得出该网络模型达到收敛条件后的所有参数，在训练完成后一般需要分别运行该网络模型得出数据库中每一个行人检测正样例的特征，然后，对通过扩增得到的行人检测正样例，进行特征扩增，以增强特征的多样性；

上述检测模块220，一般用于根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果，需要说明的是，一般通过计算出图像中区域为行人的后验概率，若该后验概率大于阈值，则判定该区域为行人，并同时输出区域的坐标值，该坐标值即为当检测到行人时的检测结果。

参照图7，示出了本发明的一种行人检测训练数据库的建立方法和行人检测方法的计算机设备，具体可以包括如下：

上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图7中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的行人检测训练数据库的建立方法和行人检测方法。

也即，上述处理单元16执行上述程序时实现：在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库；

以及根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件；

根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果。

在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的行人检测训练数据库的建立方法和行人检测方法：

也即，给程序被处理器执行时实现：在初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；将上述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；将上述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库；

以及根据上述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到上述深度卷积神经网络模型达到收敛条件；

根据达到收敛条件的上述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在上述任一发明实施例中，通过增加指定卧姿行人样例图像数据和对非卧姿行人样例数据分别进行基于颜色替换和人体比例的扩增，提高数据库中行人样本的外观多样性；通过对现有的非卧姿行人样例图像数据进行扩增，减少了获取新样例所需要付出的成本和时间，花费代价低，实现简便；提出的对行人数据集进行卧姿行人样例图像的扩增，对驾驶环境下的行人检测具有克服技术偏见的重要意义；通过本建立方法得出的数据集对行人检测模型中的深度卷积网络模型进行训练，使训练后的网络模型获得更准确的行人检测结果。

以上对本申请所提供的一种行人检测训练数据库的建立方法、行人检测方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种行人检测训练数据库的建立方法，其特征在于，应用于自动驾驶行人检测训练，所述建立方法在仅包含有非卧姿行人样例图像数据的初始行人检测训练数据库的基础上进行建立，所述建立方法包括如下步骤：

在所述初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；

将所述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；具体地，将所述第一扩增数据库中所有所述非卧姿行人样例图像进行图像分割，获得所述非卧姿行人样例图像中的上装区域和下装区域；将图像分割后的所述非卧姿行人样例图像中的上装区域和下装区域进行指定的颜色替换，获得多种所述上装区域和下装区域颜色组合不同的扩展非卧姿行人样例图像；所述颜色替换具体为，从颜色库中确定与上装区域和下装区域的颜色最接近的色彩；将上装区域和下装区域中的颜色替换为所述颜色库中所述最接近的色彩之外的颜色；

将所述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库；具体地，获取所述扩展非卧姿行人样例图像中的行人轮廓；将所述扩展非卧姿行人样例图像中的行人轮廓沿竖直方向分割为M段，并对每段分别进行缩放获得第二缩放扩展样例图像。

2.根据权利要求1所述的方法，其特征在于，将所述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库的步骤，包括如下步骤：

将所述扩展非卧姿行人样例图像进行指定比例的缩放处理，得到指定数量的第一缩放扩展样例图像。

3.一种行人检测方法，其特征在于，应用于自动驾驶中对行人的检测，所述训练方法采用的训练数据库的建立方法包括权利要求1-2任意一项所述的行人检测训练数据库的建立方法，所述训练方法包括如下步骤：

根据所述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到所述深度卷积神经网络模型达到收敛条件；

根据达到收敛条件的所述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果；具体地，将所述自动驾驶时的实时监控图像进行卷积计算，对指定区域内的卷积结果值按照绝对值大小排序，并根据指定条件将前n个绝对值最大的卷积结果值中的一个值作为池化结果；计算出所述自动驾驶时的实时监控图像中预选区域的后验概率，并判断所述后验概率是否大于指定阈值β；若大于，则判定所述预选区域为行人区域，并输出所述预选区域的坐标值。

4.根据权利要求3所述的方法，其特征在于，根据所述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到所述深度卷积神经网络模型达到收敛条件的步骤，包括如下步骤：

根据所述训练数据库中的正负样例对深度卷积神经网络模型进行训练获得所述深度卷积神经网络模型的基础数据；

通过获取所述基础参数后的深度卷积神经网络模型检测出所述训练数据库中正样例的样例特征，其中，所述训练数据库中的正样例包括非卧姿行人样例图像正样例和扩展行人样例图像正样例；

将所述正样例的样例特征进行泛化扩增。

5.一种行人检测训练数据库的建立装置，其特征在于，应用于自动驾驶行人检测训练，所述建立转置在仅包含有非卧姿行人样例图像数据的初始行人检测训练数据库的基础上进行建立，装置包括如下：

第一扩增模块，用于在所述初始行人检测训练数据库中扩增指定数量的包含指定卧姿的行人样例图像数据，获得第一扩增数据库；

第二扩增模块，用于将所述第一扩增数据库中的非卧姿行人样例图像数据进行基于颜色替换的行人样例图像扩增，获得第二扩增数据库；具体地，将所述第一扩增数据库中所有所述非卧姿行人样例图像进行图像分割，获得所述非卧姿行人样例图像中的上装区域和下装区域；将图像分割后的所述非卧姿行人样例图像中的上装区域和下装区域进行指定的颜色替换，获得多种所述上装区域和下装区域颜色组合不同的扩展非卧姿行人样例图像；所述颜色替换具体为，从颜色库中确定与上装区域和下装区域的颜色最接近的色彩；将上装区域和下装区域中的颜色替换为所述颜色库中所述最接近的色彩之外的颜色；

第三扩增模块，用于将所述第二扩增数据库中的非卧姿行人样例图像数据进行基于人体比例的行人样例图像扩增，获得行人检测训练数据库；具体地，获取所述扩展非卧姿行人样例图像中的行人轮廓；将所述扩展非卧姿行人样例图像中的行人轮廓沿竖直方向分割为M段，并对每段分别进行缩放获得第二缩放扩展样例图像。

6.一种行人检测装置，其特征在于，应用于自动驾驶中对行人的检测，装置包括如下：

训练模块，用于根据所述训练数据库中的正负样例对深度卷积神经网络模型进行训练直到所述深度卷积神经网络模型达到收敛条件；

检测模块，用于根据达到收敛条件的所述深度卷积神经网络模型对自动驾驶时的实时监控图像进行行人检测，得到检测结果；具体地，将所述自动驾驶时的实时监控图像进行卷积计算，对指定区域内的卷积结果值按照绝对值大小排序，并根据指定条件将前n个绝对值最大的卷积结果值中的一个值作为池化结果；计算出所述自动驾驶时的实时监控图像中预选区域的后验概率，并判断所述后验概率是否大于指定阈值β；若大于，则判定所述预选区域为行人区域，并输出所述预选区域的坐标值。

7.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任意一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任意一项所述的方法。

Images