CN103886279B - 使用合成训练数据的实时骑车人检测 - Google Patents

使用合成训练数据的实时骑车人检测 Download PDF

Info

Publication number
CN103886279B
CN103886279B CN201310625897.2A CN201310625897A CN103886279B CN 103886279 B CN103886279 B CN 103886279B CN 201310625897 A CN201310625897 A CN 201310625897A CN 103886279 B CN103886279 B CN 103886279B
Authority
CN
China
Prior art keywords
image
cyclist
classification
classifier
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310625897.2A
Other languages
English (en)
Other versions
CN103886279A (zh
Inventor
B·海斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/025,460 external-priority patent/US9213892B2/en
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN103886279A publication Critical patent/CN103886279A/zh
Application granted granted Critical
Publication of CN103886279B publication Critical patent/CN103886279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明的各实施方式总体上涉及使用合成训练数据的实时骑车人检测。具体地,涉及实时地进行关于骑车人是否存在于目标图像中的确定。接收目标图像。使用线性分类器对目标图像分类并且确定目标图像的误差值。如果误差值不超过阈值,则输出分类。否则,如果误差值超过阈值,则使用非线性分类器对目标图像分类。

Description

使用合成训练数据的实时骑车人检测
相关申请
本申请要求2012年12月21日提交的第61/745,225号美国临时申请的权益,该临时申请通过引用全文结合于此。
技术领域
本申请总体上涉及对象检测的领域,并且尤其涉及使用层级分类器检测骑车人的存在。
背景技术
“对象检测”是指自动检测视频图像或静止图像中对象的存在的任务。例如,检测系统可以检测静止图像中人或骑车人(bicyclist)的存在。如本文所使用的,“骑车人”是指自行车及其骑行者的组合。
对象检测例如可以在车辆(例如,汽车)中使用以提高车辆驾驶员、乘客、骑车人以及与车辆分享道路的任意其他人的安全性。
当前的对象检测系统存在许多问题。对象检测系统所存在的一个问题是缺少用于训练对象检测模型的扩展训练集合。包括正样本(positive sample)(包括所要检测的对象的图像)和负样本(negative sample)(不包括所要检测的对象的图像)的训练集合被提供给机器学习算法以产生对象检测模型。正样本对于有限数量的对象类型(例如,行人)可能是可用的,但是可能难以找出用于其它类型的对象(例如,骑车人)的正样本。
此外,当生成用于某个类型的对象的新的训练集合时,利用某些信息对图像进行手动注释。例如,可以将对象存在于图像中这一指示和/或对象的某些参数(例如,对象的颜色以及对象在图像中的位置)添加至图像。机器学习算法使用那些注释和图像来生成用于检测对象的模型。该注释过程可能是冗长的和耗时的。
此外,准确检测某些类型的对象的存在可能是过于复杂的,并且因此对于实时应用而言可能是过于缓慢的。例如,骑车人识别比行人识别更复杂,因为在骑车人中由于视角所产生的外表变化远比在行人中更明显。而且,骑车人的上部身体姿态比典型的行人的姿态变化大。此外,骑车人移动得更快,并且他们经常极其接近车辆。这导致了对象大小的较大变化以及通过运动模糊和散焦的降低的图像质量。与行人检测相比,骑车人检测的复杂度的增加意味着大多数检测系统不适用于实时应用。因此,某些应用(例如,车辆系统中的骑车人检测)可能受益于更快的对象识别方案。
发明内容
以上问题和其它问题通过一种用于实时确定骑车人是否存在于目标图像中的方法、非暂态计算机可读存储介质和系统而得以解决。该方法的实施例包括接收目标图像。使用线性分类器对目标图像分类并且确定目标图像的误差值。如果误差值不超过阈值,则输出分类。否则,如果误差值超过阈值,则使用非线性分类器对目标图像分类。
该介质的实施例存储用于实时确定骑车人是否存在于目标图像中的可执行计算机程序指令。该指令接收目标图像。该指令随后使用线性分类器对目标图像分类并且确定目标图像的误差值。如果误差值不超过阈值,则输出分类。否则,如果误差值超过阈值,则该指令使用非线性分类器对目标图像分类。
用于实时确定骑车人是否存在于目标图像中的系统的实施例包括至少一个存储可执行计算机程序指令的非暂态计算机可读存储介质。该指令接收目标图像。该指令随后使用线性分类器对目标图像分类并且确定目标图像的误差值。如果误差值不超过阈值,则输出分类。否则,如果误差值超过阈值,则该指令使用非线性分类器对目标图像分类。
说明书中所描述的特征和优势并非是无所不包的,并且特别地,考虑到附图、说明书和权利要求,许多附加的特征和优势对本领域普通技术人员而言将是显而易见的。此外,应当注意到,已经主要出于可读性和指导性的目的对说明书中所使用的语言进行了选择,而并非被选择以限制或限定本发明主题。
附图说明
图1是依据实施例的图示骑车人检测系统的高层次框图。
图2是依据实施例的图示用于用作图1中图示的骑车人检测系统的计算机的示例的高层次框图。
图3A是依据实施例的图示图1中图示的正训练图像生成模块的详细视图的高层次框图。
图3B是依据实施例的图示图1中图示的检测模块的详细视图的高层次框图。
图4A是依据实施例的图示用于生成用于训练骑车人检测模型的正样本的方法的流程图。
图4B是依据实施例的图示用于确定静止图像中骑车人的存在的方法的流程图。
附图仅出于说明的目的而描绘了实施例中的各个实施例。本领域技术人员从以下讨论将容易地认识到,可以采用本文所图示的结构和方法的备选实施例而不背离本文所描述的实施例的原理。
具体实施方式
现在参考附图对实施例进行描述,其中相同的附图标记指示相同或功能上相似的部件。而且,在图中,每个附图标记最左侧的数字对应于其中首次使用该附图标记的附图。
图1是依据实施例的图示骑车人检测系统100的高层次框图。骑车人检测系统100包括正训练图像生成模块105、学习模块110和检测模块120。骑车人检测系统100可以在车辆中被用来确定在车辆周边存在(或不存在)骑车人。如本文所使用的,“骑车人”是指自行车及其骑行者的组合。
骑车人检测系统100例如可以在车辆中使用,以提高车辆内人员的安全性以及与车辆分享道路的骑车人的安全性。在驾驶车辆时,驾驶员可能需要注意多个对象以及在其周边发生的事件。例如,驾驶员可能需要注意交通信号(例如,交通灯、速度标志和警告标志)、车辆参数(例如,车辆速度、发动机速度、机油温度和汽油水平)、分享道路的其它车辆、试图穿越街道的行人,等等。有时,同样与车辆分享道路的骑车人可能被忽视并且可能被卷入事故之中。
骑车人检测系统100可以被用来检测骑车人的存在。如果检测到这样的存在,则驾驶员能够被警告存在骑车人。驾驶员还能够被警告骑车人的位置(例如,车辆右侧、车辆左侧和车辆前方)、骑车人的速度、骑车人前进的方向、车辆与骑车人之间的距离,等等。
正训练图像生成模块105接收骑车人的三维(3D)虚拟模型作为输入,生成骑车人的二维(2D)图像,并且输出所生成的2D图像。由于2D图像必然包括骑车人,所以该2D图像被用作用于训练对象检测模型的“正样本”。正训练图像生成模块105还可以接收一组参数,以在生成骑车人的2D图像时使用。
学习模块110接收正训练图像生成模块105所生成的2D图像(正样本)以及不包括骑车人的图像(负样本)作为输入。学习模块110随后使用正样本和负样本来训练用于在图像中检测骑车人的存在的层级分类器,并且输出经训练的层级分类器。以下参考图3A对正样本进一步进行描述。通过以随机的尺度和位置随机地裁剪街景的自然图像来生成负样本。
检测模块120接收通过学习模块110训练的层级分类器和静止图像,生成对象假设,并且输出该假设。在一些实施例中,通过安装在车辆上的相机来捕捉静止图像。例如,可以使用具有1/1.8英寸传感器的电荷耦合器件(CCD)相机来捕捉静止图像。为了提高相机的快门速度并且减少图像模糊,还可以使用具有更大传感器的相机。在一些实施例中,通过从视频提取所选择的帧来获得静止图像。该对象假设可以是二元结果(例如,是/否或者骑车人存在/不存在)。
图2是依据实施例的图示用于用作图1中图示的骑车人检测系统100的计算机200的示例的高层次框图。图示了耦合至芯片组204的至少一个处理器202。芯片组204包括存储器控制器集线器250和输入/输出(I/O)控制器集线器255。存储器206和图形适配器213耦合至存储器控制器集线器250,并且显示设备218耦合至图形适配器213。存储设备208、键盘210、指向设备214和网络适配器216耦合至I/O控制器集线器255。计算机200的其它实施例具有不同架构。例如,在一些实施例中,存储器206直接耦合至处理器202。
存储设备208包括一个或多个非暂态计算机可读存储介质,诸如硬盘驱动器、紧致盘只读存储器(CD-ROM)、DVD或固态存储器设备。存储器206保存由处理器202使用的指令和数据。指向设备214与键盘210结合使用以将数据输入到计算机系统200中。图形适配器213在显示设备218上显示图像和其它信息。在一些实施例中,显示设备218包括用于接收用户输入和选择的触摸屏功能。网络适配器216将计算机系统200耦合至通信网络或其它计算机系统(未示出)。
计算机200的一些实施例具有与图2中所示的那些组件相比不同和/或其它的组件。例如,计算机200可以是嵌入式系统并且缺少图形适配器213、显示设备218、键盘210、指向设备214和其它组件。
计算机200适于执行用于提供本文所描述的功能的计算机程序模块。如本文所使用的,术语“模块”是指用来提供指定功能的计算机程序指令和/或其它逻辑。因此,模块能够以硬件、固件和/或软件来实施。在一个实施例中,由可执行计算机程序指令所形成的程序模块被存储在存储设备208上,加载到存储器206中并且被处理器202执行。
图3A是依据实施例的图示图1中图示的正训练图像生成模块105的详细视图的高层次框图。正训练图像生成模块105包括骑车人呈现模块301、背景合并模块303、图像后处理模块305和图像注释模块307。
骑车人呈现模块301接收骑车人(自行车和骑自行车的人)的三维(3D)虚拟模型和参数集合作为输入,基于所接收的参数呈现骑车人的二维(2D)图像,并且输出所呈现的2D图像。该参数集合例如可以包括自行车的颜色、骑自行车的人的性别、骑自行车的人的衣着、骑自行车的人的姿势、骑车人的照明,等等。
在一个实施例中,骑车人呈现模块301接收自行车模型和人类模型作为输入,并且将两个模型组合以生成骑车人模型。人类模型可以接收一个或多个参数(诸如性别(例如,男性或女性)、体型(瘦型体质、胖型体质或中型体质)、发型(长发、短发、秃顶等)、头发颜色(黑色、棕色、金色等),等等)作为输入。此外,人类模型还可以包括一件或多件衣着(衬衫、裤子、鞋等)和/或配饰(帽子、背包、手表等)的模型。在一些实施例中,衣着和/或配饰模型可以存储在数据库或储存库中。
自行车模型可以接收一个或多个参数(诸如颜色、大小、反光性、纹理等)作为输入。在一些实施例中,骑车人检测系统100可以包括存储多个自行车模型的自行车模型数据存储(未示出),正训练图像生成模块105能够从中选择要使用的自行车模型以生成骑车人模型。
此外,正训练图像生成模块105还可以接收照明参数(例如,照明光源方位、照明光源高度、照明光源强度和环境光能量)、相机参数(例如,相机方位、相机高度和相机旋度)和呈现参数(图像大小、边框大小等)。
背景合并模块303接收通过骑车人呈现模块301生成的2D骑车人图像和2D背景图像作为输入,将骑车人图像和背景图像组合,并且输出组合的2D图像。在一些实施例中,背景图像选自背景图像库。背景合并模块303还可以接收指示骑车人应当在背景图像内放在哪里的位置作为参数,并且将骑车人图像放在所接收的位置。例如,背景合并模块303可以接收指示在背景图像内要在哪里放置骑车人图像的坐标点作为参数。备选地,背景合并模块303可以接收定义应当将骑车人图像置于其中的方块的两个点作为参数。
图像后处理模块305接收具有背景的骑车人的2D图像,编辑所接收的图像以使得其能够被学习模块110使用,并且输出所编辑的图像。例如,图像后处理模块305可以平滑图像、降采样图像、裁剪图像等。
图像注释模块307接收由图像后处理模块305输出的图像作为输入,使用所接收图像的地面实况注释所接收的图像,并且输出经注释的图像。在一些实施例中,地面实况是二元值,或者为“是”(存在骑车人)或者为“否”(不存在骑车人)。在其它实施例中,地面实况还包括用来呈现图像的一个或多个参数(例如,关于骑自行车的人的信息,诸如姿势;或者关于自行车自身的信息,诸如自行车的类型)。该地面实况还可以包括骑车人在图像中的位置。例如,图像注释模块307可以使用指示骑车人位于图像中何处的坐标点(或定义方块的两个点)来注释图像。
图3B是依据实施例的图示图1中图示的检测模块120的详细视图的高层次框图。检测模块120包括面向直方图的梯度(HOG)提取模块311、线性分类模块313和非线性分类模块315。
面向直方图的梯度(HOG)提取模块311接收静止图像,从所接收的静止图像提取HOG特征,并且输出所提取的特征。如本文所使用的,面向直方图的梯度(HOG)是出于对象检测的目的在计算机视觉和图像处理中使用的特征描述符。HOG特征指示在图像的局部部分中出现梯度方向的数量。
HOG提取模块311通过将所接收的图像划分为多个单元来提取HOG特征。例如,HOG提取模块311可以使用8×8像素的单元大小来计算HOG特征。对于每个单元,HOG提取模块311在该单元的像素上计算梯度方向的一维(1D)直方图。在一些实施例中,HOG提取模块311通过将图像划分成块、计算块的局部直方图能量并且基于所计算的局部直方图能量归一化块内的单元来针对贯穿所接收的图像的照明变化归一化该图像。例如,HOG提取模块311可以使用2×2个单元的块大小来计算局部直方图能量。
在一个实施例中,HOG提取模块311从具有预定义大小的图像提取HOG特征。例如,HOG提取模块311可以从48×48像素的图像提取HOG特征。如果所接收的图像的大小更大或更小,则HOG提取模块缩小或放大该图像,直至图像大小等于预定义图像大小。
线性分类模块313接收HOG图像特征的集合作为输入,使用线性分类器(例如,线性支持向量机或“线性SVM”)和HOG特征来确定骑车人是否存在于与该特征相关联的图像中,并且输出分类和误差值。该误差值指示该分类不正确的概率。如本文所使用的,线性分类器基于对象的特性或特征的线性组合(或函数)来识别对象(例如,静止图像)属于哪个类(例如,骑车人存在/不存在)。在一个实施例中,线性分类器的输出由
y=f(ω·x)
给出,其中y是线性分类模块的输出,ω是由学习模块110确定的权重向量,并且x是包含正在被分类的对象的特征值的特征向量。
非线性分类模块315接收HOG图像特征的集合作为输入,使用非线性分类器(例如,径向基函数支持向量机或RBF-SVM)和HOG特征来确定骑车人是否存在于与该特征相关联的图像中,并且输出该分类。如本文所使用的,非线性分类器基于对象的特征的非线性组合(或函数)来识别对象(例如,图像)属于哪个类(例如,骑车人存在/不存在)。
图4A是依据实施例的图示用于生成用于训练骑车人检测模型的正样本的方法的流程图。正训练图像生成模块105接收401骑车人模型和正训练图像参数。
骑车人呈现模块301基于所接收的骑车人模型和所接收的正训练图像参数呈现403骑车人的图像。
背景合并模块303将背景添加405至所呈现的骑车人图像。
在一些实施例中(未示出),图像后处理模块305可以向具有背景的骑车人的图像应用图像后处理技术(例如,平滑、降采样、裁剪)。
图像注释模块307使用地面实况注释407所组合的图像(骑车人加背景)。例如,图像注释模块307可以使用指示图像是正样本的二元值注释图像。在其它实施例中,图像注释模块307进一步使用用来呈现骑车人图像的一个或多个所接收的正训练图像参数(诸如骑自行车的人的姿势或自行车的类型)来注释图像。
图4A中图示的步骤可以多次重复(使用不同的骑车人模型、正训练图像参数和/或背景)以生成多个正样本。例如,图4A的步骤可以被重复数千次以产生数千个正样本。
图4B是依据实施例的图示用于确定静止图像中骑车人的存在的方法的流程图。检测模块120接收411要被分类的静止图像。在一些实施例中,可以使用安装在车辆中的相机来捕捉该图像。
HOG提取模块311分析所接收的静止图像并且从所接收的静止图像提取413HOG特征。
线性分类模块313使用线性分类器和由HOG提取模块311提取的HOG特征对图像分类415,输出分类和误差值。
将由线性分类模块313输出的误差值与阈值比较417。如果由线性分类模块313输出的误差值小于阈值,则由线性分类模块313输出的分类被用来确定骑车人是否存在于图像中。否则,如果由线性分类模块313输出的误差值大于阈值,则由非线性分类模块315使用非线性分类器和由HOG提取模块311提取的HOG特征来对所接收的图像分类419,输出分类。
分类结果被输出421。在一些实施例中,骑车人检测系统100的输出是二元结果(例如,骑车人存在/不存在)。在其它实施例中,骑车人检测系统100输出诸如骑车人相对于所接收的图像的位置之类的附加信息。骑车人检测系统100的输出例如可以被用来警告车辆驾驶员附近的骑车人的存在。
在一些实施例中,骑车人检测系统100使用分辨率金字塔(resolution pyramid)和滑动的固定大小检测窗口来确定在接收的静止图像中骑车人的存在。例如,检测模块120可以使用以原始图像分辨率开始、具有10级的因数的分辨率金字塔以及48×48像素的检测窗口大小和4像素的步幅长度。也就是说,使用4像素的步幅长度从原始图像中提取48×48像素的子图像,并且所提取的图像被发送至检测模块120以确定骑车人是否存在于48×48像素的子图像中。在每个子图像被检测模块分析之后,使用的因数缩小原始图像。从缩小的图像中提取48×48像素的子图像并且将其发送至检测模块120以确定骑车人是否存在于48×48像素的子图像中。重复该处理,直至已经分析了来自每个等级(例如,10个等级)的子图像。
骑车人检测系统100可以进一步抑制冗余检测(例如,在两个不同等级检测到的相同骑车人)。在一个实施例中,对于给定的原始分辨率的图像,为了抑制冗余检测,每个检测被添加至检测列表并且根据逐渐降低的检测强度(例如,逐渐降低的SVM值)分类。列表中的第一元素被选择为当前最大值,并且对于在其余检测的检测窗口中与当前最大值的重叠来测试其余检测。对于给定的检测,如果该检测和当前最大值的交集和并集之间的比率大于阈值(例如,25%),则该检测被添加至被当前最大值抑制的检测群组。一旦被抑制或被选择为最大值,该检测就从检测列表移除。重复该处理,直至所有检测从检测列表移除。随后,通过在处于群组的中等级别之内的窗口上取平均值来对于每个群组计算单个检测窗口。
说明书中对“一个实施例”或者对“实施例”的引用意味着结合该实施例所描述的特定特征、结构或特性包括在至少一个实施例中。在说明书中各处出现的短语“一个实施例”或“实施例”并非必然都指代相同的实施例。
具体实施方式的一些部分以对计算机存储器内的数据比特的运算的算法和符号表示的形式呈现。这些算法描述和表示是数据处理领域的技术人员用来向该领域的其他技术人员最为有效地传递其工作实质的手段。这里以及总体上,算法被理解为导致所期望结果的步骤(指令)的自洽序列。步骤是需要对物理量进行物理操控的那些步骤。通常,虽然并非必要,这些量采取能够被存储、传输、组合、比较以及以其它方式操控的电信号、磁信号或光信号的形式。主要出于一般使用的原因,将这些信号称作比特、数值、元素、符号、字符、项、数字等有时是方便的。此外,不失一般性,将需要物理量或物理量的表示的物理操控或变换的步骤的某些布置称作模块或代码设备有时也是方便的。
然而,所有这些术语和类似的术语将与适当的物理量相关联并且仅是被应用于这些量的方便标签。除非如从以下讨论显而易见的那样另外特别指出,否则应当意识到,贯穿整个描述,使用诸如“处理”或“运算”或“计算”或“确定”或“显示”等术语的讨论是指计算机系统或类似电子计算设备(诸如特定计算机器)的动作和处理,其操控和变换在计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内被表示为物理(电子)量的数据。
实施例的某些方面包括本文以算法形式描述的处理步骤和指令。应当注意的是,实施例的处理步骤和指令可以以软件、固件或硬件来体现,并且当以软件体现时,能够被下载以驻留在由各种操作系统使用的不同平台上并且从该不同平台进行操作。实施例还能够处于能够在计算系统上执行的计算机程序产品中。
实施例还涉及用于执行本文的操作的装置。该装置可以出于例如特定计算机的目的而被特别构造,或者其可以包括被存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质(诸如但不限于任意类型的碟片,包括软盘、光盘、CD-ROM、磁性光盘、只读存储器(ROM)、随机访问存储器(RAM)、EPROM、EEPROM、磁性或光学卡、专用集成电路(ASIC)或者适于存储电子指令的任意类型的介质,并且各自耦合至计算机系统总线)中。存储器可以包括能够存储信息/数据/程序的任意以上设备和/或其它设备,并且可以为暂态或非暂态介质,其中非瞬态或非暂态介质可以包括比最小持续时间更久地存储信息的存储器/储存器。此外,说明书中提到的计算机可以包括单个处理器,或者可以是为了提高计算能力而采用多个处理器设计的架构。
本文提出的算法和显示并非固有地涉及任何特定计算机或其它装置。各种通用系统也可以与依据本文的教导的程序一起使用,或者构造更为专用的装置来执行方法步骤可以证明是便利的。用于各种这些系统的结构将源自本文的描述。此外,实施例未参考任何特定的编程语言进行描述。将要意识到的是,可以使用各种编程语言来实施如本文所描述的实施例的教导,并且本文对特定语言的任何引用是为了公开实现和最佳模式而被提供。
此外,已经主要出于可读性和指示性的目的对说明书中所使用的语言进行了选择,而并非被选择以限制或限定本发明主题。因此,实施例的公开旨在说明而非限制权利要求中提出的实施例的范围。
虽然本文已经说明并描述了特定的实施例和应用,但是应当理解的是,实施例不限于本文所公开的确切构造和组件,并且可以在实施例的方法和装置的布置、操作和细节方面进行各种修改、改变和变化而不背离如所附权利要求中所定义的实施例的精神和范围。

Claims (16)

1.一种用于实时确定骑车人是否存在于目标图像中的方法,包括以下步骤:
接收所述目标图像;
使用线性分类器确定所述目标图像的第一分类和误差值,其中所述误差值指示所述第一分类不正确的概率;
响应于所述误差值不超过阈值:
输出所述第一分类;以及
响应于所述误差值超过所述阈值:
使用非线性分类器确定所述目标图像的第二分类;以及
输出所述第二分类。
2.根据权利要求1所述的方法,进一步包括:
基于骑车人的三维模型生成所述骑车人的多个合成图像;以及
使用所生成的多个合成图像训练所述线性分类器和所述非线性分类器。
3.根据权利要求2所述的方法,其中生成所述骑车人的所述多个合成图像包括:
基于所述骑车人的所述三维模型呈现骑自行车的人的图像;以及
将背景添加至所呈现的图像,由此生成组合图像。
4.根据权利要求3所述的方法,其中生成所述骑车人的所述多个合成图像进一步包括以下各项中的至少一项:降采样所述组合图像、平滑所述组合图像以及裁剪所述组合图像。
5.根据权利要求3所述的方法,其中生成所述骑车人的所述多个合成图像基于所述骑车人的所述三维模型以及基于参数来执行。
6.根据权利要求5所述的方法,其中所述参数包括以下各项中的一项:关于所述人的信息、关于所述自行车的信息以及关于所述骑车人在所呈现的图像内的位置的信息。
7.根据权利要求5所述的方法,进一步包括使用所述参数注释所述组合图像。
8.根据权利要求2所述的方法,进一步包括基于自行车的三维模型和人的三维模型来生成所述骑车人的所述三维模型。
9.根据权利要求1所述的方法,进一步包括:
接收多个负训练图像,其中负训练图像不显示骑车人;以及
使用所述多个负训练图像训练所述线性分类器和所述非线性分类器。
10.根据权利要求1所述的方法,其中所述线性分类器包括线性支持向量机(SVM)。
11.根据权利要求1所述的方法,其中所述非线性分类器包括径向基函数(RBF)支持向量机(SVM)。
12.根据权利要求1所述的方法,其中所述线性分类器基于方向梯度直方图(HOG)图像特征来执行分类。
13.根据权利要求12所述的方法,进一步包括从所述目标图像提取HOG图像特征。
14.一种用于实时确定骑车人是否存在于目标图像中的系统,包括:
处理器;以及
存储指令的非暂态计算机可读存储介质,
当被所述处理器执行时,所述指令使得所述处理器:
接收所述目标图像;
使用线性分类器确定所述目标图像的第一分类和误差值,其中所述误差值指示所述第一分类不正确的概率;
响应于所述误差值不超过阈值:
输出所述第一分类;以及
响应于所述误差值超过所述阈值:
使用非线性分类器确定所述目标图像的第二分类;以及
输出所述第二分类。
15.根据权利要求14所述的系统,其中当被所述处理器执行时,所述指令进一步使得所述处理器:
基于骑车人的三维模型生成所述骑车人的多个合成图像;以及
使用所生成的多个合成图像训练所述线性分类器和所述非线性分类器。
16.根据权利要求15所述的系统,其中生成所述骑车人的所述多个合成图像包括:
基于所述骑车人的所述三维模型呈现骑自行车的人的图像;以及
将背景添加至所呈现的图像,由此生成组合图像。
CN201310625897.2A 2012-12-21 2013-11-28 使用合成训练数据的实时骑车人检测 Active CN103886279B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261745225P 2012-12-21 2012-12-21
US61/745,225 2012-12-21
US14/025,460 US9213892B2 (en) 2012-12-21 2013-09-12 Real-time bicyclist detection with synthetic training data
US14/025,460 2013-09-12

Publications (2)

Publication Number Publication Date
CN103886279A CN103886279A (zh) 2014-06-25
CN103886279B true CN103886279B (zh) 2017-05-03

Family

ID=50955162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310625897.2A Active CN103886279B (zh) 2012-12-21 2013-11-28 使用合成训练数据的实时骑车人检测

Country Status (1)

Country Link
CN (1) CN103886279B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426819A (zh) * 2015-10-30 2016-03-23 河海大学 基于多尺度hog的行人检测方法
US10489691B2 (en) * 2016-01-15 2019-11-26 Ford Global Technologies, Llc Fixation generation for machine learning
CN105631440B (zh) * 2016-02-22 2019-01-22 清华大学 一种易受伤害道路使用者的联合检测方法
US10552665B2 (en) * 2017-12-12 2020-02-04 Seiko Epson Corporation Methods and systems for training an object detection algorithm using synthetic images
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
CN108491759A (zh) * 2018-02-10 2018-09-04 合肥迪宏自动化有限公司 一种基于深度学习的工序检测装置及其工序检测方法
CN110297676A (zh) * 2018-03-21 2019-10-01 上海博泰悦臻电子设备制造有限公司 一种切换车机主题方法及车机系统
CN109492522B (zh) * 2018-09-17 2022-04-01 中国科学院自动化研究所 特定目标检测模型训练程序、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021462A1 (en) * 2001-06-22 2003-01-30 Kaoru Sakai Defect detection method and its apparatus
CN102163288A (zh) * 2011-04-06 2011-08-24 北京中星微电子有限公司 眼镜检测方法和装置
CN102651075A (zh) * 2011-02-28 2012-08-29 中兴智能交通系统(北京)有限公司 车辆识别模型训练方法、车辆识别方法及装置
CN102831409A (zh) * 2012-08-30 2012-12-19 苏州大学 基于粒子滤波的运动行人视频自动跟踪方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021462A1 (en) * 2001-06-22 2003-01-30 Kaoru Sakai Defect detection method and its apparatus
CN102651075A (zh) * 2011-02-28 2012-08-29 中兴智能交通系统(北京)有限公司 车辆识别模型训练方法、车辆识别方法及装置
CN102163288A (zh) * 2011-04-06 2011-08-24 北京中星微电子有限公司 眼镜检测方法和装置
CN102831409A (zh) * 2012-08-30 2012-12-19 苏州大学 基于粒子滤波的运动行人视频自动跟踪方法及系统

Also Published As

Publication number Publication date
CN103886279A (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
CN103886279B (zh) 使用合成训练数据的实时骑车人检测
US10614310B2 (en) Behavior recognition
US9213892B2 (en) Real-time bicyclist detection with synthetic training data
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
CN105260712B (zh) 一种车辆前方行人检测方法及系统
Zhang et al. MFR-CNN: Incorporating multi-scale features and global information for traffic object detection
CN105631440B (zh) 一种易受伤害道路使用者的联合检测方法
US9418467B2 (en) 3D human models applied to pedestrian pose classification
CN103886315B (zh) 应用于行人姿势分类的3d人体模型
CN110555475A (zh) 一种基于语义信息融合的少样本目标检测方法
CN105654067A (zh) 一种车辆检测方法及装置
CN108805018A (zh) 道路交通标志检测识别方法、电子设备、存储介质及系统
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN105574550A (zh) 一种车辆识别方法及装置
CN108198202A (zh) 一种基于光流和神经网络的视频内容检测方法
Padmini et al. Real time automatic detection of motorcyclists with and without a safety helmet
Wu et al. Traffic sign detection based on SSD combined with receptive field module and path aggregation network
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
Singh et al. Helmet detection using detectron2 and efficientdet
CN114359892A (zh) 三维目标检测方法、装置及计算机可读存储介质
CN111753601B (zh) 一种图像处理的方法、装置以及存储介质
Jiang et al. Fast Traffic Accident Identification Method Based on SSD Model
Górska et al. Pedestrian detection in low-resolution thermal images
KM et al. A Review on Deep Learning Based Helmet Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant