CN110837760B - 目标检测方法、用于目标检测的训练方法和装置 - Google Patents

目标检测方法、用于目标检测的训练方法和装置 Download PDF

Info

Publication number
CN110837760B
CN110837760B CN201810939909.1A CN201810939909A CN110837760B CN 110837760 B CN110837760 B CN 110837760B CN 201810939909 A CN201810939909 A CN 201810939909A CN 110837760 B CN110837760 B CN 110837760B
Authority
CN
China
Prior art keywords
target
detected
image
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810939909.1A
Other languages
English (en)
Other versions
CN110837760A (zh
Inventor
陶永俊
秦暕
葛逸盛
王鹏
马海军
李乐
俞鸿魁
郭艳民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201810939909.1A priority Critical patent/CN110837760B/zh
Publication of CN110837760A publication Critical patent/CN110837760A/zh
Application granted granted Critical
Publication of CN110837760B publication Critical patent/CN110837760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种目标检测方法、用于目标检测的训练方法和装置。本发明的目标检测方法,包括:获取待处理图像,将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。本发明实施例可以实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测。

Description

目标检测方法、用于目标检测的训练方法和装置
技术领域
本发明实施例涉及目标检测技术,尤其涉及一种目标检测方法、用于目标检测的训练方法和装置。
背景技术
驾驶辅助预警系统主要包括行人碰撞预警(PCW)、前向碰撞预警(FCW)、车道偏离预警(LDW)、车距检测与警告(HMW)等功能。其利用各种技术手段,例如超声波、雷达、机器视觉、红外线等,获取行车环境信息,通过控制单元对道路运行状况进行监测和智能化预警,给予驾驶员建议,以避免车辆碰撞事故发生或降低事故碰撞损伤程度。
其中,基于机器视觉的车辆检测成本低、尺寸小、质量轻、功耗小、视觉范围广,且测量精度能够满足驾驶辅助预警系统的要求,所以,基于机器视觉的车辆检测方法得到了广泛应用。基于机器视觉的车辆检测方法具体可以采用基于神经网络的目标检测方法,该基于神经网络的目标检测方法,例如R-CNN(Regions with Convolutional NeuralNetwork Features)、SSD、YOLO等端到端神经网络,自动产生抽象特征,不需要人工干预,并且通过神经网络处理可以直接输出检测结果,且检测结果的准确率较高。
然而,上述基于神经网络的目标检测方法在处理过程中,需要大量计算资源,对于移动终端设备或嵌入式设备,其计算资源往往不能满足基于神经网络的目标检测方法的计算资源需求,从而使得基于神经网络的目标检测方法无法有效应用于移动终端设备或嵌入式设备中。
发明内容
本发明实施例提供一种目标检测方法、用于目标检测的训练方法和装置,以实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测。
第一方面,本发明实施例提供一种目标检测方法,包括:
获取待处理图像;
将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,所述候选目标的区域信息用于指示所述候选目标所在区域在所述待处理图像中的位置和大小;
根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,所述待检测目标的区域信息用于指示所述待检测目标所在区域在所述待处理图像中的位置和大小;
根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
第二方面,本发明实施例提供一种目标检测装置,包括:
获取模块,用于获取待处理图像;
第一图像处理模块,用于将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,所述候选目标的区域信息用于指示所述候选目标所在区域在所述待处理图像中的位置和大小;
第二图像处理模块,用于根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,所述待检测目标的区域信息用于指示所述待检测目标所在区域在所述待处理图像中的位置和大小;
检测模块,用于根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
第三方面,本发明实例提供一种用于目标检测的训练方法,包括:
获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;
根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取目标分类器,其中,所述目标分类器用于对待处理图像进行检测,获取候选目标的区域信息;
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取卷积神经网络,其中,所述卷积神经网络用于对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息。
第四方面,本发明实施例提供一种用于目标检测的训练装置,包括:
获取模块,用于获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;
所述获取模块,还用于根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;
分类器训练模块,用于将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取目标分类器,其中,所述目标分类器用于对待处理图像进行检测,获取候选目标的区域信息;
卷积神经网络训练模块,将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取卷积神经网络,其中,所述卷积神经网络用于对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息。
第五方面,本发明实施例提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,以实现上述第一方面或第三方面所述的方法。
第六方面,本发明实施例提供一种计算机存储介质,包括:所述计算机存储介质用于存储计算机程序,所述计算机程序执行时用于实现上述第一方面或第三方面所述的方法。
本发明实施例的目标检测方法、用于目标检测的训练方法和装置,通过获取待处理图像,将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。即利用传统机器学习方法产生候选目标,再采用神经网络过滤非目标对象,产生待检测目标,进而根据待检测目标的区域信息对待检测目标的运动状态进行检测。通过结合传统机器学习方法和神经网络对待检测目标的运动状态进行检测,可以减少运算资源,实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种应用场景示意图;
图2为本发明的目标检测方法的流程图;
图3为本发明的目标检测方法实施例的流程图;
图4为本发明的分类器的训练方法实施例一的流程图;
图5A为本发明的神经网络模型的训练方法实施例一的流程图;
图5B为本发明的用于生成第一卷积神经网络的神经网络模型示意图;
图5C为本发明的用于生成第二卷积神经网络的神经网络模型示意图;
图6A为本发明的一种前车预警系统的结构示意图;
图6B为Cascade滑窗分类器的输出结果;
图6C为CNN确认网络的输出结果;
图6D为CNN微调网络的输出结果;
图7为本发明的目标检测装置实施例一的结构示意图;
图8为本发明的目标检测装置实施例二的结构示意图;
图9为本发明的用于目标检测的训练装置实施例一的结构示意图;
图10为本发明的电子设备实施例一的结构示意图;
图11为具体模块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的一种应用场景示意图,如图1所示,本发明实施例的目标检测方法可以应用于图像处理模块2中,该图像处理模块2与图像采集模块1连接,图像采集模块1采集拍摄场景的视频数据,将采集到的视频数据发送给图像处理模块2,由图像处理模块2对所述视频数据进行关键帧提取,获取待处理图像,将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。其中,所述目标分类器为传统机器学习中的一种分类器,即利用传统机器学习方法产生候选目标,再采用神经网络过滤非目标对象,产生待检测目标,进而根据待检测目标的区域信息对待检测目标的运动状态进行检测。通过结合传统机器学习方法和神经网络对待检测目标的运动状态进行检测,可以减少运算资源,实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测。
本发明实施例的方法可以应用于基于机器视觉的车辆检测,例如测量前车距离、前车速度、碰撞预警、车距检测与警告等。
需要说明的是,本发明实施例所涉及的卷积神经网络可以使用其他神经网络进行替换,其可以根据需求进行灵活设置,本发明实施例不以此作为限制。
需要说明的是,上述图像采集模块1可以是摄像头。上述图像处理模块2可以是目标检测装置,或者目标检测装置的一个子模块。该目标检测装置可以是移动终端或嵌入式设备。
下面采用几个具体的实施例对本发明实施例的目标检测方法进行具体解释说明。
图2为本发明的目标检测方法的流程图,本实施例的执行主体可以是上述图像处理模块执行,该图像处理模块通常以硬件和软件的方式来实现,如图2所示,本实施例的方法可以包括:
步骤101、获取待处理图像。
其中,可以从图像采集模块获取待处理图像,图像采集模块采集拍摄场景的视频数据,图像处理模块从图像采集模块获取视频数据,对所述视频数据进行关键帧提取,获取待处理图像。
具体的,对所述视频数据进行关键帧提取的具体实施方式可以有很多种不同选择,例如,视频数据包括多个时间连续的图像帧,可以每隔10或12帧提取一个图像帧作为该关键帧。也可以使用图像处理算法,在多个时间连续的图像帧中提取一个图像帧作为该关键帧。其中,间隔帧数可以根据需求进行灵活设置。该关键帧即为待处理图像,通过下述步骤对该待处理图像进行处理。
步骤102、将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息。
其中,所述候选目标的区域信息用于指示所述候选目标所在区域在所述待处理图像中的位置和大小。一种可实现方式,该候选目标的区域信息可以包括多个坐标点的坐标,例如该候选目标所在区域的多个坐标点的坐标,举例而言,该候选目标所在区域为矩形区域,则该多个坐标点可以包括四个坐标点,即该矩形区域的四个顶点,也可以包括两个坐标点,例如左下方顶点和右上方顶点。另一种可实现方式,该候选目标的区域信息可以包括一个坐标点的坐标、长度值和宽度值。以该候选目标所在区域为矩形区域为例,则该候选目标的区域信息可以包括左下方顶点的坐标、和该矩形区域的长度值和宽度值。
具体的,该目标分类器可以对待处理图像进行检测,获取候选目标的区域信息。其中,候选目标可以是该待处理图像中的车、物体等。即通过对待处理图像的检测,实现对拍摄场景中的车、物体的检测。
其中,所述目标分类器为传统机器学习中的一种分类器,即利用传统机器学习方法产生候选目标。举例而言,该分类器具体可以是级联分类器。
步骤103、根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息。
其中,所述待检测目标的区域信息用于指示所述待检测目标所在区域在所述待处理图像中的位置和大小。其中该待检测目标的区域信息可以使用上述候选目标的区域信息相同的表示方法,此处不再赘述。待检测目标的区域信息可以是对候选目标的区域信息进行调整后得到的。
本步骤中的待检测目标是在步骤102的候选目标的基础上,进行目标筛选,即过滤错误的候选目标而获取的。即通过神经网络算法进行过滤和位置调整,确定待检测目标的区域信息。以多个候选目标为例进行举例说明,即通过步骤103在多个候选目标中筛选出一个或多个待检测目标,即一个或多个待检测目标是多个候选目标的子集。
步骤104、根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
具体的,可以根据待检测目标的区域信息对所述待检测目标的运动状态进行检测。例如,对距离、速度的检测。
本实施例,通过获取待处理图像,将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。即利用传统机器学习方法产生候选目标,再采用神经网络过滤非目标对象,产生待检测目标,进而根据待检测目标的区域信息对待检测目标的运动状态进行检测。通过结合传统机器学习方法和神经网络对待检测目标的运动状态进行检测,可以减少运算资源,实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测。
下面采用几个具体的实施例,对图2所示方法实施例的技术方案进行详细说明。
图3为本发明的目标检测方法实施例的流程图,如图3所示,本实施例的方法可以包括:
步骤201、获取待处理图像。
步骤202、将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息。
其中步骤201和步骤202的具体解释说明可以参见上述图2所示实施例的步骤101和步骤102的解释说明,此处不再赘述。
步骤203、根据所述候选目标的区域信息和第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,获取所述候选目标的分类结果。
具体的,通过第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,即确定步骤202得到的候选目标是否是车、物体等。
其中,分类结果可以包括0或1,0用于表示该候选目标不是车、物体等,1表示该候选目标是车、物体等。当然也可以使用其他方式的分类结果,本发明实施例对此不做限制。
步骤204、根据所述候选目标的分类结果对所述候选目标进行筛选,确定待检测目标。
具体的,根据步骤203的候选目标的分类结果对候选目标进行筛选,过滤非候选目标,确定待检测目标。举例而言,步骤202得到的候选目标包括编号分别为1、2、3、4、5的候选目标,经过步骤203分别对编号为1、2、3、4、5的候选目标进行分类,获取每个候选目标的分类结果,其中,编号1的候选目标的分类结果为1,编号2的候选目标的分类结果为1,编号3的候选目标的分类结果为1,编号4的候选目标的分类结果为0,编号5的候选目标的分类结果为1,则通过步骤204进行筛选,滤除分类结果为0的候选目标,即滤除编号4的候选目标,则编号1的候选目标为待检测目标1,编号2的候选目标为待检测目标2,编号3的候选目标为待检测目标3,编号5的候选目标为待检测目标5。
步骤205、根据所述待检测目标和所述候选目标的区域信息确定所述待检测目标的原始区域信息。
具体的,以上述举例做进一步举例说明,待检测目标1的原始区域信息即为编号1的候选目标的区域信息。从而可以确定每个待检测目标的原始区域信息。
步骤206、根据所述待检测目标的原始区域信息和第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息。
具体的,通过第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定待检测目标的区域信息。该待检测目标的区域信息即为对原始区域信息进行调整后的区域信息。
步骤207、根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
可选的,上述步骤203的一种具体的可实现方式,包括:根据所述候选目标的区域信息对所述待处理图像进行图像截取,获取所述候选目标的图像;将所述候选目标的图像输入至所述第一卷积神经网络,使用所述第一卷积神经网络对所述候选目标的图像进行分类,获取所述候选目标的分类结果。
举例而言,待处理图像包括1080*1080个像素值,根据该候选目标的区域信息确定该候选目标所在区域为矩形区域,且矩形区域大小为100*100,则根据候选目标的区域信息在待处理图像进行图像截取,截取对应位置100*100的图像,即候选目标的图像。将该候选目标的图像调整为第一卷积神经网络输入所需的大小,例如30*30,输入至第一卷积神经网络,使用所述第一卷积神经网络对所述候选目标的图像进行分类,获取所述候选目标的分类结果。该分类结果用于对候选目标进行筛选,确定待检测目标。
可选的,上述步骤206的一种具体的可实现方式,包括:根据所述待检测目标的原始区域信息对所述待处理图像进行图像截取,获取所述待检测目标的图像;将所述待检测目标的图像输入至所述第二卷积神经网络,使用所述第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息。
本实施例,通过获取待处理图像,将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,根据所述候选目标的区域信息和第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,获取所述候选目标的分类结果,根据所述候选目标的分类结果对所述候选目标进行筛选,确定待检测目标,根据所述待检测目标和所述候选目标的区域信息确定所述待检测目标的原始区域信息,根据所述待检测目标的原始区域信息和第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息,根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。即利用传统机器学习方法产生候选目标,再采用神经网络过滤非目标对象,产生待检测目标,进而根据待检测目标的区域信息对待检测目标的运动状态进行检测。通过结合传统机器学习方法和神经网络对待检测目标的运动状态进行检测,可以减少运算资源,实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测。
图4为本发明的分类器的训练方法实施例一的流程图,本实施例对上述实施例中所涉及目标分类器的获取方法进行具体解释说明,如图4所示,本实施例的方法可以包括:
步骤301、获取训练数据。
其中,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值。
具体的,上述训练图像可以通过上述步骤101中的关键帧提取的方式获取,之后人工对训练图像中的待检测目标和非待检测目标进行标记,获取训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值,构建训练数据。
步骤302、根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像。
步骤303、将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取所述目标分类器。
其中,该分类器模型可以采用现有技术的级联分类器模型,例如Cascade模型。
可选的,还可以进行数据清洗和格式化处理将训练数据中的无用或者错误数据剔除掉,再通过一些处理,对待检测目标的图像和非待检测目标的图像进行旋转、变色等操作,生成增强数据集(Data-Augmentation),与步骤302获取的训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像一同通过步骤303,对分类器模型进行训练,获取目标分类器。
本实施例,通过训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取所述目标分类器,从而提升使用该目标分类器对待处理图像进行检测的及时性和准确性。
图5A为本发明的神经网络模型的训练方法实施例一的流程图,图5B为本发明的用于生成第一卷积神经网络的神经网络模型示意图,图5C为本发明的用于生成第二卷积神经网络的神经网络模型示意图,本实施例对上述实施例中所涉及第一神经网络和第二神经网络的获取方法进行具体解释说明,如图5A所示,本实施例的方法可以包括:
步骤401、获取训练数据。
步骤402、根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像。
其中,步骤401和步骤402的具体解释说明可以参见上述步骤301和步骤302,此处不再赘述。
步骤403、将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取第一卷积神经网络。
其中,本步骤中的卷积神经网络模型可以如图5B所示,图5B中从左至右第一个为待检测目标的图像或非待检测目标的图像,本实施例以30*30为例进行举例说明,最后一个为输出结果,根据输出结果和对应的标记值对该卷积神经网络模型进行调整,获取第一卷积神经网络。
步骤404、对所述训练图像中的待检测目标的区域信息进行调整,获取待检测目标的区域信息,根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像。
步骤405、将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取第二卷积神经网络。
其中,本步骤中的卷积神经网络模型可以如图5C所示,图5C中从左至右第一个为待检测目标的图像或非待检测目标的图像,本实施例以30*30为例进行举例说明,最后一个为输出结果,根据输出结果和对应的标记值对该卷积神经网络模型进行调整,获取第二卷积神经网络。
需要说明的是,上述步骤402和步骤404的执行顺序不以序号大小作为限制。
本实施例,通过训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值对卷积神经网络模型进行训练,获取第一卷积神经网络,通过训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值对卷积神经网络模型进行训练,获取第二卷积神经网络,从而提升使用该第一卷积神经网络和第二卷积神经网络对待检测目标的运动状态进行检测的准确性。
需要说明的是图4和图5A所示实施例的执行主体可以与图2、图3所示实施例的执行主体可以相同,也可以不同。如果采用不同的执行主体,具体的,由用于目标检测的训练装置实施图4、图5A所示方法实施例,对分离器和卷积神经网络模型进行训练,以得到图2、图3所示实施例中的目标分类器和卷积神经网络。
在上述实施例的基础上,可以将本发明实施例的目标检测方法应用到前车预警系统中,下面采用一个具体的实施例进行举例说明,其中,以目标分类器具体为Cascade滑窗分类器、第一卷积神经网络为CNN确认网络、第二卷积神经网络为CNN微调网络,为例进行举例说明。
图6A为本发明的一种前车预警系统的结构示意图,图6B为Cascade滑窗分类器的输出结果,图6C为CNN确认网络的输出结果,图6D为CNN微调网络的输出结果,如图6A所示,该前车预警系统包括两大模块,分别为线下模型训练模块与线上监测和预警模块,其中,两大模块又分别包括多个子模块。
具体的,如图6A所示,线下模型训练模块可以包括训练数据获取模块、Cascade模型训练模块、确认网络训练模块和微调网络训练模块。
其中,训练数据获取模块可以执行上述图4所示实施例的步骤301和步骤302。训练数据获取模块可以得到训练数据,训练数据可以包括训练图像中的待检测目标的图像和对应的标记值、训练图像中的非待检测目标的图像和对应的标记值。将训练数据分别输入至Cascade模型训练模块、确认网络训练模块和微调网络训练模块,使用训练数据对Cascade模型进行训练,得到Cascade滑窗分类器,使用训练数据对确认网络进行训练,得到CNN确认网络,使用训练数据对微调网络进行训练,得到CNN微调网络。
将训练得到的Cascade滑窗分类器设置在Cascade滑窗分类器模块中,将训练得到的CNN确认网络设置在CNN确认网络模块中,将训练得到的CNN微调网络设置在CNN微调网络模块中。
线上监测和预警模块包括图像预处理模块、Cascade滑窗分类器模块、CNN确认网络模块、CNN微调网络模块、前车过滤模块、前车跟踪模块、距离计算模块、预警决策模块和前车速度计算模块。
其中,图像预处理模块对输入的图像进行处理,例如提取关键帧、色彩矫正处理,得到待处理图像,输出至Cascade滑窗分类器模块,该Cascade滑窗分类器模块可以执行上述步骤102,获取候选目标的区域信息,即Cascade滑窗分类器模块可以输出如图6B所示的图像,即根据候选目标的区域信息可以在待处理图像中标记出各个候选目标的识别框,由图6B所示,其中部分候选目标的识别框标记错误,则可以通过CNN确认网络模块执行上述步骤203和步骤204,对候选目标进行筛选,得到如图6C所示的图像,如图6C所示,筛选掉图6B中错误的候选目标,可以得到待确认目标的识别框。进而通过CNN微调网络模块对待确认目标的识别框进行调整,即执行步骤205和步骤206,可以输出如图6D所示的图像,该图像中标记有各个待检测目标的调整后的识别框。
之后,通过前车过滤模块、前车跟踪模块、距离计算模块、预警决策模块和前车速度计算模块根据CNN微调网络模块的输出进行处理,例如,前车过滤综合各种因素,筛选出“前车”,并通过跟踪算法,跟踪前车,计算前车距离和速度,并将这一系列前车“状态”传递给决策模块,决策模块根据此车历史记录、目前各种状态因子,以及自车状态判断是否需要给出碰撞预警,并输出最终结果。
本实施例,将本发明实施例的目标检测方法应用于前车预警系统中,由于该目标检测方法利用传统机器学习方法产生候选目标,再采用神经网络过滤非目标对象,产生待检测目标,进而根据待检测目标的区域信息对待检测目标的运动状态进行检测。通过结合传统机器学习方法和神经网络对待检测目标的运动状态进行检测,可以减少运算资源,实现在移动终端设备或嵌入式设备等低配置设备中对待检测目标的运动状态的准确检测,所以也可以提升应用有该目标检测方法的预警系统的预警准确性。
图7为本发明的目标检测装置实施例一的结构示意图,如图7所示,本实施例的装置可以包括:获取模块11、第一图像处理模块12、第二图像处理模块13和检测模块14,其中,获取模块11用于获取待处理图像;第一图像处理模块12,用于将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,所述候选目标的区域信息用于指示所述候选目标所在区域在所述待处理图像中的位置和大小;第二图像处理模块13,用于根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,所述待检测目标的区域信息用于指示所述待检测目标所在区域在所述待处理图像中的位置和大小;检测模块14,用于根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
可选的,所述第二图像处理模块13用于根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行分类和位置调整,确定待检测目标的区域信息,包括:根据所述候选目标的区域信息和第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,获取所述候选目标的分类结果;根据所述候选目标的分类结果对所述候选目标进行筛选,确定待检测目标;根据所述待检测目标和所述候选目标的区域信息确定所述待检测目标的原始区域信息;根据所述待检测目标的原始区域信息和第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息。
可选的,所述第二图像处理模块13用于根据所述候选目标的区域信息和第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,获取所述候选目标的分类结果,包括:根据所述候选目标的区域信息对所述待处理图像进行图像截取,获取所述候选目标的图像;将所述候选目标的图像输入至所述第一卷积神经网络,使用所述第一卷积神经网络对所述候选目标的图像进行分类,获取所述候选目标的分类结果。
可选的,所述原始区域信息包括原始识别框在所述待处理图像中的四个坐标点,所述第二图像处理模块13用于根据所述待检测目标的原始区域信息和第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息,包括:根据所述待检测目标的原始区域信息对所述待处理图像进行图像截取,获取所述待检测目标的图像;将所述待检测目标的图像输入至所述第二卷积神经网络,使用所述第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8为本发明的目标检测装置实施例二的结构示意图,如图8所示,本实施例的装置在图6所示装置结构的基础上,进一步地,还可以包括:11、根据权利要求7或8所述的装置,其特征在于,所述装置还包括:线下模型训练模块15,用于:获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取所述目标分类器。
可选的,所述线下模型训练模块15还用于:将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取所述第一卷积神经网络。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明的用于目标检测的训练装置实施例一的结构示意图,如图9所示,本实施例的装置可以包括:获取模块21、分类器训练模块22和卷积神经网络训练模块23,其中,获取模块21,用于获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;所述获取模块21,还用于根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;分类器训练模块22,用于将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取目标分类器,其中,所述目标分类器用于对待处理图像进行检测,获取候选目标的区域信息;卷积神经网络训练模块23,将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取卷积神经网络,其中,所述卷积神经网络用于对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息。
可选的,所述卷积神经网络训练模块23包括第一卷积神经网络训练子模块231,用于:将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取第一卷积神经网络。
可选的,所述卷积神经网络训练模块23还包括第二卷积神经网络训练子模块232,用于:对所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息进行调整,获取待检测目标的区域信息和非待检测目标的区域信息;根据所述待检测目标的区域信息和所述非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取第二卷积神经网络。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图10为本发明的电子设备实施例一的结构示意图,如图10所示,本实施例的电子设备可以包括:存储器101,用于存储计算机程序;处理器102,用于执行所述计算机程序,以实现如上述方法实施例所述的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供一种计算机存储介质,包括:所述计算机存储介质用于存储计算机程序,所述计算机程序执行时用于实现如上述方法实施例所述的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明的前车检测和预警系统包含多个功能模块,整体由两大模块组成:线下模型训练模块、线上检测和预警模块。
线下模型训练模块包含:数据采集,数据标注,数据清洗和生成,Adaboost模型训练,确认网络模型训练,微调网络模型训练。
线上检测和预警模块包含:摄像头校准和图片预处理,Adaboost多尺度缩放检测,确认网络,微调网络,前车过滤,车距车速计算,预警决策。
图11为具体模块的结构示意图,具体模块结构图可以参见图11,如图11所示,线下模型训练模块:
数据采集模块通过各种手段,通过摄像头终端,实地采取多场景视频数据。数据标注将上一步采集的数据通过关键帧抽取,然后人工对车辆打上标签,生成原始标注数据集。数据清洗和格式化过程将标注数据集里面无用或者错误数据剔除掉,再通过一些手段(如Data-Augmentation)增强数据集,最后按需生成三种格式数据供后续单元直接使用。对于Cascade和确认网络来说,只需要切割出正负样本和做一些Data Augmentation操作即可,对于微调网络,需要裁切后重新调整坐标,并做归一化操作,在训练时需要传入左上角和右下角两个点的坐标。
模型训练,需要分别去训练。在Adaboost的训练中,我们不追求准确率,只关注召回率和分类速度,也就是允许产生很多错误候选车辆,级联分类器分类时,在前几级就可以分类,不需要走到最后。
确认网络的训练,我们设置了极度简化的三层卷积结构,最后通过两个全连接层输出分类结果,网络一律采取小卷积核减少参数和运算量,训练和分类耗时极短,准确率达到98%,在移动设备上帧率达25fps可保证实时,具体网络结构如下图:
微调网络的训练,我们同样采用三层卷积结构,并且去除了pool操作,最后直接通过一个全连接层输出4个预测的坐标值,具体网络结构如图:
线上检测和预警模块:
摄像头校准,这一步是为了保证摄像头摆放在正确的位置,能够采集正常的图像,传入的图像能够减少干扰。
图像预处理过程对图像做一些初步处理,最后转换成单通道灰度图。
线上检测模块由Cascade分类器,确认网络,微调网络组成。Cascade滑窗分类器产生最初的候选目标,然后将目标送给确认网络快速过滤掉错误目标,最后传递到微调网络,进行坐标微调。效果如图:
预警模块由前车过滤,车距计算,车速计算,决策预警等模块组成。通过上一步的检测结果,前车过滤综合各种因素,筛选出“前车”,并通过跟踪算法,跟踪前车,计算前车距离和速度,并将这一系列前车“状态”传递给决策模块,决策模块根据此车历史记录、目前各种状态因子,以及自车状态判断是否需要给出碰撞预警,并输出最终结果。
本实施例简单高效的确认和回归网络,可以在移动和嵌入式设备上可以达到实时检测。整体架构,稳定车距计算模块。基于大量标注数据统计的前车特征信息。
改进点一:根据大量人工数据统计前车特征信息。
在传统Adaboost滑窗扫描过程中,根据统计的特征信息,提前直接过滤部分显著错误目标,减少了分类代价,提升性能。
改进点二:简化网络结构,结合传统机器学习方法。
传统机器学习方法在识别率上存在瓶颈难以突破,神经网络方法存在对硬件要求高,运算量大的问题。选择二者结合,并通过精简网络减少网络运算量,由传统机器学习方法弥补网络因精简而失去的部分特征提取能力。使二者优点同时发挥,能够在移动和嵌入式设备上实时运行。
改进点三:优化的整个系统的架构。
因为模块众多,在模块拆分组合上,尽量做到高内聚低耦合,可以随意替换或者抽调模块,系统灵活性大大增加。
改进点四:可实时运行于移动设备和嵌入式设备上,对硬件要求低。
由于多种手段的精简,模型大小,参数数量等都大量降低,在移动或嵌入式设备上可以做到实时检测和预警,增加神经网络在低配置设备上的运行场景。
改进点五:仅基于单目摄像头的预警模块。
通过单目摄像头,结合检测和多种因素的综合决策,可以提供稳定可靠的碰撞预警功能,相比于采用硬件传感器,降低成本和适配更多场景。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种目标检测方法,其特征在于,包括:
获取待处理图像;
将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,所述候选目标的区域信息用于指示所述候选目标所在区域在所述待处理图像中的位置和大小;
根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息;其中,所述卷积神经网络包括第一卷积神经网络和第二卷积神经网络,所述第一卷积神经网络用于获取所述候选目标的分类结果,所述分类结果用于对所述候选目标进行筛选,确定所述待检测目标,所述第二卷积神经网络用于对所述待检测目标的原始区域信息进行位置调整,所述原始区域信息是根据所述待检测目标和所述候选目标的区域信息确定的,所述待检测目标的区域信息用于指示所述待检测目标所在区域在所述待处理图像中的位置和大小;
根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
2.根据权利要求1所述的方法,其特征在于,所述根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,包括:
根据所述候选目标的区域信息和第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,获取所述候选目标的分类结果;
根据所述候选目标的分类结果对所述候选目标进行筛选,确定待检测目标;
根据所述待检测目标和所述候选目标的区域信息确定所述待检测目标的原始区域信息;
根据所述待检测目标的原始区域信息和第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述候选目标的区域信息和第一卷积神经网络对所述待处理图像中的所述候选目标进行分类,获取所述候选目标的分类结果,包括:
根据所述候选目标的区域信息对所述待处理图像进行图像截取,获取所述候选目标的图像;
将所述候选目标的图像输入至所述第一卷积神经网络,使用所述第一卷积神经网络对所述候选目标的图像进行分类,获取所述候选目标的分类结果。
4.根据权利要求2或3所述的方法,其特征在于,所述原始区域信息包括原始识别框在所述待处理图像中的四个坐标点,所述根据所述待检测目标的原始区域信息和第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息,包括:
根据所述待检测目标的原始区域信息对所述待处理图像进行图像截取,获取所述待检测目标的图像;
将所述待检测目标的图像输入至所述第二卷积神经网络,使用所述第二卷积神经网络对所述待检测目标的原始区域信息进行位置调整,确定所述待检测目标的区域信息。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;
根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取所述目标分类器。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取所述第一卷积神经网络。
7.一种目标检测装置,其特征在于,包括:
获取模块,用于获取待处理图像;
第一图像处理模块,用于将所述待处理图像输入至目标分类器,使用所述目标分类器对所述待处理图像进行检测,获取候选目标的区域信息,所述候选目标的区域信息用于指示所述候选目标所在区域在所述待处理图像中的位置和大小;
第二图像处理模块,用于根据所述候选目标的区域信息和卷积神经网络对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息;其中,所述卷积神经网络包括第一卷积神经网络和第二卷积神经网络,所述第一卷积神经网络用于获取所述候选目标的分类结果,所述分类结果用于对所述候选目标进行筛选,确定所述待检测目标,所述第二卷积神经网络用于对所述待检测目标的原始区域信息进行位置调整,所述原始区域信息是根据所述待检测目标和所述候选目标的区域信息确定的,所述待检测目标的区域信息用于指示所述待检测目标所在区域在所述待处理图像中的位置和大小;
检测模块,用于根据所述待检测目标的区域信息对所述待检测目标的运动状态进行检测。
8.一种用于目标检测的训练方法,其特征在于,包括:
获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;
根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取目标分类器,其中,所述目标分类器用于对待处理图像进行检测,获取候选目标的区域信息;
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取卷积神经网络,其中,所述卷积神经网络用于对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,所述卷积神经网络包括第一卷积神经网络和第二卷积神经网络,所述第一卷积神经网络用于获取所述候选目标的分类结果,所述分类结果用于对所述候选目标进行筛选,确定所述待检测目标,所述第二卷积神经网络用于对所述待检测目标的原始区域信息进行位置调整,所述原始区域信息是根据所述待检测目标和所述候选目标的区域信息确定的。
9.根据权利要求8所述的方法,其特征在于,所述将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取卷积神经网络,包括:
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取第一卷积神经网络。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
对所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息进行调整,获取待检测目标的区域信息和非待检测目标的区域信息
根据所述待检测目标的区域信息和所述非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;
将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取第二卷积神经网络。
11.一种用于目标检测的训练装置,其特征在于,包括:
获取模块,用于获取训练数据,所述训练数据包括训练图像、所述训练图像中的待检测目标的区域信息和与所述待检测目标对应的标记值、以及所述训练图像中的非待检测目标的区域信息和与所述非待检测目标对应的标记值;
所述获取模块,还用于根据所述训练图像中的待检测目标的区域信息和所述训练图像中的非待检测目标的区域信息对所述训练图像进行图像截取,获取所述训练图像中的待检测目标的图像和所述训练图像中的非待检测目标的图像;
分类器训练模块,用于将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入分类器模型,对所述分类器模型进行训练,获取目标分类器,其中,所述目标分类器用于对待处理图像进行检测,获取候选目标的区域信息;
卷积神经网络训练模块,将所述训练图像中的待检测目标的图像和对应的标记值、所述训练图像中的非待检测目标的图像和对应的标记值输入卷积神经网络模型,对所述卷积神经网络模型进行训练,获取卷积神经网络,其中,所述卷积神经网络用于对所述待处理图像中的所述候选目标进行过滤和位置调整,确定待检测目标的区域信息,所述卷积神经网络包括第一卷积神经网络和第二卷积神经网络,所述第一卷积神经网络用于获取所述候选目标的分类结果,所述分类结果用于对所述候选目标进行筛选,确定所述待检测目标,所述第二卷积神经网络用于对所述待检测目标的原始区域信息进行位置调整,所述原始区域信息是根据所述待检测目标和所述候选目标的区域信息确定的。
12.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1至6中任一项所述的方法,或者以实现如权利要求8至10中任一项所述的方法。
13.一种计算机存储介质,其特征在于,包括:所述计算机存储介质用于存储计算机程序,所述计算机程序执行时用于实现如权利要求1至6中任一项所述的方法,或者以实现如权利要求8至10中任一项所述的方法。
CN201810939909.1A 2018-08-17 2018-08-17 目标检测方法、用于目标检测的训练方法和装置 Active CN110837760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810939909.1A CN110837760B (zh) 2018-08-17 2018-08-17 目标检测方法、用于目标检测的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810939909.1A CN110837760B (zh) 2018-08-17 2018-08-17 目标检测方法、用于目标检测的训练方法和装置

Publications (2)

Publication Number Publication Date
CN110837760A CN110837760A (zh) 2020-02-25
CN110837760B true CN110837760B (zh) 2022-10-14

Family

ID=69574279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810939909.1A Active CN110837760B (zh) 2018-08-17 2018-08-17 目标检测方法、用于目标检测的训练方法和装置

Country Status (1)

Country Link
CN (1) CN110837760B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899568B (zh) * 2020-07-17 2021-09-07 广州忘平信息科技有限公司 桥梁防撞预警系统、方法、装置和存储介质
CN112395369A (zh) * 2020-11-20 2021-02-23 深圳市银众信息技术有限公司 一种基于物联网的智能终端数据控制方法、装置及系统
CN115082739B (zh) * 2022-07-01 2023-09-01 苏州慧维智能医疗科技有限公司 基于卷积神经网络的内窥镜评估方法及评估系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488468A (zh) * 2015-11-26 2016-04-13 浙江宇视科技有限公司 一种目标区域的定位方法和装置
CN105512640A (zh) * 2015-12-30 2016-04-20 重庆邮电大学 一种基于视频序列的人流量统计方法
CN105808610A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种互联网图片过滤方法及装置
CN107516060A (zh) * 2016-06-15 2017-12-26 阿里巴巴集团控股有限公司 目标检测方法和装置
CN107590489A (zh) * 2017-09-28 2018-01-16 国家新闻出版广电总局广播科学研究院 基于级联卷积神经网络的目标检测方法
CN107748867A (zh) * 2017-10-20 2018-03-02 北京小米移动软件有限公司 目标对象的检测方法及装置
CN108121986A (zh) * 2017-12-29 2018-06-05 深圳云天励飞技术有限公司 目标检测方法及装置、计算机装置和计算机可读存储介质
CN108171103A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808610A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种互联网图片过滤方法及装置
CN105488468A (zh) * 2015-11-26 2016-04-13 浙江宇视科技有限公司 一种目标区域的定位方法和装置
CN105512640A (zh) * 2015-12-30 2016-04-20 重庆邮电大学 一种基于视频序列的人流量统计方法
CN107516060A (zh) * 2016-06-15 2017-12-26 阿里巴巴集团控股有限公司 目标检测方法和装置
CN108171103A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN107590489A (zh) * 2017-09-28 2018-01-16 国家新闻出版广电总局广播科学研究院 基于级联卷积神经网络的目标检测方法
CN107748867A (zh) * 2017-10-20 2018-03-02 北京小米移动软件有限公司 目标对象的检测方法及装置
CN108121986A (zh) * 2017-12-29 2018-06-05 深圳云天励飞技术有限公司 目标检测方法及装置、计算机装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN110837760A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110543867B (zh) 一种多摄像头条件下的人群密度估测系统及方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108388879B (zh) 目标的检测方法、装置和存储介质
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
CN109492577B (zh) 一种手势识别方法、装置及电子设备
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110837760B (zh) 目标检测方法、用于目标检测的训练方法和装置
CN111222395A (zh) 目标检测方法、装置与电子设备
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
CN107563299B (zh) 一种利用ReCNN融合上下文信息的行人检测方法
US10945888B2 (en) Intelligent blind guide method and apparatus
CN112424793A (zh) 一种物体识别方法、物体识别装置及电子设备
CN111914665A (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN111507145A (zh) 嵌入式车载环视系统库位障碍物检测方法、系统及装置
CN110991385A (zh) 一种识别船只行驶轨迹的方法、装置及电子设备
CN114037834B (zh) 一种基于振动信号和rgb图像融合的语义分割方法及装置
CN114359641A (zh) 目标对象的检测方法以及相关装置、设备
CN112766046B (zh) 一种目标检测方法及相关装置
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114612907A (zh) 一种车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant