CN106778665B - 一种车窗检测方法及装置 - Google Patents

一种车窗检测方法及装置 Download PDF

Info

Publication number
CN106778665B
CN106778665B CN201611248525.2A CN201611248525A CN106778665B CN 106778665 B CN106778665 B CN 106778665B CN 201611248525 A CN201611248525 A CN 201611248525A CN 106778665 B CN106778665 B CN 106778665B
Authority
CN
China
Prior art keywords
filter
vehicle window
deformable
scoring
deformable part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611248525.2A
Other languages
English (en)
Other versions
CN106778665A (zh
Inventor
蔡丹平
周祥明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201611248525.2A priority Critical patent/CN106778665B/zh
Publication of CN106778665A publication Critical patent/CN106778665A/zh
Application granted granted Critical
Publication of CN106778665B publication Critical patent/CN106778665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种车窗检测方法及装置，以提高车窗检测的准确性及鲁棒性，该方法中计算接收到的标记有待检的车窗区域的图像中车窗区域的特征金字塔，采用训练完成的可变形部件混合模型，对特征金字塔进行评分，其中可变形部件混合模型为至少两个可变形部件模型的根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和，当根滤波器的评分值大于设定的第一阈值，且总评分值大于设定的第二阈值时，根据评分值对应的根位置及设定的区域大小，确定图像中的车窗区域。由于本发明实施例采用的可变形部件混合模型对于图像的变形、光照变化、车身颜色变化等不太敏感，对部分遮挡有较强的处理能力，因此可以提高车窗区域的检测的准确性和鲁棒性。

Description

一种车窗检测方法及装置
技术领域
本发明涉及图像识别技术领域，特别涉及一种车窗检测方法及装置。
背景技术
随着社会的不断发展，交通管控的任务越来越复杂，越来越繁重。为了更加准确、高效地对交通进行监控和管理，智能交通监控技术应运而生。根据智能交通监控拍摄的图像，可以准确的识别其中的车辆信息，对车辆的违法、违规行为进行监控和管理。而有些监控和管理操作需要针对图像中车辆中的具体信息进行，例如安全带检测、年检标识检测、车前摆件检测等问题，此时就需要获取车辆中的具体信息了，一般通过检测出来车窗区域，获取相应的具体信息，因此车窗检测是一个比较重要的研究方向。
目前，在图像中进行车窗检测时，主要包括：基于颜色差异的车窗检测方法和基于直线特性的车窗检测方法。
其中基于颜色差异的车窗检测方法，是基于玻璃的透光性和吸光性的，图像中玻璃所在区域的大部分像素点的饱和度和亮度都比较低，利用车窗和车身的颜色特征可以实现车窗区域的检测。但是该方法需要图像中车身和车窗的颜色特征有明显的区别，当车身颜色和车窗颜色特征差异不大时，检测效果不好。
基于直线特性的车窗检测方法中，首先需要在图像中进行水平边缘检测，并结合hough变换进行直线连接，并检测车窗的上下水平边界，其次，运用数学形态学去除小的短枝，再结合积分投影方法检测车窗两侧边界，从而确定车窗区域。该方法因受遮挡、光照、几何形变等影响较大，鲁棒性不强，并且当图像因天气原因车窗边界不明显时，或者车辆发生倾斜时，很容易造成误检和漏检。
发明内容
本发明实施例公开了一种车窗检测方法及装置，用以提高车窗检测的准确性及鲁棒性。
为达到上述目的，本发明实施例公开了一种车窗检测方法，应用于电子设备，所述方法包括：
接收标记有待检的车窗区域的图像，确定所述车窗区域的特征金字塔；
采用训练完成的可变形部件混合模型，对所述特征金字塔进行评分，其中所述可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和；
当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。
进一步地，当所述评分值不大于设定的第一阈值时，确定所述图像中不存在车窗区域。
进一步地，所述根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域包括：
将所述根位置作为左上角的顶点，所述设定的区域大小覆盖的范围作为所述图像中的车窗区域。
进一步地，确定所述可变形部件混合模型的过程包括：
针对每种类型的车辆，识别样本图像集中该类型的车辆对应的样本图像，根据识别到的样本图像中标记的待检的车窗区域，对该类型的车辆对应的可变形部件模型进行训练；
根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型；
将所述相应数量个可变形部件模型根滤波器的最大值，及对应的部件滤波器的最大值的加权和确定为所述可变形部件混合模型。
进一步地，所述对该类型的车辆对应的可变形部件模型进行训练包括：
根据第一个样本图像中标记的待检的车窗区域，确定根滤波器；
针对每个其他的样本图像，根据已经确定的根滤波器对当前样本图像进行评分，根据根滤波器的评分最大值及所述根滤波器的大小，对所述当前图像中标记的待检的车窗区域进行更新，并根据更新后的待检的车窗区域，确定所述根滤波器及部件滤波器。
进一步地，所述根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型包括：
根据所述预设的数量阈值，针对每个待选的可变形部件模型中部件滤波器与根滤波器的相对位移，选择相应数量个可变形部件模型，其中被选中的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。
进一步地，所述可变形混合模型中所述每个根滤波器对应的第一权值和每个对应的部件滤波器对应的每个第二权值为1；或
所述每个根滤波器对应的第一权值相等，每个对应的部件滤波器对应的第二权值相等。
进一步地，第一权值和每个第二权值的确定过程包括：
选择任意一个可变形部件模型作为目标可变形部件模型；
采用所述目标可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用所述目标可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；
针对根滤波器，根据所述每个第一评分的和，及所述每个第一评分和第二评分的和，确定第一权值，针对每个部件滤波器，根据该部件滤波器对应的每个第二评分的和，及所述每个第一评分和第二评分的和，确定每个第二权值。
进一步地，第一权值和每个第二权值的确定过程包括：
针对选择的每个可变形部件模型，采用该可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用该可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；
根据针对选择的每个可变形部件模型的每个第一评分的和，及每个第一评分和每个第二评分的和，确定第一权值，并针对每个部件滤波器，根据选择的每个可变形部件模型的该部件滤波器对应的每个第二评分的和，及每个第一评分和第二评分的和，确定每个第二权值。
进一步地，所述方法还包括：
在检测到的车窗区域中，根据驾驶员的位置，确定所述车窗区域中的驾驶员候选区域；
在所述驾驶员候选区域中，采用预先训练完成的卷积神经网络，识别驾驶员候选区域内的驾驶员是否佩戴安全带。
进一步地，所述卷积神经网络的训练过程包括：
在样本图像集的驾驶员候选区域中，采用相应的检测模型，检测驾驶员所在的位置；
根据每个样本图像集检测到的驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
本发明实施例公开了一种车窗检测装置，所述装置包括：
确定模块，用于接收标记有待检的车窗区域的图像，确定所述车窗区域的特征金字塔；
评分模块，用于采用训练完成的可变形部件混合模型，对所述特征金字塔进行评分，其中所述可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和；
检测模块，用于当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。
进一步地，所述检测模块，还用于当所述评分值不大于设定的第一阈值时，确定所述图像中不存在车窗区域。
进一步地，所述检测模块，具体用于将所述根位置作为左上角的顶点，所述设定的区域大小覆盖的范围作为所述图像中的车窗区域。
进一步地，所述装置还包括：
训练模块，用于针对每种类型的车辆，识别样本图像集中该类型的车辆对应的样本图像，根据识别到的样本图像中标记的待检的车窗区域，对该类型的车辆对应的可变形部件模型进行训练；根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型；将所述相应数量个可变形部件模型根滤波器的最大值，及对应的部件滤波器的最大值的加权和确定为所述可变形部件混合模型。
进一步地，所述训练模块，具体用于根据第一个样本图像中标记的待检的车窗区域，确定根滤波器；针对每个其他的样本图像，根据已经确定的根滤波器对当前样本图像进行评分，根据根滤波器的评分最大值及所述根滤波器的大小，对所述当前图像中标记的待检的车窗区域进行更新，并根据更新后的待检的车窗区域，确定所述根滤波器及部件滤波器。
进一步地，所述训练模块，具体用于根据所述预设的数量阈值，针对每个待选的可变形部件模型中部件滤波器与根滤波器的相对位移，选择相应数量个可变形部件模型，其中被选中的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。
进一步地，所述训练模块，具体用于将所述可变形混合模型中所述每个根滤波器对应的第一权值和每个对应的部件滤波器对应的每个第二权值确定为1；或确定所述每个根滤波器对应的第一权值相等，每个对应的部件滤波器对应的第二权值相等。
进一步地，所述训练模块，具体用于选择任意一个可变形部件模型作为目标可变形部件模型；采用所述目标可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用所述目标可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；针对根滤波器，根据所述每个第一评分的和，及所述每个第一评分和第二评分的和，确定第一权值，针对每个部件滤波器，根据该部件滤波器对应的每个第二评分的和，及所述每个第一评分和第二评分的和，确定每个第二权值。
进一步地，所述训练模块，具体用于针对选择的每个可变形部件模型，采用该可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用该可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；根据针对选择的每个可变形部件模型的每个第一评分的和，及每个第一评分和每个第二评分的和，确定第一权值，并针对每个部件滤波器，根据选择的每个可变形部件模型的该部件滤波器对应的每个第二评分的和，及每个第一评分和第二评分的和，确定每个第二权值。
进一步地，所述装置还包括：
识别模块，用于在检测到的车窗区域中，根据驾驶员的位置，确定所述车窗区域中的驾驶员候选区域；在所述驾驶员候选区域中，采用预先训练完成的卷积神经网络，识别驾驶员候选区域内的驾驶员是否佩戴安全带。
进一步地，所述装置还包括：
训练模块，用于在样本图像集的驾驶员候选区域中，采用相应的检测模型，检测驾驶员所在的位置；根据每个样本图像集检测到的驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
本发明实施例提供了一种车窗检测方法及装置，该方法中当接收到标记有待检的车窗区域的图像后，计算该车窗区域的特征金字塔，并采用训练完成的可变形部件混合模型，对特征金字塔进行评分，其中该可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型的根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和，当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。由于本发明实施例采用可变形部件混合模型，该可变形部件混合模型为至少两个可变形部件模型的加权和，而可变形部件混合模型对于图像的变形、光照变化、车身颜色变化等不太敏感，对部分遮挡有较强的处理能力，因此可以提高车窗区域的检测的准确性和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车窗检测过程示意图；
图2A-图2C为本发明实施例提供的标记有待检的车窗区域的图像；
图3为本发明实施例提供的确定可变形部件混合模型的过程；
图4A为本发明实施例提供的卷积神经网络的结构示意图；
图4B为本发明实施例提供的一种车窗检测装置结构示意图。
具体实施方式
为了提高图像中车窗检测的准确性及鲁棒性，本发明实施例提供了一种车窗检测方法及装置。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种车窗检测过程示意图，该过程包括以下步骤：
S101：接收标记有待检的车窗区域的图像，提取所述车窗区域的特征金字塔。
本发明实施例应用于电子设备，具体的该电子设备可以是台式机、笔记本、其他具有处理能力的智能设备等。
在对图像进行车窗检测时，首先在图像中标记待检的车窗区域，具体可以采用矩形框进行标记，该矩形框的大小可以不受限制。对车窗区域进行标记，可以是采用现有技术的方式，例如可以根据图像中车牌的位置，以及车辆的类型，在车牌上方以一定车牌比例估计进行标记的车窗区域。
图2A-图2C为本发明实施例提供的标记有待检的车窗区域的图像，具体的，当车辆为小轿车时如图2A所示，在图像中标记的车窗区域为1.2倍～3.5倍车牌长度，当车辆为货车时如图2B所示，在图像中标记的车窗区域为1.8倍～5.5倍车牌长度，当车辆为大客车时如图2C所示，在图像中标记的车窗区域为1.5倍～7.5倍车牌长度，对于图像中无车牌的车辆，则将整车区域进行标记，即将整车区域标记为车窗区域。
当然在对图像中待检的车窗区域进行标记时，也可以采用其他方法，在本发明实施例中对该过程不进行赘述。
针对标记有待检的车窗区域的图像，通过平滑和下采样处理得到该车窗区域的图像金字塔，然后计算该图像金字塔中每层图像的所有特征，确定该车窗区域的特征金字塔，特征金字塔中每一层的最小单位是细胞单元(cell)。具体的，确定该车窗区域的特征金字塔的过程属于现有技术，本发明实施例中对该过程不进行赘述。
S102：采用训练完成的可变形部件混合模型，对所述特征金字塔进行评分，其中所述可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和。
在本发明实施例中采用可变形部件混合模型检测图像中的车窗区域，具体的，该可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和。可变形部件混合模型中每个可变形部件模型中根滤波器和对应的部件滤波器对应的权值可以相同，也可以不同。在本发明实施例中为了便于区分，将根滤波器对应的权值称为第一权值，将每个对应的部件滤波器对应的权值统称为第二权重。
其中，根据可变形部件混合模型，对特征金字塔中每层图像进行评分的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
S103：当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。
由于本发明实施例中的可变形部件混合模型为至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和，因此该可变形部件混合模型的根滤波器的评分值，即为该至少两个可变形部件模型中根滤波器的最大评分值。当该评分值大于设定的第一阈值时，进一步判断该可变形部件混合模型的总评分值是否大于设定的第二阈值，如果大于，则在该图像中确定车窗区域。
当该评分值不大于设定的第一阈值时，确定图像中不存在车窗区域。一般在图像中进行车窗区域的标记，是根据车窗区域的某种特征进行的，采用该特征标记的车窗区域，为图像中存在车窗位置概率最大的位置，因此如果评分值不大于设定的第一阈值，可以认为该图像中不存在车窗区域。
由于本发明实施例采用可变形部件混合模型，该可变形部件混合模型为至少两个可变形部件模型的加权和，而可变形部件混合模型对于图像的变形、光照变化、车身颜色变化等不太敏感，对部分遮挡有较强的处理能力，因此可以提高车窗区域的检测的准确性和鲁棒性。
本发明实施例中为了提高对图像中车窗检测的准确性及鲁棒性，并能够针对任何图像进行检测，采用了可变形部件模型。可变形部件模型可以综合考虑目标的整体信息、各部分的表象信息和空间关系，可以提取到比基于整体的方法更加丰富的信息，对于图像中的变形、光照变化、车身颜色等变化不太敏感，对于部分遮挡具有较强的处理能力。
另外，本发明实施例为了实现对各种车型、各种类型的车窗进行检测，根据对不同类型的车辆训练的可变形部件模型，将训练完成的至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和，确定为可变形部件混合模型，从而实现对不同类型的车辆的车窗的检测，达到较好的综合检测效果。
图3为本发明实施例提供的确定可变形部件混合模型的过程，该过程包括以下步骤：
S301：针对每种类型的车辆，识别样本图像集中该类型的车辆对应的样本图像，根据识别到的样本图像中标记的待检的车窗区域，对该类型的车辆对应的可变形部件模型进行训练。
本发明实施例中在对可变形部件模型进行训练时，是针对不同的车型分别进行的训练，这是因为不同类型的车辆的车窗区别还是比较大的。具体的，在本发明实施例中可以将车型按照小轿车、大客车、货车等进行分类，在进行训练时，针对不同的类型的车辆训练至少一个可变形部件模型。
样本图像集为负样本图像和各种类型的车辆对应的样本图像的集合，负样本图像即不包含车窗的图像，在训练可变形部件模型时，为了提高可变形部件模型检车的准确性，还需要准备些负样本图像。
针对样本图像集中的样本图像和负样本图像，对图像中的待检的车窗区域进行标记，标记时，与上述实施例中描述的标记方法相同。具体的，当车辆为小轿车时如图2A所示，在图像中标记的车窗区域为1.2倍～3.5倍车牌长度，当车辆为货车时如图2B所示，在图像中标记的车窗区域为1.8倍～5.5倍车牌长度，当车辆为大客车时如图2C所示，在图像中标记的车窗区域为1.5倍～7.5倍车牌长度，对于图像中无车牌的车辆，则将整车区域进行标记，即将整车区域标记为车窗区域。当然在对图像中待检的车窗区域进行标记时，也可以采用其他方法，只要可变形部件模型训练时与车窗检测时，采用相同的标记方法即可，在本发明实施例中对该过程不进行赘述。
根据标记有待检的车窗区域的样本图像，即可针对每种类型的可变形部件模型进行训练，具体的针对可变形部件模型进行训练的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
S302：根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型。
当针对每种类型的车辆训练完成至少一个可变形部件模型后，在生成可变形部件混合模型时，训练完成的所有可变形部件模型都可以用来确定可变形部件混合模型。但为了减少计算量，提高检测的效率，在本发明实施例中可以预设数量阈值，当训练完成的可变形部件模型的数量大于该预设的数量阈值时，在训练完成的可变形部件模型中进行选择，选择该数量阈值对应的数量的可变形部件模型，根据选择的可变形部件模型生成可变形部件混合模型。当训练完成的所有可变形部件模型的数量不大于该设定的数量阈值时，根据训练完成的所有可变形部件模型生成可变形部件混合模型。
具体在进行选择时，可以任意选择，例如按照训练完成的可变形部件模型的序号选择，例如预设的数量阈值为3，训练完成的可变形部件模型的序号分别为1-6，则可以选择序号为1-3的可变形部件模型，或者选择序号为奇数的可变形部件模型，或者选择序号为偶数的可变形部件模型，或者按照其他的规则随便选择。
当然在选择时，因为可变形部件模型是针对每种类型的车辆训练的，因此在进行选择时，也可以考虑车辆类型的信息，选择的可变形部件模型尽量覆盖每张类型的车辆。还以上例进行说明，预设的数量阈值为3，训练完成的可变形部件模型的序号分别为1-6，其中，序号1、2的可变形部件模型是针对小轿车训练完成的，序号3、4的可变形部件模型是针对大客车训练完成的，序号5、6的可变形部件模型是针对货车训练完成的，则在选择时，可以选择序号为1、3、5的可变形部件混合模型，从而覆盖每种类型的车辆，便于对不同类型的车辆的车窗区域进行检测。当然在选择可变形部件模型时还可以采用其他方式，在本发明实施例中对该过程不再一一赘述。
S303：将所述相应数量个可变形部件模型根滤波器的最大值，及对应的部件滤波器的最大值的加权和确定为所述可变形部件混合模型。
在本发明实施例中该可变形部件混合模型包括m个可变形部件模型，m为不小于2的整数，并且对m个可变形部件模型的第i个部件滤波器分别进行计算，取最大值作为该部件滤波器的得分，从而能够保证较准确的检测车窗位置，i为0到n的整数，i为0时为根滤波器。
另外因为各个部件滤波器捕捉到的信息不同，所以各个部件滤波器在车窗检测中的重要性也是不同的，在本发明实施例中对每个部件滤波器进行加权，从而得到可变形部件混合模型。
可变形部件混合模型中每个可变形部件模型中根滤波器和对应的部件滤波器对应的权值可以相同也可以不同。其中当每个根滤波器对应的第一权值为1，并且对应的每个部件滤波器对应的第二权值也为1时，是该可变形部件混合模型的一种特殊形式，此时的可变形部件混合模型是每个可变形部件模型的直接相加，并为根滤波器最大值和对应的部件滤波器最大值的和。
在本发明实施例中为了进一步提高车窗检测的准确性，根据每个部件滤波器的重要性确定每个部件滤波器的第二权重，并且对应的每个部件滤波器的第二权重对应相等。具体的，该可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和，如下式：
其中，score(p0,...,pn)为该可变形部件混合模型，G0,1,…,G0，m为m个可变形部件模型的根滤波器，ω0为根滤波器对应的第一权值，Gi,1,…,Gi，m为m个可变形部件模型的第i个部件滤波器，其中每个可变形部件模型有n个部件滤波器，其中m个可变形部件模型的第i个部件滤波器对应的第二权值为ωi。
下面对本发明实施例中可变形部件混合模型的确定过程进行详细说明。
可变形部件模型(Deformable Part Model)包括：一个较为粗糙的、覆盖整个目标的根滤波器，几个高分辨率的部件滤波器以及部件滤波器相对于根滤波器的位移。滤波器就是一个权重向量，所谓滤波器的评分值就是此权重向量与特征金字塔中w*h大小子窗口的特征向量的点积。而可变形部件模型的评分值是根滤波器的评分值与部件滤波器的评分值的和，每个滤波器的评分值都是此滤波器的各个空间位置评分的最大值，每个滤波器的空间位置评分是该滤波器在该子窗口上滤波器的评分减去变形花费。
假设F是一个w*h大小的滤波器，H是特征金字塔，p＝(x,y,l)表示特征金字塔中l层坐标为(x,y)的位置，φ(H,p,w,h)表示特征金字塔H中以p点为左上角的顶点的w*h大小的子窗口中的所有特征向量，按行优先顺序串联起来得到的向量，所以滤波器F在p处的评分值为F′·φ(H,p,w,h)，F′表示将F中的权重向量按行优先顺序串联起来得到的向量。
因此，含有n+1个滤波器的可变形部件模型可以通过根滤波器F0和一系列部件滤波器来定义，其中，每个部件滤波器可以表示为一个三元组：(Fi,vi,di)，其中Fi为第i个部件滤波器，vi为一个二维向量，表示第i个部件滤波器的位置的矩形中心点相对于根滤波器的位置，矩形中心点又称为锚点，di是一个四维向量，为一个二次函数的参数，此二次函数表示部件滤波器的每个可能位置相对于其锚点位置的变形花费。
可变形部件模型中每个部件滤波器所在层的特征分辨率都是根滤波器所在层的特征分辨率的两倍。部件滤波器在位置p上的评分值等于每个部件滤波器在各自位置的评分值，减去此位置相对于根位置的变形花费再加上偏移值：
其中，(dxi,dyi)＝(xi,yi)-(2*(x0,y0)+vi)表示第i个部件滤波器相对于其锚点位置的位移，(x0,y0)是根滤波器在其所在层的坐标，为了统一到部件滤波器所在的层，需要乘以2，vi是第i个部件滤波器的锚点相对于根滤波器的坐标偏移，φd(dx,dy)＝(dx,dy,dx2,dy2)表示变形花费。
具体的，可以将位移b分配到每个滤波器中，即因此滤波器在位置p的评分值可以进行如下改写：
即
可变形部件模型采用隐藏支持向量机(LSVM)方法，对每个图像的评分值进行计算，具体可以表示为：fβ(x)＝maxzβ·Φ|(x,z)，其中β是模型的参数向量，z是隐藏变量。
在针对每种类型的车辆，对该类型的车辆对应的可变形部件模型进行训练时包括：
根据第一个样本图像中标记的待检的车窗区域，确定根滤波器；
针对每个其他的样本图像，根据已经确定的根滤波器对当前样本图像进行评分，根据根滤波器的评分最大值及所述根滤波器的大小，对所述当前图像中标记的待检的车窗区域进行更新，并根据更新后的待检的车窗区域，确定所述根滤波器及部件滤波器。
样本图像集中的样本图像包括多个，在针对每种类型的车辆训练可变形部件模型时，获取包含该类型的车辆的样本图像，首先进行根滤波器的初始化，即根据获取的第一个样本图像中标记的待检的车窗区域，使用支持向量机来确定根滤波器的初始值。针对获取到的每个其他样本图像进行训练时，根据采用上一个样本图像确定的根滤波器，对当前样本图像进行评分，根据评分最大值所在的位置和根滤波器的大小，对当前样本图像中标记的车窗区域进行更新，并根据更新后的车窗区域，对根滤波器进行更新。
另外，在对可变形部件模型进行训练时，在每次训练时，在根滤波器确定的位置上，贪婪的选择评分值最大的区域作为部件滤波器的位置，根据不断的更新样本图像，更新部件滤波器。具体的根据根滤波器的位置，进行部件滤波器更新的过程属于现有技术，在本发明实施例中对该过程不进行赘述。上述使用隐藏支持向量机训练可变形部件模型的过程，通过不断地迭代和更新样本图像，得到准确的可变形部件模型。
本发明实施例中针对每种类型的车辆训练至少一个可变形部件模型，而用于生成可变形部件混合模型的可变形部件模型的数量阈值，可能小于训练的可变形部件模型的总量，因此在本发明实施例中根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型，该过程具体包括：
根据所述预设的数量阈值，针对每个待选的可变形部件模型中部件滤波器与根滤波器的相对位移，选择相应数量个可变形部件模型，其中被选中的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。
本发明实施例在选择构成可变形部件混合模型的可变形部件模型中，相同序号的部件滤波器相对于根滤波器的位移相差较小，可以保证被选中的可变形部件模型对相同位置的检测精度相差不大，从而可以提高检测精度。具体的在选择可变形部件模型时，根据每个部件滤波器与根滤波器的相对位移，对训练完成的可变形部件模型中进行筛选。在筛选时是针对每个部件滤波器与根滤波器的相对位移进行的，筛选出每个部件滤波器的相对位移小于预设阈值的可变形部件模型，其中，筛选出的可变形部件模型中每个部件滤波器与根滤波器的相对位移都小于预设阈值。
当筛选出的可变形部件模型的数量与预设的数量阈值相等时，则将筛选出的可变形部件模型作为被选中的可变形部件模型。当筛选出的可变形部件模型的数量与预设的数量阈值不等时，可调整可变形部件中部件滤波器的数量，采用样本图像重新对每种类型的车辆对应的可变形部件模型进行训练，具体的在调整可变形部件模型中部件滤波器的数量时，可以是减小部件滤波器的数量。
根据训练完成的每个可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型，其中被选中的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。如果此时筛选出的可变形部件模型还是不能满足该预设的数量阈值，则针对每个可变形部件模型，根据该可变形部件模型中每个部件滤波器与根滤波器的相对位移的和，选择相对位移较小的相应数量个可变形部件模型。
具体的，在选择时如果每个可变形部件模型中每个相同序号的部件滤波器相对于根滤波器的位移相差都不大，则按照位移相差的大小，选择位移相差较小的可变形部件模型。如果存在位移相差比较大的可变形部件模型，并且待选择的可变形部件模型数量大于设定的数量阈值，则将该位移相差比较大的可变形部件模型去除。
例如训练完成的可变形部件模型共5个，分别为A、B、C、D、E，预设的数量阈值为3个，每个可变形部件模型包括4个部件滤波器，其中A中各部件滤波器与根滤波器的位移差分别为1、3、1、2，B中各部件滤波器与根滤波器的位移差分别为2、1、2、3，C中各部件滤波器与根滤波器的位移差分别为1、1、2、2、D中各部件滤波器与根滤波器的位移差分别为2、1、2、2，E中各部件滤波器与根滤波器的位移差分别为2、1、2、5，则在选择可变形部件模型时，因为E中存在位移差为5的部件滤波器，因此在选择时将E去除，在剩余的A、B、C、D中，C的位移差最小，然后是A和D，最后是B，因此在进行选择时，选择可变形部件模型A、C、D。
选择了构成可变形部件混合模型的可变形部件模型后，将选择的可变形部件模型的部件滤波器按照顺序进行合并，得到(K0,K1,...,Kn)，Ki为来自m个不同的可变形部件模型的第i个部件滤波器的集合。
由于不同类型的车辆的车窗区别较大，各个滤波器捕捉到的信息不同，因此各个滤波器在车窗检测中的重要性也是不同的，在本发明实施例中为了有效提高检测准确性，采用的可变形部件混合模型为可变形部件加权模型，加权模型可以表示为(w0K0,w1K1,...,wnKn)，wi为第i个部件滤波器对应的权重。
本发明实施例中该可变形部件混合模型为根滤波器和对应的部件滤波器的最大值，将每个根滤波器对应的权重称为第一权值，对应的每个部件滤波器对应的权重称为第二权值。其中第一权值和每个第二权值可以都为1，当然也可以为其他值。
为了根据车窗检测中每个部件滤波器的重要性，对车窗进行检测，从而提高检测的准确性，在本发明实施例中所述可变形混合模型中所述根滤波器对应的第一权值相等，每个对应的部件滤波器对应的第二权值相等。因此本发明实施例的可变形部件混合模型可以表示为m为可变形部件模型的数量，n为每个可变形部件模型中部件滤波器的数量，wi为第i个滤波器对应的权重。
其中，第一权值和每个第二权值的确定过程包括：
选择任意一个可变形部件模型作为目标可变形部件模型；
采用所述目标可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用所述目标可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；
针对根滤波器，根据所述每个第一评分的和，及所述每个第一评分和第二评分的和，确定第一权值，针对每个部件滤波器，根据该部件滤波器对应的每个第二评分的和，及所述每个第一评分和第二评分的和，确定每个第二权值。
或，在确定第一权值和第二权值时也可以采用以下方法：
针对选择的每个可变形部件模型，采用该可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用该可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；
根据针对选择的每个可变形部件模型的每个第一评分的和，及每个第一评分和每个第二评分的和，确定第一权值，并针对每个部件滤波器，根据选择的每个可变形部件模型的该部件滤波器对应的每个第二评分的和，及每个第一评分和第二评分的和，确定每个第二权值。
因为可变形部件混合模型包括至少两个可变形部件模型，在确定第一权值和第二权值时，可以任意选择一个可变形部件模型，根据其对样本图像的评分确定，当然也可以采用每个可变形部件模型对样本图像的评分来确定。采用每个可变形部件模型对样本图像的评分确定权值，能够更准确的体现每个部件滤波器的重要性，从而进一步提高车窗检测的准确性。
下面以根据每个可变形部件模型对样本图像的评分确定权值的过程进行说明，其中这里的每个可变形部件模型是指构成可变形部件混合模型的每个可变形部件模型。针对该每个可变形部件模型，使用根滤波器，将部件滤波器置零，对每个样本图像进行评分，将评分值记录为scoreju(0)，即第j个可变形部件模型的根滤波器对第u个样本图像的评分值。之后采用第一个部件滤波器，将其他滤波器置零，对每个样本图像进行评分，评分的值记录为scoreju(1)。之后采用同样的方法，计算每个部件滤波器对每个样本图像的评分，从而可获得第i个滤波器的权值为其中scoreju(i)为第j个可变形部件模型的第i个滤波器，针对第u个样本图像的评分，scoreju为第j个可变形部件模型对第u个样本图像的总评分，其中m为可变形部件模型的数量，U为样本图像集，u为样本图像集中的任意一个样本图像，可变形部件模型中部件滤波器的数量为n。
当可变形部件混合模型训练完成后，即可采用其对图像中的车窗区域进行检测，因为该可变形部件混合模型为滤波器最大值的加权和，因此通过该可变形部件混合模型对待检测的图像进行评分后，获取到的根滤波器的评分值，即为至少两个可变形部件模型中根滤波器的最大评分值，当该评分值不大于设定的第一阈值时，确定该图像中不存在车窗。
当该评分值大于设定的第一阈值时，获取该可变形部件混合模型的总评分值，同样的，该可变形部件混合模型的总评分值即为至少两个可变形部件模型中，对应的每个滤波器的最大值与相应的权值的乘积和，当该总评分值大于设定的第二阈值时，确定该图像中存在车窗区域，根据该评分值对应的根位置及设定的区域大小，确定图像中的车窗区域，即将根位置作为左上角的顶点，图像中该设定的区域大小覆盖的范围作为图像中的车窗区域。该设定的区域大小一般根据图像中车窗大小设定，例如可以是8*8，或者10*10、10*12等等，具体可以根据需要灵活设定。
在本发明实施例中当在图像中确定了车窗区域后，可以根据图像中的车窗区域，识别驾驶员是否佩戴了安全带。具体的，在图像中的车窗区域中识别驾驶员是否佩戴了安全带，是采用预先训练完成的卷积神经网络进行的，其识别过程包括：
在检测到的车窗区域中，根据驾驶员的位置，确定所述车窗区域中的驾驶员候选区域；
在所述驾驶员候选区域中，采用预先训练完成的卷积神经网络，识别驾驶员候选区域内的驾驶员是否佩戴安全带。
具体的，在本发明实施例中可以对进行安全带识别的卷积神经网络进行训练，该训练完成的卷积神经网络可以检测车窗区域中的驾驶员是否佩戴安全带。
该所述卷积神经网络的训练过程包括：
在样本图像集的驾驶员候选区域中，采用相应的检测模型，检测驾驶员所在的位置；
根据每个样本图像集检测到的驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
本发明实施例中样本图像集中包括大量的样本图像，在每个样本图像中包含车窗区域，在样本图像的车窗区域中选择车窗右侧2/3的区域，作为驾驶员候选区域。在驾驶员候选区域中检测驾驶员所在的位置，可以采用相应的检测模型，其中该检测模型包括人脸检测模型和头肩检测模型，较佳地，可以选择检测效果较好的头肩检测模型。通过头肩检测模型可以检测出驾驶员候选区域中驾驶员的头和肩膀所在的区域，获取该区域对应的图像，将该区域对应的图像作为驾驶员的图像。
根据每个驾驶员的图像，确定每个驾驶员是否佩戴安全带，根据驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
在对卷积神经网络进行训练之前，还包括对每个驾驶员的图像进行归一化处理，归一化后的驾驶员的图像大小相同。
具体的，在本发明实施例中在对卷积神经网络进行训练时，该卷积神经网络包括卷积层、1/2降采样层、直连层和回归层。其中卷积层可以对输入的图像采用若干个卷积核进行卷积操作；1/2降采样层对输入的图像进行降采样，每横向和纵向两个像素点合并为一个像素点，达到减低图像分辨率的目的；直连层为普通的神经网络连接，直连层的每一个节点均与上一层的输出节点相连接；回归层对输入的特征进行回归，输出判别结果。
该卷积神经网络的具体结构如图4A所示，在本发明实施例中在对驾驶员的图像进行归一化后，驾驶员的图像大小为64*64，卷积层的卷积核的大小为3*3，m、n、p的值分别取48、96和128，直连层的节点数为400个。
参见图4A所示，归一化后的驾驶员的图像输入到卷积神经网络，先经过3个3*3的卷积层，再经过一个1/2降采样层，1/2降采样层的输出结果作为2个3*3的卷积层的出入，再经过一个1/2降采样层，1/2降采样层的输出结果作为2个3*3的卷积层的出入，再经过一个1/2降采样层，1/2降采样层与直连层连接，通过softmax回归层得到判别结果。
卷积神经网络训练完成后，即可在检测到的车窗区域中，对驾驶员是否佩戴安全带进行检测。卷积神经网络具有强大的特征学习能力，能够克服由人工置顶特征所带来的描述不够准确的问题，另外，在本发明实施例中采用12层的网络，较小的卷积核，可以在保证准确率的基础上，减低计算量。
图4B为本发明实施例提供的一种车窗检测装置，该装置包括：
确定模块41，用于接收标记有待检的车窗区域的图像，确定所述车窗区域的特征金字塔；
评分模块42，用于采用训练完成的可变形部件混合模型，对所述特征金字塔进行评分，其中所述可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和；
检测模块43，用于当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。
所述检测模块43，还用于当所述评分值不大于设定的第一阈值时，确定所述图像中不存在车窗区域。
所述检测模块43，具体用于将所述根位置作为左上角的顶点，所述设定的区域大小覆盖的范围作为所述图像中的车窗区域。
所述装置还包括：
训练模块44，用于针对每种类型的车辆，识别样本图像集中该类型的车辆对应的样本图像，根据识别到的样本图像中标记的待检的车窗区域，对该类型的车辆对应的可变形部件模型进行训练；根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型；将所述相应数量个可变形部件模型根滤波器的最大值，及对应的部件滤波器的最大值的加权和确定为所述可变形部件混合模型。
所述训练模块44，具体用于根据第一个样本图像中标记的待检的车窗区域，确定根滤波器；针对每个其他的样本图像，根据已经确定的根滤波器对当前样本图像进行评分，根据根滤波器的评分最大值确定的车窗区域及所述当前图像中标记的待检的车窗区域，对所述当前图像中标记的待检的车窗区域进行更新，并根据更新后的待检的车窗区域，确定所述根滤波器及部件滤波器。
所述训练模块44，具体用于根据所述预设的数量阈值，针对每个待选的可变形部件模型中部件滤波器与根滤波器的相对位移，选择相应数量个可变形部件滤波器，其中选择的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。
所述训练模块44，具体用于将所述可变形混合模型中所述每个根滤波器对应的第一权值和每个对应的部件滤波器对应的每个第二权值确定为1；或确定所述每个根滤波器对应的第一权值相等，每个对应的部件滤波器对应的第二权值相等。
所述训练模块44，具体用于选择任意一个可变形部件模型作为目标可变形部件模型；采用所述目标可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用所述目标可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；针对根滤波器，根据所述每个第一评分的和，及所述每个第一评分和第二评分的和，确定第一权值，针对每个部件滤波器，根据该部件滤波器对应的每个第二评分的和，及所述每个第一评分和第二评分的和，确定每个第二权值。
所述训练模块44，具体用于针对选择的每个可变形部件模型，采用该可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用该可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；根据针对选择的每个可变形部件模型的每个第一评分的和，及每个第一评分和每个第二评分的和，确定第一权值，并针对每个部件滤波器，根据选择的每个可变形部件模型的该部件滤波器对应的每个第二评分的和，及每个第一评分和第二评分的和，确定每个第二权值。
所述装置还包括：
识别模块45，用于在检测到的车窗区域中，根据驾驶员的位置，确定所述车窗区域中的驾驶员候选区域；在所述驾驶员候选区域中，采用预先训练完成的卷积神经网络，识别驾驶员候选区域内的驾驶员是否佩戴安全带。
所述装置还包括：
训练模块46，用于在样本图像集的驾驶员候选区域中，采用相应的检测模型，检测驾驶员所在的位置；根据每个样本图像集检测到的驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
本发明实施例提供了一种车窗检测方法及装置，该方法中当接收到标记有待检的车窗区域的图像后，计算该车窗区域的特征金字塔，并采用训练完成的可变形部件混合模型，对特征金字塔进行评分，其中该可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型的根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和，当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。由于本发明实施例采用可变形部件混合模型，该可变形部件混合模型为至少两个可变形部件模型的加权和，而可变形部件混合模型对于图像的变形、光照变化、车身颜色变化等不太敏感，对部分遮挡有较强的处理能力，因此可以提高车窗区域的检测的准确性和鲁棒性。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (22)

1.一种车窗检测方法，其特征在于，应用于电子设备，所述方法包括：
接收标记有待检的车窗区域的图像，确定所述车窗区域的特征金字塔；
采用训练完成的可变形部件混合模型，对所述特征金字塔进行评分，其中所述可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和；
当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。
2.根据权利要求1所述的方法，其特征在于，当所述评分值不大于设定的第一阈值时，确定所述图像中不存在车窗区域。
3.根据权利要求1所述的方法，其特征在于，所述根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域包括：
将所述根位置作为左上角的顶点，所述设定的区域大小覆盖的范围作为所述图像中的车窗区域。
4.根据权利要求1所述的方法，其特征在于，确定所述可变形部件混合模型的过程包括：
针对每种类型的车辆，识别样本图像集中该类型的车辆对应的样本图像，根据识别到的样本图像中标记的待检的车窗区域，对该类型的车辆对应的可变形部件模型进行训练；
根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型；
将所述相应数量个可变形部件模型根滤波器的最大值，及对应的部件滤波器的最大值的加权和确定为所述可变形部件混合模型。
5.根据权利要求4所述的方法，其特征在于，所述对该类型的车辆对应的可变形部件模型进行训练包括：
根据第一个样本图像中标记的待检的车窗区域，确定根滤波器；
针对每个其他的样本图像，根据已经确定的根滤波器对当前样本图像进行评分，根据根滤波器的评分最大值及所述根滤波器的大小，对所述当前样本图像中标记的待检的车窗区域进行更新，并根据更新后的待检的车窗区域，确定所述根滤波器及部件滤波器。
6.根据权利要求4所述的方法，其特征在于，所述根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型包括：
根据所述预设的数量阈值，针对每个待选的可变形部件模型中部件滤波器与根滤波器的相对位移，选择相应数量个可变形部件模型，其中被选中的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。
7.根据权利要求4所述的方法，其特征在于，所述可变形混合模型中每个根滤波器对应的第一权值和每个对应的部件滤波器对应的每个第二权值为1；或
所述每个根滤波器对应的第一权值相等，每个对应的部件滤波器对应的第二权值相等。
8.根据权利要求7所述的方法，其特征在于，第一权值和每个第二权值的确定过程包括：
选择任意一个可变形部件模型作为目标可变形部件模型；
采用所述目标可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用所述目标可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；
针对根滤波器，根据所述每个第一评分的和，及所述每个第一评分和第二评分的和，确定第一权值，针对每个部件滤波器，根据该部件滤波器对应的每个第二评分的和，及所述每个第一评分和第二评分的和，确定每个第二权值。
9.根据权利要求7所述的方法，其特征在于，第一权值和每个第二权值的确定过程包括：
针对选择的每个可变形部件模型，采用该可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用该可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；
根据针对选择的每个可变形部件模型的每个第一评分的和，及每个第一评分和每个第二评分的和，确定第一权值，并针对每个部件滤波器，根据选择的每个可变形部件模型的该部件滤波器对应的每个第二评分的和，及每个第一评分和第二评分的和，确定每个第二权值。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在检测到的车窗区域中，根据驾驶员的位置，确定所述车窗区域中的驾驶员候选区域；
在所述驾驶员候选区域中，采用预先训练完成的卷积神经网络，识别驾驶员候选区域内的驾驶员是否佩戴安全带。
11.根据权利要求10所述的方法，其特征在于，所述卷积神经网络的训练过程包括：
在样本图像集的驾驶员候选区域中，采用相应的检测模型，检测驾驶员所在的位置；
根据每个样本图像集检测到的驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
12.一种车窗检测装置，其特征在于，所述装置包括：
确定模块，用于接收标记有待检的车窗区域的图像，确定所述车窗区域的特征金字塔；
评分模块，用于采用训练完成的可变形部件混合模型，对所述特征金字塔进行评分，其中所述可变形部件混合模型包括至少两个可变形部件模型，且为所述至少两个可变形部件模型中根滤波器的最大值，及对应的每个部件滤波器的最大值的加权和；
检测模块，用于当所述可变形部件混合模型中根滤波器的评分值大于设定的第一阈值，且所述可变形部件混合模型的总评分值大于设定的第二阈值时，根据所述评分值对应的根位置及设定的区域大小，确定所述图像中的车窗区域。
13.根据权利要求12所述的装置，其特征在于，所述检测模块，还用于当所述评分值不大于设定的第一阈值时，确定所述图像中不存在车窗区域。
14.根据权利要求12所述的装置，其特征在于，所述检测模块，具体用于将所述根位置作为左上角的顶点，所述设定的区域大小覆盖的范围作为所述图像中的车窗区域。
15.根据权利要求12所述的装置，其特征在于，所述装置还包括：
训练模块，用于针对每种类型的车辆，识别样本图像集中该类型的车辆对应的样本图像，根据识别到的样本图像中标记的待检的车窗区域，对该类型的车辆对应的可变形部件模型进行训练；根据针对每种类型的车辆训练的可变形部件模型，及预设的数量阈值，选择相应数量个可变形部件模型；将所述相应数量个可变形部件模型根滤波器的最大值，及对应的部件滤波器的最大值的加权和确定为所述可变形部件混合模型。
16.根据权利要求15所述的装置，其特征在于，所述训练模块，具体用于根据第一个样本图像中标记的待检的车窗区域，确定根滤波器；针对每个其他的样本图像，根据已经确定的根滤波器对当前样本图像进行评分，根据根滤波器的评分最大值及所述根滤波器的大小，对所述当前样本图像中标记的待检的车窗区域进行更新，并根据更新后的待检的车窗区域，确定所述根滤波器及部件滤波器。
17.根据权利要求15所述的装置，其特征在于，所述训练模块，具体用于根据所述预设的数量阈值，针对每个待选的可变形部件模型中部件滤波器与根滤波器的相对位移，选择相应数量个可变形部件模型，其中被选中的可变形部件模型中相同序号的部件滤波器相对于根滤波器的位移相差较小。
18.根据权利要求15所述的装置，其特征在于，所述训练模块，具体用于将所述可变形混合模型中每个根滤波器对应的第一权值和每个对应的部件滤波器对应的每个第二权值确定为1；或确定所述每个根滤波器对应的第一权值相等，每个对应的部件滤波器对应的第二权值相等。
19.根据权利要求15所述的装置，其特征在于，所述训练模块，具体用于选择任意一个可变形部件模型作为目标可变形部件模型；采用所述目标可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用所述目标可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；针对根滤波器，根据所述每个第一评分的和，及所述每个第一评分和第二评分的和，确定第一权值，针对每个部件滤波器，根据该部件滤波器对应的每个第二评分的和，及所述每个第一评分和第二评分的和，确定每个第二权值。
20.根据权利要求15所述的装置，其特征在于，所述训练模块，具体用于针对选择的每个可变形部件模型，采用该可变形部件模型的根滤波器对每个样本图像进行评分，确定每个第一评分，并依次采用该可变形部件模型的每个部件滤波器分别对每个样本图像进行评分，确定每个第二评分；根据针对选择的每个可变形部件模型的每个第一评分的和，及每个第一评分和每个第二评分的和，确定第一权值，并针对每个部件滤波器，根据选择的每个可变形部件模型的该部件滤波器对应的每个第二评分的和，及每个第一评分和第二评分的和，确定每个第二权值。
21.根据权利要求12所述的装置，其特征在于，所述装置还包括：
识别模块，用于在检测到的车窗区域中，根据驾驶员的位置，确定所述车窗区域中的驾驶员候选区域；在所述驾驶员候选区域中，采用预先训练完成的卷积神经网络，识别驾驶员候选区域内的驾驶员是否佩戴安全带。
22.根据权利要求21所述的装置，其特征在于，所述装置还包括：
训练模块，用于在样本图像集的驾驶员候选区域中，采用相应的检测模型，检测驾驶员所在的位置；根据每个样本图像集检测到的驾驶员的图像及该驾驶员是否佩戴安全带的信息，对卷积神经网络进行训练。
CN201611248525.2A 2016-12-29 2016-12-29 一种车窗检测方法及装置 Active CN106778665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611248525.2A CN106778665B (zh) 2016-12-29 2016-12-29 一种车窗检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611248525.2A CN106778665B (zh) 2016-12-29 2016-12-29 一种车窗检测方法及装置

Publications (2)

Publication Number Publication Date
CN106778665A CN106778665A (zh) 2017-05-31
CN106778665B true CN106778665B (zh) 2019-09-17

Family

ID=58927552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611248525.2A Active CN106778665B (zh) 2016-12-29 2016-12-29 一种车窗检测方法及装置

Country Status (1)

Country Link
CN (1) CN106778665B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368861B (zh) * 2018-12-25 2023-05-09 杭州海康威视数字技术股份有限公司 在图像物体检测过程中确定子部件顺序的方法和装置
CN110399766A (zh) * 2019-01-28 2019-11-01 浙江浩腾电子科技股份有限公司 基于深度学习的抽烟检测分析系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186790A (zh) * 2011-12-27 2013-07-03 北京三星通信技术研究有限公司 对象检测系统和方法
CN102622604B (zh) * 2012-02-14 2014-01-15 西安电子科技大学 一种基于可变形部件加权的多角度人脸检测方法
CN105138983A (zh) * 2015-08-21 2015-12-09 燕山大学 基于加权部件模型和选择性搜索分割的行人检测方法
CN105225523A (zh) * 2015-10-15 2016-01-06 浙江宇视科技有限公司 一种车位状态检测方法及装置
CN105225226A (zh) * 2015-09-02 2016-01-06 电子科技大学 一种基于图像分割的级联可变形部件模型目标检测方法
CN105373783A (zh) * 2015-11-17 2016-03-02 高新兴科技集团股份有限公司 基于混合多尺度可变形部件模型的未系安全带检测方法
CN105975925A (zh) * 2016-05-03 2016-09-28 电子科技大学 基于联合检测模型的部分遮挡行人检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652851B2 (en) * 2014-04-01 2017-05-16 Conduent Business Services, Llc Side window detection in near-infrared images utilizing machine learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186790A (zh) * 2011-12-27 2013-07-03 北京三星通信技术研究有限公司 对象检测系统和方法
CN102622604B (zh) * 2012-02-14 2014-01-15 西安电子科技大学 一种基于可变形部件加权的多角度人脸检测方法
CN105138983A (zh) * 2015-08-21 2015-12-09 燕山大学 基于加权部件模型和选择性搜索分割的行人检测方法
CN105225226A (zh) * 2015-09-02 2016-01-06 电子科技大学 一种基于图像分割的级联可变形部件模型目标检测方法
CN105225523A (zh) * 2015-10-15 2016-01-06 浙江宇视科技有限公司 一种车位状态检测方法及装置
CN105373783A (zh) * 2015-11-17 2016-03-02 高新兴科技集团股份有限公司 基于混合多尺度可变形部件模型的未系安全带检测方法
CN105975925A (zh) * 2016-05-03 2016-09-28 电子科技大学 基于联合检测模型的部分遮挡行人检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Leissi Castañeda León 等.Car detection in sequences of images of urban environments using mixture of deformable part models.《Pattern Recognition Letters》.2014,第39卷
Object Detection with Discriminatively Trained Part-Based Models;Pedro F.Felzenszwalb等;《IEEE transactions on pattern analysis and machine intelligence》;20100930;第32卷(第9期);1-20
基于加权部件模型的行人检测研究;王雪平;《中国优秀硕士学位论文全文数据库信息科技辑》;20151215;第2015年卷(第12期);I138-607
基于动态加权可变形部件模型的行人检测;高华 等;《电子科技》;20160915;第29卷(第9期);1-3
车辆检测中可变形部件模型的改进与应用;康珮珮 等;《计算机工程与应用》;20161031;第52卷(第20期);209-213
面向部件遮挡补偿的车辆检测模型;陈远 等;《中国图象图形学报》;20141231;第19卷(第12期);1802-1811

Also Published As

Publication number Publication date
CN106778665A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN106780612B (zh) 一种图像中的物体检测方法及装置
CN108550259A (zh) 道路拥堵判断方法、终端设备及计算机可读存储介质
CN102592112B (zh) 基于隐马尔科夫模型判断手势运动方向的方法
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN107480730A (zh) 电力设备识别模型构建方法和系统、电力设备的识别方法
CN107330453A (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN107301378A (zh) 图像中多分类器集成的行人检测方法和系统
CN107134144A (zh) 一种用于交通监控的车辆检测方法
CN101477631B (zh) 图像中提取目标的方法、设备及人机交互系统
CN107563412A (zh) 一种基于深度学习的红外图像电力设备实时检测方法
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN103150572B (zh) 在线式视觉跟踪方法
CN107424171A (zh) 一种基于分块的抗遮挡目标跟踪方法
CN101458871A (zh) 一种智能交通分析系统及其应用系统
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN108805016A (zh) 一种头肩区域检测方法及装置
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
CN106910204B (zh) 一种对海面船只自动跟踪识别的方法和系统
CN103020986A (zh) 一种运动目标跟踪方法
CN108257154A (zh) 基于区域信息和cnn的极化sar图像变化检测方法
CN107180228A (zh) 一种用于车道线检测的梯度增强转换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant