CN106709443A - 一种安全带佩戴状态的检测方法及终端 - Google Patents

一种安全带佩戴状态的检测方法及终端 Download PDF

Info

Publication number
CN106709443A
CN106709443A CN201611179319.0A CN201611179319A CN106709443A CN 106709443 A CN106709443 A CN 106709443A CN 201611179319 A CN201611179319 A CN 201611179319A CN 106709443 A CN106709443 A CN 106709443A
Authority
CN
China
Prior art keywords
point
straight line
candidate
interior
safety belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611179319.0A
Other languages
English (en)
Other versions
CN106709443B (zh
Inventor
史方
周震
王标
雷章明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gao Qianwen
Original Assignee
Tong Wei Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tong Wei Technology (shenzhen) Co Ltd filed Critical Tong Wei Technology (shenzhen) Co Ltd
Priority to CN201611179319.0A priority Critical patent/CN106709443B/zh
Publication of CN106709443A publication Critical patent/CN106709443A/zh
Application granted granted Critical
Publication of CN106709443B publication Critical patent/CN106709443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种安全带佩戴状态的检测方法及终端，所述方法包括：根据采集的彩色图像和深度信息图，确定彩色图像中用户的面部区域；根据面部区域，确定彩色图像中的安全带区域；对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线；结合3D摄像头提供的深度信息图，对所述候选直线的有效性判断，确定安全带的佩戴状态。采用本发明实施例所提供的技术方案，通过彩色图像和深度信息图像能够提高面部区域检测鲁棒性，从而可以提高安全带区域划定的准确性，同时本发明中准确的直线检测方法以及结合深度信息对直线有效性的判断的方式较于传统方法在减少了对参数调整依赖度的同时，提高了安全带识别的鲁棒性，具有重要的应用价值。

Description

一种安全带佩戴状态的检测方法及终端
技术领域
本发明涉及计算机视觉、图像处理技术领域，特别是涉及一种安全带佩戴状态的检测方法及终端。
背景技术
汽车安全带是为了在碰撞时对乘员进行约束以及避免碰撞时乘员与方向盘及仪表板等发生二次碰撞或避免碰撞时冲出车外导致死伤的安全装置。汽车安全带又可以称之为座椅安全带，是乘员约束装置的一种，汽车安全带是公认的最廉价也是最有效的安全装置，在车辆的装备中很多国家是强制装备安全带的。
但是在乘车或驾驶汽车的过程中，用户很可能由于疏忽忘记佩戴安全带，在这种情下如果发生交通事故，将大大增加人员的伤亡比例，因此在车辆中设置安全带佩戴提醒系统具有非常重要的意义。
计算机视觉是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，获取图像中相应的特征信息，采用计算机视觉对安全带佩戴状态进行检测具有一定的可行性。但是现有技术中基于计算机视觉的安全带佩戴状态检测方法数据处理量较大、检测的准确率较低，导致用户体验较差，因此一种更优的基于计算机视觉的安全带佩戴状态的检测方法亟待出现。
发明内容
本发明实施例中提供了一种安全带佩戴状态的检测方法及终端，以解决现有技术中的检测方法数据处理量较大、检测的准确率较低的问题。
第一方面，本发明实施例提供了一种安全带佩戴状态的检测方法，包括：根据采集的彩色图像和深度信息图，确定所述彩色图像中用户的面部区域；根据所述面部区域，确定所述彩色图像中的安全带区域；对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线；对所述候选直线的有效性判断，确定安全带的佩戴状态。
优选地，所述根据采集的彩色图像和深度信息图，确定所述彩色图像中用户的面部区域，包括：在采集的彩色图像中提取hog特征进行SVM分类器的训练，确定一个或多个候选面部区域；在深度信息图中提取LBP特征进行训练，在所述候选面部区域中筛选出面部区域。
优选地，根据所述面部区域，确定所述彩色图像中的安全带区域，包括：根据所述面部区域的起点坐标，确定所述安全带区域的起点坐标；根据所述面部区域的宽度信息和高度信息，确定所述安全带区域的宽度信息和高度信息。
优选地，对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线，包括：为所述安全带区域建立状态表，所述状态表用于记录所述安全带区域中每个像素点的使用状态，将像素点的初始使用状态标记为unused；计算所述安全带区域中每个像素点的梯度值和梯度方向；根据所述梯度值和所述使用状态对所有像素点的梯度等级进行伪排序，其中，梯度值越大对应的梯度等级高；选取种子点，具体为:在使用状态为unused的像素点中，选取梯度等级最高的像素点作为种子点，将所述种子点的使用状态标记为used；搜索内点，具体为：判断所述种子点8邻域中是否存在内点，所述内点满足条件：使用状态为unused，梯度方向与所述种子点的梯度方向差值在[-t，t]范围内；当所述种子点8邻域中存在内点时，将所述内点的使用状态标记为used；生成包含当前搜索中所有内点的最小矩形，以所述内点为新的种子点，重新搜索内点；当所述最小矩形内任一内点的8邻域中不存在新的内点时，判断当前状态表中是否存在使用状态为unused的像素点；若当前状态表存在使用状态为unused的像素点，则返回选取种子点步骤；否则，以每个最小矩形中的内点为样本点进行最小二乘的直线拟合，根据拟合的不确定度对拟合的直线进行检测筛选获得候选直线。
优选地，在以每个最小矩形中的内点为样本点进行直线拟合前，还包括：判断所述最小矩形中内点的比例是否小于预设的内点比例阈值；当所述最小矩形中内点的比例小于预设的内点比例阈值时，将距离所述种子点最远的内点按照一定的比例删除，重新生成最小矩形。
优选地，在计算所述安全带区域中每个像素点的梯度值和梯度方向后，还包括：将梯度值小于预设的梯度阈值的像素点的使用状态标记为used。
优选地，对所述候选直线的有效性判断，确定安全带的佩戴状态，包括：在所述深度信息图中分别确定所述候选直线和所述面部区域的深度信息；判断所述候选直线中是否存在目标直线，所述目标直线和所述面部区域的深度信息差值在预设的深度阈值范围内；当所述候选直线中不存在目标直线时，确定所述安全带处于未佩戴状态。
优选地，对所述候选直线的有效性判断，确定安全带的佩戴状态，包括：判断所述候选直线中是否存在目标直线，所述目标直线的角度在预设的角度阈值范围内；当所述候选直线中不存在目标直线时，确定所述安全带处于未佩戴状态。
优选地，当所述候选直线中存在目标直线时，还包括：判断所述目标直线中是否存在平行直线对，所述平行直线对包括两条角度差值在预设的角度差值阈值范围内的目标直线；当所述目标直线中不存在平行直线对时，确定所述安全带处于未佩戴状态。
优选地，当所述目标直线中存在平行直线对时，还包括：对所述平行直线对中间的图像区域进行灰度直方图统计；判断所述灰度直方图是否呈单峰分布；当所述灰度直方图呈单峰分布时，确定所述安全带处于佩戴状态；否则，确定所述安全带处于未佩戴状态。
第二方面，本发明实施提供了一种终端，包括：处理器；用于存储处理器的执行指令的存储器；其中，所述处理器被配置为执行上述第一方面所述的方法。
由以上技术方案可见，在本发明实施例中通过彩色图像和深度信息图像能够提高面部区域检测鲁棒性，从而可以提高安全带区域划定的准确性，同时本发明中准确的直线检测方法以及结合深度信息对直线有效性的判断的方式较于传统方法在减少了对参数调整依赖度的同时，提高了安全带识别的鲁棒性，具有重要的应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种安全带佩戴状态的检测方法流程示意图；
图2为本发明实施例提供的一种面部区域和安全带区域的划分示意图；
图3为本发明实施例提供的一种对安全带区域的直线检测示意图；
图4为本发明实施例提供的一种候选直线有效性判断的方法流程示意图；
图5为本发明实施例提供的一种直线检测的方法流程示意图；
图6为本发明实施例提供的一种内点的选择示意图；
图7A-7E为本发明实施例提供的一种内点的吸纳过程示意图；
图8为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在实际的应用环境中，当用户佩戴安全带时，安全带会斜拉在用户的胸部。反映在的图像中，佩戴安全带和未佩戴安全带的图像相比，在用户的胸部多一条安全带图像，因此通过对采集的图像进行分析即可确定安全带的佩戴状态。总体来说，在安全带佩戴状态的检测方法中主要涉及图像获取、目标检测和目标识别这三部分，本发明实施例对这三部分均作了相应的改进，在下文中结合附图进行详细说明。
图1为本发明实施例提供的一种安全带佩戴状态的检测方法流程示意图，如图1所示，该方法主要包括以下步骤。
步骤S101：根据采集的彩色图像和深度信息图，确定所述彩色图像中用户的面部区域。
在本发明实施例中可以基于车载3D视频设备采集车辆中安全带位置的视频，截取视频中的某一帧画面对安全带佩戴状态进行检测，其中所述某一帧画面即本发明实施例所涉及的彩色图像。考虑到实际使用场景，车载3D视频设备采集的彩色图像通常较大，而且彩色图像中包含的信息通常比较繁杂，如果直接对彩色图像进行目标检测和识别必然会加大数据处理量，以及引入过多的噪声，影响检测的准确度。
针对这种问题，在本发明实施例中先在彩色图像中划分出安全带区域，仅对安全带区域进行目标检测和识别。但是由于安全带区域的特征不够明显，如果直接在彩色图像中对安全带区域进行划分有可能导致安全带区域的划分不准确，进而影响后续步骤中检测结果的准确性。
由于用户的面部和安全带在彩色图像中具有相应的位置关系，因此可以结合用户的面部区域确定安全带区域，所以在本发明实施例中首先在彩色图像中划分出用户的面部区域。
为了保证面部区域划分的准确性，本发明实施例提供的车载3D视频设备中还包括激光红外发射器，利用飞行时间(TOF)成像思想，主动向目标场景发射红外介质波，遇到物体后该介质波发生反射，同时该设备配有接收装置，接收到反射波后通过分析接收到反射波的时间从而计算出场景中物体的距离信息。核心的距离计算公式如如式一所示。
式一：
其中，Δt为间隔时间，c是光速，R是计算得到的深度距离信息，然后通过R得到深度信息图。
具体为：在采集的彩色图像中提取hog特征进行SVM分类器的训练，初步检测面部的候选位置，此时可能出现一些比如对衣服以及车内其它背景的误检，得到多个候选面部区域。为了消除以上误检，在深度信息图中提取LBP特征进行训练，然后在深度信息图中对上述的候选面部区域进行过滤，得到准确的面部区域，即在上述多个候选面部区域中筛选出面部区域。
图2为本发明实施例提供的一种面部区域和安全带区域的划分示意图，在图2中示出了彩色图像201，以及在彩色图像201中确定的面部区域202和安全带区域203。在图2所示的图像中以左上角为图像的坐标原点，面部区域202在图2中的位置可以描述为Rface(xface，yface，widthface，heightface)，其中，(xface，yface)表示面部区域的起点坐标(面部区域在图像中的左上角坐标)，(widthface，heightface)表示面部区域的宽度和高度。
步骤S102：根据所述面部区域，确定所述彩色图像中的安全带区域。
由于面部区域和安全带区域具有相应的位置关系，因此在划分出面部区域后，即可根据面部区域的位置按照其相应的位置关系划分出安全带区域。
在本发明一种可选实施例中，根据面部区域的起点坐标，按照式二确定安全带区域的起点坐标。
式二：
xseatbelt＝xface+α*widthface；
yseatbelt＝yface+β*heightface；
其中，(xseatbelt，yseatbelt)为安全带区域的起点坐标(在图2中左上角的坐标)，其中α和β为比例系数，本领域技术人员可以根据图像的拍摄角度或其它因素对其进行相应调整，以获取最佳的安全带区域。
另外，根据所述面部区域的宽度信息和高度信息，按照式三确定所述安全带区域的宽度信息和高度信息。
式三：
其中(widhtseatbelt，heigthseatbelt)为安全带的宽度信息和高度信息，(widhtI，heigthI)为图2整幅图像的宽度和高度，γ和δ为比例系数，本领域技术人员可以根据图像的拍摄角度或其它因素对其进行相应调整，以获取最佳的安全带区域。另外，在式三中设置判断条件f(xseatbelt+λ*widthface)>width1和f(yseatbelt+δ*heightface)>height1的目的在于防止划分的安全带区域超出整幅图像的边界。
步骤S103：对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线。
由于安全带在图像中表现为两条平行的直线，因此在图2中划分出安全带区域后，可以在安全带区域内检测直线。由于在安全带区域内还有可能存在其它噪声，因此在安全带区域内检测出直线后，还要在后续步骤中对候选直线的有效性进一步判断。
图3为本发明实施例提供的一种对安全带区域的直线检测示意图，在图3所示的实施例中检测出四条直线301-304，在图3中可以明确看出直线301和302为安全带的边缘直线，直线303和304为相关的噪声，因此在后续步骤中需要根据安全带的特征参数对候选直线进一步验证，以提高安全带检测的准确性。
其中，对图像进行直线检测的方法有多种，本领域技术人员可以根据实际需求选择常用的直线检测方法，例如先对图像进行边缘检测，在对边缘图像进行直线检测。传统的边缘检测要想达到比较好的效果比较依赖参数的调整，而且传统的hough直线检测采用的是一种“硬算”的像素投票策略，比较耗时。针对这种问题，本发明实施例还专门提出了一种直线检测方法，在后续实施例中进行单独说明。
步骤S104：对所述候选直线的有效性判断，确定安全带的佩戴状态。
结合实际应用环境可知，在3D视频设备的成像角度，用户的面部区域和安全带区域通常具有相近的深度，步骤S101中采集的深度信息图包含所有区域的深度信息，因此可以结合深度信息图对候选直线的有效性进一步判断。
具体为，在所述深度信息图中分别确定所述候选直线和所述面部区域的深度信息；判断所述候选直线中是否存在目标直线，所述目标直线和所述面部区域的深度信息差值在预设的深度阈值范围内；当所述候选直线中不存在目标直线时，确定所述安全带处于未佩戴状态。也就是说，在本发明实施例中以面部区域的深度为标准，只有当候选直线的深度与面部区域的深度差值相近时，才将候选直线作为有效直线，即目标直线。采用这种方式可以避免彩色图像中方向盘等轮廓直线引起的干扰。
另外，在本发明实施例中，还可以根据安全带的特征参数对候选直线的有效性进行判断，图4为本发明实施例提供的一种候选直线有效性判断的方法流程示意图，该方法主要包括以下步骤。
步骤S401：判断所述候选直线中是否存在目标直线，所述目标直线的角度在预设的角度阈值范围内。
由于安全带在采集的图像中的角度通常是具有一定的阈值范围的，因此可以通过候选直线的角度对候选直线中的目标直线进行筛选。例如，设置安全带的角度阈值为[-30°，-70°]，当候选直线处于该角度阈值范围内时，确定该候选直线为目标直线(例如图3中的直线301和302)，进入步骤S402对目标直线的有效性进一步判断；否则，进入步骤S406，确定安全带处于未佩戴使用状态。
步骤S402：判断所述目标直线中是否存在平行直线对，所述平行直线对包括两条角度差值在预设的角度差值阈值范围内的目标直线。
由于安全带具有两条边缘，而且该两条边缘通常平行，体现在图像中即安全带的边缘为一对平行线。基于该特征，本发明实施例继续判断目标直线中是否存在平行直线对，具体为将角度差值在预设的角度差值阈值范围内的目标直线进行两两组合。在本发明实施例中，将角度差值阈值设置在[-5°，+5°]，当然本领域技术人员可以根据实际需求对该角度差值阈值进行相应调整，本发明对其不做具体限定。
其中，当存在平行直线对时，进入步骤S403对平行直线对的有效性进一步判断；否则进入步骤S406，确定安全带处于未佩戴状态。
步骤S403：对所述平行直线对中间的图像区域进行灰度直方图统计。
在现实生活中，安全带通常为灰色或黑色，即具有单一的灰度。对具有单一灰度的区域进行灰度直方图统计时，灰度直方图通常为单峰分布，基于该原理，本发明实施例进一步对平行直线对的有效性进行判断。
步骤S404：判断所述灰度直方图是否呈单峰分布。
当灰度直方图呈单峰分布时，平行直线对之间的区域符合安全带特征，则进入步骤S405，确定所述安全带处于佩戴状态；否则，进入步骤S406确定所述安全带处于未佩戴使用状态。
步骤S405：确定所述安全带处于佩戴状态。
步骤S406：确定所述安全带处于未佩戴状态。
其中，当确定安全带处于未佩戴使用状态时，可以通过车载音响或车辆仪表盘等手段对用户进行提示，本发明实施例对具体提示方式不做限定。
在本发明实施例中通过彩色图像和深度信息图像能够提高面部区域检测鲁棒性，从而可以提高安全带区域划定的准确性，同时本发明中准确的直线检测方法以及结合深度信息对直线有效性的判断的方式较于传统方法在减少了对参数调整依赖度的同时，提高了安全带识别的鲁棒性，具有重要的应用价值。
针对传统的基于像素投票策略的直线检测方法比较耗时的问题，本发明实施例提供了一种新的直线检测方法，为了提高检测结果的准确性，本发明实施例在对安全带区域进行直线检测前可以先进行伽马增强，即提高暗部区域的对比度，然后以s＝0.8的尺度对输入图像进行高斯下采样，去图像锯齿。图5为本发明实施例提供的一种直线检测的方法流程示意图，其主要包括以下步骤。
步骤S501：为所述安全带区域建立状态表，所述状态表用于记录所述安全带区域中每个像素点的使用状态。
步骤S502：计算所述安全带区域中每个像素点的梯度值和梯度方向，将梯度值小于预设的梯度阈值的像素点的使用状态标记为used，其余像素点的使用状态标记为unused。
由于梯度值越大，边缘越显著，而梯度值较小的像素点，说明当前图像区域较为平滑，因此将梯度值小于预设的梯度阈值的像素点的使用状态直接标记为used可以减少后续步骤中的数据处理量以及去除噪声。当然，本领域技术人员也可以不根据梯度值对像素点的使用状态进行划分，在后续步骤中对所有像素点遍历处理，其同样应当落入本发明的保护范围之内。
步骤S503：根据所述梯度值和所述使用状态对所有像素点的梯度等级进行伪排序，其中，梯度值越大对应的梯度等级高。
例如，将梯度值划分为1024个等级(bins)，这1024个等级涵盖了梯度由0～255的变化范围。
步骤S504：在使用状态为unused的像素点中，选取梯度等级最高的像素点作为种子点，将所述种子点的使用状态标记为used。
由于像素点的梯度等级越高，像素点处于边缘的可能性越大，因此选取梯度等级最高的像素点作为种子点可以提高检测结果的准确性。
步骤S505：判断所述种子点8邻域中是否存在使用状态为unused，梯度方向与所述种子点的梯度方向差值在[-t，t]范围内的像素点，在本发明实施例中将满足上述条件的像素点称为内点。
图6为本发明实施例提供的一种内点的选择示意图，在图6中以像素点(x1，y1)为种子点，使用状态为unused的像素点分别为(x1，y0)、(x2，y1)和(x1，y2)，其中种子点的梯度方向为45°，像素点(x1，y0)、(x2，y1)和(x1，y2)的梯度方向分别为40°、50°和90°。假设上述t的取值为10°，即选取与种子点的梯度方向差值在[-10°，10°]范围内的像素点。像素点(x1，y0)、(x2，y1)和(x1，y2)与种子点的梯度方向的差值分别为-5°、5°和45°，因此在图6所示的实施例中将像素点(x1，y0)和(x2，y1)作为内点。
步骤S506：当所述种子点8邻域中存在内点时，将所述内点的使用状态标记为used，防止在后续步骤中对该内点进行重复吸纳。
步骤S507：生成包含当前搜索中所有内点的最小矩形，以所述内点为新的种子点，返回步骤S505重新搜索内点，也就是说，每一个内点都要做一次种子点搜索其8邻域中的新的内点。
步骤S508：当所述最小矩形内任一内点的8邻域中不存在新的内点时，计算所述最小矩形中内点的比例。
其中，内点的比例越高，在后续的步骤中进行直线拟合时的结果越准确，因此可以通过内点的比例验证最小矩形是否满足条件。
步骤S509：判断所述最小矩形中内点的比例是否小于预设的内点比例阈值，当判断结果为是时，进入步骤S510；否则，进入步骤S511。
步骤S510：当所述最小矩形中内点的比例小于预设的内点比例阈值时，将距离所述种子点最远的内点按照一定的比例删除，重新生成最小矩形，进入步骤S508重新计算最小矩形中内点的比例。
例如，将距离种子点较远的30％的内点去掉，从而达到减小最小矩形的长度来增大内点的比例的目的。
步骤S511：当所述最小矩形中内点的比例大于预设的内点比例阈值时，以最小矩形中的内点为样本点进行最小二乘的直线拟合，根据拟合的不确定度对拟合的直线进行检测筛选获得候选直线。
另外，由于过小的矩形不可能是安全带的边缘，因此在本发明实施例中还可以使用最小值抑制，去掉部分过小的矩形。
步骤S512：判断当前状态表是否存在使用状态为unused的像素点，如果判断结果为是，则返回步骤S504在伪排序中重新选取梯度值最大、状态为unused的像素点作为种子点；否则，说明已经遍历完所有像素点，结束直线检测流程。
另外，为了便于本领域技术人员更好地理解本技术方案，以下结合一具体实例对内点的吸纳过程进行说明。图7A-7E为本发明实施例提供的一种内点的吸纳过程示意图，其中包括8×8的图像，以像素点(x3，y3)作为初始种子点，内点的吸纳过程主要包括以下步骤。
a1、如图7A所示，以像素点(x3，y3)为种子点，搜索其8邻域中的内点(x2，y2)、(x3，y2)、(x2，y3)、(x4，y3)、(x3，y4)和(x4，y4)，此时包含所有内点的最小矩形如图7A中的矩形框所示。
a2、将内点(x2，y2)作为新的种子点，搜索其8邻域，吸纳新的内点(x3，y1)，此时包含所有内点的最小矩形如图7B中的矩形框所示。
a3、将内点(x3，y1)作为新的种子点，搜索其8邻域，没有吸纳到新的内点，则返回上一层。
a4、将内点(x3，y2)作为新的种子点，搜索其8邻域，没有吸纳到新的内点；继续在本层中将内点(x2，y3)作为新的种子点，搜索其8邻域，没有吸纳到新的内点；继续在本层中将内点(x4，y3)作为新的种子点，搜索其8邻域，没有吸纳到新的内点；继续在本层中将内点(x3，y4)作为新的种子点，搜索其8邻域，吸纳新的内点(x3，y5)和(x4，y5)，此时包含所有内点的最小矩形如图7C中的矩形框所示。
a5、将内点(x3，y5)作为新的种子点，搜索其8邻域，吸纳新的内点(x4，y6)，此时包含所有内点的最小矩形如图7D中的矩形框所示。
a6、将内点(x4，y6)作为新的种子点，搜索其8邻域，吸纳新的内点(x5，y5)、(x5，y6)和(x5，y7)，此时包含所有内点的最小矩形如图7E中的矩形框所示。
a7、分别将内点(x5，y5)、(x5，y6)和(x5，y7)作为新的种子点，搜索其8邻域，没有吸纳到新的内点，则返回上一层；在上一层中仍然没有吸纳到新的内点则再返回上一层，知道到达最初的种子点，完成内点的搜索过程，此时包含所有内点的矩形即最小矩形(图7E所示的矩形框)。
在上述方法实施例的基础上，本发明还提供了一种终端实施例，图8为本发明实施例提供的一种终端结构示意图，如图8所示，所述终端800可以包括：处理器801、存储器802及通信单元803。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本申请的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，所述通信单元803，用于建立通信信道，从而使所述存储设备可以与其它设备进行通信。接收其他设备发是的用户数据或者向其他设备发送用户数据。
所述处理器801，为存储设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器801可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
所述存储器802，用于存储处理器801的执行指令，存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
当存储器802中的执行指令由处理器801执行时，使得终端800能够执行：根据采集的彩色图像和深度信息图，确定所述彩色图像中用户的面部区域；
根据所述面部区域，确定所述彩色图像中的安全带区域；
对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线；
对所述候选直线的有效性判断，确定安全带的佩戴状态。
另外，为了在确定安全带处于未佩戴状态时对用户进行提醒，所述终端800中还可能设置报警器，当确定安全带处于未佩戴使用状态时，通过所述报警器执行报警操作。
具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的呼叫方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
在上述装置实施例的基础上，本发明还提供一种移动终端，所述移动终端的具体表现形式可以为手机或平板，所述移动终端包括上述装置和收发模块，所述收发模块包括无线局域网模块、蓝牙模块、全球定位模块和全球移动通信模块中的一个或多个，所述收发模块与所述处理器通信连接。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种安全带佩戴状态的检测方法，其特征在于，包括：
根据采集的彩色图像和深度信息图，确定所述彩色图像中用户的面部区域；
根据所述面部区域，确定所述彩色图像中的安全带区域；
对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线；
对所述候选直线的有效性判断，确定安全带的佩戴状态。
2.根据权利要求1所述的方法，其特征在于，所述根据采集的彩色图像和深度信息图，确定所述彩色图像中用户的面部区域，包括：
在采集的彩色图像中提取hog特征进行SVM分类器的训练，确定一个或多个候选面部区域；
在深度信息图中提取LBP特征进行训练，在所述候选面部区域中筛选出面部区域。
3.根据权利要求1所述的方法，其特征在于，根据所述面部区域，确定所述彩色图像中的安全带区域，包括：
根据所述面部区域的起点坐标，确定所述安全带区域的起点坐标；
根据所述面部区域的宽度信息和高度信息，确定所述安全带区域的宽度信息和高度信息。
4.根据权利要求1所述的方法，其特征在于，对所述安全带区域进行直线检测，确定所述安全带区域内的候选直线，包括：
为所述安全带区域建立状态表，所述状态表用于记录所述安全带区域中每个像素点的使用状态，将像素点的初始使用状态标记为unused；
计算所述安全带区域中每个像素点的梯度值和梯度方向；
根据所述梯度值和所述使用状态对所有像素点的梯度等级进行伪排序，其中，梯度值越大对应的梯度等级高；
选取种子点，具体为:在使用状态为unused的像素点中，选取梯度等级最高的像素点作为种子点，将所述种子点的使用状态标记为used；
搜索内点，具体为：判断所述种子点8邻域中是否存在内点，所述内点满足条件：使用状态为unused，梯度方向与所述种子点的梯度方向差值在[-t，t]范围内；
当所述种子点8邻域中存在内点时，将所述内点的使用状态标记为used；
生成包含当前搜索中所有内点的最小矩形，以所述内点为新的种子点，重新搜索内点；
当所述最小矩形内任一内点的8邻域中不存在新的内点时，判断当前状态表中是否存在使用状态为unused的像素点；
若当前状态表存在使用状态为unused的像素点，则返回选取种子点步骤；否则，以每个最小矩形中的内点为样本点进行最小二乘的直线拟合，根据拟合的不确定度对拟合的直线进行检测筛选获得候选直线。
5.根据权利要求4所述的方法，其特征在于，在以每个最小矩形中的内点为样本点进行直线拟合前，还包括：
判断所述最小矩形中内点的比例是否小于预设的内点比例阈值；
当所述最小矩形中内点的比例小于预设的内点比例阈值时，将距离所述种子点最远的内点按照一定的比例删除，重新生成最小矩形。
6.根据权利要求1所述的方法，其特征在于，对所述候选直线的有效性判断，确定安全带的佩戴状态，包括：
在所述深度信息图中分别确定所述候选直线和所述面部区域的深度信息；
判断所述候选直线中是否存在目标直线，所述目标直线和所述面部区域的深度信息差值在预设的深度阈值范围内；
当所述候选直线中不存在目标直线时，确定所述安全带处于未佩戴状态。
7.根据权利要求1所述的方法，其特征在于，对所述候选直线的有效性判断，确定安全带的佩戴状态，包括：
判断所述候选直线中是否存在目标直线，所述目标直线的角度在预设的角度阈值范围内；
当所述候选直线中不存在目标直线时，确定所述安全带处于未佩戴状态。
8.根据权利要求6或7所述的方法，其特征在于，当所述候选直线中存在目标直线时，还包括：
判断所述目标直线中是否存在平行直线对，所述平行直线对包括两条角度差值在预设的角度差值阈值范围内的目标直线；
当所述目标直线中不存在平行直线对时，确定所述安全带处于未佩戴状态。
9.根据权利要求8所述的方法，其特征在于，当所述目标直线中存在平行直线对时，还包括：
对所述平行直线对中间的图像区域进行灰度直方图统计；
判断所述灰度直方图是否呈单峰分布；
当所述灰度直方图呈单峰分布时，确定所述安全带处于佩戴状态；否则，确定所述安全带处于未佩戴状态。
10.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-9任一项所述的方法。
CN201611179319.0A 2016-12-19 2016-12-19 一种安全带佩戴状态的检测方法及终端 Active CN106709443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611179319.0A CN106709443B (zh) 2016-12-19 2016-12-19 一种安全带佩戴状态的检测方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611179319.0A CN106709443B (zh) 2016-12-19 2016-12-19 一种安全带佩戴状态的检测方法及终端

Publications (2)

Publication Number Publication Date
CN106709443A true CN106709443A (zh) 2017-05-24
CN106709443B CN106709443B (zh) 2020-06-02

Family

ID=58938412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611179319.0A Active CN106709443B (zh) 2016-12-19 2016-12-19 一种安全带佩戴状态的检测方法及终端

Country Status (1)

Country Link
CN (1) CN106709443B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766847A (zh) * 2017-11-21 2018-03-06 海信集团有限公司 一种车道线检测方法及装置
CN108182385A (zh) * 2017-12-08 2018-06-19 华南理工大学 一种用于智能交通系统的驾驶员安全带佩戴识别方法
CN108549880A (zh) * 2018-04-28 2018-09-18 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN108564179A (zh) * 2018-06-20 2018-09-21 上海翰临电子科技有限公司 佩戴检测系统、方法、电子终端、及计算机可读存储介质
CN109919182A (zh) * 2019-01-24 2019-06-21 国网浙江省电力有限公司电力科学研究院 一种终端侧电力安全作业图像识别方法
CN110070138A (zh) * 2019-04-26 2019-07-30 河南萱闱堂医疗信息科技有限公司 对结肠内镜检测前排泄物图片进行自动评分的方法
JP2021152966A (ja) * 2020-06-29 2021-09-30 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体
CN113743224A (zh) * 2021-08-04 2021-12-03 国网福建省电力有限公司信息通信分公司 基于边缘计算的登高作业人员安全带佩戴监控方法及系统
JP2022548460A (ja) * 2020-08-07 2022-11-21 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN103150556A (zh) * 2013-02-20 2013-06-12 西安理工大学 用于道路交通监控的安全带自动检测方法
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104417490A (zh) * 2013-08-29 2015-03-18 同观科技（深圳）有限公司 一种汽车安全带检测方法及装置
CN104417489A (zh) * 2013-08-29 2015-03-18 同观科技（深圳）有限公司 一种汽车安全带检测方法及汽车安全带检测装置
US20150363934A1 (en) * 2014-06-17 2015-12-17 Thinkware Corporation Electronic apparatus and control method thereof
CN105809099A (zh) * 2014-12-31 2016-07-27 成都理想境界科技有限公司 基于监控图像的安全带检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN103150556A (zh) * 2013-02-20 2013-06-12 西安理工大学 用于道路交通监控的安全带自动检测方法
CN104417490A (zh) * 2013-08-29 2015-03-18 同观科技（深圳）有限公司 一种汽车安全带检测方法及装置
CN104417489A (zh) * 2013-08-29 2015-03-18 同观科技（深圳）有限公司 一种汽车安全带检测方法及汽车安全带检测装置
US20150363934A1 (en) * 2014-06-17 2015-12-17 Thinkware Corporation Electronic apparatus and control method thereof
CN105809099A (zh) * 2014-12-31 2016-07-27 成都理想境界科技有限公司 基于监控图像的安全带检测方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766847A (zh) * 2017-11-21 2018-03-06 海信集团有限公司 一种车道线检测方法及装置
CN107766847B (zh) * 2017-11-21 2020-10-30 海信集团有限公司 一种车道线检测方法及装置
CN108182385A (zh) * 2017-12-08 2018-06-19 华南理工大学 一种用于智能交通系统的驾驶员安全带佩戴识别方法
CN108182385B (zh) * 2017-12-08 2020-05-22 华南理工大学 一种用于智能交通系统的驾驶员安全带佩戴识别方法
CN108549880B (zh) * 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN108549880A (zh) * 2018-04-28 2018-09-18 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN108564179A (zh) * 2018-06-20 2018-09-21 上海翰临电子科技有限公司 佩戴检测系统、方法、电子终端、及计算机可读存储介质
CN108564179B (zh) * 2018-06-20 2023-09-26 上海翰临电子科技有限公司 佩戴检测系统、方法、电子终端、及计算机可读存储介质
CN109919182A (zh) * 2019-01-24 2019-06-21 国网浙江省电力有限公司电力科学研究院 一种终端侧电力安全作业图像识别方法
CN109919182B (zh) * 2019-01-24 2021-10-22 国网浙江省电力有限公司电力科学研究院 一种终端侧电力安全作业图像识别方法
CN110070138B (zh) * 2019-04-26 2021-09-21 河南萱闱堂医疗信息科技有限公司 对结肠内镜检测前排泄物图片进行自动评分的方法
CN110070138A (zh) * 2019-04-26 2019-07-30 河南萱闱堂医疗信息科技有限公司 对结肠内镜检测前排泄物图片进行自动评分的方法
JP2021152966A (ja) * 2020-06-29 2021-09-30 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体
JP2022548460A (ja) * 2020-08-07 2022-11-21 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム
JP7288097B2 (ja) 2020-08-07 2023-06-06 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム
CN113743224A (zh) * 2021-08-04 2021-12-03 国网福建省电力有限公司信息通信分公司 基于边缘计算的登高作业人员安全带佩戴监控方法及系统
CN113743224B (zh) * 2021-08-04 2023-05-23 国网福建省电力有限公司信息通信分公司 基于边缘计算的登高作业人员安全带佩戴监控方法及系统

Also Published As

Publication number Publication date
CN106709443B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN106709443A (zh) 一种安全带佩戴状态的检测方法及终端
RU2756256C1 (ru) Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю
RU2764646C2 (ru) Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю
JP6524422B2 (ja) 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法
CN103702855B (zh) 驾驶员辅助检测系统
US20170301107A1 (en) Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
CN108447302A (zh) 信息处理装置以及程序
CN107428302A (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
KR101611261B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP5907700B2 (ja) 画像処理装置、車両システム、及び、画像処理方法
US11288886B2 (en) People-gathering analysis device, movement destination prediction creation device, people-gathering analysis system, vehicle, and recording medium
CN109492850A (zh) 车辆分配系统和车辆分配控制服务器
US20150002286A1 (en) Display control apparatus
JP5077088B2 (ja) 画像処理装置及び画像処理方法
CN107408288A (zh) 警告装置、警告方法以及警告程序
KR101822892B1 (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
CN114424241A (zh) 图像处理装置以及图像处理方法
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
CN110796762A (zh) 信息收集方法、信息收集系统以及记录介质
CN108432242A (zh) 车辆用显示装置、车辆用显示方法以及程序
CN108052921A (zh) 一种车道线检测方法、装置及终端
CN110598980A (zh) 交通场景的风险评估方法及装置
CN108459719B (zh) 一种隧道环境下的热门景点虚拟场景推送方法
CN107356916B (zh) 车距检测方法及装置、电子设备、计算机可读存储介质
KR20130119144A (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211208

Address after: 230000 No. 67, Jiatang village north, Dayang Town, Luyang District, Hefei City, Anhui Province

Patentee after: Gao Qianwen

Address before: 518057 1002, phase II, international student entrepreneurship building, No. 29, South Ring Road, gaoxinyuan, Nanshan District, Shenzhen, Guangdong Province

Patentee before: TONGGUAN TECHNOLOGY (SHENZHEN) CO.,LTD.

TR01 Transfer of patent right