CN111738235A - 一种用于自动开启车门的动作检测方法及装置 - Google Patents

一种用于自动开启车门的动作检测方法及装置 Download PDF

Info

Publication number
CN111738235A
CN111738235A CN202010816691.8A CN202010816691A CN111738235A CN 111738235 A CN111738235 A CN 111738235A CN 202010816691 A CN202010816691 A CN 202010816691A CN 111738235 A CN111738235 A CN 111738235A
Authority
CN
China
Prior art keywords
user
foot
action
aggregation
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010816691.8A
Other languages
English (en)
Other versions
CN111738235B (zh
Inventor
何俏君
付颖
谷俊
徐梓峰
尹超凡
张志德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010816691.8A priority Critical patent/CN111738235B/zh
Publication of CN111738235A publication Critical patent/CN111738235A/zh
Application granted granted Critical
Publication of CN111738235B publication Critical patent/CN111738235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras

Abstract

本发明公开一种用于自动开启车门的动作检测方法及装置，其中，用于自动开启车门的动作检测方法包括：通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。本发明提高了开门动作检测的实时性和可靠性。

Description

一种用于自动开启车门的动作检测方法及装置
技术领域
本发明属于智能驾驶技术领域，具体涉及一种用于自动开启车门的动作检测方法及装置。
背景技术
目前自动开启车门的方法主要是通过在电容传感器可感应范围内做出脚踢等动作而开启车门，但此方法易受诸多因素限制，如外界环境，感应时间还有一定的不安全因素：脚踢动作要限制在一定时间内，否则可能感应不到；若遇雨水或大雪覆盖住后保险杠时，脚踢感应可能会发生延迟；如超出感应范围可能会被排气尾管所烫伤。
后续一些技术方案对上述方法进行了改进，例如对人脚图像进行透视变换等预处理，然后使用微调（fine-tune）的迁移学习方法改进卷积神经网络（VGG）对脚部图像进行识别；但是，通过使用改进卷积神经网络（VGG）对人脚图像进行识别，由于卷积神经网络富含的参数较多，占用较大内存且耗费更多的计算资源，实时性差。又如，提取不同粒度的RGB信息和光流图信息，并输入到融合的时间神经网络和空间神经网络得到人体动作结果；然而，使用双流卷积网络判定视频序列中的人体动作信息，双流卷积神经网络中光流计算量较大，耗费较长时间，实时性较差。
发明内容
本发明实施例所要解决的技术问题在于，提供一种用于自动开启车门的动作检测方法及装置，以显著减少计算量，提升实时性和鲁棒性。
为解决上述技术问题，本发明提供一种用于自动开启车门的动作检测方法，包括：
步骤S1，通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；
步骤S2，根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；
步骤S3，根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；
步骤S4，根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。
其中，所述步骤S2具体包括：
步骤S21，输入采集的一帧图像，将YUV颜色空间转换成HSV空间并提取3通道颜色特征，1组梯度幅值特征，4组梯度方向直方图特征，聚合形成8通道特征，并从中提取用户脚部的颜色特征和轮廓特征；
步骤S22，使用不同尺度的金字塔聚合模板将提取的颜色特征和轮廓特征组合成金字塔聚合特征；
步骤S23，通过训练好的弱分类器分类出目标特征通道，利用与用户脚部尺寸相同的滑动窗口在每一层金字塔聚合特征通道上滑动得到弱分类器需要的特征值；
步骤S24，判断每个滑动窗口得到的特征值是否大于或等于第一预设阈值，若是则所述滑动窗口作为候选窗口，否则分类下一层金字塔聚合特征通道，重复此过程直至遍历所有金字塔聚合特征通道；
步骤S25，根据每一层对应的金字塔聚合尺度比例，把候选窗口大小和位置恢复到原有图像上；
步骤S26，利用非极大值抑制法合并候选重叠窗口，当候选重叠窗口覆盖率大于第二预设阈值时，合并重叠窗口得到最终的参照窗口，按参照窗口的置信度高低顺序进行排列，保留得分最高的参照窗口作为用户脚部所在区域，丢弃其余参照窗口。
其中，所述聚合通道特征算法的训练流程包括：
通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的图像；
从采集的图像中均匀抽样，对存在用户脚部的图像进行标注；
采用标注后的图像对聚合通道特征算法的弱分类器进行训练，其中，使用2层深度的决策树作为弱分类器并使用基于软级联的Adaboost方法训练多级强分类器。
其中，所述步骤S3具体包括：提取连续多帧图像中检测到的用户脚部所在区域中心作为用户脚部的质心，并基于各质心位置，构建所述动作序列。
其中，所述步骤S4具体包括：
根据所述动作序列中每个质心位置与所述预设感兴趣区域的相对关系，把每个质心位置转化为对应的取值；
根据所述动作序列，判断是否存在连续多个质心位置取值向同一方向变化且摆动幅度大于预设的阈值，并且接下来的连续多个质心位置取值向另一方向变化且摆动幅度大于预设的阈值，如此来回达到预设的次数；
若判断结果均为是，则判定用户脚部动作为有效的开门动作。
本发明还提供一种用于自动开启车门的动作检测装置，包括：
采集单元，用于通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；
检测单元，用于根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；
动作构建单元，用于根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；
动作匹配单元，用于根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。
其中，所述检测单元进一步包括：
特征提取模块，用于输入采集的一帧图像，将YUV颜色空间转换成HSV空间并提取3通道颜色特征，1组梯度幅值特征，4组梯度方向直方图特征，聚合形成8通道特征，并从中提取用户脚部的颜色特征和轮廓特征；
聚合模块，用于使用不同尺度的金字塔聚合模板将提取的颜色特征和轮廓特征组合成金字塔聚合特征；
分类模块，用于通过训练好的弱分类器分类出目标特征通道，利用与用户脚部尺寸相同的滑动窗口在每一层金字塔聚合特征通道上滑动得到弱分类器需要的特征值；
遍历模块，用于判断每个滑动窗口得到的特征值是否大于或等于第一预设阈值，若是则所述滑动窗口作为候选窗口，否则分类下一层金字塔聚合特征通道，重复此过程直至遍历所有金字塔聚合特征通道；
恢复模块，用于根据每一层对应的金字塔聚合尺度比例，把候选窗口大小和位置恢复到原有图像上；
合并模块，用于利用非极大值抑制法合并候选重叠窗口，当候选重叠窗口覆盖率大于第二预设阈值时，合并重叠窗口得到最终的参照窗口，按参照窗口的置信度高低顺序进行排列，保留得分最高的参照窗口作为用户脚部所在区域，丢弃其余参照窗口。
其中，所述聚合通道特征算法的训练方式为：
通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的图像；
从采集的图像中均匀抽样，对存在用户脚部的图像进行标注；
采用标注后的图像对聚合通道特征算法的弱分类器进行训练，其中，使用2层深度的决策树作为弱分类器并使用基于软级联的Adaboost方法训练多级强分类器。
其中，所述动作构建单元具体用于提取连续多帧图像中检测到的用户脚部所在区域中心作为用户脚部的质心，并基于各质心位置，构建所述动作序列。
其中，所述动作匹配单元具体用于：
根据所述动作序列中每个质心位置与所述预设感兴趣区域的相对关系，把每个质心位置转化为对应的取值；
判断是否存在连续多个质心位置取值向同一方向变化且摆动幅度大于预设的阈值，并且接下来的连续多个质心位置取值向另一方向变化且摆动幅度大于预设的阈值，如此来回达到预设的次数；若判断结果均为是，则判定用户脚部动作为有效的开门动作。
实施本发明实施例，具有如下有益效果：基于聚合通道特征，降低了对光照的敏感性并提高准确率；把摆脚开门动作抽象为质心点的规律运动，仅当运动规律符合预设规律时才认为是有效开门动作，有效排除随机扰动（例如从车旁步行通过）造成的非预期开门，既提高了实时性，又增强了可靠性，使得本发明更易于在计算资源有限的ECU上采用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一一种用于自动开启车门的动作检测方法的流程示意图。
图2为本发明实施例一中用户脚部动作构建的原理示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
请参照图1所示，本发明实施例一提供一种用于自动开启车门的动作检测方法，包括：
步骤S1，通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；
步骤S2，根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；
步骤S3，根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；
步骤S4，根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。
具体地，本实施例中，在车辆车门附近预先设定一定范围作为感兴趣区域（ROI）。对该感兴趣区域ROI进行拍摄，采集用户脚部在ROI内出现的连续多帧图像。可以理解的是，拍摄可以使用安装在侧方或后方的鱼眼摄像头，具有更广的拍摄角度。还需说明的是，根据车门位置的不同，例如驾驶位的车门，则对驾驶位的车门附近感兴趣区域拍摄，采集的通常为驾驶员脚部出现在该感兴趣区域的连续多帧图像；而对其余车门附近感兴趣区域拍摄，采集的通常为乘客脚部出现在该感兴趣区域的连续多帧图像。也就是说，本实施例中用户既可以是驾驶员，也可以是乘客。尤其在用户是乘客时，本实施例的动作检测方法可以应用到无人驾驶出租车、自主代客泊车等未来高级自动驾驶功能，为乘客带来便利。
步骤S2基于聚合通道特征（Aggregate Channel Feature，ACF）算法对采集的连续多帧图像进行检测，获得用户脚部检测结果的流程具体包括：
步骤S21，输入采集的一帧图像，将YUV颜色空间转换成HSV空间并提取3通道颜色特征，1组梯度幅值特征，4组梯度方向直方图特征，聚合形成8通道特征，并从中用户脚部的颜色特征和轮廓特征。
具体来说，将标注好的图像从YUV空间转换为HSV空间，提取3通道颜色特征，然后计算梯度幅值（1通道），每隔45度计算1次梯度方向直方图，可得到4个方向通道信息。因待检测的用户脚部轮廓具有辨识性且与地面颜色之间有一定的区分度，故计算颜色通道信息和方向通道信息以提取用户脚部的颜色特征和轮廓特征。
步骤S22，使用不同尺度的金字塔聚合模板将提取的颜色特征和轮廓特征组合成金字塔聚合特征；
步骤S23，通过训练好的弱分类器分类出目标特征通道，利用与用户脚部尺寸相同的滑动窗口在每一层金字塔聚合特征通道上滑动得到弱分类器需要的特征值。
进一步地，聚合通道特征算法的训练流程包括：
通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的图像；
从采集的图像中均匀抽样，对存在用户脚部的图像进行标注；
采用标注后的图像对聚合通道特征算法的弱分类器进行训练，其中，本实施例使用2层深度的决策树作为弱分类器并使用基于软级联的Adaboost方法训练多级强分类器。设定软级联分类的每层阈值，可以及时中止不包含目标物体的检测。可以理解的是，软级联Adaboost方法训练分类器可以节省计算时间，提高检测实时性。
步骤S24，判断每个滑动窗口得到的特征值是否大于或等于第一预设阈值，若是则所述滑动窗口作为候选窗口，否则分类下一层金字塔聚合特征通道，重复此过程直至遍历所有金字塔聚合特征通道；
步骤S25，根据每一层对应的金字塔聚合尺度比例，把候选窗口大小和位置恢复到原有图像上；
步骤S26，利用非极大值抑制法（NMS）合并候选重叠窗口，当候选重叠窗口覆盖率大于第二预设阈值时，合并重叠窗口得到最终的参照窗口，按参照窗口的置信度高低顺序进行排列，保留得分最高的参照窗口作为用户脚部所在区域，丢弃其余参照窗口。
通过使用聚合通道特征可以丰富特征的表达形式，增加检测的准确率；提取色彩通道和方向通道信息作为颜色、轮廓特征可以提高检测的准确性，增强对光照变化的适应性。
步骤S2获得的用户脚部所在区域即为用户脚部检测结果，步骤S3将根据所述用户脚部检测结果，进行用户脚部动作构建。
取每帧图像中检测到的用户脚部所在区域中心作为动作实施物（即用户脚部）的质心，连续在K帧图像中提取质心 P，如果 M 次能检测到用户脚部并且提取质心，则可以基于 M 次质心位置，构成一个动作序列[P0, P1, P2, P3..., PM]。K 与 M 是可标定参数，以满足不同车型需求。理想情况下，K和M是相等的；但考虑到步骤S2可能会出现漏检或误检，导致获得的图像中并不是全部都能够检测到用户脚部并能提取质心，因此，K一般会标定为大于或等于M。
具体来说，请再结合图2所示，以连续5帧图像为例，从左到右检测到的用户脚部所在区域A1-A5，其中心作为用户脚部F的质心P，则可以基于5 次质心位置，构成一个动作序列[P0, P1, P2, P3, P4, P5]。
步骤S4基于步骤S3构建的动作序列进行动作匹配。基于动作序列信息，可以分析出摆动方向、摆动幅度、持续时间、摆动幅度、摆动快慢等多种属性。具体来说，通过动作序列中每个质心点位置与前述感兴趣区域ROI的相对关系，可以把每个质心位置转化为1（最左侧）、2（中间偏左）、3（中间）、4（中间偏右）、5（最右侧）五个取值，当质心位置取值变大则表示从左向右摆动，当质心位置取值变小则表示从右向左摆动。同样地，还可以把每个质心位置转化为1（最后方）、2（中间靠后）、3（中间）、4（中间靠前）、5（最前方）五个取值，当质心位置取值变大则表示从后向前摆动，当质心位置取值变小则表示从前向后摆动。由此可知，从动作序列的数值可以分析出摆动方向。此外，结合连续多帧图像中相应质心点位置在前述感兴趣区域ROI的变化，可以进一步分析出摆动幅度：例如，可以计算出质心点从最左侧摆动到最右侧的距离，作为摆动幅度；进一步地，再结合多帧图像的时间戳可以计算出摆动持续时间、摆动快慢等属性。
考虑到操作的便利性以及多数人的习惯，通常情况下只要求用户有规律地左右或者上下摆脚便可以开门，另一方面要防止随机扰动（例如从车旁步行通过）造成的非预期开门，所以本实施例对左右或者上下摆脚的频率和次数做一定限制。由此，假定用户比较舒适的摆腿幅度为 Range，作为摆腿幅度的阈值；从一侧到另外一侧的摆动时间为 T秒，在T秒内共有连续K帧检测到用户脚部并且可提取质心的图像，从一侧到另外一侧的摆动来回共N 次；对步骤S4构建的动作序列[P0, P1, P2, P3..., PM]进行分析，判断是否存在连续K个质心位置取值向同一方向变化（持续变大或持续变小）且摆动幅度大于 Range，并且接下来的连续K个质心的数值向另一方向变化且摆动幅度大于 Range，如此来回 N次。当这些条件都满足时，则判定用户脚部动作为有效开门动作。上述 Range、T、K、N均为可标定参数，以满足不同车型需求。
按照上述示例的摆动方向、摆动幅度，可以预先建立开门动作库，将前述步骤获得的摆脚动作与开门动作库进行遍历比较，如发现匹配则停止遍历并判定是一个有效的开门动作，否则继续遍历开门动作库剩余内容。进一步地，还可以结合持续时间、摆动幅度、摆动快慢等属性构建其他开门动作，放入预先建立的开门动作库，以供遍历比较。
可以理解的是，如前所述，为避免从车旁步行通过造成的非预期开门，前述根据用户脚部摆动方向及摆动幅度来与预设开门动作库进行比较的方式中，N一般设为2，即从一侧到另外一侧摆动1次，从另一侧摆动返回1次，相当于一个来回。就用户的实际脚部动作而言，相当于左右横扫（从左摆动到右并从右再摆动回左）或者前踢再收回（从后摆动到前并从前再摆动回后）。
相应于本发明实施例一的用于自动开启车门的动作检测方法，本发明实施例二提供一种用于自动开启车门的动作检测装置，包括：
采集单元，用于通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；
检测单元，用于根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；
动作构建单元，用于根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；
动作匹配单元，用于根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。
其中，所述检测单元进一步包括：
特征提取模块，用于输入采集的一帧图像，将YUV颜色空间转换成HSV空间并提取3通道颜色特征，1组梯度幅值特征，4组梯度方向直方图特征，聚合形成8通道特征，并从中提取用户脚部的颜色特征和轮廓特征；
聚合模块，用于使用不同尺度的金字塔聚合模板将提取的颜色特征和轮廓特征组合成金字塔聚合特征；
分类模块，用于通过训练好的弱分类器分类出目标特征通道，利用与用户脚部尺寸相同的滑动窗口在每一层金字塔聚合特征通道上滑动得到弱分类器需要的特征值；
遍历模块，用于判断每个滑动窗口得到的特征值是否大于或等于第一预设阈值，若是则所述滑动窗口作为候选窗口，否则分类下一层金字塔聚合特征通道，重复此过程直至遍历所有金字塔聚合特征通道；
恢复模块，用于根据每一层对应的金字塔聚合尺度比例，把候选窗口大小和位置恢复到原有图像上；
合并模块，用于利用非极大值抑制法合并候选重叠窗口，当候选重叠窗口覆盖率大于第二预设阈值时，合并重叠窗口得到最终的参照窗口，按参照窗口的置信度高低顺序进行排列，保留得分最高的参照窗口作为用户脚部所在区域，丢弃其余参照窗口。
其中，所述聚合通道特征算法的训练方式为：
通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的图像；
从采集的图像中均匀抽样，对存在用户脚部的图像进行标注；
采用标注后的图像对聚合通道特征算法的弱分类器进行训练，其中，使用2层深度的决策树作为弱分类器并使用基于软级联的Adaboost方法训练多级强分类器。
其中，所述动作构建单元具体用于提取连续多帧图像中检测到的用户脚部所在区域中心作为用户脚部的质心，并基于各质心位置，构建所述动作序列。
其中，所述动作匹配单元具体用于：
根据所述动作序列中每个质心位置与所述预设感兴趣区域的相对关系，把每个质心位置转化为对应的取值；
判断是否存在连续多个质心位置取值向同一方向变化且摆动幅度大于预设的阈值，并且接下来的连续多个质心位置取值向另一方向变化且摆动幅度大于预设的阈值，如此来回达到预设的次数；若判断结果均为是，则判定用户脚部动作为有效的开门动作。
有关本实施例的工作原理及过程，请参照本发明实施例一的说明，此处不再赘述。
实施本发明实施例，具有如下有益效果：基于聚合通道特征，降低了对光照的敏感性并提高准确率；把摆脚开门动作抽象为质心点的规律运动，仅当运动规律符合预设规律时才认为是有效开门动作，有效排除随机扰动（例如从车旁步行通过）造成的非预期开门，既提高了实时性，又增强了可靠性，使得本发明更易于在计算资源有限的ECU上采用。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种用于自动开启车门的动作检测方法，其特征在于，包括：
步骤S1，通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；
步骤S2，根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；
步骤S3，根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；
步骤S4，根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。
2.根据权利要求1所述的动作检测方法，其特征在于，所述步骤S2具体包括：
步骤S21，输入采集的一帧图像，将YUV颜色空间转换成HSV空间并提取3通道颜色特征，1组梯度幅值特征，4组梯度方向直方图特征，聚合形成8通道特征，并从中提取用户脚部的颜色特征和轮廓特征；
步骤S22，使用不同尺度的金字塔聚合模板将提取的颜色特征和轮廓特征组合成金字塔聚合特征；
步骤S23，通过训练好的弱分类器分类出目标特征通道，利用与用户脚部尺寸相同的滑动窗口在每一层金字塔聚合特征通道上滑动得到弱分类器需要的特征值；
步骤S24，判断每个滑动窗口得到的特征值是否大于或等于第一预设阈值，若是则所述滑动窗口作为候选窗口，否则分类下一层金字塔聚合特征通道，重复此过程直至遍历所有金字塔聚合特征通道；
步骤S25，根据每一层对应的金字塔聚合尺度比例，把候选窗口大小和位置恢复到原有图像上；
步骤S26，利用非极大值抑制法合并候选重叠窗口，当候选重叠窗口覆盖率大于第二预设阈值时，合并重叠窗口得到最终的参照窗口，按参照窗口的置信度高低顺序进行排列，保留得分最高的参照窗口作为用户脚部所在区域，丢弃其余参照窗口。
3.根据权利要求1所述的动作检测方法，其特征在于，所述聚合通道特征算法的训练流程包括：
通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的图像；
从采集的图像中均匀抽样，对存在用户脚部的图像进行标注；
采用标注后的图像对聚合通道特征算法的弱分类器进行训练，其中，使用2层深度的决策树作为弱分类器并使用基于软级联的Adaboost方法训练多级强分类器。
4.根据权利要求1所述的动作检测方法，其特征在于，所述步骤S3具体包括：提取连续多帧图像中检测到的用户脚部所在区域中心作为用户脚部的质心，并基于各质心位置，构建所述动作序列。
5.根据权利要求4所述的动作检测方法，其特征在于，所述步骤S4具体包括：
根据所述动作序列中每个质心位置与所述预设感兴趣区域的相对关系，把每个质心位置转化为对应的取值；
根据所述动作序列，判断是否存在连续多个质心位置取值向同一方向变化且摆动幅度大于预设的阈值，并且接下来的连续多个质心位置取值向另一方向变化且摆动幅度大于预设的阈值，如此来回达到预设的次数；
若判断结果均为是，则判定用户脚部动作为有效的开门动作。
6.一种用于自动开启车门的动作检测装置，其特征在于，包括：
采集单元，用于通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的连续多帧图像；
检测单元，用于根据训练好的聚合通道特征算法对采集的连续多帧图像进行检测，获得用户脚部检测结果；
动作构建单元，用于根据所述用户脚部检测结果，将每帧图像中检测到的用户脚部所在区域中心作为质心提取，并根据所述质心位置构建用户脚部动作序列；
动作匹配单元，用于根据所述用户脚部动作序列，获取用户脚部动作属性，并与预设开门动作库进行遍历匹配，如发现匹配则判定用户脚部动作为有效的开门动作。
7.根据权利要求6所述的动作检测装置，其特征在于，所述检测单元进一步包括：
特征提取模块，用于输入采集的一帧图像，将YUV颜色空间转换成HSV空间并提取3通道颜色特征，1组梯度幅值特征，4组梯度方向直方图特征，聚合形成8通道特征，并从中提取用户脚部的颜色特征和轮廓特征；
聚合模块，用于使用不同尺度的金字塔聚合模板将提取的颜色特征和轮廓特征组合成金字塔聚合特征；
分类模块，用于通过训练好的弱分类器分类出目标特征通道，利用与用户脚部尺寸相同的滑动窗口在每一层金字塔聚合特征通道上滑动得到弱分类器需要的特征值；
遍历模块，用于判断每个滑动窗口得到的特征值是否大于或等于第一预设阈值，若是则所述滑动窗口作为候选窗口，否则分类下一层金字塔聚合特征通道，重复此过程直至遍历所有金字塔聚合特征通道；
恢复模块，用于根据每一层对应的金字塔聚合尺度比例，把候选窗口大小和位置恢复到原有图像上；
合并模块，用于利用非极大值抑制法合并候选重叠窗口，当候选重叠窗口覆盖率大于第二预设阈值时，合并重叠窗口得到最终的参照窗口，按参照窗口的置信度高低顺序进行排列，保留得分最高的参照窗口作为用户脚部所在区域，丢弃其余参照窗口。
8.根据权利要求7所述的动作检测装置，其特征在于，所述聚合通道特征算法的训练方式为：
通过对车门附近预设感兴趣区域的拍摄，采集用户脚部出现在所述预设感兴趣区域的图像；
从采集的图像中均匀抽样，对存在用户脚部的图像进行标注；
采用标注后的图像对聚合通道特征算法的弱分类器进行训练，其中，使用2层深度的决策树作为弱分类器并使用基于软级联的Adaboost方法训练多级强分类器。
9.根据权利要求7所述的动作检测装置，其特征在于，所述动作构建单元具体用于提取连续多帧图像中检测到的用户脚部所在区域中心作为用户脚部的质心，并基于各质心位置，构建所述动作序列。
10.根据权利要求9所述的动作检测装置，其特征在于，所述动作匹配单元具体用于：
根据所述动作序列中每个质心位置与所述预设感兴趣区域的相对关系，把每个质心位置转化为对应的取值；
判断是否存在连续多个质心位置取值向同一方向变化且摆动幅度大于预设的阈值，并且接下来的连续多个质心位置取值向另一方向变化且摆动幅度大于预设的阈值，如此来回达到预设的次数；若判断结果均为是，则判定用户脚部动作为有效的开门动作。
CN202010816691.8A 2020-08-14 2020-08-14 一种用于自动开启车门的动作检测方法及装置 Active CN111738235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010816691.8A CN111738235B (zh) 2020-08-14 2020-08-14 一种用于自动开启车门的动作检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010816691.8A CN111738235B (zh) 2020-08-14 2020-08-14 一种用于自动开启车门的动作检测方法及装置

Publications (2)

Publication Number Publication Date
CN111738235A true CN111738235A (zh) 2020-10-02
CN111738235B CN111738235B (zh) 2020-12-08

Family

ID=72658499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010816691.8A Active CN111738235B (zh) 2020-08-14 2020-08-14 一种用于自动开启车门的动作检测方法及装置

Country Status (1)

Country Link
CN (1) CN111738235B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267845A1 (zh) * 2021-06-24 2022-12-29 森思泰克河北科技有限公司 脚踢信号识别方法、装置及终端
WO2023143789A1 (de) * 2022-01-25 2023-08-03 Mercedes-Benz Group AG Verfahren zum betätigen eines zugangssystems eines kraftfahrzeugs, vorrichtung zur ausführung des verfahrens sowie kraftfahrzeug mit einer solchen vorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160281410A1 (en) * 2015-03-23 2016-09-29 Continental Automotive Systems, Inc. Apparatus and method for opening a vehicle gate using a camera
CN106203385A (zh) * 2016-07-20 2016-12-07 东方网力科技股份有限公司 一种驾驶员手持电话行为检测方法及装置
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
US20200054248A1 (en) * 2018-08-15 2020-02-20 Industrial Technology Research Institute Exercise state evaluation method
CN111461001A (zh) * 2020-03-31 2020-07-28 桂林电子科技大学 一种计算机视觉自动开车门方法及其系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160281410A1 (en) * 2015-03-23 2016-09-29 Continental Automotive Systems, Inc. Apparatus and method for opening a vehicle gate using a camera
CN106114456A (zh) * 2015-03-23 2016-11-16 大陆汽车系统公司 用于利用摄像机开启车辆车门的设备和方法
CN106203385A (zh) * 2016-07-20 2016-12-07 东方网力科技股份有限公司 一种驾驶员手持电话行为检测方法及装置
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
US20200054248A1 (en) * 2018-08-15 2020-02-20 Industrial Technology Research Institute Exercise state evaluation method
CN111461001A (zh) * 2020-03-31 2020-07-28 桂林电子科技大学 一种计算机视觉自动开车门方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267845A1 (zh) * 2021-06-24 2022-12-29 森思泰克河北科技有限公司 脚踢信号识别方法、装置及终端
WO2023143789A1 (de) * 2022-01-25 2023-08-03 Mercedes-Benz Group AG Verfahren zum betätigen eines zugangssystems eines kraftfahrzeugs, vorrichtung zur ausführung des verfahrens sowie kraftfahrzeug mit einer solchen vorrichtung

Also Published As

Publication number Publication date
CN111738235B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN102298781B (zh) 基于颜色和梯度特征的运动阴影检测方法
JP5675229B2 (ja) 画像処理装置及び画像処理方法
EP2518661A2 (en) System and method for human detection and counting using background modeling, hog and haar features
CN106846359A (zh) 基于视频序列的运动目标快速检测方法
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
WO2020220663A1 (zh) 目标检测方法及装置、设备及存储介质
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
CN111738235B (zh) 一种用于自动开启车门的动作检测方法及装置
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
Murugan et al. A deep learning RCNN approach for vehicle recognition in traffic surveillance system
CN102289660A (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102768726B (zh) 一种预防行人碰撞的行人检测方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN104182729B (zh) 基于arm嵌入式平台的行人检测方法
CN109886079A (zh) 一种车辆检测与跟踪方法
CN104657724A (zh) 一种交通视频行人检测方法
CN105260715A (zh) 面向偏僻地段的小动物目标检测方法
CN109063630B (zh) 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
Hu et al. A video streaming vehicle detection algorithm based on YOLOv4
CN106682643A (zh) 一种手势的多语义识别方法
CN114821810A (zh) 基于动态特征辅助的静态手势意图识别方法、系统及车辆
CN101320477A (zh) 一种人体跟踪方法及其设备
CN114782985A (zh) 基于单目相机的行人跟踪与重识别方法
CN108563997B (zh) 一种建立人脸检测模型、人脸识别的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant