CN110826370B - 车内人员的身份识别方法、装置、车辆及存储介质 - Google Patents

车内人员的身份识别方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN110826370B
CN110826370B CN201810905793.XA CN201810905793A CN110826370B CN 110826370 B CN110826370 B CN 110826370B CN 201810905793 A CN201810905793 A CN 201810905793A CN 110826370 B CN110826370 B CN 110826370B
Authority
CN
China
Prior art keywords
face
detection target
detection
vehicle
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810905793.XA
Other languages
English (en)
Other versions
CN110826370A (zh
Inventor
李彦琳
毛茜
徐现昭
齐新迎
何俏君
徐伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201810905793.XA priority Critical patent/CN110826370B/zh
Publication of CN110826370A publication Critical patent/CN110826370A/zh
Application granted granted Critical
Publication of CN110826370B publication Critical patent/CN110826370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Abstract

本发明公开了一种车内人员的身份识别方法，包括：获取安装于车内的摄像头采集的当前图像；当获取到与所述当前图像对应的人脸跟踪队列时，对所述当前图像进行人脸检测得到检测结果，以及根据所述检测结果和所述人脸跟踪队列得到至少一个检测目标；对每个所述检测目标进行识别，获取每个所述检测目标的人脸特征点；根据每个所述检测目标的人脸特征点进行仿射变换，获得每个所述检测目标的人脸特征向量；根据每个所述检测目标的人脸特征向量和预设的人脸库，识别每个所述检测目标的身份信息。本发明还公开了一种车内人员的身份识别装置、车辆及存储介质，提高了识别准确性和驾驶安全性，使得更加人性化和舒适化。

Description

车内人员的身份识别方法、装置、车辆及存储介质
技术领域
本发明涉及身份识别技术领域，尤其涉及一种车内人员的身份识别方法、装置、车辆及存储介质。
背景技术
随着汽车电子信息化技术的日益普及，车载设备越来越多，例如驾驶员身份识别装置，当探测到驾驶员是非法驾驶员，可以发出声光报警甚至切断汽车动力。目前对于驾驶员身份识别确认的技术多数采用主动识别方式，即通过驾驶员主动输入信息来识别身份，例如指纹录入识别、密码输入、IC卡插入识别等等。
然而，发明人在实施本发明的过程中发现，目前的驾驶员身份识别技术需要由驾驶员通过一些繁琐的操作来实现，例如在驾驶之前，输入密码时需要经过比较繁琐的按键操作来识别其身份，而且主动识别方式也无法准确地识别出是否为合法驾驶员，例如他人非法获取密码或IC卡后可以非法驾驶。
发明内容
针对上述问题，本发明的目的在于提供一种车内人员的身份识别方法、装置、车辆以及存储介质，无需通过驾驶员主动识别方式进行识别，提高了安全性，使得更加人性化和舒适化。
第一方面，本发明实施例提供了一种车内人员的身份识别方法，包括：
获取安装于车内的摄像头采集的当前图像；
当获取到与所述当前图像对应的人脸跟踪队列时，并对所述当前图像进行人脸检测得到检测结果，以根据所述检测结果和所述人脸跟踪队列得到至少一个检测目标；其中，所述人脸跟踪队列包括对所述当前图像的前一帧图像进行人脸跟踪得到的跟踪目标；
对每个所述检测目标进行识别，获取每个所述检测目标的人脸特征点；
根据每个所述检测目标的人脸特征点进行仿射变换，获得每个所述检测目标的人脸特征向量；
根据每个所述检测目标的人脸特征向量和预设的人脸库，识别每个所述检测目标的身份信息。
在第一方面的第一种实现方式中，所述对所述当前图像进行人脸检测得到检测结果，具体包括：
对所述当前图像进行人脸检测，并用检测框标出在所述当前图像中的每个符合人脸特征的区域，以获得所述当前图像的检测结果；其中，所述检测结果包括相应于所述每个所述检测框对应一个所述的人脸检测目标。
在第一方面的第二种实现方式中，所述预设的人脸库用于存储用户人脸信息；每项用户人脸信息包括身份标识及与身份标识对应的标准人脸特征向量；则所述根据每个所述检测目标的人脸特征向量和预设的人脸库，识别每个所述检测目标的身份信息，具体包括：
对于每一个检测目标：
逐一计算所述检测目标的人脸特征向量与所述人脸库中的所述标准人脸特征向量之间的欧氏距离；
若检测到所述检测目标的人脸特征向量与当前计算的标准人脸特征向量之间的欧氏距离中小于预设的阈值，则根据与所述当前计算的标准人脸特征向量对应的身份标识获取所述检测目标的身份，生成第一识别结果；
若遍历所述人脸库没有查询到与所述检测目标的人脸特征向量之间的欧氏距离中小于预设的阈值的标准人脸特征向量，生成第二识别结果。
在第一方面的第三种实现方式中，所述当获取到与所述当前图像对应的人脸跟踪队列时，并对所述当前图像进行人脸检测得到检测结果，以及根据所述检测结果和所述人脸跟踪队列得到至少一个检测目标，具体包括：
当获取与所述当前图像对应的第一人脸跟踪队列时，对所述当前图像进行人脸检测，得到所述当前图像的第一检测目标；其中，所述第一人脸跟踪队列包括将所述当前图像的前一帧图像进行人脸跟踪得到的第一跟踪目标；
判断所述第一检测目标与所述第一跟踪目标是否匹配一致；
若所述第一检测目标与所述第一跟踪目标匹配一致，则根据所述第一跟踪目标获得所述当前图像的检测目标；
若所述第一检测目标与所述第一跟踪目标匹配不一致，则根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列，并将所述第二人脸跟踪队列和与所述第二人脸跟踪队列对应的第一图像进行匹配以获取所述第一图像的检测目标。
根据第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列，并将所述第二人脸跟踪队列和与所述第二人脸跟踪队列对应的第一图像进行匹配以获取所述第一图像的检测目标，具体包括：
根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列；其中，所述第二人脸跟踪队列包括将所述当前图像进行人脸跟踪得到的第二跟踪目标；
对与所述第二人脸跟踪队列对应的第一图像进行人脸检测得到所述第一图像的第二检测目标；
判断所述第二跟踪目标与所述第二检测目标是否匹配一致；
若所述第二跟踪目标与所述第二检测目标匹配一致，根据所述第二跟踪目标获得所述第一图像的检测目标；
若所述第二跟踪目标与所述第二检测目标匹配不一致，根据所述第二人脸跟踪队列以及所述第二检测目标获得所述第一图像的检测目标。
在第一方面的第五种实现方式中，所述人脸特征点包括68个人脸的特征点；则所述车内人员的身份识别方法还包括：
根据每个所述检测目标的68个人脸特征点，获得每个所述检测目标的情绪状态，以使得对车内人员的情绪进行监测；
根据每个所述检测目标，获得与驾驶员对应的驾驶员检测目标；
根据所述驾驶员检测目标的68个人脸特征点，计算所述驾驶员检测目标的头部的翻滚角度、俯仰角度以及偏航角度；
根据所述翻滚角度、俯仰角度以及偏航角度，获得所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向。
根据第一方面的第五种实现方式，在第一方面的第六种实现方式中，所述根据所述翻滚角度、俯仰角度以及偏航角度，获得所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向具体包括：
基于在预定时间内所述摄像头采集的所有第二图像，获取相应于每帧所述第二图像的所述驾驶员的头部的翻滚角度、俯仰角度以及偏航角度；
计算在所述预定时间内所述翻滚角度的平均值、所述俯仰角度的平均值以及所述偏航角度的平均值；
根据所述平均值以及预设的角度阈值，判断所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向。
第二方面，本发明实施例还提供了一种车内人员的身份识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的车内人员的身份识别方法。
第三方面，本发明实施例还提供了一种车辆，包括车身本体、安装于车身本体内并用于采集车内图像的摄像头以及如上述所述的车内人员的身份识别装置。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的车内人员的身份识别方法。
上述技术方案中的一个技术方案具有如下优点：仅仅利用安装于车内的摄像头来采集车内的图像，节省了成本并且能够达到良好的效果；根据人脸跟踪得到人脸跟踪队列与所述当前图像的检测结果进行匹配，准确地识别出当前图像中车内所有检测目标，不仅可以对驾驶员身份进行确认，还可以对其他座位上的乘客的身份进去识别；根据识别结果发出提示消息，当陌生人进去车辆后可以通过身份识别进行提醒，提高了安全性；同时还检测出车内人员的行为状态、从而对车内人员的情绪、动作等进行监测，提高驾驶过程中的安全性，减少交通事故的发生。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个优选的实施例提供的车内人员的身份识别方法的流程示意图。
图2是本发明一个优选的实施例提供的车内人员的身份识别方法的人脸库示意图。
图3是本发明一个优选的实施例提供的车内人员的身份识别方法的人脸检测流程示意图。
图4是本发明一个优选的实施例提供的车内人员的身份识别方法的人脸对比流程示意图。
图5是本发明一个优选的实施例提供的车内人员的身份识别方法的人脸跟踪流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提供了一种车内人员的身份识别方法，其可以在车内安装有摄像头的车辆上执行，并包括以下步骤：
S10，获取安装于车内的摄像头采集的当前图像。
在本实施例中，所述摄像头可以为RGB摄像头或红外摄像头，将所述摄像头安装于车内的驾驶座位前方或者其他座位(例如副驾驶或后排座位)的前方，一般来说，将一个摄像头安装于驾驶座位的前方以便可以清晰地拍到驾驶员和其他的乘客，并且将所述摄像头连接到所述车辆的主处理单元上(例如车载终端或行车电脑等)，以便所述摄像头可以将采集到的图片传输给所述主处理单元上进行处理，无需利用其他设备装置来识别车内人员的身份，节约了成本。
在本实施例中，可以由用户(驾驶员或乘客)发出启动身份识别的指令，例如触摸车载终端上的某个按键发出，也可以当识别到有人进入车内时立即启动身份识别等等方式来启动身份识别，并且在驾驶过程中实时或者按照预设时间间隔来监控车内人员的身份，以保证驾驶过程中的安全性。作为示例，当驾驶员启动车辆时，开启所述摄像头对车内的情况进行拍摄，并将采集到的图像(即当前图像)发送给车载终端上进行处理，所述车载终端对获取到的每一帧图像进行人脸检测，帧率设为25FPS，可由实际情况进行设定。
S20，当获取到与所述当前图像对应的人脸跟踪队列时，并对所述当前图像进行人脸检测得到检测结果，以及根据所述检测结果和所述人脸跟踪队列得到至少一个检测目标；其中，所述人脸跟踪队列包括对所述当前图像的前一帧图像进行人脸跟踪得到的跟踪目标。
需要说明的是，对于第一帧图像，利用检测算法对所述第一帧图像进行人脸检测，识别得到所述第一帧图像的人脸检测目标即为所述需要进行处理和识别的检测目标；对于其它图像，例如第二帧图像，则根据所述第一帧图像进行人脸跟踪得到人脸跟踪队列，并对所述第二帧图像进行人脸检测得到检测结果，接着将所述人脸跟踪队列与所述第二帧图像的检测结果进行匹配，从而获得至少一个检测目标，其中，所述人脸跟踪队列包括由所述第一帧图像进行人脸跟踪得到的与所述第一帧图像中的每个人脸对应的若干个跟踪目标，所述检测结果包括进行人脸检测得到的若干个人脸检测目标，在这里，若所述人脸跟踪队列中的跟踪目标与所述检测结果中的跟踪目标相一致，则认为没有新的人脸加入，则可以根据第一帧图像的身份识别结果直接得到所述第二帧图像的身份识别结果，若不一致，则对所述第二帧图像中的人脸检测目标重新进行身份识别。
在本实施例中，所述对所述当前图像进行人脸检测得到检测结果具体包括：对所述当前图像进行人脸检测，并用检测框标出在所述当前图像中的每个符合人脸特征的区域，以获得所述当前图像的检测结果；其中，所述检测结果包括相应于所述每个所述检测框对应一个所述的人脸检测目标。
作为示例，基于HOG(Histogram of Oriented Gradient，方向梯度直方图)特征与CART算法(Classification And Regression Tree，分类回归树算法)结合的方法来对获取到的图像进行识别检测，检测出人脸并用矩形框(即检测框)标出人脸在所述图像当中的位置。其中，HOG方向梯度直方图计算方法如下：
Gx(x，y)＝H(x+1，y)-H(x-1，y)
Gy(x，y)＝H(x，y+1)-H(x，y-1)
其中Gx(x，y)，Gy(x，y)，H(x，y)分别表示输入图像中像素点(x，y)处的水平方向梯度、垂直方向梯度和像素值；其中像素点(x，y)处的梯度幅值为：
Figure GDA0002758535590000071
通过上述方法，可以快速地获取得到所述当前图像中的所有人脸检测目标(即检测结果)。在这里，当摄像头开启时开始识别摄像头中的人脸，可以识别多个目标，例如最多可识别120人，一般情况下将摄像头放置在驾驶员的前方，因此可以将出现在画面中面积最大者定义为驾驶员，当检测到人脸时，用预设形状的检测框(例如矩形框、圆框等)来框出识别到的人脸，其中，每一张人脸对应一个检测框，所述检测框的大小与对应的人脸大小相符。
S30，对每个所述检测目标进行识别，获取每个所述检测目标的人脸特征点。
S40，根据每个所述检测目标的人脸特征点进行仿射变换，获得每个所述检测目标的人脸特征向量。
在本实施例中，利用深度学习的方法找到每个检测目标(即图像中的每个人脸)上的面部特征点或面部关键点，例如对每个检测目标进行识别，找到68个人脸上普遍存在的特征点，包括下巴的顶部、每只眼睛的外部轮廓、每条眉毛的轮廓等等。当获取到每个检测目标的人脸特征点后，根据这些人脸特征点进行仿射变换，实现人脸对齐功能，例如根据每个人脸特征点的坐标计算变换后的对应坐标，对齐正脸，从而得到原图像经过变换后的新图像。
在本实施例中，根据对齐正脸后的图像以及人脸特征点，并利用深度学习的方法来获取每个检测目标的人脸特征向量。作为示例，通过预先训练一个特征向量提取模型来获取每个检测目标的人脸特征向量，该模型的作用是通过神经网络来产生128维的人脸特征向量，用来表示一张人脸，在这里，输入模型的参数为68个人脸特征点以及对应的图像，使得在模型中进一步处理，从而提取到对应的检测目标的人脸特征向量，并且提取的到特征向量具有独立性、唯一性。
S50，根据每个所述检测目标的人脸特征向量和预设的人脸库，识别每个所述检测目标的身份信息。
在本实施例中，需要预先设定一个人脸库，例如，准备不同类型和身份(例如与所述车辆对应的驾驶员和乘客等，可根据实际情况由用户自行决定)的脸部图像，提取每张脸部图像的标准人脸特征向量(例如每张图片对应一组128维人脸特征向量)，同时为其添加身份标识(例如编号、标签等等)，用于表示不同图像所属的身份，接着根据上述得到的所有数据生成人脸数据库，人脸库中的数据格式如图2所示，其中n为人脸库中图片的数量，可由用户自行设定。需要说明的是，为了提高识别的准确性，每个相同的人可以有不同的图片，每张图片对应一个身份标识和一组人脸特征向量。接着计算每个检测目标的人脸特征向量与人脸库中的每个标准人脸特征向量之间的距离，距离越小则表示两个人脸越相似，因此根据计算得到的最小距离来判断每个检测目标的身份；当然，还可以计算两个人脸特征向量之间的相似度，并根据最大相似度来判断每个检测目标的身份。当识别出每个检测目标的身份之后，根据识别结果发出提示，例如识别得到驾驶员为陌生人时(即人脸库中不存在该驾驶员的信息)，发出告警声音以提示车内其他人员、或者在汽车导航显示屏上进行显示、或者通过网络或其他通信方式通知所述车辆的合法驾驶员。
在本实施例中，如图3和图4所示，利用双线程来实现人脸检测的过程与人脸对比(即身份识别)的过程，即检测与对比双线程进行，有效提高了识别车内人员身份的速度。
综上所述，仅仅利用安装于车内的摄像头来采集车内的图像，节省了成本并且能够达到良好的效果；根据人脸跟踪得到人脸跟踪队列与所述当前图像的检测结果进行匹配，准确地识别出当前图像中车内所有检测目标，不仅可以对驾驶员身份进行确认，还可以对其他座位上的乘客的身份进去识别；根据识别结果发出提示消息，当陌生人进去车辆后可以通过身份识别进行提醒，提高了安全性；并且检测与对比双线程进行，提高识别速度。
在另一个优选的实施例中，所述预设的人脸库用于存储用户人脸信息；每项用户人脸信息包括身份标识及与身份标识对应的标准人脸特征向量；则所述步骤S50具体为：
对于每一个检测目标：
逐一计算所述检测目标的人脸特征向量与所述人脸库中的所述标准人脸特征向量之间的欧氏距离；
若检测到所述检测目标的人脸特征向量与当前计算的标准人脸特征向量之间的欧氏距离中小于预设的阈值，则根据与所述当前计算的标准人脸特征向量对应的身份标识获取所述检测目标的身份，生成第一识别结果；
若遍历所述人脸库没有查询到与所述检测目标的人脸特征向量之间的欧氏距离中小于预设的阈值的标准人脸特征向量，生成第二识别结果。
在本实施例中，一般来说，不同人的人脸特征向量之间的欧氏距离都会比较大，因此可以将距离阈值设置得小一点，因此，在对比特征向量的过程中，只需逐一计算所述检测目标的人脸特征向量与人脸库中的人脸特征向量之间的欧氏距离，例如先计算所述检测目标的人脸特征向量与人脸库中的第一个身份标识的人脸特征向量之间的欧氏距离，然后将该欧氏距离与预设的阈值进行比较，若该欧氏距离大于阈值，则计算所述检测目标与人脸库中第二个身份标识之间的欧氏距离，直到所述检测目标的人脸特征向量与当前计算的身份标识对应的标准人脸特征向量之前的欧氏距离小于所述阈值，则可以判定当前计算的身份标识对应的身份即为所述检测目标的身份，从而减少了计算量。若将所述检测目标与所述人脸库中的每个人脸特征向量之间的欧氏距离都大于所述阈值，则可以认定所述检测目标对应的人不存在于所述人脸库中，将其标记为陌生人，并附上新的标识(例如编号ID)。
在本实施例的另一种实现方式中，还可以计算所述检测目标的人脸特征向量与人脸库中每个标准特征向量之间的欧氏距离，根据最小欧氏距离来识别所述检测目标的身份，作为示例，将所述检测目标的128维人脸特征向量与人脸库中的每组128维标准人脸特征向量进行对比，计算所述检测目标的人脸特征向量与人脸库中所有标准人脸特征向量之间的所有欧氏距离，获取所述所有欧氏距离中的最小欧氏距离(即最小值)，若最小欧氏距离小于预设的阈值，则认为所述检测目标与人脸库中对应的身份标识相匹配，并建立关联。若最小欧氏距离小于预设的阈值，则认为所述检测目标为陌生人。
通过上述方式，利用欧氏距离来计算人脸特征向量之间的相似性，可以快速地识别出每个检测目标的身份；将欧氏距离与预设的阈值进行比较，提高了识别结果的准确性。
在又一个优选的实施例中，所述步骤S20具体包括：
当获取与所述当前图像对应的第一人脸跟踪队列时，对所述当前图像进行人脸检测，得到所述当前图像的第一检测目标；其中，所述第一人脸跟踪队列包括将所述当前图像的前一帧图像进行人脸跟踪得到的第一跟踪目标；
判断所述第一检测目标与所述第一跟踪目标是否匹配一致；
若所述第一检测目标与所述第一跟踪目标匹配一致，则根据所述第一跟踪目标获得所述当前图像的检测目标；
若所述第一检测目标与所述第一跟踪目标匹配不一致，则根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列，并将所述第二人脸跟踪队列和与所述第二人脸跟踪队列对应的第一图像进行匹配以获取所述第一图像的检测目标。
在本实施例中，在人脸检测的过程中可能出现误检(将非人脸作为人脸)、漏检(将人脸作为非人脸)的问题，因此可以通过人脸跟踪方法来弥补因检测出现的误检、漏检的问题。在这里，利用KCF核相关算法(Kernelized Correlation Filter，核相关滤波器)对人脸的位置进行有效地跟踪。其中，所述KCF核相关滤波算法为：(1)在It帧中，在当前位置pt附近采样，训练一个回归器。这个回归器能计算一个小窗口采样的响应。(2)在It+1帧中，在前一帧的pt位置采样，用前述回归器判断每个采样的响应。(3)响应最强的采样作为本帧位置pt+1。作为示例，如图5所示，若所述当前图像为非首帧图像，根据所述当前图像的前一帧图像利用KCF核相关算法进行人脸跟踪，创建跟踪队列(即第一人脸跟踪队列)来记录所述人脸跟踪得到的每一个检测目标对应的跟踪后的检测框，即可得到与所述当前图像对应的跟踪结果(即跟踪目标)，对所述当前图像进行人脸检测得到检测结果(即第一检测目标)，将所述跟踪结果与所述检测结果进行匹配，在这里，利用IOU(Intersection over Union，交并比)的方式进行匹配，根据计算得到匹配结果来判断跟踪结果与检测结果是否一致，若一致，则可以根据跟踪结果来获取得到所述图像中需要进行检测的人脸(检测目标)，在这里由于匹配结果一致(即判断没有新的人脸加入)，因此还可以根据所述前一帧图像的身份识别结果直接得到所述当前图像的身份识别结果，不需要对所述当前图像中的人脸再次进行人脸特征点提取和身份识别等过程，即将所述跟踪队列中的每个跟踪目标的人脸ID号作为识别结果的人脸ID号；若不一致，则根据所述当前图像继续进行人脸跟踪得到第二人脸跟踪队列并进行二次匹配。
在本实施例中，具体地：根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列；其中，所述第二人脸跟踪队列包括将所述当前图像进行人脸跟踪得到的第二跟踪目标；对与所述第二人脸跟踪队列对应的第一图像进行人脸检测得到所述第一图像的第二检测目标；判断所述第二跟踪目标与所述第二检测目标是否匹配一致；若所述第二跟踪目标与所述第二检测目标匹配一致，根据所述第二跟踪目标获得所述第一图像的检测目标；若所述第二跟踪目标与所述第二检测目标匹配不一致，根据所述第二人脸跟踪队列以及所述第二检测目标获得所述第一图像的检测目标。作为示例，根据所述当前图像利用KCF核相关算法继续进行人脸跟踪，可以得到所述当前图像的下一帧图像(即第一图像)对应的包含第二跟踪目标的第二人脸跟踪队列，并与所述第一图像的人脸检测结果进行匹配，若匹配一致，则可以根据跟踪结果(即第二人脸跟踪队列)来获取得到所述第一图像的检测目标，同理，由于匹配结果一致，因此可以根据所述前一帧图像的身份识别结果直接得到所述当前图像的身份识别结果，不需要对所述当前图像中的人脸再次进行人脸特征点提取和身份识别等过程；若匹配不一致，则可以判断所述第一图像中有新的人脸加入，并在所述第二人脸跟踪队列中添加新的相应的跟踪目标，并根据跟踪队列中的数据来获取所述第一图像的检测目标。
通过上述方式，利用人脸跟踪方法很好地弥补因人脸检测出现的误检、漏检等问题，并且跟踪运行速度快，可以有效地对人脸的位置进行跟踪，通过跟踪来更新检测数据，从而达到了快速、准确的效果。
在又一个优选的实施例中，所述人脸特征点包括68个人脸的特征点；则所述车内人员的身份识别方法还包括：：
根据每个所述检测目标的68个人脸特征点，获得每个所述检测目标的情绪状态，以使得对车内人员的情绪进行监测；
根据每个所述检测目标，获得与驾驶员对应的驾驶员检测目标；
根据所述驾驶员检测目标的68个人脸特征点，计算所述驾驶员检测目标的头部的翻滚角度、俯仰角度以及偏航角度；
根据所述翻滚角度、俯仰角度以及偏航角度，获得所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向。
在本实施例中，对车内人员(驾驶员和乘客)的身份进行确认后，还可以根据不同身份提供对应的个性化设置。例如，在检测出人脸的基础上(即获得检测目标后)，对于每一个检测目标，根据检测得到68个人脸特征点，针对嘴部以及眼部特征点信息，计算相关部位的角度以及欧氏距离来判断是否微笑或者闭眼，从而得到车内每个人员对应的情绪状态、疲劳状态等等。
在本实施例中，在自动驾驶时，还可以针对驾驶员头部动作来预测驾驶员的行车关注方向，因此需要预先获取与驾驶员对应的检测目标，例如当摄像头设置于驾驶员前方时，图像中检测框的面积最大者定义为驾驶员，或者根据图像中的位置来判断驾驶座的位置。对驾驶员的68个人脸特征点来计算出驾驶员头部的三个欧拉角，即roll(翻滚角度)、pitch(俯仰角度)、yaw(偏航角度)的近似角度，并根据角度变化来判断驾驶员是否点头或摇头等，并可以根据其头部动作来预测驾驶员的行车关注方向。需要说明的是，在三维空间的右手笛卡尔坐标系中，pitch(俯仰角)是围绕X轴旋转，yaw(偏航角)是围绕Y轴旋转，roll(翻滚角)是围绕Z轴旋转。
具体地，基于在预定时间内所述摄像头采集的所有第二图像，获取相应于所述每帧第二图像的所述驾驶员的头部的翻滚角度、俯仰角度以及偏航角度；计算在所述预定时间内所述翻滚角度的平均值、所述俯仰角度的平均值以及所述偏航角度的平均值；根据所述平均值以及预设的角度阈值，判断所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向。在本实施例中，为了确保推断结果的准确性，获取在一段时间段内(即预定时间内)每帧图像中的驾驶员头部的三个欧拉角，计算在这个时间段内中每个欧拉角(翻滚角度、俯仰角度以及偏航角度)的平均值，同时还设定每个角度相应的阈值，来判断驾驶员的头部动作，例如若俯仰角度对应的平均值大于相应的阈值时，则认为驾驶员在点头。
通过上述方式，当检测出驾驶员或乘客身份时，可以根据不同身份提供对应的个性化设置或者安全驾驶等方便的基础功能，对驾驶员和乘客的情绪检测可以为行车安全提供一种检测方式；针对驾驶员头部动作可以预测驾驶员的行车关注方向，并且通过摄像头监控，可以及时发现并预警驾驶员的不专注或不规范行为，尽可能减少由此产生的交通事故。
本发明第二实施例提供了一种车内人员的身份识别装置。该实施例的装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如车内人员的身份识别的程序。所述处理器执行所述计算机程序时实现上述各个车内人员的身份识别的方法的实施例中的步骤，例如图1所示的步骤S10。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置中的执行过程。
在本实施例中，还提供一种车辆，包括车身本体、安装于车身本体内并用于采集车内图像的摄像头以及如上述所述的车内人员的身份识别装置。
所述车辆可以为汽车、无人驾驶汽车或自动驾驶车辆等等可供人员乘用的车辆。所述车辆可包括，但不仅限于，处理器、存储器、显示器。本领域技术人员可以理解，上述部件仅仅是所述车辆的示例，并不构成对所述车辆的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车辆还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车辆的控制中心，利用各种接口和线路连接整个所述车辆的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车辆的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种车内人员的身份识别方法，其特征在于，包括：
获取安装于车内的摄像头采集的当前图像；
当获取到与所述当前图像对应的人脸跟踪队列时，对所述当前图像进行人脸检测得到检测结果，以及根据所述检测结果和所述人脸跟踪队列得到至少一个检测目标；其中，所述人脸跟踪队列包括对所述当前图像的前一帧图像进行人脸跟踪得到的跟踪目标；
对每个所述检测目标进行识别，获取每个所述检测目标的人脸特征点；
根据每个所述检测目标的人脸特征点进行仿射变换，获得每个所述检测目标的人脸特征向量；
根据每个所述检测目标的人脸特征向量和预设的人脸库，识别每个所述检测目标的身份信息。
2.根据权利要求1所述的车内人员的身份识别方法，其特征在于，所述对所述当前图像进行人脸检测得到检测结果，具体包括：
对所述当前图像进行人脸检测，并用检测框标出在所述当前图像中的每个符合人脸特征的区域，以获得所述当前图像的检测结果；其中，所述检测结果包括相应于所述每个检测框的人脸检测目标。
3.根据权利要求1所述的车内人员的身份识别方法，其特征在于，所述预设的人脸库用于存储用户人脸信息；每项用户人脸信息包括身份标识及与身份标识对应的标准人脸特征向量；则所述根据每个所述检测目标的人脸特征向量和预设的人脸库，识别每个所述检测目标的身份信息，具体包括：
对于每一个检测目标：
逐一计算所述检测目标的人脸特征向量与所述人脸库中的所述标准人脸特征向量之间的欧氏距离；
若检测到所述检测目标的人脸特征向量与当前计算的标准人脸特征向量之间的欧氏距离中小于预设的阈值，则根据与所述当前计算的标准人脸特征向量对应的身份标识获取所述检测目标的身份，生成第一识别结果；
若遍历所述人脸库没有查询到与所述检测目标的人脸特征向量之间的欧氏距离中小于预设的阈值的标准人脸特征向量，生成第二识别结果。
4.根据权利要求1所述的车内人员的身份识别方法，其特征在于，所述当获取到与所述当前图像对应的人脸跟踪队列时，并对所述当前图像进行人脸检测得到检测结果，以及根据所述检测结果和所述人脸跟踪队列得到至少一个检测目标，具体包括：
当获取与所述当前图像对应的第一人脸跟踪队列时，对所述当前图像进行人脸检测，得到所述当前图像的第一检测目标；其中，所述第一人脸跟踪队列包括将所述当前图像的前一帧图像进行人脸跟踪得到的第一跟踪目标；
判断所述第一检测目标与所述第一跟踪目标是否匹配一致；
若所述第一检测目标与所述第一跟踪目标匹配一致，则根据所述第一跟踪目标获得所述当前图像的检测目标；
若所述第一检测目标与所述第一跟踪目标匹配不一致，则根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列，并将所述第二人脸跟踪队列和与所述第二人脸跟踪队列对应的第一图像进行匹配以获取所述第一图像的检测目标。
5.根据权利要求4所述的车内人员的身份识别方法，其特征在于，所述根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列，并将所述第二人脸跟踪队列和与所述第二人脸跟踪队列对应的第一图像进行匹配以获取所述第一图像的检测目标，具体包括：
根据所述当前图像进行人脸跟踪获得第二人脸跟踪队列；其中，所述第二人脸跟踪队列包括将所述当前图像进行人脸跟踪得到的第二跟踪目标；
对与所述第二人脸跟踪队列对应的第一图像进行人脸检测得到所述第一图像的第二检测目标；
判断所述第二跟踪目标与所述第二检测目标是否匹配一致；
若所述第二跟踪目标与所述第二检测目标匹配一致，根据所述第二跟踪目标获得所述第一图像的检测目标；
若所述第二跟踪目标与所述第二检测目标匹配不一致，根据所述第二人脸跟踪队列以及所述第二检测目标获得所述第一图像的检测目标。
6.根据权利要求1所述的车内人员的身份识别方法，其特征在于，所述人脸特征点包括68个人脸的特征点；则所述车内人员的身份识别方法还包括：
根据每个所述检测目标的68个人脸特征点，获得每个所述检测目标的情绪状态，以使得对车内人员的情绪进行监测；
根据每个所述检测目标，获得与驾驶员对应的驾驶员检测目标；
根据所述驾驶员检测目标的68个人脸特征点，计算所述驾驶员检测目标的头部的翻滚角度、俯仰角度以及偏航角度；
根据所述翻滚角度、俯仰角度以及偏航角度，获得所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向。
7.根据权利要求6所述的车内人员的身份识别方法，其特征在于，所述根据所述翻滚角度、俯仰角度以及偏航角度，获得所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向具体包括：
基于在预定时间内所述摄像头采集的所有第二图像，获取相应于每帧所述第二图像的所述驾驶员的头部的翻滚角度、俯仰角度以及偏航角度；
计算在所述预定时间内所述翻滚角度的平均值、所述俯仰角度的平均值以及所述偏航角度的平均值；
根据所述平均值以及预设的角度阈值，判断所述驾驶员的头部动作，以使得根据所述头部动作预测所述驾驶员的行车关注方向。
8.一种车内人员的身份识别装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的车内人员的身份识别方法。
9.一种车辆，其特征在于，包括车身本体、安装于车身本体内并用于采集车内图像的摄像头以及如权利要求8所述的车内人员的身份识别装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的车内人员的身份识别方法。
CN201810905793.XA 2018-08-09 2018-08-09 车内人员的身份识别方法、装置、车辆及存储介质 Active CN110826370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810905793.XA CN110826370B (zh) 2018-08-09 2018-08-09 车内人员的身份识别方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810905793.XA CN110826370B (zh) 2018-08-09 2018-08-09 车内人员的身份识别方法、装置、车辆及存储介质

Publications (2)

Publication Number Publication Date
CN110826370A CN110826370A (zh) 2020-02-21
CN110826370B true CN110826370B (zh) 2021-02-09

Family

ID=69541010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810905793.XA Active CN110826370B (zh) 2018-08-09 2018-08-09 车内人员的身份识别方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN110826370B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275008B (zh) * 2020-02-24 2024-01-16 浙江大华技术股份有限公司 目标车辆异常的检测方法及装置、存储介质、电子装置
CN111914656A (zh) * 2020-07-06 2020-11-10 浙江大华技术股份有限公司 一种人员行为检测方法、装置、电子设备及存储介质
CN111898505A (zh) * 2020-07-21 2020-11-06 深圳康佳电子科技有限公司 一种判定多人间关系的方法、智能终端及存储介质
CN112417983A (zh) * 2020-10-28 2021-02-26 在行(杭州)大数据科技有限公司 基于多源数据的车辆驾驶员判定方法、装置、设备及介质
CN112733948B (zh) * 2021-01-15 2022-09-06 重庆紫光华山智安科技有限公司 一种全目标关联指标自动化测试方法、系统、介质及终端
CN112800918A (zh) * 2021-01-21 2021-05-14 北京首都机场航空安保有限公司 一种非法运动目标的身份识别方法及装置
CN113870555B (zh) * 2021-09-08 2023-11-03 南京静态交通产业技术研究院 基于手机imsi码与电子车牌的人车协同识别方法
CN114267067B (zh) * 2021-12-24 2022-11-04 合肥的卢深视科技有限公司 基于连续帧图像的人脸识别方法、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679125B (zh) * 2012-09-24 2016-12-21 致伸科技股份有限公司 人脸追踪的方法
KR20150076627A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법
CN106394492A (zh) * 2015-07-21 2017-02-15 百利得汽车主动安全系统（苏州）有限公司 车用动态人脸识别安全控制系统及其控制方法
CN108016386A (zh) * 2017-12-29 2018-05-11 爱驰汽车有限公司 车内环境配置系统、装置、方法、设备及存储介质

Also Published As

Publication number Publication date
CN110826370A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
Seshadri et al. Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
CN108764185B (zh) 一种图像处理方法及装置
CN106682602B (zh) 一种驾驶员行为识别方法及终端
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
Lin et al. Integrating appearance and edge features for sedan vehicle detection in the blind-spot area
García et al. Driver monitoring based on low-cost 3-D sensors
WO2015165365A1 (zh) 一种人脸识别方法及系统
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
CN110163096B (zh) 人物识别方法、装置、电子设备和计算机可读介质
CN111274881A (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
Dua et al. AutoRate: How attentive is the driver?
CN107832721B (zh) 用于输出信息的方法和装置
CN107944425A (zh) 道路标志的识别方法和装置
US20150278584A1 (en) Object discriminating apparatus and method
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
CN110619256A (zh) 道路监控检测方法及装置
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
Horak Fatigue features based on eye tracking for driver inattention system
CN114973215A (zh) 一种疲劳驾驶的确定方法、装置及电子设备
CN114202677A (zh) 认证车辆内部中的乘员的方法和系统
CN112364759B (zh) 一种驾驶员身份生物识别的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant