CN102034334B - 驾驶人监控方法及其监控系统 - Google Patents

Abstract

本发明是公开一种驾驶人监控方法及其监控系统，首先连续读取一驾驶座的舱内影像，接着对舱内影像进行驾驶人的人脸侦测，以得到一人脸侦测结果，并将此舱内影像及其对应的侦测结果加以储存，再来则可根据每一人脸侦测结果以得知在其对应的每一影像中，是否均未侦测出任何人脸，或当连续至少二舱内影像中的一合理人脸区域内未侦测出人脸时，当上述任一情况成立时则发出一警示信号以警示驾驶人。本发明利用头部人脸位置的分析方式，并配合使用具大范围且低解析度的影像读取器，对舱内的驾驶人进行状态判别，以降低硬件使用成本。

Description

驾驶人监控方法及其监控系统

技术领域

本发明是有关一种监控技术，特别是关于一种驾驶人监控方法及其监控系统。

背景技术

现在，汽车与我们的生活愈来愈密切，然而每年的交通事故也居高不下，其中就有很多的交通事故是由于驾驶人的疲劳驾驶所引起。疲劳驾驶不仅是许多交通事故的根源，同样对驾驶人的身心健康有着严重影响。因此预防减少疲劳驾驶有着重大的社会意义。

在过去的各种驾驶人监控警示系统中，大多进行驾驶人视线分析或整合车身网络信号以进行整合性的判断。如美国专利号第US6243015号的专利中，是通过对人眼闭阖程度(人眼垂直宽度)判断驾驶者的疲劳程度，若疲劳程度累积至一程度，即发起疲劳警示；若眼睛闭阖程度大于某一阀值，则减少疲劳程度的累积值。另外在美国专利号第US6496117号的专利中，亦是必须针对驾驶人的视线作进一步分析，方能判断驾驶人是否过度疲劳。换言之，若欲利用上述二件专利的技术来判断驾驶人的疲劳程度，则必须使用高成本及高解析度的电脑监控硬件设备才能达到目的。但是，在目前经济不景气的时代里，高成本的使用配备显然不符合大众需求。

因此，本发明是在针对上述的困扰，提出一种驾驶人监控方法及其监控系统，以解决现有技术所产生的问题。

发明内容

本发明的主要目的，在于提供一种驾驶人监控方法及其监控系统，其是利用头部人脸位置的分析方式，并配合使用具大范围且低解析度的影像读取器，对舱内的驾驶人进行状态判别，以降低影像读取器的使用成本，并增加影像读取器在使用上的便利性。

为达上述目的，本发明提供一种驾驶人监控方法，首先读取一驾驶座的舱内影像，接着对舱内影像进行驾驶人的人脸侦测，以得到一人脸侦测结果，最后储存舱内影像及其对应的人脸侦测结果。之后重复上述步骤，并在已储存的舱内影像的累积数量到达一预设值时，则读取多个相邻储存时间点的舱内影像及其对应的人脸侦测结果。读取数据后，则根据已读取的每一人脸侦测结果判断是否至少有一对应的舱内影像抓到人脸，若是，则进行下一步骤；若否，则发出警示信号以警示驾驶人。在上述判断步骤的结果为是后，则根据已读取的每一人脸侦测结果判断是否有连续二对应舱内影像的人脸位于一合理人脸区域内，若是，则进行下一步骤；若否，则发出警示信号以警示驾驶人。在上述判断步骤的结果为是后，则回至上述读取多个相邻储存时间点的舱内影像及其对应的人脸侦测结果的步骤。其中所述合理人脸区域为预设区域或正视人脸区域。其中所述人脸侦测结果包含所述人脸的抓取结果与位置坐标，又在根据已读取的每一人脸侦测结果判断是否至少有一对应的舱内影像抓到人脸的步骤中，若其判断结果为是时，且在进行判断是否有连续二对应舱内影像的人脸位于一合理人脸区域内的步骤前，更可进行下列步骤：取出有抓到所述人脸的已读取的所述舱内影像及其对应的所述人脸的所述位置坐标；统计每一已读取的所述舱内影像的所述人脸的位置坐标，并取其出现机率最大者；以及根据所述出现机率最大的人脸的位置坐标，决定所述合理人脸区域的所在位置。在判断是否有连续二对应舱内影像的人脸位于一合理人脸区域内的步骤中，若其判断结果为是时，且在进行读取多个相邻储存时间点的所述多个舱内影像及其对应的所述多个人脸侦测结果的步骤前，更可进行下列步骤：对当下储存的所述舱内影像，利用艾达布斯特演算法进行驾驶人的鼻子侦测；取得所述鼻子的位置坐标；比较所述鼻子的位置坐标与所述合理人脸区域后，取得所述驾驶人的头摆角度；以及判断所述头摆角度是否低于一预设阀值；若是，则进行读取多个相邻储存时间点的所述多个舱内影像及其对应的所述多个人脸侦测结果的步骤；以及若否，则发出所述警示信号以警示所述驾驶人。其中在进行读取多个相邻储存时间点的所述多个舱内影像及其对应的所述多个人脸侦测结果的步骤，分别于相邻二次执行时，被读取的所述多个舱内影像是有部分是相同的。

本发明亦提供一种驾驶人监控系统，其包含一影像读取器，其是连续读取一舱内影像，此影像读取器是连接一影像信号处理单元，此处理单元是对舱内影像进行驾驶人的人脸侦测，以得到一人脸侦测结果，当侦测出人脸后并配合进行一鼻子侦测以得到一鼻子位置的信息，通过所述鼻子位置以得到一头部摆动角度，以当连续至少二舱内影像出现位于一合理人脸区域内的所述人脸且同时所述头部摆动角度大于一预定值时，发出一控制信号至一警示器中，使警示器发出警示信号以警示驾驶人。其中所述合理人脸区域为预设区域或正视人脸区域。其中所述人脸侦测结果包含所述人脸的抓取结果与位置坐标，且所述控制单元是根据所述存储器中每一所述人脸侦测结果，从所述存储器中取出有抓取到所述人脸的对应的所述舱内影像，并通过出现机率最高的所述人脸的位置坐标，决定所述合理人脸区域的所在位置。其中所述控制单元可从所述存储器中读取多个相邻储存时间点的所述多个舱内影像及其对应的所述多个人脸侦测结果，以根据已读取的每一所述人脸侦测结果，在未有一对应的所述舱内影像出现人脸，或所述人脸未有出现于连续至少二对应的所述舱内影像的所述合理人脸区域内时，发出所述控制信号。其中所述影像信号处理单元更可利用艾达布斯特演算法对所述舱内影像进行驾驶人的鼻子侦测，以取得所述鼻子的位置坐标，又所述控制单元是比较所述鼻子的位置坐标与所述合理人脸区域后，取得所述驾驶人的头摆角度，并在所述头摆角度高于或等于一预设阀值时，是控制所述警示器发出所述警示信号以警示所述驾驶人。

本发明是通过人脸侦测结果的有/无而判断头部的偏摆方向是朝正面或侧面，并进一步经由鼻子位置侦测以得到更精确的头部偏摆角度，而当头部偏摆角度大于预定值时，即可判断目前驾驶人视线是处于偏离车辆前方的不专心驾驶行为，并同时提出告警。

附图说明

图1为本发明的电路方块图；

图2为本发明的正视人脸区域示意图；

图3为本发明的监测方法流程图；

图4为本发明的判断方法流程图。

附图标记说明：10-影像读取器；12-影像信号处理单元；14-控制单元；16-存储器；18-警示器。

具体实施方式

为了驾驶人行车状况的安全，本发明提供一种驾驶人监控技术，以下请参阅图1，本发明设置在车辆的驾驶舱中，本发明主要包含一影像读取器10、一影像信号处理单元12、一控制单元14、一存储器16与一警示器18，影像读取器10与影像信号处理单元12相互连接，控制单元14是连接影像信号处理单元12、存储器16与警示器18。

影像读取器10是用来连续读取一驾驶座的舱内影像，并可设置在驾驶座附近，如驾驶座旁的冷气孔上方、仪表板上、后照镜上、驾驶座的左上方遮阳板、仪表板上方或驾驶座的左A柱。由于本发明的影像读取器10仅用来读取舱内影像，因此可以仅利用具大范围且低解析度的影像读取器来达到目的，以降低影像读取器的使用成本，且此种影像读取器的操作手法简单，可增加影像读取器在使用上的便利性。

影像信号处理单元12是利用艾达布斯特(Adaboost)演算法对舱内影像进行驾驶人的人脸或鼻子侦测，以分别得到一人脸侦测结果或鼻子的位置坐标，此人脸侦测结果是包含人脸的抓取结果与位置坐标，人脸的抓取结果即有抓取人脸的结果或未抓取人脸的结果。

控制单元14是控制舱内影像及其对应的人脸侦测结果储存至存储器16中，且可从存储器16中读取多个相邻储存时间点的舱内影像及其对应的人脸侦测结果，以根据已读取的每一人脸侦测结果得知，是否未于一对应的舱内影像出现人脸，或人脸未出现于连续至少二对应的舱内影像的一合理人脸区域内时，发出一控制信号至警示器18中，使警示器18发出一警示信号以警示驾驶人。

上述合理人脸区域的位置，有两种决定方式，其一为利用控制单元14根据已读取的每一人脸侦测结果，从存储器16中取出有抓取到人脸的对应的舱内影像，并通过出现机率最高的人脸的位置坐标，决定合理人脸区域的所在位置。除此之外，控制单元14亦可预设一正视人脸区域作为此合理人脸区域。

控制单元14除了针对人脸进行判断外，更可针对驾驶人的鼻子做进一步的判断。控制单元14可比较驾驶人的鼻子的位置坐标与合理人脸区域后，取得驾驶人的头摆角度，接着，便可在头摆角度高于或等于一预设阀值时，控制警示器18发出警示信号以警示驾驶人。

以正视人脸区域作为合理人脸区域为例，请同时参阅图2的正视人脸区域，假设画面的解析度为：长320；宽240。由于正视人脸区域的鼻子坐标会座落在画面中间的位置，约为X轴50％处。经估算结果，其X轴坐标值约为140。而在此解析度下，鼻子的宽度约为10。为取一容忍范围，故正视人脸区域的鼻子坐标会介于130～150之间。因此，当驾驶人头部些微偏摆(-15～-30度)时，通过影像信号处理单元12对驾驶人的鼻子进行侦测，其鼻子的位置会偏移到画面X轴的35％处，故鼻子将出现在X坐标值100～130之间。反之，若鼻子侦测的X轴结果，落在100～130之间，可反推驾驶人头摆角度是介于-30～-15度之间。

请同时参阅图1与图3，以下是介绍本发明的操控流程，首先执行一监测方法流程，其包含三步骤，一开始是如步骤S10所示，影像读取器10是读取一驾驶座的舱内影像。接着如步骤S12所示，影像信号处理单元12利用Adaboost演算法对舱内影像进行驾驶人的人脸侦测，以得到一人脸侦测结果，此结果包含人脸的抓取结果与位置坐标。最后如步骤S14所示，控制单元14储存舱内影像及其对应的人脸侦测结果至存储器16中，当步骤S14完成后，会再回至步骤S12。换言之，此监测方法流程是不断连续重复执行的，因此当一段时间过去之后，存储器16会存有多张舱内影像及其对应的人脸侦测结果，如A、B、C、D、E等数据，其中A数据是最早储存的数据，而B、C、D、E则为依序后来储存的数据。

以下请继续同时参阅图1、图3与图4，当上述三步骤每完整执行一次之后，控制单元14便可计算存储器16中舱内影像累积的数量，当此数量到达一预设值时，便执行判断方法流程，首先如步骤S16，控制单元14将从存储器16中读取多个相邻储存时间点的舱内影像及其对应的人脸侦测结果。举例来说，上述预设值若为三，则读取的数据即为A、B、C三笔。

读取数据完后，如步骤S18所示，控制单元14是根据已读取的每一人脸侦测结果判断是否至少有一对应的舱内影像抓到人脸，若是，则进行步骤S20；若否，则如步骤S22，控制单元14输出一控制信号至警示器18中，使警示器18发出警示信号以警示驾驶人。

步骤S20为控制单元14取出有抓到人脸的已读取的舱内影像及其对应的人脸的位置坐标。完成后如步骤S24所示，控制单元14统计已读取的每一舱内影像的人脸的位置坐标，并取其出现机率最大者。接着如步骤S26所示，控制单元14是以出现机率最大的人脸的位置坐标，作为一合理人脸区域的中心坐标，以决定合理人脸区域的所在位置。

再来如步骤S28所示，控制单元14根据已读取的每一人脸侦测结果判断是否有连续二对应的舱内影像的人脸位于合理人脸区域内，若是，则进行步骤S30；若否，则如步骤S22，控制单元14输出控制信号至警示器18中，使警示器18发出警示信号以警示驾驶人。

步骤S30为影像信号处理单元12利用Adaboost演算法对当下存储器16储存的舱内影像进行驾驶人的鼻子侦测。接着如步骤S32所示，影像信号处理单元12取得鼻子的位置坐标。再来如步骤S34所示，控制单元14比较鼻子的位置坐标与合理人脸区域后，取得驾驶人的头摆角度。头摆角度取得后，如步骤S36所示，控制单元14判断此头摆角度是否低于一预设阀值，若是，则回至步骤S16；若否，则如步骤S22，控制单元14输出控制信号至警示器18中，使警示器18发出警示信号以警示驾驶人。

当再次执行步骤S16时，控制单元14读取的舱内影像及其对应的人脸侦测结果是有部分是与第一次读取的舱内影像及其对应的人脸侦测结果是相同的。举例来说，若第一次读取的数据包含有A、B、C三笔数据，则第二次读取的数据包含的是B、C、D三笔数据，其中B、C二笔数据是相同的。

由于驾驶人不专心的动作是一连续性的动作，因此本发明利用时间状态序列的设计，储存过去时间序列中，利用Adaboost演算法所侦测的人脸侦测结果，并由此进行分析，辨识人脸位置的合理性。此处理手法除了可以达到不专心驾驶的连续性需求外，亦可排除Adaboost演算法的离散性的误判影响，以提高系统整体输出结果的稳定性。

上述步骤S20、S24、S26可称为合理人脸区域修正流程，而步骤S30、S32、S34可称为鼻子侦测流程，此合理人脸区域修正流程与鼻子侦测流程可择一省略或同时省略皆可，一样可以达到本发明监控驾驶人的目的。

当合理人脸区域修正流程被省略时，则控制单元14可预设一正视人脸区域作为合理人脸区域。且在步骤S18的判断步骤中，若判断结果为肯定时，则会直接进行步骤S28。另外当鼻子侦测流程被省略时，在步骤S28的判断步骤中，若判断结果为肯定时，则会直接回至步骤S16。除外，系统的警示器18可再通过与外部行车环境信号整合(如：车速与方向灯信号等)，增加系统警示结果的稳定性。举例而言，当车辆静止(车速为零)时，由于驾驶人可能为路边停车休息的状态，因此系统将不进行运作。另外，当方向灯信号启动时，驾驶人可能为左右转弯的状态，此时驾驶人视线离开前方视野亦属正常，故系统将处于除能(Disable)状态，又，当左方向灯信号启动时，控制单元14可进一步判断驾驶人视线是否朝向左方视野，若是则判断为正常；若判断驾驶人视线是朝向右方则表示驾驶人未专注于行车方向而立即提出警示。

综上所述，本发明利用头部人脸位置的分析方式，并配合具大范围且低解析度的影像读取器，对舱内的驾驶人进行状态判别，以降低影像读取器的使用成本，并增加影像读取器在使用上的便利性。

以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离以下所附权利要求所限定的精神和范围的情况下，可做出许多修改，变化，或等效，但都将落入本发明的保护范围内。

Claims (9)

1.一种驾驶人监控方法，其特征在于，其包含下列步骤：

(A)读取一驾驶座的舱内影像；

(B)对所述舱内影像进行驾驶人的人脸侦测，以得到一人脸侦测结果；

(C)储存所述舱内影像及其对应的所述人脸侦测结果；

(D)重复上述步骤，且当已储存的所述舱内影像的累积数量到达一预设值时，进行下一步骤；

(E)读取多个相邻储存时间点的所述多个舱内影像及其对应的所述多个人脸侦测结果；

(F)根据已读取的每一所述人脸侦测结果判断是否至少有一对应的所述舱内影像抓到人脸：

若是，则进行下一步骤；以及

若否，则发出警示信号以警示驾驶人；以及

(G)根据已读取的每一所述人脸侦测结果判断是否有连续二对应的所述舱内影像的所述人脸位于一合理人脸区域内：

若是，则回至所述步骤(E)；以及

若否，则发出所述警示信号以警示所述驾驶人。

2.根据权利要求1所述的驾驶人监控方法，其特征在于，所述合理人脸区域为预设区域或正视人脸区域。

3.根据权利要求1所述的驾驶人监控方法，其特征在于，所述人脸侦测结果包含所述人脸的抓取结果与位置坐标，又在所述步骤(F)的判断结果为是时，且在进行所述步骤(G)前，更进行下列步骤：

取出有抓到所述人脸的已读取的所述舱内影像及其对应的所述人脸的所述位置坐标；

统计每一已读取的所述舱内影像的所述人脸的位置坐标，并取其出现机率最大者；以及

根据所述出现机率最大的人脸的位置坐标，决定所述合理人脸区域的所在位置。

4.根据权利要求1所述的驾驶人监控方法，其特征在于，在所述步骤(G)的判断结果为是时，且在进行所述步骤(E)前，更可进行下列步骤：

对当下储存的所述舱内影像，利用Adaboost演算法进行驾驶人的鼻子侦测；

取得所述鼻子的位置坐标；

比较所述鼻子的位置坐标与所述合理人脸区域后，取得所述驾驶人的头摆角度；以及

判断所述头摆角度是否低于一预设阀值；

若是，则进行所述步骤(E)；以及

若否，则发出所述警示信号以警示所述驾驶人。

5.根据权利要求1所述的驾驶人监控方法，其特征在于，所述步骤(E)分别于相邻二次执行时，被读取的所述多个舱内影像是有部分是相同的。

6.一种驾驶人监控系统，其特征在于，包含：

一影像读取器，其连续读取一舱内影像；

一影像信号处理单元，其连接所述影像读取器，并对所述舱内影像进行驾驶人的人脸侦测，以得到一人脸侦测结果；

一控制单元，其连接所述影像信号处理单元与一存储器，并控制所述舱内影像及其对应的所述人脸侦测结果储存至所述存储器中，且所述控制单元根据所述存储器中的每一所述人脸侦测结果得知在所述存储器中，未出现人脸于一所述舱内影像中，或人脸未出现于连续至少二所述舱内影像的一合理人脸区域内时，发出一控制信号；以及

一警示器，其是接收所述控制信号，以发出警示信号警示所述驾驶人，其中：

所述人脸侦测结果包含所述人脸的抓取结果与位置坐标，且所述控制单元是根据所述存储器中每一所述人脸侦测结果，从所述存储器中取出有抓取到所述人脸的对应的所述舱内影像，并通过出现机率最高的所述人脸的位置坐标，决定所述合理人脸区域的所在位置。

7.根据权利要求6所述的驾驶人监控系统，其特征在于，所述合理人脸区域为预设区域或正视人脸区域。

8.根据权利要求6所述的驾驶人监控系统，其特征在于，所述控制单元从所述存储器中读取多个相邻储存时间点的所述多个舱内影像及其对应的所述多个人脸侦测结果，以根据已读取的每一所述人脸侦测结果，在未有一对应的所述舱内影像出现人脸，或所述人脸未有出现于连续至少二对应的所述舱内影像的所述合理人脸区域内时，发出所述控制信号。

9.根据权利要求6所述的驾驶人监控系统，其特征在于，所述影像信号处理单元更利用Adaboost演算法对所述舱内影像进行驾驶人的鼻子侦测，以取得所述鼻子的位置坐标，又所述控制单元是比较所述鼻子的位置坐标与所述合理人脸区域后，取得所述驾驶人的头摆角度，并在所述头摆角度高于或等于一预设阀值时，控制所述警示器发出所述警示信号以警示所述驾驶人。

Images