CN114596687A - 车内驾驶监测系统 - Google Patents
车内驾驶监测系统 Download PDFInfo
- Publication number
- CN114596687A CN114596687A CN202011391362.XA CN202011391362A CN114596687A CN 114596687 A CN114596687 A CN 114596687A CN 202011391362 A CN202011391362 A CN 202011391362A CN 114596687 A CN114596687 A CN 114596687A
- Authority
- CN
- China
- Prior art keywords
- image
- feature point
- driving
- driver
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000012806 monitoring device Methods 0.000 claims abstract description 17
- 230000001815 facial effect Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 210000000697 sensory organ Anatomy 0.000 claims description 12
- 210000001508 eye Anatomy 0.000 claims description 9
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 12
- 210000003128 head Anatomy 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
Abstract
一种车内驾驶监测系统,包含有一图像获取装置及一驾驶监测装置,该图像获取装置获取驾驶的一驾驶图像;该驾驶监测装置连接该图像获取装置,包含有一图像处理单元、一特征点识别单元及一状态监测单元,该图像处理单元对该驾驶图像进行一图像处理流程并产生一人脸图像;该特征点识别单元连接该图像处理单元,根据该人脸图像产生对应人脸五官的多个特征点,并将该多个特征点的位置以坐标值表示;该状态监测单元连接该特征点识别单元,并将该多个特征点的坐标值与内部储存的多个预设特征点的坐标值进行比对,藉此判断驾驶状态是否异常。
Description
技术领域
本发明有关于一种监测系统,尤指一种车内驾驶监测系统。
背景技术
车辆为现代社会中广为应用的交通工具之一,与现代人的生活息息相关,举凡是日常通勤或货物运输等都涉及车辆的应用,而随着车辆的增多,发生交通事故的机率也随之攀升。
车辆要安全行驶十分仰赖驾驶人的专注力及操驾,驾驶人必须随时注意周围车辆及道路环境,并保持良好的精神状态,以因应行驶间的各种突发状况,而当驾驶人因长途驾驶等因素产生疲劳感或精神不济时,驾驶人容易产生困怠感,使得驾驶人的注意力无法集中、反应速度下降,甚至发困等,可能导致驾驶人疏于车辆操驾,造成车辆失控发生意外,且疲劳驾驶容易影响人体视觉,可能造成驾驶人视野模糊、视野缩减,影响驾驶人观察周遭环境的能力,驾驶人便无法因应道路突发状况实时做出反应,从而引发交通事故。
发明内容
有鉴于此,因此要提升车辆驾驶的安全性,减低发生交通事故发生机率,可从检测驾驶人状态着手,避免疲劳驾驶的情形发生,本发明提供一种车内驾驶监测系统,获取驾驶人的人脸图像,并根据图像中对应人脸五官的特征点判断驾驶人状态,当有状态异常时便实时示警驾驶人,提醒驾驶人注意车况及自身状态,以提升车辆驾驶的安全性。
为达成前述目的,本发明提供的一种车内驾驶监测系统包含有:
一图像获取装置,获取驾驶人的一驾驶图像;及
一驾驶监测装置,连接该图像获取装置,包含有:
一图像处理单元,对该图像获取装置获取的该驾驶图像进行一图像处理流程,并产生一人脸图像;
一特征点识别单元,连接该图像处理单元,根据该人脸图像产生对应人脸五官的多个特征点,并将该多个特征点的位置以坐标值表示;及
一状态监测单元,连接该特征点识别单元,该状态监测单元内部储存有对应该多个特征点的多个预设特征点,该状态监测单元将该多个特征点的坐标值与该多个预设特征点的坐标值进行比对,当各该特征点的坐标值与对应的各该预设特征点的坐标值的距离差距超过一特征点偏移基准值时,或是当两个特征点间的距离与对应的两个预设特征点间的距离的长短差距超过一特征点变化基准值时,该状态监测单元即判断驾驶状态异常,并输出一警示信号警示使用者。
本发明的车内驾驶监测系统通过该图像获取装置获取驾驶人的该驾驶图像,该图像处理单元对该驾驶图像执行图像处理,并将图像处理后的该人脸图像传输至该特征点识别单元,由该特征点识别单元根据该人脸图像中的人脸五官产生对应不同五官位置的该多个特征点,后由该状态监测单元进行该多个特征点的比对,计算该多个特征点与该多个预设特征点的坐标差距,藉此判断驾驶人当前状态是否偏离正常状态,当该状态监测单元判断驾驶人的状态出现异常时,即藉由该警示信号警示驾驶人,以提升车辆驾驶的安全性。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1:本发明车内驾驶监测系统的方块示意图。
图2:驾驶正常状态时正面脸部的人脸图像示意图。
图3:本发明车内驾驶监测系统进行驾驶状态监测的步骤流程图。
图4:图像处理单元进行图像处理流程的步骤流程图。
图5A:驾驶人正常状态的人脸图像的示意图。
图5B:驾驶人闭眼状态的人脸图像的示意图。
图6A:驾驶人正常状态的人脸图像的示意图。
图6B:驾驶人低头状态的人脸图像的示意图。
图7A:佩戴眼镜时驾驶人正常状态的人脸图像的示意图。
图7B:佩戴眼镜时驾驶人低头状态的人脸图像的示意图。
图8A:佩戴眼镜时驾驶人正常状态的人脸图像的示意图。
图8B:佩戴眼镜时驾驶人转头状态的人脸图像的示意图。
图9A:佩戴墨镜时驾驶人正常状态的人脸图像的示意图。
图9B:佩戴墨镜时驾驶人低头状态的人脸图像的示意图。
附图标记
10:图像获取装置
20:驾驶监测装置
21:图像处理单元
22:特征点识别单元
23:状态监测单元
P1~P6:特征点
P1’~P6’:预设特征点
S10~S16、S111~S115:步骤
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述:
请参看图1所示,本发明车内驾驶监测系统1,用以监测驾驶人状态,当驾驶人状态异常时对驾驶人进行示警,该车内驾驶监测系统1包含有:一图像获取装置10及一驾驶监测装置20,该图像获取装置10可为一红外线镜头,由该图像获取装置10获取驾驶人的一驾驶图像,并由该图像获取装置10将该驾驶图像向外传输,该图像获取装置10可设置于车辆的仪表板、挡风玻璃、冷气出风口、后照镜等位置,使该图像获取装置10的拍摄方向是朝向该驾驶人的区域,当驾驶人乘坐于车辆中对车辆进行操驾时,可将该图像获取装置10对准驾驶人的脸部,以获取该驾人驶操作车辆时的该驾驶图像,其中,该图像获取装置10的设置位置是以驾驶人以正常状态驾驶车辆时,可获取驾驶人正面的该驾驶图像的位置为准,而该图像获取装置10可将该驾驶图像以H.264视频编码(又称MPEG-4)的技术进行图像压缩,以减少该驾驶图像传输时的图像容量大小,且该图像获取装置10可以Wi-Fi点对点(Peer-to-Peer,P2P)协议进行该驾驶图像的传输。
该驾驶监测装置20与该图像获取装置10连接,包含有一图像处理单元21、一特征点识别单元22及一状态监测单元23,且该驾驶监测装置20可为一手机或一平板等,由该驾驶监测装置20执行驾驶监测程序,该驾驶监测装置20可以Wi-Fi点对点(Peer-to-Peer,P2P)协议接收该图像获取装置10所传输的该驾驶图像,并由该图像处理单元21以H.264视频编码(又称MPEG-4)的技术对该驾驶图像进行译码,该图像处理单元21对该驾驶图像进行一图像处理流程产生一人脸图像。
该特征点识别单元22连接该图像处理单元21,该特征点识别单元22根据图像处理流程后的该人脸图像的像素,以该人脸图像的一边界点为坐标起点,并于该人脸图像上建立平面坐标轴,且于该人脸图像上产生对应人脸五官状态的多个特征点,并将该多个特征点的位置以坐标值表示,其中,该多个特征点可包含眼部特征点、嘴部特征点、鼻部特征点等。
如图2所示,以驾驶人正常状态时正面脸部的一人脸图像为例,若该人脸图像的像素值320*240,该特征点识别单元22可以该人脸图像的左下角为起点(0,0)设定坐标系,若以第一轴向为X轴,第二轴向为Y轴,该特征点识别单元22将该人脸图像的第一轴向范围设定为0~320、该人脸图像的第二轴向范围设定为0~240,且产生对应该人脸图像中五官的该多个特征点,该多个特征点可包含对应分别驾驶人两眉毛上缘的一第一特征点P1及一第二特征点P2、对应驾驶人其中一眼睛上缘及下缘的一第三特征点P3及一第四特征点P4、对应驾驶人两侧嘴角的一第五特征点P5及一第六特征点P6等,但该特征点识别单元22所设定的坐标起点亦可为该人脸图像的右上角、左上角等该人脸图像的边界点,该人脸图像的坐标起点及轴向不以本实施例为限。
该状态监测单元23连接该特征点识别单元22,该状态监测单元23内部储存有对应该多个特征点的多个预设特征点,每一个预设特征点对应一个特征点,相互对应的各该预设特征点与各该特征点代表人脸五官中同一个部位的位置,该状态监测单元23将该特征点识别单元22产生的该多个特征点的坐标值与该多个预设特征点的坐标值进行比对,当各该特征点的坐标值与对应的各该预设特征点的坐标值的距离差距超过一特征点偏移基准值时,或是当两个特征点间的距离与对应的两个预设特征点的距离的长短差距超过一特征点变化基准值时,该状态监测单元23即判断驾驶人的状态异常,并输出一警示信号警示使用者,其中,该多个预设特征点可于驾驶人使用该车内驾驶监测系统1进行驾驶状态监测前先行设置,该图像获取装置10先获取驾驶人正常状态时的一驾驶图像,而该图像获取装置10将该驾驶图像传输至该驾驶监测装置20后,由该驾驶监测装置20的该图像处理单元21对该驾驶图像执行该图像处理流程,再由该特征点识别单元22根据该图像处理流程后的该人脸图像的五官状态产生该多个预设特征点,最后该状态监测单元23储存该多个预设特征点,完成该多个预设特征点的设置流程。
请参看图3所示,该车内驾驶监测系统1执行驾驶状态监测的流程包含有:
S10:该图像获取装置10获取驾驶人的一驾驶图像。
S11:该图像处理单元21对该驾驶图像进行一图像处理流程,进一步参看图4所示,该图像处理流程包含有:
S111:该图像处理单元21自该驾驶图像中获取驾驶人的一人脸图像。
S112:该图像处理单元21将该人脸图像进行亮度及对比处理,增加该人脸图像的亮度,并增加该人脸图像的对比度,以凸显人脸轮廓,强调五官主体。
S113:该图像处理单元21将该人脸图像灰度化,而该人脸图像中的每个像素点具有不同的灰阶值。
S114:该图像处理单元21将灰度化后的该人脸图像进行黑白化,该图像处理单元21将该人脸图像中各像素点的灰阶值与一阈值(threshold)进行比对,当该人脸图像中的一像素点的灰阶值超过该阈值时,该图像处理单元21将该像素点转换为黑点,而该人脸图像中的一像素点的灰阶值未超过该阈值时,该图像处理单元21将该像素点转换为白点,意即将该人脸图像转换为只有黑与白的二值化图像,以供用于后续的图像分析。
S115:该图像处理单元21根据黑白化的该人脸图像识别及确认人脸的五官位置。
S12:该特征点识别单元22于该人脸图像上产生对应人脸五官状态的多个特征点,并将该多个特征点的位置以坐标表示,其中,识别人脸特征点的技术为图像识别领域中的现有技术,在此容不详述。
S13:该状态监测单元23将该多个特征点的坐标值与多个预设特征点的坐标值进行比对,当各该特征点与对应的各该预设特征点的坐标值差异未超过一偏移容许值时,代表各该特征点的坐标与各该预设特征点的坐标差距微小,各该特征点的坐标与各该预设特征点的坐标差距可能来源于车辆的震动或驾驶人的细小动作,意即驾驶人仍处于正常状态,该车内驾驶监测系统1重新执行步骤S10;而当各该特征点与对应的各该预设特征点的坐标值差异超过一偏移容许值时,该状态监测单元23判断驾驶状态产生变化,执行步骤S14的判断。
S14:该状态监测单元23将各该特征点中驾驶人脸部直向方向的该轴向的坐标值与各该预设特征点中驾驶人脸部直向方向的该轴向的坐标值进行比对,判断是否需要调整该多个预设特征点的坐标值。以该特征点识别单元22以该人脸图像的左下边界点或右下边界点作为坐标轴起点时,当有一特征点其驾驶人脸部直向方向的该轴向的坐标值大于对应的预设特征点中驾驶人脸部直向方向的该轴向的坐标值时,执行步骤S15;而当没有特征点其驾驶人脸部直向方向的该轴向的坐标值大于对应的预设特征点中驾驶人脸部直向方向的该轴向的坐标值时,执行步骤S16,以图2为例,驾驶人脸部直向方向的该轴向为第二轴向(Y轴),在该图像获取装置10获取驾驶人的该驾驶图像时,若驾驶人离该图像获取装置10较远,或是驾驶人的脸部较靠近该图像获取装置10其获取范围的下方边界时,容易造成该特征点识别单元22所产生的各该预设特征点的第二轴向的坐标值较小,当驾驶人将脸部靠近该图像获取装置10或是重新调整坐姿使得脸部较靠近该图像获取装置10其获取范围的上方边界时,由新的该驾驶图像取得的新的该多个特征点其第二轴向的坐标值较大,因此以该预设特征点比对新的该多个特征点时容易发生状态识别失准的问题,需要以新的该多个特征点替代原先预设的该多个预设特征点进行后续的驾驶状态监测。
同样的,以该特征点识别单元22以该人脸图像的左上边界点或右上边界点作为坐标轴起点时,当有一特征点其驾驶人脸部直向方向的该轴向的坐标值小于对应的预设特征点中驾驶人脸部直向方向的该轴向的坐标值时,执行步骤S15;而当没有特征点其驾驶人脸部直向方向的该轴向的坐标值小于对应的预设特征点中驾驶人脸部直向方向的该轴向的坐标值时,执行步骤S16,在该图像获取装置10获取驾驶人的该驾驶图像时,若驾驶人离该图像获取装置10较远,或是驾驶人的脸部较靠近该图像获取装置10其获取范围的上方边界时,容易造成该特征点识别单元22所产生的各该预设特征点的第二轴向的坐标值较小,当驾驶人将脸部靠近该图像获取装置10或是重新调整坐姿使得脸部较靠近该图像获取装置10其获取范围的下方边界时,由新的该驾驶图像取得的新的该多个特征点其第二轴向的坐标值较大,因此以该预设特征点比对新的该多个特征点时容易发生状态识别失准的问题,需要以新的该多个特征点替代原先预设的该多个预设特征点进行后续的驾驶状态监测。
S15:该状态监测单元23判断需要调整各该预设特征点的坐标值,该状态监测单元23将对应需要调整的各该预设特征点的各该特征点设为新的各该预设特征点,并执行步骤S16。
S16:该状态监测单元23将该多个特征点的坐标值与该多个预设特征点的坐标值进行比对,当各该特征点的坐标值与对应的各该预设特征点的坐标值的距离差距超过一特征点偏移基准值时,或是当两个特征点间的距离与对应的两个预设特征点的距离的长短差距超过一特征点变化基准值时,代表驾驶人可能出现低头、闭眼、转头等或增加车辆行驶危险性的异常状态,该状态监测单元23即判断驾驶人的状态异常,并输出一警示信号警示使用者。
以下以对应不同人脸五官的该多个特征点与该多个预设特征点,详细说明该状态监测单元23如何执行步骤S16。
配合图5A及图5B所示,以图5A中正常状态时该人脸图像中分别对应驾驶人眼睛上缘及下缘的一第一预设特征点P1’及一第二预设特征点P2’,以及图5B中闭眼状态时该人脸图像中分别对应驾驶人眼睛上缘及下缘的一第一特征点P1及一第二特征点P2为例,由图5可见由于驾驶人闭眼,使得该第一特征点P1的坐标位置偏移该预设第一特征点P1’,该状态监测单元23可比对该第一特征点P1及该预设第一特征点P1’,该状态监测单元23一方面可判断该第一特征点P1的坐标值及该预设第一特征点P1’的坐标值间的距离差距是否超过该特征点偏移基准值,另一方面可判断该第一特征点P1与该第二特征点P2间的距离,与对应的该第一预设特征点P1’与该第二预设特征点P2’间的距离的长短差距是否超过该特征点变化基准值,来判断驾驶状态是否异常。
配合图6A及图6B所示,以图6A中正常状态时该人脸图像中分别对应驾驶人眼睛上缘及下缘的一第一预设特征点P1’及一第二预设特征点P2’、对应驾驶人眉毛上缘的一第三预设特征点P3’、对应驾驶人嘴角边缘的一第四预设特征点P4’,以及图6B中低头状态时该人脸图像中分别对应驾驶人眼睛上缘及下缘的一第一特征点P1及一第二特征点P2、对应驾驶人眉毛上缘的一第三特征点P3、对应驾驶人嘴角边缘的一第四特征点P4为例,由图6可见由于驾驶人低头,使得该第一特征点P1、该第二特征点P2、该第三特征点P3、该第四特征点P4位置皆偏移对应的该第一预设特征点P1’、该第二预设特征点P2’、该第三预设特征点P3’、该第四预设特征点P4’,该状态监测单元23一方面可判断该第一特征点P1、该第二特征点P2、该第三特征点P3、该第四特征点P4的坐标值分别与对应的该第一预设特征点P1’、该第二预设特征点P2’、该第三预设特征点P3’、该第四预设特征点P4’的坐标值间的距离差距是否超过该特征点偏移基准值,另一方面可判断不同的两个特征点间的距离,与对应的两个预设特征点间的距离的长短差距是否超过该特征点变化基准值,来判断驾驶状态是否异常。
配合图7A及图7B所示,除了图5A至图6B中对应五官的各该特征点及各该预设特征点,当驾驶人有配戴眼镜时,该特征点识别单元22亦可产生分别对应眼镜边框位置的该多个预设特征点及该多个特征点,以图7A中正常状态时该人脸图像中分别对应驾驶人眼镜上缘及下缘的一第五预设特征点P5’及一预设第六特征点P6’,以及图7B中低头状态时该人脸图像中分别对应驾驶人眼镜上缘及下缘的一第五特征点P5及一第六特征点P6为例,由图7可见由于驾驶人低头,使得该第五特征点P5及该第六特征点P6的坐标位置偏移对应的该预设第五特征点P5’及该预设第六特征点P6’,该状态监测单元23一方面可判断该第五特征点P5及该第六特征点P6的坐标值分别与对应的该预设第五特征点P5’及该第六特征点P6’的坐标值间的距离差距是否超过该特征点偏移基准值,另一方面可判断该第五特征点P5与该第六特征点P6间的距离,与对应的该第五预设特征点P5’与该第六预设特征点P6’间的距离的长短差距是否超过该特征点变化基准值,来判断驾驶人的状态是否异常。
配合图8A及图8B所示,以图8A中正常状态时该人脸图像中对应驾驶人眉毛上缘的一第三预设特征点P3’、对应驾驶人嘴角边缘的一第四预设特征点P4’、分别对应驾驶人眼镜上缘及下缘的一第五预设特征点P5’及一预设第六特征点P6’,以及图8B中转头状态时该人脸图像中对应驾驶人眉毛上缘的一第三特征点P3、对应驾驶人嘴角边缘的一第四特征点P4、分别对应驾驶人眼镜上缘及下缘的一第五特征点P5及一第六特征点P6为例,由图8可见由于驾驶人转头,使得该第三特征点P3、该第四特征点P4、该第五特征点P5及该第六特征点P6的坐标位置皆偏移对应的该第三预设特征点P3’、该第四预设特征点P4’、该预设第五特征点P5’及该预设第六特征点P6’,该状态监测单元23一方面可判断该第三特征点P3、该第四特征点P4、该第五特征点P5及该第六特征点P6的坐标值分别与对应的该第三预设特征点P3’、该第四预设特征点P4’、该预设第五特征点P5’及该第六特征点P6’的坐标值间的距离差距是否超过该特征点偏移基准值,另一方面可判断不同的两个特征点间的距离,与对应的两个预设特征点间的距离的长短差距是否超过该特征点变化基准值,来判断驾驶人的状态是否异常。
配合图9A及图9B所示,若驾驶人佩戴墨镜,使得图像获取无法取得眼部状态的信息时,该状态监测单元23仍可通过对应墨镜上缘及下缘的各该特征点、对应眉毛或嘴部的各该特征点判断驾驶人的状态。以图9A中正常状态时该人脸图像中对应驾驶人眉毛上缘的一第三预设特征点P3’、对应驾驶人嘴角边缘的一第四预设特征点P4’、分别对应驾驶人眼镜上缘及下缘的一第五预设特征点P5’及一预设第六特征点P6’,以及图9B中低头状态时该人脸图像中对应驾驶人眉毛上缘的一第三特征点P3、对应驾驶人嘴角边缘的一第四特征点P4、分别对应驾驶人眼镜上缘及下缘的一第五特征点P5及一第六特征点P6为例,由图8可见由于驾驶人低头,使得该第三特征点P3、该第四特征点P4、该第五特征点P5及该第六特征点P6的坐标位置皆偏移对应的该第三预设特征点P3’、该第四预设特征点P4’、该预设第五特征点P5’及该预设第六特征点P6’,该状态监测单元23一方面可判断该第三特征点P3、该第四特征点P4、该第五特征点P5及该第六特征点P6的坐标值分别与对应的该第三预设特征点P3’、该第四预设特征点P4’、该预设第五特征点P5’及该第六特征点P6’的坐标值间的距离差距是否超过该特征点偏移基准值,另一方面可判断不同的两个特征点间的距离,与对应的两个预设特征点间的距离的长短差距是否超过该特征点变化基准值,来判断驾驶人的状态是否异常。
本发明车内驾驶监测系统1除了由单一人脸图像判断驾驶人的状态,亦可由一预设时间内取得的多张人脸图像执行一抖动检测,判断驾驶人头部是否有摇晃或抖动状态,该状态监测单元23计算该多张人脸图像中对应同一五官位置的一特征点于同一轴向上的一坐标平均值,并将该坐标平均值与对应该特征点的该预设特征点的坐标值进行比较,当该坐标平均值与该预设特征点的坐标值的数值差距超过一抖动临界值时,该状态监测单元23即判断驾驶人状态异常,并输出该警示信号警示驾驶人。
配合图2所示,以获取五张如图2的该人脸图像,且每一人脸图像的该第一特征点的坐标值分别为(152,210)、(155,207)、(152,225)、(150,201)、(153,211)为例,若以第二轴向(Y轴)的坐标值进行判断,该状态监测单元23计算各该人脸图像中各该第一特征点第二轴向上的该坐标平均值,即210+207+225+201+211=210.8,并将该坐标平均值与对应的该第一预设特征点于第二轴向上的坐标值进行比对,当该坐标平均值与该预设特征点的坐标值的数值差距超过该抖动临界值时,该状态监测单元23即判断驾驶人存在抖动或晃动等异常状态。
进一步的,为提升该抖动检测的准确性,该状态监测单元23可先剔除多个特征点中具有坐标最大值及坐标最小值的两个特征点,计算其余特征点该坐标平均值,同样以获取五张如图2的该人脸图像,且每一人脸图像的该第一特征点的坐标值分别为(152,210)、(155,207)、(152,225)、(150,201)、(153,211)为例,若以第二轴向(Y轴)的坐标值进行判断,该状态监测单元23判断坐标值为(150,201)的该第一特征点具有第二轴向上的坐标最小值,坐标值为(152,225)的该第一特征点具有第二轴向上的坐标最大值,因此该状态监测单元23剔除坐标值为(150,201)及(152,225)的两个第一特征点,该状态监测单元23计算其余的各该第一特征点第二轴向上的该坐标平均值,即210+207+211=209.3,并将该坐标平均值与对应的该第一预设特征点于第二轴向上的坐标值进行比对,当该坐标平均值与该预设特征点的坐标值的数值差距超过该抖动临界值时,该状态监测单元23即判断驾驶人存在抖动或晃动等异常状态。
其中,该状态监测单元23产生的该警示信号可控制执行该驾驶监测装置20的该电子装置,由该电子装置根据该警示信号于显示屏幕上显示示警信息,或是发出警示声响及灯光,藉此警示驾驶人。
综上所述,本发明车内驾驶监测系统1通过该图像获取装置10获取驾驶人操驾车辆时的该驾驶图像,该图像获取装置10将该驾驶图像传输至该驾驶监测装置20中,该图像处理单元21对该驾驶图像执行该图像处理流程,并将图像处理后的该人脸图像传输至该特征点识别单元22,由该特征点识别单元22根据该人脸图像中的人脸五官产生对应不同五官位置的该多个特征点,后由该状态监测单元23将该多个特征点与驾驶人正常状态时的该多个预设特征点进行比对,计算该多个特征点与该多个预设特征点的坐标差距,藉此判断驾驶人当前状态是否偏离正常状态,当该状态监测单元23判断驾驶人的状态出现异常时,即藉由该警示信号警示驾驶人,提升驾驶人的乘车安全,降低因驾驶人精神不济、疲劳驾驶而导致交通事故发生的可能性。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种车内驾驶监测系统,其特征在于,包含有:
一图像获取装置,获取驾驶人的一驾驶图像;及
一驾驶监测装置,连接该图像获取装置,包含有:
一图像处理单元,对该图像获取装置获取的该驾驶图像进行一图像处理流程,并产生一人脸图像;
一特征点识别单元,连接该图像处理单元,根据该人脸图像产生对应人脸五官的多个特征点,并将该多个特征点的位置以坐标值表示;及
一状态监测单元,连接该特征点识别单元,该状态监测单元内部储存有对应该多个特征点的多个预设特征点,该状态监测单元将该多个特征点的坐标值与该多个预设特征点的坐标值进行比对,当各该特征点的坐标值与对应的各该预设特征点的坐标值的距离差距超过一特征点偏移基准值时,或是当两个该特征点间的距离与对应的两个该预设特征点间的距离的长短差距超过一特征点变化基准值时,该状态监测单元即判断驾驶状态异常,并输出一警示信号警示使用者。
2.如权利要求1所述的车内驾驶监测系统,其特征在于,该图像处理流程包含有:
该图像处理单元自该驾驶图像中获取一人脸图像;
该图像处理单元对该人脸图像进行亮度及对比处理;
该图像处理单元对该人脸图像进行灰度化处理;
该图像处理单元将灰度化后的该人脸图像进行黑白化处理;以及
该图像处理单元根据黑白化的该人脸图像识别人脸的五官位置。
3.如权利要求1所述的车内驾驶监测系统,其特征在于,该特征点识别单元以该人脸图像的一边界点为坐标起点,并于该人脸图像上建立平面坐标轴,再于该人脸图像上产生对应人脸五官的该多个特征点。
4.如权利要求1所述的车内驾驶监测系统,其特征在于,该多个预设特征点由该图像获取装置获取驾驶人正常状态时的一驾驶图像,该驾驶监测装置的该图像处理单元对该驾驶图像执行该图像处理流程产生一人脸图像,该特征点识别单元根据该人脸图像,产生对应驾驶人正常状态时的五官位置的该多个预设特征点,并将该多个预设特征点储存于该状态监测单元中。
5.如权利要求1所述的车内驾驶监测系统,其特征在于,该多个特征点包含分别对应眼部上缘及下缘位置、两侧嘴角位置或眉毛位置的特征点。
6.如权利要求1所述的车内驾驶监测系统,其特征在于,该多个特征点包含对应眼镜边框位置的特征点。
7.如权利要求1所述的车内驾驶监测系统,其特征在于,该图像处理单元于一预设时间内取得多张该人脸图像,该状态监测单元根据该多张人脸图像执行一抖动检测,该状态监测单元计算该多张人脸图像中对应同一五官位置的一该特征点的一坐标平均值,并比对该坐标平均值与对应该特征点的该预设特征点的坐标值,当该坐标平均值与该预设特征点的坐标值的数值差距超过一抖动临界值时,该状态监测单元即判断驾驶状态异常,并输出该警示信号。
8.如权利要求1所述的车内驾驶监测系统,其特征在于,该图像获取装置及该驾驶监测装置以H.264视频编码技术进行图像处理。
9.如权利要求1所述的车内驾驶监测系统,其特征在于,该图像获取装置与该驾驶监测装置以Wi-Fi点对点(Peer-to-Peer,P2P)协议进行该驾驶图像的传输。
10.如权利要求1所述的车内驾驶监测系统,其特征在于,该图像获取装置为一红外线镜头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011391362.XA CN114596687A (zh) | 2020-12-01 | 2020-12-01 | 车内驾驶监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011391362.XA CN114596687A (zh) | 2020-12-01 | 2020-12-01 | 车内驾驶监测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114596687A true CN114596687A (zh) | 2022-06-07 |
Family
ID=81812613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011391362.XA Pending CN114596687A (zh) | 2020-12-01 | 2020-12-01 | 车内驾驶监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596687A (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1827035A (zh) * | 2006-04-06 | 2006-09-06 | 赵阳 | 减少视野检查中被检者主观误差的方法和相关装置 |
CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
CN101038623A (zh) * | 2006-03-13 | 2007-09-19 | 欧姆龙株式会社 | 特征点检测装置、特征点检测方法及特征点检测程序 |
CN104200192A (zh) * | 2013-01-18 | 2014-12-10 | 通用汽车环球科技运作有限责任公司 | 驾驶员注视检测系统 |
CN104408878A (zh) * | 2014-11-05 | 2015-03-11 | 唐郁文 | 一种车队疲劳驾驶预警监控系统及方法 |
CN106934381A (zh) * | 2017-03-20 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 一种人脸识别跟踪方法 |
CN107229922A (zh) * | 2017-06-12 | 2017-10-03 | 西南科技大学 | 一种疲劳驾驶监测方法及装置 |
CN107657236A (zh) * | 2017-09-29 | 2018-02-02 | 厦门知晓物联技术服务有限公司 | 汽车安全驾驶预警方法及车载预警系统 |
CN108108651A (zh) * | 2016-11-25 | 2018-06-01 | 广东亿迅科技有限公司 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
CN108639055A (zh) * | 2017-03-15 | 2018-10-12 | 株式会社斯巴鲁 | 车辆的显示系统及车辆的显示系统的控制方法 |
CN108875480A (zh) * | 2017-08-15 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸特征信息的追踪方法、装置及系统 |
CN110491091A (zh) * | 2019-09-08 | 2019-11-22 | 湖北汽车工业学院 | 一种商用车驾驶员疲劳状态监测预警系统 |
CN111310683A (zh) * | 2020-02-24 | 2020-06-19 | 合肥工业大学 | 一种基于驾驶员疲劳检测的人机协同控制方法及系统 |
CN111626272A (zh) * | 2020-07-28 | 2020-09-04 | 长沙超创电子科技有限公司 | 一种基于深度学习的驾驶员疲劳监测系统 |
CN111899471A (zh) * | 2019-05-05 | 2020-11-06 | 东莞潜星电子科技有限公司 | 一种驾驶员疲劳监测系统 |
CN111950371A (zh) * | 2020-07-10 | 2020-11-17 | 上海淇毓信息科技有限公司 | 疲劳驾驶预警方法及其装置、电子设备、存储介质 |
-
2020
- 2020-12-01 CN CN202011391362.XA patent/CN114596687A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101038623A (zh) * | 2006-03-13 | 2007-09-19 | 欧姆龙株式会社 | 特征点检测装置、特征点检测方法及特征点检测程序 |
CN1827035A (zh) * | 2006-04-06 | 2006-09-06 | 赵阳 | 减少视野检查中被检者主观误差的方法和相关装置 |
CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
CN104200192A (zh) * | 2013-01-18 | 2014-12-10 | 通用汽车环球科技运作有限责任公司 | 驾驶员注视检测系统 |
CN104408878A (zh) * | 2014-11-05 | 2015-03-11 | 唐郁文 | 一种车队疲劳驾驶预警监控系统及方法 |
CN108108651A (zh) * | 2016-11-25 | 2018-06-01 | 广东亿迅科技有限公司 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 |
CN108639055A (zh) * | 2017-03-15 | 2018-10-12 | 株式会社斯巴鲁 | 车辆的显示系统及车辆的显示系统的控制方法 |
CN106934381A (zh) * | 2017-03-20 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 一种人脸识别跟踪方法 |
CN107229922A (zh) * | 2017-06-12 | 2017-10-03 | 西南科技大学 | 一种疲劳驾驶监测方法及装置 |
CN108875480A (zh) * | 2017-08-15 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸特征信息的追踪方法、装置及系统 |
CN107657236A (zh) * | 2017-09-29 | 2018-02-02 | 厦门知晓物联技术服务有限公司 | 汽车安全驾驶预警方法及车载预警系统 |
CN111899471A (zh) * | 2019-05-05 | 2020-11-06 | 东莞潜星电子科技有限公司 | 一种驾驶员疲劳监测系统 |
CN110491091A (zh) * | 2019-09-08 | 2019-11-22 | 湖北汽车工业学院 | 一种商用车驾驶员疲劳状态监测预警系统 |
CN111310683A (zh) * | 2020-02-24 | 2020-06-19 | 合肥工业大学 | 一种基于驾驶员疲劳检测的人机协同控制方法及系统 |
CN111950371A (zh) * | 2020-07-10 | 2020-11-17 | 上海淇毓信息科技有限公司 | 疲劳驾驶预警方法及其装置、电子设备、存储介质 |
CN111626272A (zh) * | 2020-07-28 | 2020-09-04 | 长沙超创电子科技有限公司 | 一种基于深度学习的驾驶员疲劳监测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7146959B2 (ja) | 運転状態検出方法及び装置、運転者監視システム並びに車両 | |
CN109937152B (zh) | 驾驶状态监测方法和装置、驾驶员监控系统、车辆 | |
US9460601B2 (en) | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance | |
US9547798B2 (en) | Gaze tracking for a vehicle operator | |
US8085140B2 (en) | Travel information providing device | |
CN108621794B (zh) | 车辆的显示系统及车辆的显示系统的控制方法 | |
US6927674B2 (en) | Vehicle instrument cluster having integrated imaging system | |
CN106965675B (zh) | 一种货车集群智能安全作业系统 | |
CN111417990A (zh) | 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法 | |
EP1723901A1 (en) | Vehicle operator monitoring system and method | |
JP5109750B2 (ja) | 運転者状態検出装置、意識状態検出方法 | |
US20210374443A1 (en) | Driver attention state estimation | |
US20230174074A1 (en) | In-cabin safety sensor installed in vehicle and method of providing service platform thereof | |
KR102494530B1 (ko) | 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법 | |
US20220284717A1 (en) | Consciousness determination device and consciousness determination method | |
CN114596687A (zh) | 车内驾驶监测系统 | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
TWI741892B (zh) | 車內駕駛監測系統 | |
JP2008162550A (ja) | 外部環境表示装置 | |
CN113879321B (zh) | 驾驶员监视装置及驾驶员监视方法 | |
KR20190044818A (ko) | 운전자 모니터링 장치 및 방법 | |
WO2021262166A1 (en) | Operator evaluation and vehicle control based on eyewear data | |
JP7019394B2 (ja) | 視認対象検知装置、視認対象検知方法、およびプログラム | |
KR20210119243A (ko) | 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법 | |
JP2017103627A (ja) | 車両後方表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |