CN111556281B - 车用安全系统及其操作方法 - Google Patents
车用安全系统及其操作方法 Download PDFInfo
- Publication number
- CN111556281B CN111556281B CN202010136687.7A CN202010136687A CN111556281B CN 111556281 B CN111556281 B CN 111556281B CN 202010136687 A CN202010136687 A CN 202010136687A CN 111556281 B CN111556281 B CN 111556281B
- Authority
- CN
- China
- Prior art keywords
- pupil position
- sub
- image
- eyeball
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 210000001747 pupil Anatomy 0.000 claims abstract description 166
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 102
- 230000001960 triggered effect Effects 0.000 claims abstract description 3
- 239000011521 glass Substances 0.000 claims description 11
- 238000011017 operating method Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种车用安全系统及其操作方法，该车用安全系统包含感测单元，用以获取包含驾驶员的眼球的眼球图像的图像帧；处理单元，用以决定所述图像帧中的眼球图像范围，计算所述图像帧的所述眼球图像范围中所述眼球图像的瞳孔位置并根据所述瞳孔位置产生驱动信号，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且当所述瞳孔位置位于所述第二子区域时不触发任何车用装置；以及控制单元，用以根据所述驱动信号触发关联所述瞳孔位置的车用装置。
Description
本申请是申请号为201410341342.X、申请日为2014年07月17日、名称为“车用安全系统及其操作方法”的中国发明专利申请的分案申请。
技术领域
本发明关于一种车用安全系统，特别关于一种应用瞳孔检测技术的车用安全系统及其操作方法。
背景技术
汽车通常具有两个车侧后视镜和车内后视镜，分别设置在车外和车内的固定位置。例如当驾驶要观看车子右后方的状况时，需通过右侧的所述后视镜观察所述汽车右后方的状况，而在所述驾驶转头观看所述后视镜时其视线会暂时离开所述汽车前方而增加行车事故的风险。为提高行车安全，业界提出了多种车用安全系统来补偿所述后视镜的不足。
已知车用安全系统中，例如汽车通常具有多个倒车雷达设置在所述汽车的后保杆。当驾驶倒车时，所述倒车雷达可检测所述汽车是否接近物体，例如另一汽车或墙壁。当所述汽车接近所述物体时，倒车雷达系统可发出警示音以警示所述驾驶。所述驾驶可藉由所述声音的变化(例如频率变化)得知所述汽车与所述物体的距离远近。
随着摄影机和显示装置的普及，汽车可另于后方安装摄影机。当所述驾驶倒车时可同时启动所述倒车雷达和所述摄影机，此时车内显示装置可通过所述摄影机提供即时图像。藉此，所述驾驶可根据所述即时图像确认所述汽车后方的状况以避免碰撞。
相同地，为确保行车安全，汽车的侧视镜还可加装摄影机以补偿侧视镜的盲点(blind spot)。然而，所述显示装置通常设置在汽车内部的中央控制台，当所述驾驶想通过摄影机确认汽车周围的状况时都必须转头以观看所述显示装置的所述即时图像。此时，所述驾驶的视线会离开汽车前方而增加行车事故的风险。
发明内容
有鉴于此，本发明提出一种应用瞳孔检测技术的车用安全系统及其操作方法。
本发明的目的在提供一种车用安全系统，其可追踪驾驶的瞳孔位置来决定是否触发车用装置并可显示所述车用装置的信息至所述驾驶眼前。
本发明另一目的在提供一种车用安全系统，其可让驾驶不须转头观看后视镜或屏幕以保持所述驾驶的视线于车辆前方。
为达上述目的，本发明提供一种车用安全系统。该车用安全系统包含感测单元、处理单元和控制单元。所述感测单元用以获取包含驾驶员的眼球的眼球图像的图像帧。所述处理单元用以决定所述图像帧中的眼球图像范围，计算所述图像帧的所述眼球图像范围中所述眼球图像的瞳孔位置并根据所述瞳孔位置产生驱动信号，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且当所述瞳孔位置位于所述第二子区域时不触发任何车用装置。所述控制单元用以根据所述驱动信号触发关联所述瞳孔位置的车用装置。
本发明还提供一种车用安全系统。该车用安全系统包含感测单元、处理单元和显示单元。所述感测单元用以获取包含驾驶员的眼球的眼球图像的图像帧。所述处理单元用以决定所述图像帧中的眼球图像范围，计算所述眼球图像范围中所述眼球图像的瞳孔位置，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且不对应任何车用装置。所述显示单元设置于所述驾驶员正视车辆前方的视线内的仪表板上方，以当所述瞳孔位置位于所述第一子区域时根据所述瞳孔位置显示所述车用装置的信息，且当所述瞳孔位置位于所述第二子区域时停止显示所述车用装置的任何信息。
本发明还提供一种车用安全系统的操作方法，其包含下列步骤：获取包含驾驶员的眼球的眼球图像的图像帧；以处理单元决定所述图像帧中的眼球图像范围，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且不对应任何车用装置；以所述处理单元计算所述图像帧的所述眼球图像范围中所述眼球图像的瞳孔位置并根据所述瞳孔位置产生驱动信号；根据所述驱动信号触发关联所述瞳孔位置的车用装置；以及以设置于所述驾驶员正视车辆前方的视线内仪表板上方的显示单元，当所述瞳孔位置位于所述第一子区域时根据所述瞳孔位置显示所述车用装置的信息，且当所述瞳孔位置位于所述第二子区域时停止显示所述车用装置的任何信息。
为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，在本发明的说明中，相同的构件以相同的符号表示，在此先述明。
附图说明
图1为本发明第一实施例的车用安全系统的示意图；
图2A为根据感测单元所获取的图像帧计算瞳孔位置的示意图；
图2B为感测单元所获取的图像帧的示意图；
图3A为瞳孔位置和眼球图像的子区域映射至二维空间的示意图；
图3B为眼球图像划分为两个子区域的示意图；
图4A为本发明第二实施例的车用安全系统的示意图；
图4B为感测单元所获取的图像帧的示意图；
图5A为本发明实施例的车用安全系统的操作方法的流程图；以及
图5B为本发明实施例的车用安全系统的操作方法的方块图。
附图标记说明
1、3 车用安全系统
10 感测单元
11 光源
12 处理单元
14 控制单元
16 车用装置
18 显示单元
2 眼镜
2DS 二维空间
9 眼球
9e 眼球图像
9p 瞳孔图像
9s 眼周图像
9w 眼白图像
Ap 瞳孔区域
d 距离
FOV 视野
G1 最低灰度值
I11、I11' 光源反光图像
Iface 人脸图像
IF、IF1-IF4 图像帧
P1、P2 瞳孔位置
Re、Re' 眼球图像范围
Rg 灰度值范围
S1-S5 步骤
S 驱动信号
Z1-Z9、ZA、ZB 子区域
具体实施方式
图1为本发明第一实施例的车用安全系统1的示意图，其可用以根据眼球9的瞳孔位置以控制或启动所述瞳孔位置所对应的车用装置。所述车用安全系统1包含感测单元10、处理单元12、控制单元14、至少一个车用装置16以及显示装置18。
所述感测单元10可用以于预设距离获取包含所述眼球9的眼球图像的图像帧IF。所述感测单元10例如可为电荷耦合元件(charge coupled device)图像传感器、互补金氧半导体(complementary metal-oxide semiconductor)图像传感器或其他可用以感测光能量的传感器。
一般而言，当所述眼球9向下看时，上眼皮会遮蔽所述眼球9的一部分，因此，某些实施例中，如果所述感测单元10设置在眼镜2面对所述眼球9的一侧，如图1所示，所述感测单元10的位置可低于所述眼球9以避免所述眼球9向下看时所述车用安全系统1无法通过所述感测单元10检测所述瞳孔位置。
某些实施例中，所述感测单元10可通过外挂或内嵌的方式设置在所述眼镜2，但本发明不限于此。其他实施例中，所述感测单元10可设置于头戴式配件或可携式元件。例如，所述感测单元10可夹住帽缘藉以于大致固定的预设距离获取图像帧IF。
此外，当所述感测单元10设置在使用者所配戴的所述眼镜2或所述头戴式配件时，所述眼镜2或所述头戴式配件可随着所述使用者的头部转动以至于所述感测单元10与所述眼球9可保持所述预设距离，因此所述眼球9可始终位于所述感测单元10的视野范围。
所述处理单元12例如可为数位信号处理器(digital signal processor)或其他可用以处理图像数据的处理装置，其可用以计算所述图像帧IF中所述眼球图像的瞳孔位置并产生对应所述瞳孔位置的驱动信号S。所述感测单元10获取所述图像帧IF之后，可通过有线或无线的方式传输所述图像帧IF至所述处理单元12以进行图像后处理。例如，当所述感测单元10设置在所述眼镜2而所述处理单元12设置在车辆内部时，所述感测单元10可通过传输线(例如RS-232或USB)传输图像帧IF至所述处理单元12。为提高使用便利性，某些实施例中，所述感测单元10可通过无线的方式(例如蓝芽或Wi-Fi)传输图像帧IF至所述处理单元12。因此，不论所述处理单元12与所述感测单元10是否同时设置在所述眼镜2，所述处理单元12皆可接收来自所述感测单元10的图像帧IF。
虽然图1绘示所述处理单元12与所述感测单元10为分离，其仅用以说明，但并非用以限定本发明。某些实施例中，所述感测单元10与所述处理单元12可整合于同一晶片中，意即晶片同时具有图像感测和数据处理的功能。例如所述处理单元12可为数位信号处理电路，而所述感测单元10为感测像素阵列(Pixel array)，而感测单元10所产生的图像帧IF例如通过I2C(Inter-Integrated Circuit,内部积体电路汇流排)传输方式传递给所述处理单元12进行处理。当然，于其他实施例中，所述处理单元12也可为类似中央处理器的硬体架构。
请同时参照图1和2A，其中图2A为根据所述感测单元10所获取的图像帧IF1计算瞳孔位置的示意图。所述图像帧IF1包含眼球图像9e和眼周图像9s且所述眼球图像9e包含瞳孔图像9p和眼白图像9w。本实施例中，所述处理单元12可计算所述图像帧IF1中每一像素的灰度值并据以决定瞳孔位置。例如，所述图像帧IF1具有80×60的解析度(也即4800个像素)，所述处理单元12可根据所述像素中最低灰度值G1所对应的像素直接决定所述瞳孔位置为P1。
某些实施例中，所述车用安全系统1可预先校准所述感测单元10的所述视野以至于(1)所述感测单元10所获取的所述图像帧IF1可包含较少或不包含所述眼周图像9s；(2)所述眼球图像9e可位于所述图像帧IF1的中心位置。据此，可增加所述处理单元12计算所述瞳孔位置的准确性。
一实施例中，由于所述瞳孔图像9p的亮度会低于所述眼白图像9w的亮度，所述处理单元12可根据所述图像帧IF1中相对较暗的区域决定瞳孔位置。例如，所述处理单元12在计算出所述最低灰度值G1的位置后，计算所述最低灰度值G1周围灰度值中介于灰度值范围Rg的多个像素识别为瞳孔区域Ap。接着，所述处理单元12可根据所述瞳孔区域Ap的重心或中心决定所述瞳孔位置为P2。可以了解的是，所述瞳孔位置P2可能不等于所述最低灰度值G1所对应的位置，例如P1。此外，所述最低灰度值G1附近所对应的像素区域例如可利用图像分群(image grouping)的方式将互相关联的像素区域视为同一物件藉以决定所述瞳孔区域Ap，其中图像分群的原理已为已知，故于此不再赘述。所述处理单元12的计算方法不限于此，可通过所述图像帧IF1计算瞳孔/眼白位置的图像演算法皆可适用于本发明。
此外，所述车用安全系统1可还包含用以朝所述眼球9发光的光源11以于所述眼球9上产生至少一个光源反光，而所述处理单元12可根据所述图像帧中瞳孔图像与至少一个光源反光图像的空间关系决定所述瞳孔位置。具体而言，请同时参照图1和2B，其中图2B为所述感测单元10所获取的另一图像帧IF2的示意图，所述图像帧IF2包含瞳孔图像9p和光源反光图像I11。例如，所述瞳孔图像9p和所述光源反光图像I11分别在所述图像帧IF2中具有最小和最大的灰度值。接着，所述处理单元12可计算所述图像帧IF2中所述瞳孔图像9p与所述光源反光图像I11间的相对距离d的变化以追踪所述瞳孔9p，并据以决定所述瞳孔位置。此外，所述光源11可在所述眼球9上形成两个以上的光源反光图像(例如光源反光图像I11和I11')，所述处理单元12利用多个光源反光图像计算所述瞳孔位置。瞳孔定位例如可参照由本案相同受让人所拥有美国专利申请第14/054,724号，标题为瞳孔追踪装置，所披露的内容。
可以了解的是，由于所述感测单元10与所述眼球9保持所述预设距离且所述光源11与所述眼球9保持相同空间关系，所述光源11在所述眼球9上产生的所述光源反光并不会随着所述使用者的头部转动而改变位置，因此，不论所述使用者的头部转动或保持不动，所述感测单元10所获取的所述图像帧IF2中所述光源反光图像I11(或所述光源反光图像I11')可视为固定的参考点以至于所述处理单元12可据以计算所述瞳孔图像9p与所述光源反光图像I11间的所述相对距离d的变化以追踪所述瞳孔9p。
所述控制单元14可用以根据所述处理单元12所产生的所述驱动信号S触发关联所述瞳孔位置的所述车用装置16，其中所述控制单元14可为车用电脑(vehicular computer)或整合在所述处理单元12，所述车用装置16例如可为导航、侧视摄影机或后视摄影机等，但并不以此为限。
必须说明的是，所述处理单元12计算出所述瞳孔位置(例如图2A的所述瞳孔位置P1)之后，所述处理单元12可将所述瞳孔位置P1和所述眼球图像9e的区域映射至二维空间2DS，如图3A所示，其中所述二维空间2DS例如可划分为9个子区域Z1-Z9，而每一所述子区域可分别对应或不对应车用装置。因此，所述处理单元12可根据所述瞳孔位置P1所在的子区域产生所述瞳孔位置P1所对应的所述车用装置的所述驱动信号S。必须说明的是，上述子区域的数目和配置仅为例示性，并非用以限定本发明。
最后，当所述控制单元14根据所述驱动信号S控制所述车用装置16时，所述车用装置16可输出信息至显示单元以供驾驶观看，例如图1的所述车用安全系统1还包含显示单元18用以显示所述车用装置16的信息，其中所述显示单元18可为微型投影显示器(例如：硅基液晶)设置在所述眼镜2，但不限于此。其他实施例中，所述显示单元18可为液晶显示器设置在车辆的挡风玻璃(也即前挡玻璃)或为抬头显示器(head-up display)设置在仪表板的上方。为确保行车安全，某些实施例中，所述显示单元18可位于所述驾驶(或所述眼球9)正视车辆前方的视线内并相对可见光为透明。
举例而言，图3A的所述子区域Z1、Z3、Z7和Z9可分别对应导航、后视摄影机、左侧摄影机和右侧摄影机。当所述瞳孔位置P1进入所述子区域Z1时，所述处理单元12所产生的所述驱动信号S可控制所述导航；当所述瞳孔位置P1进入所述子区域Z3时，所述驱动信号S可控制所述后视摄影机；当所述瞳孔位置P1进入所述子区域Z7时，所述驱动信号S可控制所述左侧摄影机；以及当所述瞳孔位置P1进入所述子区域Z9时，所述驱动信号S可控制所述右侧摄影机。接着，所述显示装置18可相对显示所述导航、所述后视摄影机、所述左侧摄影机或所述右侧摄影机的信息。据此，所述车辆安全系统1可根据所述驾驶的所述瞳孔位置控制相对应车用装置并在所述驾驶的眼前显示信息以确保行车安全。
一实施例中，所述导航的信息可为路线指示、地图或路况；所述后视摄影机、所述左侧摄影机和所述右侧摄影机的信息可为图像或距离估测。
可以了解的是，图3A的所述子区域Z2、Z4-Z6和Z8可不对应任何车用装置。例如，当所述瞳孔位置P1停留在所述子区域Z2、Z4-Z6和Z8其中一子区域时，所述显示装置18不显示任何信息。换句话说，当所述瞳孔位置P1从所述子区域Z1、Z3、Z7或Z9进入所述子区域Z2、Z4-Z6或Z8时，所述显示装置18则停止显示对应车用装置的信息。此外，所述子区域Z1-Z9可通过实验最佳化其子区域大小，以避免干扰所述驾驶的视线(也即避免轻易触发车用装置)。
所述处理单元12除了可映射所述瞳孔位置P1和所述眼球图像9e的区域至所述二维空间2DS之外，还可通过其他方式判断所述瞳孔位置P1是否控制车用装置。
一实施例中，当所述车用安全系统1包含所述光源11(如图1所示)时，所述感测单元10所获取的所述图像帧IF2会包含所述瞳孔图像9p和所述光源反光图像I11和I11'(如图2B所示)。接着，所述处理单元12可根据所述瞳孔图像9p(或其瞳孔位置)与所述光源反光图像I11和I11'的相对关系产生所述驱动信号S以供所述控制单元14根据所述驱动信号S触发关联所述瞳孔位置的车用装置。例如，当所述瞳孔位置介于所述光源反光图像I11与I11'之间时，所述控制单元14可不触发任何车用装置；当所述瞳孔位置不介于所述光源反光图像I11与I11'之间且位于所述光源反光图像I11左侧时，所述控制单元14可触发所述左侧摄影机；以及当所述瞳孔位置不介于所述光源反光图像I11与I11'之间且位于所述光源反光图像I11'右侧时，所述控制单元14可触发所述右侧摄影机。据此，所述车用安全系统1的所述显示单元18也可正确显示所述驾驶所需要的信息。换句话说，本发明说明中所述瞳孔位置可为绝对位置或相对位置。
由于瞳孔的亮度远低于眼白的亮度，所述瞳孔图像9p的亮度会远低于所述眼白图像9w的亮度，故在另一实施例中，所述眼球图像9e可划分为至少两个子区域以分别对应不同功能，例如可控制所述车用装置和不可控制所述车用装置，例如图3B所示的子区域ZA和ZB。所述处理单元12可分别计算所述子区域ZA和ZB的平均灰度值或灰度值加和以判断所述瞳孔位置所在的子区域作为所述瞳孔位置。例如，当所述子区域ZA的平均灰度值小于所述子区域ZB的平均灰度值时表示所述瞳孔位置在所述子区域ZA，所述控制单元14可根据所述处理单元12所产生的所述驱动信号S而不控制(或停止控制)所述车用装置，或者当所述瞳孔位置在所述子区域ZA时所述处理单元12不产生所述驱动信号S；而当所述子区域ZA的平均灰度值大于所述子区域ZB的平均灰度值时表示所述瞳孔位置在所述子区域ZB，所述控制单元14则可根据所述处理单元12所产生的所述驱动信号S控制所述车用装置。可以了解的是，所述子区域的数量和大小可视实际应用而定。
另一方面，由于所述感测单元10可连续获取多个图像帧，所述处理单元12另可判断所述瞳孔位置是否位于预设位置经过预设时间时，才产生所述驱动信号S。例如，请参照图3A，假设所述感测单元10每秒获取5张图像帧(也即所述感测单元10的取样频率为0.2秒/次)、所述预设位置为对应右侧摄影机的子区域Z9以及所述预设时间为1秒钟，当所述感测单元10所获取的第一图像帧中所述瞳孔位置P1位于所述子区域Z9时，所述处理单元12不会立即产生所述驱动信号S；当所述感测单元10所获取的第二、第三和第四图像帧中所述瞳孔位置P1持续位于所述子区域Z9时，所述处理单元12也不会产生所述驱动信号S。直到当所述感测单元10所获取的第五图像帧中所述瞳孔位置P1仍然位于所述子区域Z9时，也即所述瞳孔位置位于所述预设位置经过所述预设时间(0.2×5＝1秒)，所述处理单元12才产生所述驱动信号S且所述控制单元14可控制所对应的右侧摄影机。
此外，所述处理单元12还可根据所述感测单元10所输出的多个图像帧进行眨眼识别，当所述处理单元12判断所述瞳孔位置位于预设位置伴随预设眨眼次数时，才产生所述驱动信号S。例如，请继续参照图3A，假设当所述瞳孔位置P1从所述子区域Z5进入所述子区域Z9时，所述处理单元12不会立即产生所述驱动信号S。所述处理单元12检测到两次眨眼之后，才会产生所述驱动信号S至所述控制单元14以控制所对应的右侧摄影机，但其眨眼次数不限于此。因此，所述车用安全系统1可根据所述瞳孔位置位于所述预设位置经过所述预设时间/伴随所述预设眨眼次数以延迟控制/不控制所述车用装置的时间。
图4A为本发明第二实施例的车用安全系统3的示意图，其可用以根据眼球9的瞳孔位置以控制或启动所述瞳孔位置所对应的车用装置。所述车用安全系统3包含光源11、感测单元10、处理单元12、控制单元14、车用装置16以及显示装置18。某些实施例中，所述感测单元10可固定在车辆内部，例如车内后照镜或车顶，但不限于此，所述感测单元10可设置在能顺利获取所述眼球图像的适当位置。
所述光源11例如可为红外光光源，例如红外光发光二极体，以避免点亮时影响视线。所述光源11用以朝所述眼球9发光以于所述眼球9上产生至少一个光源反光。
所述感测单元10用以获取包含所述至少一个光源反光的至少一个光源反光图像的图像帧，其中所述感测单元10以视野FOV获取所述图像帧。由于所述感测单元10与所述眼球9间的距离较远(相较第一实施例的所述感测单元10与所述眼球9间的距离)，所述感测单元10所获取的图像帧可能会包含部分的人脸图像Iface，如图4B的图像帧IF4所示。
所述处理单元12例如可为数位信号处理器，其可用以根据所述图像帧中所述至少一个光源反光图像决定眼球图像范围，根据所述眼球图像范围中至少一个光源反光图像和瞳孔图像计算瞳孔位置并据以产生对应所述瞳孔位置的驱动信号S。
例如，请同时参照图4A和4B，其中图4B为所述感测单元10所获取的图像帧IF4的示意图。由于所述光源11可在所述眼球9上产生光源反光以至于所述图像帧IF4中相对所述光源反光的位置可为具有最亮灰度值的像素(例如所述光源反光图像I11)，故所述处理单元12可根据所述光源反光图像I11决定眼球图像范围Re。
一实施例中，所述眼球图像范围Re可为以所述光源反光图像I11为中心的预设范围，其中所述预设范围可为矩形、椭圆形或圆形，但不限于此。此外，由于所述眼白图像9w的亮度大于所述人脸图像Iface的亮度，故可利用灰度值比较法决定眼球图像范围Re'。例如，当两相邻像素的灰度值的差值介于灰度阈值时，所述处理单元12可根据所述灰度值所对应的像素决定所述眼球图像范围Re'。可以了解的是，所述眼球图像范围Re大于所述眼球图像范围Re'。
在确认所述眼球图像范围Re(或所述眼球图像范围Re')之后，所述处理单元12可根据所述眼球图像范围Re中所述光源反光图像I11和瞳孔图像(例如图4B的瞳孔图像9p)计算瞳孔位置，其计算方法已于本发明第一实施例中叙述，故于此不再赘述。
一实施例中，所述处理单元12可通过已知人脸识别技术找出所述眼球图像范围Re或Re'，接着再计算所述瞳孔位置。
图4A所绘示的所述处理单元12与所述感测单元10为两个独立元件，其仅用以说明，但并非用以限定本发明。如上所述，所述处理单元12可为数位信号处理电路，而所述感测单元10可为感测像素阵列并整合在同一晶片中。
必须说明的是，由于所述感测单元10与所述眼球9间的距离较远，即使所述眼球9并未因为所述使用者的头部转动离开所述感测单元10的所述视野FOV，所述感测单元10所获取的所述图像帧IF4中所述光源反光图像I11却可能会因为所述使用者的头部转动改变位置以至于所述处理单元12无法准确计算所述瞳孔位置。因此，一实施例中，所述车用安全系统3先判断所述使用者的头部是否保持不动且超过预设时间，例如所述处理单元12可根据所述感测单元10在所述预设时间内所获取的多个图像帧中每一所述眼球图像范围Re(或每一所述眼球图像范围Re')的中心位置彼此间的距离是否小于预设值。当所述车用安全系统3判断所述使用者的头部保持不动且超过所述预设时间时，所述处理单元12才根据所述眼球图像范围Re或Re'中至少一个光源反光图像和瞳孔图像计算瞳孔位置并据以产生对应所述瞳孔位置的驱动信号S。
所述控制单元14设置在所述车辆内部例如车用电脑或车控制台(car controlconsole)，其可用以根据所述驱动信号S触发关联所述瞳孔位置的所述车用装置16。可以了解的是，由于所述处理单元12固定在所述车内后视镜而所述控制单元14设置在所述车辆内部，所述处理单元12所产生的所述驱动信号S可通过无线的方式传输至所述控制单元14，但不限于此。
相同地，所述车用装置16例如可为导航、侧视摄影机或后视摄影机。所述控制单元14可根据所述驱动信号S触发关联所述瞳孔位置的所述车用装置16以至于所述显示装置18可显示所述车用装置16的信息。
此外，与本发明第一实施例相同，所述处理单元12还可判断所述瞳孔位置位于预设位置经过预设时间，或者根据所述感测单元10所输出的多个图像帧进行眨眼识别且当所述处理单元12判断所述瞳孔位置位于预设位置伴随预设眨眼次数时，才产生所述驱动信号S。
请同时参照图5A和5B，其中图5A显示本发明实施例的车用安全系统的操作方法的流程图；图5B显示本发明实施例的车用安全系统的操作方法的方块图。
本发明实施例的车用安全系统的操作方法包含下列步骤：以光源朝眼球发光以于所述眼球上产生至少一个光源反光(步骤S1)；获取包含所述眼球的眼球图像的图像帧(步骤S2)；以处理单元计算所述图像帧中所述眼球图像的瞳孔位置并产生对应所述瞳孔位置的驱动信号(步骤S3)；根据所述驱动信号触发关联所述瞳孔位置的车用装置(步骤S4)；以及以显示单元显示所述车用装置的信息(步骤S5)，其中计算所述图像帧中所述眼球图像的瞳孔位置的步骤系根据所述图像帧中瞳孔图像与至少一个光源反光图像的空间关系决定所述瞳孔位置。
必须说明的是，本发明实施例的所述光源用以辅助所述处理单元计算所述瞳孔位置，可视所述处理单元计算所述瞳孔位置的方法决定是否设置所述光源在所述车用安全系统。
上述各实施例中，所述车用安全系统还可设置开关用以供所述使用者启动或关闭所述车用安全系统。例如，请参照图1，在本发明第一实施例中，所述车用安全系统1还可包含开关(例如触控式按钮)整合在所述眼镜2上，所述使用者可通过所述开关决定所述车用安全系统1开始或停止追踪所述使用者的瞳孔。请参照图4A，在本发明第二实施例中，车用安全系统3还可包含开关(例如实体按钮)整合在方向盘上，在所述使用者操作所述方向盘的同时可通过所述开关决定所述车用安全系统3开始或停止追踪所述使用者的瞳孔，但不限于此，所述开关也可由所述车用安全系统检测预设手势(例如OK手势)的方式实现。例如根据本发明第二实施例，所述车用安全系统3可另包含手势识别单元设置在车辆内部(例如中控台上)，所述手势识别单元可根据图像识别所述使用者是否比出所述预设手势以启动或关闭所述车用安全系统3，其中所述图像可由所述感测单元10所获取或于车辆内部(例如所述中控台上)另外设置的图像传感器所获取。手势识别单元的操作方法为已知，故于此不再赘述。据此，上述各实施例的车用安全系统可根据开关或手势的控制开始或停止检测以避免误控制。
上述各实施例中，车辆可设置有多个车用装置，所述控制单元可根据所述处理单元所产生的驱动信号控制所述车用装置其中一车用装置。
此外，本发明的车用安全系统的操作方法并非限定于车用安全系统上操作。如前所述，本发明的精神在于处理单元可通过感测单元追踪使用者的瞳孔位置以触发关联所述瞳孔位置的装置，并在所述使用者的眼前显示所述装置的信息。因此，某些实施例中，所述操作方法适用于虚拟实境技术(virtual reality technology)，例如头戴式显示器(headmounted display)或模拟器(simulator)，并根据瞳孔位置相对控制虚拟装置。
例如再参照图1，假设所述车用安全系统1和所述眼镜2为头戴式显示器，此时所述车用装置16可为对应虚拟实境技术的传感器、输入装置或其他内容(例如软体程式)。相同地，所述处理单元12可通过所述感测单元10获取的图像帧计算瞳孔位置，并根据所述瞳孔位置触发对应的虚拟实境传感器或内容。接着，所述显示单元18显示关联所述瞳孔位置的信息至使用者的眼前以在所述虚拟实境中实现人机互动。
例如再参照图4A，假设所述车用安全系统3为驾驶模拟器，此时所述车用装置16可为多个虚拟车用装置(例如软体程式)，所述处理单元12可通过所计算的瞳孔位置触发所述虚拟车用装置其中的至少一者，接着所述显示单元18可以全画面、子母画面或分割画面的方式显示关联所述瞳孔位置的虚拟车用装置的信息，例如车侧图像或后方图像。
可以了解的是，当所述车用安全系统的操作方法用于所述虚拟实境时，电脑主机可包含所述处理器12、所述控制单元14和所述车用装置16的功能，也就是说，所述处理器12、所述控制单元14和所述车用装置16可通过所述电脑主机以软体运算的方式实现。
一实施例中，所述车用安全系统还包含光源用以朝所述眼球发光以于所述眼球上产生至少一个光源反光，其中所述处理单元用以根据所述图像帧中瞳孔图像与至少一个光源反光图像的空间关系决定所述瞳孔位置。
一实施例中，所述眼球图像划分为至少两个子区域以分别对应不同功能；所述处理单元分别计算所述至少两个子区域的灰度值以判断所述瞳孔位置所在的子区域以作为所述瞳孔位置。
一实施例中，当所述处理单元判断所述瞳孔位置位于预设位置经过预设时间时，才产生所述驱动信号。
一实施例中，所述处理单元还根据所述感测单元所输出的多个图像帧进行眨眼识别，当所述处理单元判断所述瞳孔位置位于预设位置伴随预设眨眼次数时，才产生所述驱动信号。
本发明实施例的车用安全系统可藉由判断驾驶的瞳孔位置以决定是否触发车用装置并在所述驾驶眼前显示所述车用装置的信息。此外，所述车用安全系统还可判断所述瞳孔位置位于预设位置经过预设时间，或者判断所述瞳孔位置位于预设位置伴随预设眨眼次数以决定是否触发所述车用装置，藉以在不干扰驾驶视线的同时提升行车安全。
如上所述，已知车用安全系统的显示装置通常设置在汽车内部的车控制台，而驾驶的视线必须转头离开车辆前方才能通过显示装置确认汽车周围的状况。因此，本发明提出一种车用安全系统(图1和4A)及其操作方法(图5A)，其可判断所述驾驶的瞳孔位置来决定是否触发车用装置并在所述驾驶眼前显示所述车用装置的信息，以提升行车安全。
虽然本发明已通过前述实施例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。
Claims (17)
1.一种车用安全系统，该车用安全系统包含：
感测单元，用以在距离驾驶员的眼球预设距离获取包含所述驾驶员的所述眼球的眼球图像的图像帧；
处理单元，用以决定所述图像帧中的眼球图像范围，计算所述图像帧的所述眼球图像范围中所述眼球图像的瞳孔位置并根据所述瞳孔位置产生驱动信号，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且当所述瞳孔位置位于所述第二子区域时不触发任何车用装置；以及
控制单元，用以根据所述驱动信号触发关联所述瞳孔位置的车用装置。
2.根据权利要求1所述的车用安全系统，该车用安全系统还包含：
光源，用以朝所述眼球发光以在所述眼球上产生光源反光，
其中，所述处理单元用以根据所述图像帧中的瞳孔图像与光源反光图像的空间关系决定所述瞳孔位置。
3.根据权利要求1所述的车用安全系统，其中所述处理单元分别计算所述多个子区域的灰度值以判断所述瞳孔位置所在的子区域以作为所述瞳孔位置。
4.根据权利要求3所述的车用安全系统，其中所述灰度值为平均灰度值或灰度值加和。
5.根据权利要求1所述的车用安全系统，其中所述感测单元以有线或无线的方式传输所述图像帧至所述处理单元。
6.根据权利要求1所述的车用安全系统，其中所述车用装置为导航、侧视摄影机或后视摄影机。
7.根据权利要求1所述的车用安全系统，其中当所述处理单元判断所述瞳孔位置位于预设位置经过预设时间时，才产生所述驱动信号。
8.根据权利要求1所述的车用安全系统，其中所述处理单元还根据所述感测单元所输出的多个图像帧进行眨眼识别，当所述处理单元判断所述瞳孔位置位于预设位置伴随预设眨眼次数时，才产生所述驱动信号。
9.根据权利要求1所述的车用安全系统，其中所述感测单元设置于眼镜、头戴式配件或可携式元件。
10.一种车用安全系统，该车用安全系统包含：
感测单元，用以在距离驾驶员的眼球预设距离获取包含所述驾驶员的所述眼球的眼球图像的图像帧；
处理单元，用以决定所述图像帧中的眼球图像范围，计算所述眼球图像范围中所述眼球图像的瞳孔位置，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且不对应任何车用装置；以及
显示单元，该显示单元设置于所述驾驶员正视车辆前方的视线内的仪表板上方，以当所述瞳孔位置位于所述第一子区域时根据所述瞳孔位置显示所述车用装置的信息，且当所述瞳孔位置位于所述第二子区域时停止显示所述车用装置的任何信息。
11.根据权利要求10所述的车用安全系统，其中所述车用装置为导航、侧视摄影机或后视摄影机。
12.根据权利要求10所述的车用安全系统，其中当所述处理单元判断所述瞳孔位置位于预设位置经过预设时间，才根据所述瞳孔位置产生驱动信号以触发关联所述瞳孔位置的车用装置。
13.根据权利要求10所述的车用安全系统，其中所述处理单元还根据所述感测单元所输出的多个图像帧进行眨眼识别，当所述处理单元判断所述瞳孔位置位于预设位置伴随预设眨眼次数时，才根据所述瞳孔位置产生驱动信号以触发关联所述瞳孔位置的车用装置。
14.根据权利要求10所述的车用安全系统，其中所述感测单元固定在车辆内部。
15.一种车用安全系统的操作方法，该操作方法包含：
在距离驾驶员的眼球预设距离获取包含所述驾驶员的所述眼球的眼球图像的图像帧；
以处理单元决定所述图像帧中的眼球图像范围，其中所述眼球图像范围划分为多个子区域，该多个子区域的第一子区域的每一者对应一个车用装置而该多个子区域的第二子区域的每一者介于两个所述第一子区域之间且不对应任何车用装置；
以所述处理单元计算所述图像帧的所述眼球图像范围中所述眼球图像的瞳孔位置并根据所述瞳孔位置产生驱动信号；
根据所述驱动信号触发关联所述瞳孔位置的车用装置；以及
以设置于所述驾驶员正视车辆前方的视线内仪表板上方的显示单元，当所述瞳孔位置位于所述第一子区域时根据所述瞳孔位置显示所述车用装置的信息，且当所述瞳孔位置位于所述第二子区域时停止显示所述车用装置的任何信息。
16.根据权利要求15所述的操作方法，该操作方法还包含：
以光源朝所述眼球发光以在所述眼球上产生光源反光；及
以所述处理单元根据所述图像帧中的瞳孔图像与光源反光图像的空间关系决定所述瞳孔位置。
17.根据权利要求15所述的操作方法，其中所述处理单元判断所述瞳孔位置位于预设位置经过预设时间或位于所述预设位置伴随预设眨眼次数，才产生所述驱动信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136687.7A CN111556281B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410341342.XA CN105323539B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
| CN202010136687.7A CN111556281B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410341342.XA Division CN105323539B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111556281A CN111556281A (zh) | 2020-08-18 |
| CN111556281B true CN111556281B (zh) | 2021-09-24 |
Family
ID=55250019
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010136687.7A Active CN111556281B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
| CN201410341342.XA Active CN105323539B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410341342.XA Active CN105323539B (zh) | 2014-07-17 | 2014-07-17 | 车用安全系统及其操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111556281B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107765842A (zh) * | 2016-08-23 | 2018-03-06 | 深圳市掌网科技股份有限公司 | 一种增强现实方法及系统 |
| CN107415831A (zh) * | 2017-05-26 | 2017-12-01 | 刘新宇 | 安全视像系统及汽车 |
| CN109415016B (zh) * | 2017-06-16 | 2022-06-28 | 京东方科技集团股份有限公司 | 基于视觉的交互式控制设备和控制车辆后视镜的方法 |
| TWI637289B (zh) * | 2018-05-18 | 2018-10-01 | 緯創資通股份有限公司 | 基於眼球追蹤的顯示控制系統 |
| CN111325172B (zh) * | 2020-02-28 | 2023-04-21 | 英华达（上海）科技有限公司 | 以视线追踪达成驾驶习惯养成的装置及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101136198A (zh) * | 2006-08-29 | 2008-03-05 | 爱信艾达株式会社 | 语音识别方法及语音识别装置 |
| DE102012006966A1 (de) * | 2012-04-04 | 2012-11-08 | Daimler Ag | Verfahren zum Auslösen einer Fahrzeugfunktion durch blickgesteuerte Bedienung und Kraftfahrzeug |
| CN103869946A (zh) * | 2012-12-14 | 2014-06-18 | 联想(北京)有限公司 | 一种显示控制方法和电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1691670B1 (en) * | 2003-11-14 | 2014-07-16 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
| CN101674965B (zh) * | 2007-05-02 | 2013-05-22 | 丰田自动车株式会社 | 车辆行为控制装置 |
| US20120002028A1 (en) * | 2010-07-05 | 2012-01-05 | Honda Motor Co., Ltd. | Face image pick-up apparatus for vehicle |
| DE102011084664A1 (de) * | 2011-10-18 | 2013-04-18 | Robert Bosch Gmbh | Verfahren zum Betrieb eines Navigationssystems, insbesondere Verfahren zur Steuerung von auf einem Anzeigemittel des Navigationssystems anzeigbaren Informationen |
| TWI471808B (zh) * | 2012-07-20 | 2015-02-01 | Pixart Imaging Inc | 瞳孔偵測裝置 |
-
2014
- 2014-07-17 CN CN202010136687.7A patent/CN111556281B/zh active Active
- 2014-07-17 CN CN201410341342.XA patent/CN105323539B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101136198A (zh) * | 2006-08-29 | 2008-03-05 | 爱信艾达株式会社 | 语音识别方法及语音识别装置 |
| DE102012006966A1 (de) * | 2012-04-04 | 2012-11-08 | Daimler Ag | Verfahren zum Auslösen einer Fahrzeugfunktion durch blickgesteuerte Bedienung und Kraftfahrzeug |
| CN103869946A (zh) * | 2012-12-14 | 2014-06-18 | 联想(北京)有限公司 | 一种显示控制方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105323539A (zh) | 2016-02-10 |
| CN105323539B (zh) | 2020-03-31 |
| CN111556281A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108621923B (zh) | 车辆的显示系统及车辆的显示系统的控制方法 | |
| JP6339235B2 (ja) | 制御装置および関連方法 | |
| US9620009B2 (en) | Vehicle surroundings monitoring device | |
| JP6413207B2 (ja) | 車両用表示装置 | |
| US20190315275A1 (en) | Display device and operating method thereof | |
| TWI522257B (zh) | 車用安全系統及其運作方法 | |
| EP3245104B1 (en) | In-vehicle projection display system with dynamic display area | |
| JP5310602B2 (ja) | 車両用周辺監視システム | |
| CN111556281B (zh) | 车用安全系统及其操作方法 | |
| CN109314765B (zh) | 车辆用显示控制装置、显示系统、显示控制方法以及程序 | |
| JP2015232859A (ja) | 安全確認支援システム、安全確認支援方法 | |
| JP2010128794A (ja) | 車両周辺認知支援装置 | |
| KR102130059B1 (ko) | 디지털 백미러 제어 유닛 및 방법 | |
| US11170234B2 (en) | Vehicle display control device, vehicle display system, vehicle display control method, non-transitory storage medium | |
| US11858424B2 (en) | Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof | |
| CN111461096A (zh) | 车辆用显示装置 | |
| JP5927784B2 (ja) | 車両用障害物警告装置 | |
| KR101209796B1 (ko) | 전경 투과 기능을 갖는 차량용 표시장치 및 이의 표시방법 | |
| EP3885195A1 (en) | System and method for providing visual guidance using light projection | |
| JP2008162550A (ja) | 外部環境表示装置 | |
| TWM482526U (zh) | 行車監控裝置 | |
| KR20130039835A (ko) | 차량용 후방영상 제어시스템 | |
| JP2017045128A (ja) | 運転支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240227 Address after: Seoul, South Kerean Patentee after: Hyundai Motor Co.,Ltd. Country or region after: Republic of Korea Patentee after: Kia Co.,Ltd. Address before: Taiwan, Hsinchu, China Science and Technology Industrial Park, Hsinchu County Road, building 5, No. 5 Patentee before: PixArt Imaging Inc. Country or region before: Taiwan, China |