CN103885573B - 车用显示系统的自动校正方法及其系统 - Google Patents

Abstract

本发明提供一种车用显示系统的自动校正方法及其系统，其先将前方道路影像转换成投影资讯，并计算出一坐标模型后，侦测一驾驶者的脸部特征，据此计算驾驶者的一脸部偏转角度及一脸部特征三维位置，以估测驾驶者看前方时的一视野位置，再将视野位置套入一影像叠合投影转换公式，产生一叠合误差修正参数值，利用叠合误差修正参数值对坐标模型进行校正更新，利用一显示单元将校正后的坐标模型投射于驾驶者前方，使坐标模型的投射位置与驾驶者的视野位置重叠。

Description

车用显示系统的自动校正方法及其系统

技术领域

本发明是有关一种显示车辆投影的技术，特别是指一种车用显示系统的自动校正方法及其系统。

背景技术

随着科技进展，生活富裕，机动车辆日益普及至每个家庭，交通的方便性由于车辆科技的进步而不断提升。然而随着车辆使用的频繁，其交通事故随之增加，肇事原因大多以追撞案例占大宗。为提高车辆行驶安全，抬头显示装置已是许多车辆的基本配备，可将一般仪表板显示的行车资讯投影于车辆的前挡玻璃上，使驾驶者在行驶中可同时通过前挡玻璃注意车前路况，不需要再低头分心观看车内仪表板而发生意外，以增加行车安全。

目前市售车用抬头显示器以显示车速为主，更高阶的会显示GPS资讯或本车与前车间的距离或警示图示，提醒驾驶者目前车速是否过快，亦或与前车是否过近等有安全的情况，让驾驶者有充裕的时间作出适当的处置，如减低车速等等，以避免事故的发生，降低交通事故发生机率。但因显示画面小，故只显示简易的速度资讯、小箭头的导引系统、前车辆资讯(如车距)、车道资讯(如车道宽、偏移量)，无法利用虚拟实境的显示让驾驶者产生直觉式的观看效果，且对于不同的驾驶者姿态需再次调整至符合的驾驶者的观看视野，而在车辆行进时，现有HUD系统资讯无法动态随着驾驶者脸部位置更动进行调整，因此无法产生即时对应的投影资讯。

有鉴于此，本发明遂针对上述现有技术的缺失，提出一种车用显示系统的自动校正方法及其系统，以有效克服上述等问题。

发明内容

本发明的主要目的在提供一种车用显示系统的自动校正方法及其系统，其系利用影像辨识技术，从驾驶者脸部影像辨识出人脸资讯，再搭配距离侦测(如红外线)，求出脸部三维位置资讯，以将投影的坐标位置调整至符合驾驶者视野的位置。

本发明的另一目的在提供一种车用显示系统的自动校正方法，其可因应不同环境适时调整显示亮度，让驾驶者可以清楚看到显示在前方视野的资讯，不会造成眼睛不适又可减少电力消耗。

本发明的另一目的在提供一种车用显示系统的自动校正方法，利用背影区域的亮度侦测环境光源、判断日间或夜间，不需额外装设光感测器，减少成本及系统整合的复杂度。

为达上述的目的，本发明提供一种车用显示系统的自动校正方法，包括下列步骤：取得一坐标模型；侦测一驾驶者的多个脸部特征，利用一处理单元计算驾驶者的一脸部偏转角度及一脸部特征三维位置，以估测驾驶者看前方时的一视野位置；将视野位置套入一影像叠合投影转换公式，产生一叠合误差修正参数值；以及利用叠合误差修正参数值对坐标模型进行校正更新。

其中，所述坐标模型是通过撷取至少一前方道路影像，将所述至少一前方道路影像转换为一投影显示资讯后所计算得到；所述投影资讯为车道线、前方障碍物位置、车速这些行车资讯及其投射位置。

其中，所述驾驶者的脸部特征为利用一影像撷取装置所取得的所述驾驶者的脸部影像，包含所述驾驶者的人脸、鼻子与眼睛位置、两眼边界位置、两眼距离、眼睛与鼻子的相对位置及环境亮度。

其中，更包括一测距模块，以侦测所述驾驶者与所述影像撷取装置的距离，并可侦测所述驾驶者的眼睛与所述影像撷取装置的距离，以求得眼睛的高度，得出脸部特征三维位置，其中，所述测距模块为一红外线测距模块。

其中，所述脸部偏转角度是利用一人脸影像辨识技术计算所述多个脸部特征中鼻子与脸部左、右边界的相对空间关系所估算出。

其中，所述驾驶者的脸部影像中包含背景区域，若所述背景区域的亮度小于一阀值，则所述处理单元判断为夜间侦测，并调整一显示单元的显示亮度。

其中，所述坐标模型为一坐标投影转换矩阵，将所述坐标模型投射至所述驾驶者前方，使所述坐标模型的投射位置与所述驾驶者的所述视野位置重叠；所述坐标模型是投射于所述车辆的一挡风玻璃、一粘贴于所述挡风玻璃上的反射率光学薄膜或一可视平板上。

本发明另提供一种车用显示系统的自动校正系统，其是安装于一车辆上，包括一资讯撷取单元，撷取一驾驶者的多个脸部特征及驾驶者的脸部与一影像撷取装置的距离；一处理单元，依据资讯撷取单元所得到的脸部特征及距离，计算出驾驶者的一脸部偏转角度及一脸部特征三维位置，以估测驾驶者看前方的一视野位置，并通过视野位置产生一叠合误差修正参数值以对一坐标模型进行校正；以及一显示单元，将校正后的坐标模型投射于驾驶者前方，使坐标模型的投射位置与驾驶者的视野位置重叠。

其中，所述资讯撷取单元中包括所述影像撷取装置及一测距模块，分别用以撷取所述多个脸部资讯及量测所述驾驶者的脸部与所述影像撷取装置的距离，其中，所述测距模块为一红外线测距模块。

其中，所述脸部特征三维位置包含驾驶者的眼睛与所述影像撷取装置的距离、眼睛离地高度及所述脸部偏转角度；所述脸部偏转角度是利用一人脸影像辨识技术计算所述多个脸部特征中鼻子与脸部左、右边界的相对空间关系所估算出；所述驾驶者的脸部特征为利用影像撷取单元所取得的所述驾驶者的脸部影像，包含所述驾驶者的人脸、鼻子与眼睛位置、两眼边界位置、两眼距离、眼睛与鼻子的相对位置及环境亮度。

其中，所述驾驶者的脸部影像中包含背景区域，若所述背景区域的亮度小于一阀值，则所述处理单元判断为夜间侦测，并调整所述显示单元的显示亮度。

其中，所述坐标模型是投射于所述车辆的一挡风玻璃、一粘贴于所述挡风玻璃上的反射率光学薄膜或一可视平板上。

本发明提供的车用显示系统的自动校正方法及其系统利用影像辨识技术，从驾驶者脸部影像辨识出人脸资讯及环境亮度，再搭配红外线距离侦测，求出人脸3D位置资讯，使驾驶者视线不论如何变动，系统会即时自动修正显示位置，让驾驶者随时随地多可以看到重要的显示资讯，不需固定某个视线方向，减少显示叠合误差，且系统也会随环境光源自动调整显示亮度，有助驾驶者可直觉、舒适的获得重要的行车安全资讯。

底下通过具体实施例详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明车用显示系统的自动校正系统的方块图。

图2为本发明车用显示系统的自动校正方法的流程图。

图3A及图3B分别为本发明车用显示系统的自动校正方法中脸部偏转角度的示意图。

图4为本发明中驾驶者与影像撷取装置的距离及眼睛离地高度的示意图。

图5为本发明中多坐标转换示意图。

附图标记说明：10资讯撷取单元；102影像撷取装置；104测距模块；12处理单元；14显示单元；16眼睛；24可视平板；25挡风玻璃。

具体实施方式

本发明是一种车用显示系统的自动校正方法及其系统，使投影资讯可随着不同的驾驶者姿态自动修正至符合驾驶者观看的视野位置，并依据背景环境调整舒适的显示亮度。

请参考图1，其为本发明车用显示系统的自动校正系统的方块图，包括一资讯撷取单元10、一处理单元12及一显示单元14，其中资讯撷取单元10包含一影像撷取装置102及一测距模块104，影像撷取装置102撷取一驾驶者的多个脸部特征，而测距模块104则侦测驾驶者的脸部与影像撷取装置102之间的距离，脸部特征为驾驶者的脸部影像，包含驾驶者的人脸、鼻子与眼睛位置、两眼边界位置、两眼距离、眼睛与鼻子的相对位置及环境亮度等，其中，所述测距模块104可为一红外线测距模块；处理单元12依据资讯撷取单元10所得到的脸部特征及距离，利用一人脸影像辨识技术计算出驾驶者的脸部特征三维位置，包括眼睛与影像撷取装置102的距离、眼睛离地高度及脸部偏转角度（即驾驶者的视线方向），以估测驾驶者看前方的一视野位置（即景深），并通过视野位置产生一叠合误差修正参数值以对一坐标模型进行校正更新；显示单元14将校正后的坐标模型投射于驾驶者前方，如车辆的一挡风玻璃、一粘贴于所述挡风玻璃上的反射率光学薄膜或一可视平板上，使坐标模型的投射位置与驾驶者的视野位置重叠，特别是可视平板可以为高反射率光学薄膜的可视平板片，坐标模型中的显示资讯包括车道、车辆位置、速限及其它行车资讯等。

脸部特征三维位置中的脸部偏转角度是利用处理单元12以一人脸影像辨识技术计算脸部特征中鼻子与脸部左、右边界的相对空间关系所估算出，而眼睛与影像撷取装置102的距离及眼睛离地高度则是利用测距模块104侦测驾驶者的眼睛与影像撷取装置102的距离，以进一步求得眼睛的高度。

图2为本发明车用显示系统的自动校正方法的流程图，在步骤S10中先将前方道路影像转换成投影显示资讯，并通过图5及公式(2)计算出一坐标模型，投影显示资讯中包含车道线、前方障碍物位置、车速等行车资讯及其投射位置；步骤S 12侦测驾驶者的脸部特征，之后依据脸部特征在步骤S14计算驾驶者的脸部偏转角度，步骤S16计算驾驶者的脸部特征三维位置中的眼睛与影像撷取装置的距离及眼睛离地高度，其数值分别表示在式(2)的矩阵T_WE3x1、R_WE3x3中，步骤S18估测驾驶者看前方时的一视野位置，其数值为式(2)的t，此矩阵T_WE3x1、R_WE3x3及t为人脸修正参数；步骤S20将视野位置套入一影像叠合投影转换公式，产生一叠合误差修正参数值；以及步骤S22利用叠合误差修正参数值对坐标模型进行参数校正，步骤S24将参数校正后的坐标模型投射于驾驶者前方，使坐标模型的投射位置与驾驶者的视野位置重叠。

其中，步骤S14中脸部偏转角度的估算请参考图3A及图3B，图3A脸部未偏转，图3B的脸部向右偏转，由于步骤S12已得到鼻子与脸部左、右边界的相对空间关系，如图3A中鼻子与脸部右边界的距离为d_r，鼻子与脸部左边界的距离为d_l，则脸部偏转角度的计算公式如下式(1)：

公式(1)中，F为环境参数(如摄影机焦距、人脸离摄影机距离等资讯)，若d_r为最小值时，则为右偏转；d_l为最小值时，则为左偏转。

但由于夜间所撷取的脸部影像较模糊，因此日、夜间侦测脸部边界的方式不同，日间以垂直线段估测脸部边界，夜间则以相对背景较亮的区块估测脸部边界。

步骤S16中，驾驶者的脸部特征三维位置估算是当测距模块104求得眼睛与影像撷取装置102的距离后，通过相似三角形关系估算出眼睛离地高度，如图4所示，测距模块104可与影像撷取装置102叠合以便于量测影像撷取装置102与驾驶者眼睛16的距离D_c，影像撷取装置102离地高度为H_c，而眼睛16与影像撷取装置102的相对高度h_e=D_c*(h_Y/f)，因此可计算出眼睛16离地高度H_e=H_c+h_e。

将眼睛离影像撷取装置102的距离、眼睛离地高度及眼睛在X方向的位移量以平移矩阵T_WE3x1表示，脸部偏转角度以旋转矩阵R_WE3x3表示，此二矩阵相当于视野位置，接着在步骤S20套入影像叠合投影转换公式，请同时参考第5图及下式(2)：

其中u_p为显示单元14的u坐标（横坐标），v_p为显示单元14的v坐标（纵坐标），m_θc为影像撷取装置102的倾斜斜率（θc为影像撷取装置102与地面的夹角），H_c为影像撷取装置102的离地高度，u_c为影像撷取装置102的影像平面u坐标（横坐标），v_c为影像撷取装置102的影像平面v坐标（纵坐标），e_uc为影像撷取装置102的u焦距为影像撷取装置102的镜头至影像平面u轴的距离，e_vc为影像撷取装置102的v焦距为影像撷取装置102的镜头至影像平面v轴的距离，t为驾驶视线的参数，其中a、b、c、d为显示平面D，可以是可视平板24（如图中所示，可视平板坐标为X_D，Y_D，Z_D）或车辆的挡风玻璃25的参数，为P点在人眼坐标（X_E，Y_E，Z_E）的位置，（X_W，Y_W，Z_W）为世界坐标，A_P为显示单元14的内部参数（如投影焦段、光轴中心位置等参数），T_WE3x1此为世界坐标（X_W，Y_W，Z_W）到人眼坐标（X_E，Y_E，Z_E）的平移矩阵，T_EP3x1此为人眼坐标（X_E，Y_E，Z_E）到显示单元14坐标（X_P，Y_P，Z_P）的平移矩阵，R_WE3x3此为世界坐标（X_W，Y_W，Z_W）到人眼坐标（X_E，Y_E，Z_E）的旋转矩阵，R_EP3x3此为人眼坐标（X_E，Y_E，Z_E）到显示单元14坐标（X_P，Y_P，Z_P）的旋转矩阵。

由上述公式(2)可知显示出来的位置与人脸位置有关，其他参数皆不会随时间变动，只有人脸位置会随时间改变，故若不即时代入公式(2)算出当下要显示的位置，则人眼看到的资讯就无法与实际物体叠合在一起。人脸位置改变后，坐标模型的显示叠合误差修正量公式如下式(3)所示，其中(u″_P,v″_P)为有将人脸修正参数T_WE3x1、R_WE3x3、t带入公式(2)所求得的显示位置；(u′_P,v′_P)为前一刻的显示位置，将用人脸修正参数求出的显示位置(u″_P,v″_P)与前一刻的显示位置(u′_P,v′_P)相减即可得到坐标模型的显示叠合误差修正量(e_u,e_v)。

步骤S22是将目前要投影显示的位置计算之后，即可得到可叠合实际车道上车道线及前方障碍物位置的显示投影显示资讯，亦即新的坐标模型，再于步骤S24中利用显示单元14将坐标模型投射至可视平板24或挡风玻璃25上。

本发明更可依据日夜间亮度不同调整显示单元的显示亮度，驾驶者的脸部影像中包含背景区域，若背景区域的亮度小于一阀值，则处理单元判断为夜间侦测，并调整显示单元14的显示亮度，举例而言，假设阀值为70，若左边背景区块与右边背景区块的平均亮度皆小于70则判定为夜间，反之则判定为日间。而当判定为日间时，以高辉度（约500以上）的光源显示投影资讯，当判定为夜间时则以低辉度（约1.x）的光源显示。

综上所述，本发明提供的车用显示系统的自动校正方法及其系统利用影像辨识技术，从驾驶者脸部影像辨识出人脸资讯及环境亮度，再搭配红外线距离侦测，求出人脸3D位置资讯，使驾驶者视线不论如何变动，系统会即时自动修正显示位置，让驾驶者随时随地多可以看到重要的显示资讯，不需固定某个视线方向，减少显示叠合误差，且系统也会随环境光源自动调整显示亮度，有助驾驶者可直觉、舒适的获得重要的行车安全资讯。

以上所述者，仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围。故即凡依本发明申请范围所述的特征及精神所为的均等变化或修饰，均应包括于本发明的申请专利范围内。

Claims (12)

1.一种车用显示系统的自动校正方法，其特征在于，利用一显示单元将校正后的坐标模型投射于一驾驶者前方，包括下列步骤：

取得一坐标模型，所述坐标模型为一坐标投影转换矩阵；

侦测所述驾驶者的多个脸部特征及所述驾驶者的脸部与一影像撷取装置的距离，利用一处理单元计算所述驾驶者的一脸部偏转角度及一脸部特征三维位置，以估测所述驾驶者看前方时的一视野位置；

将所述视野位置套入一影像叠合投影转换公式

产生一叠合误差修正参数值其中u_p为所述显示单元的横坐标，v_p为所述显示单元的纵坐标，T_EP3x1为所述驾驶者的眼睛到所述显示单元的平移矩阵，R_EP3x3为眼睛到所述显示单元的旋转矩阵，T_WE3x1为世界坐标到眼睛的平移矩阵，R_WE3x3为世界坐标到眼睛的旋转矩阵，X_W、Y_W、Z_W为世界坐标，t为驾驶视线的参数，A_P为所述显示单元的内部参数，其中T_WE3x1及R_WE3x3代表所述视野位置；以及

利用所述叠合误差修正参数值对所述坐标模型进行校正更新，将叠合误差修正参数值中的显示位置(u_P,v_P)与前一刻的显示位置(u′_P,v′_P)相减得到坐标模型的一显示叠合误差修正量，将校正后的所述坐标模型投射至所述驾驶者前方，使所述坐标模型的投射位置与所述驾驶者的所述视野位置重叠。

2.根据权利要求1所述的车用显示系统的自动校正方法，其特征在于，所述坐标模型是通过撷取至少一前方道路影像，将所述至少一前方道路影像转换为一投影显示资讯后所计算得到；所述投影显示资讯为车道线、前方障碍物位置、车速这些行车资讯及其投射位置。

3.根据权利要求1所述的车用显示系统的自动校正方法，其特征在于，所述驾驶者的脸部特征为利用一影像撷取装置所取得的所述驾驶者的脸部影像，包含所述驾驶者的人脸、鼻子与眼睛位置、两眼边界位置、两眼距离、眼睛与鼻子的相对位置及环境亮度。

4.根据权利要求3所述的车用显示系统的自动校正方法，其特征在于，更包括一测距模块，以侦测所述驾驶者与所述影像撷取装置的距离，并可侦测所述驾驶者的眼睛与所述影像撷取装置的距离，以求得眼睛的高度，得出脸部特征三维位置，其中，所述测距模块为一红外线测距模块。

5.根据权利要求1所述的车用显示系统的自动校正方法，其特征在于，所述脸部偏转角度是利用一人脸影像辨识技术计算所述多个脸部特征中鼻子与脸部左、右边界的相对空间关系所估算出。

6.根据权利要求4所述的车用显示系统的自动校正方法，其特征在于，所述驾驶者的脸部影像中包含背景区域，若所述背景区域的亮度小于一阀值，则所述处理单元判断为夜间侦测，并调整一显示单元的显示亮度。

7.根据权利要求1所述的车用显示系统的自动校正方法，其特征在于，所述坐标模型是投射于一车辆的一挡风玻璃、一粘贴于一挡风玻璃上的反射率光学薄膜或一可视平板上。

8.一种车用显示系统的自动校正系统，其特征在于，其是安装于一车辆上，包括：

一资讯撷取单元，撷取一驾驶者的多个脸部特征及所述驾驶者的脸部与一影像撷取装置的距离；

一处理单元，依据所述资讯撷取单元所得到的所述多个脸部特征及所述距离，计算出所述驾驶者的一脸部偏转角度及一脸部特征三维位置，以估测所述驾驶者看前方的一视野位置，并将所述视野位置套入一影像叠合投影转换公式

产生一叠合误差修正参数值以对一坐标模型进行校正，将叠合误差修正参数值中的显示位置(u_P,v_P)与前一刻的显示位置(u′_P,v′_P)相减得到坐标模型的一显示叠合误差修正量，其中T_WE3x1及R_WE3x3代表所述视野位置；以及

一显示单元，将校正后的所述坐标模型投射于所述驾驶者前方，使所述坐标模型的投射位置与所述驾驶者的所述视野位置重叠，所述影像叠合投影转换公式中u_p为所述显示单元的横坐标，v_p为所述显示单元的纵坐标，T_EP3x1为所述驾驶者的眼睛到所述显示单元的平移矩阵，R_EP3x3为眼睛到所述显示单元的旋转矩阵，T_WE3x1为世界坐标到眼睛的平移矩阵，R_WE3x3为世界坐标到眼睛的旋转矩阵，X_W、Y_W、Z_W为世界坐标，t为驾驶视线的参数，A_P为所述显示单元的内部参数。

9.根据权利要求8所述的车用显示系统的自动校正系统，其特征在于，所述资讯撷取单元中包括所述影像撷取装置及一测距模块，分别用以撷取所述多个脸部特征及量测所述驾驶者的脸部与所述影像撷取装置的距离，其中，所述测距模块为一红外线测距模块。

10.根据权利要求8所述的车用显示系统的自动校正系统，其特征在于，所述脸部特征三维位置包含驾驶者的眼睛与所述影像撷取装置的距离、眼睛离地高度及所述脸部偏转角度；所述脸部偏转角度是利用一人脸影像辨识技术计算所述多个脸部特征中鼻子与脸部左、右边界的相对空间关系所估算出；所述驾驶者的脸部特征为利用影像撷取装置所取得的所述驾驶者的脸部影像，包含所述驾驶者的人脸、鼻子与眼睛位置、两眼边界位置、两眼距离、眼睛与鼻子的相对位置及环境亮度。

11.根据权利要求10所述的车用显示系统的自动校正系统，其特征在于，所述驾驶者的脸部影像中包含背景区域，若所述背景区域的亮度小于一阀值，则所述处理单元判断为夜间侦测，并调整所述显示单元的显示亮度。

12.根据权利要求8所述的车用显示系统的自动校正系统，其特征在于，所述坐标模型是投射于一车辆的一挡风玻璃、一粘贴于一挡风玻璃上的反射率光学薄膜或一可视平板上。