CN111619324A

CN111619324A - 一种视线追踪汽车智能防炫目方法及系统

Info

Publication number: CN111619324A
Application number: CN201910153195.6A
Authority: CN
Inventors: 侯力宇
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2020-09-04

Abstract

本发明公开了一种视线追踪汽车智能防炫目方法及系统，本发明所述系统，跟踪驾驶员的视线焦点和视线角度范围内的发出强光的物体，通过对不同方向进入驾驶员眼睛的强光的差别控制，使对面的突然强光不影响驾驶员的视觉，同时尽量减少对强光的人为干预；本发明所述系统，在取得现有强光源并将挡风玻璃相应的部分的透光率调节，使现有的强光源不会影响驾驶员的视线；同时本发明所述系统，利用现有侦测到的物体预测出可能发出强光的光源，并预测出可能的光源在下一个时刻的位置，并做出预防性的调节，使对面可能出现的突然强光不会影响驾驶员的视线。

Description

一种视线追踪汽车智能防炫目方法及系统

技术领域

本发明涉及一种视线追踪汽车智能防炫目方法及系统，尤其是涉及一种通过探测装置识别外界能发出单点强光的装置并根据驾驶员眼睛特性、状态进行预测性调节的智能汽车挡风玻璃附属装置。

背景技术

在很暗的环境中(亮度低于10-²cd/m²时)，如无灯光照射的夜间，人眼的锥状细胞失去感光作用，视觉功能由杆状细胞取代，人眼失去感觉彩色的能力，仅能辨别白色和灰色，如果在此时出现短时强光，锥状细胞会直接起作用，视杆细胞因为内部的视紫红质在强光的照射下迅速分解而不起主导作用，如果强光消失，视杆细胞内的视紫红质会逐渐恢复，这个时间会比较长，所以锥状细胞起作用转换为杆状细胞起作用的时间比较长，这就是夜里眼睛受到对面强光闪烁后一段时间无法看清周围东西的原因，据统计，车祸数据中夜间车祸占60%以上，而在导致夜间车祸的非人为因素中，“远光灯”炫目成高发因素。近年来，我国夜间交通事故造成死亡的事故中，与远光灯有关的占了30%至40%，并且呈上升趋势；针对上述问题，申请号为《201210560307.8》、《201410048552.X》、《201480064155.X》、《201510848696.8》、《201720490336.X》、《201810955087.6》、《201710284333.5》发明专利提供了解决方案，但是这些方案存在如下问题：

1、申请号为《201210560307.8》的发明专利所述装置，汽车驾驶员使用此装置驾驶汽车，在夜间遇到对面汽车开远光灯时，申请号为《201210560307.8》的发明专利所述装置会将前挡风玻璃全部变为黑色，使汽车驾驶员不能看到除对面汽车远光灯外其它部分不发出强光的部分，容易出现意外。

2、申请号为《201410048552.X》的发明专利所述装置，此装置对比车内外的光线强度进行调节，不是针对眼睛进光照度的变化而进行调节，在黑夜里使用申请号为《201410048552.X》的发明专利所述装置，对面远光灯开启时，按照光速和申请号为《201410048552.X》的发明专利所述装置的探测、计算速度，可以认为车内外同时亮度增加，内外光线强度差值几乎没有，这使申请号为《201410048552.X》的发明专利所述装置不会有反应。

3、申请号为《201480064155.X》的发明专利所述装置，在检测驾驶员眼睛遇到对向远光灯炫目时的常见动作后才动作，驾驶员有可能在眼睛遇到对向远光灯炫目时没有动作，只有闭眼闭一下，申请号为《201480064155.X》的发明专利所述装置可能不起作用；另外，起作用时驾驶员也因为已经发生炫目的情形不能看清楚前方而出现危险。

4、申请号为《201510848696.8》的发明专利所述装置为眼镜架上的摄像头、数据处理单元等，因为装置设置在镜架上，镜架的大小因不同的驾驶员需要不同大小、尺寸变化，也有可能驾驶员本身就戴有度数的眼镜，即使是家用轿车，也需要同时适配两个人的尺寸，申请号为《201510848696.8》的发明专利所述装置不方便适配；因为申请号为《201510848696.8》的发明专利所述装置会比较重，在眼镜架上面会导致镜架歪斜，导致申请号为《201510848696.8》的发明专利所述装置探测的位置会有误差，从而影响效果。

5、申请号为《201810955087.6》的发明专利所述装置，检测到外部光强超出阀值即做动作，如果申请号为《201810955087.6》的发明专利所述装置在晚上对向远光灯照过来后会将前挡风玻璃全部变黑，这会导致不该看到的部分没有看到，应该看到的部分也看不到的问题，所以不实用；申请号为《201810955087.6》的发明专利所述装置还存在挡风玻璃颜色变化过程慢的问题，所以申请号为《201810955087.6》的发明专利所述装置不实用。

6、申请号为《201710284333.5》的发明专利和上述发明专利里面所有非整屏控制的发明专利，没有对对向车灯前后变化的光流进行预测，导致对向车辆的任何变化都会使眼睛遭受多次炫目，即对方车辆远光灯导致炫目、装置进行调整使远光灯照不到眼睛、人眼恢复、对向车辆移动、远光灯重新照到眼睛、再次炫目。

7、申请号为《201710284333.5》的发明专利和上述发明专利所述装置，没有进行预测性保护，即在侦测到对向的车辆时，在对向车辆没有开启远光灯时就对其远光灯的位置进行预调节，使对向车辆的远光灯突然开启时上述装置被动的进行调节，调节时驾驶员已经发生炫目，没有起到防的作用，只是事后补救，所以申请号为《201710284333.5》的发明专利和上述发明专利所述装置都不实用，没有起到防炫目的作用。

上述所有的装置都是一种事后补救措施，即在对向的车强光照射到本车驾驶员眼睛上已经产生炫目的情况下，再调节相应的装置，但此时驾驶员眼睛已经发生炫目的情况，所以上述专利实用性不强。

发明内容

针对现有产品、专利对夜间行车对面远光灯造成的炫目而视觉暂时失明、造成驾驶员或者周围人员出现危险的情况处理不当等问题，本发明公开了一种视线追踪汽车智能防炫目方法及系统，本发明通过对不同方向进入驾驶员眼睛的光线预测和差别控制，使对面行驶的车辆突然开远光灯时出现的强光不影响驾驶员的视觉，使对面行驶的车辆远光灯由远及近时出现的强光不影响驾驶员的视觉，同时最少的干预外界射入驾驶员眼睛的光。

为了实现上述发明目的，本发明采用的技术方案为：一种视线追踪汽车智能防炫目方法及系统，包含信息收集部分、控制部分、光线差别控制部分、驾驶员视线追踪部分，每一部分具体如下：

1、所述信息收集部分，用于收集、侦测车辆前方驾驶员视线范围内可能发出强光的物体（目标）、道路信息和本车信息，收集的数据、方式可以是：

1）使用拍摄、雷达侦测的数据用物体识别的方法收集物体信息，识别出前方的汽车、电瓶车、三轮车等可能强光源的物体信息，信息可以有光源类型、位置、距离、光源强度，识别方法可以是人工神经网络等人工智能方法，过程是：

提取目标的特征（ORB，Hist，HOG，SIFT等）；

训练对应的分类器；

滑动窗口搜索；

重复和误报过滤。

识别方法也可以是用RCNN，SPP-NET，Fast-RCNN，Faster-RCNN、YOLO，SSD等算法来识别目标。

2）使用CAN、加速度传感器、陀螺仪、GPS、北斗等一种或者几种数据来源的本车位置、速度信息；

3）使用拍摄、雷达侦测的数据识别车辆前方路面信息；

2、所述控制部分，用于控制本系统内的其它部分，功能模块为光源识别模块、距离计算位置预测模块、视线追踪计算模块、光线差别控制模块，具体如下：

光源识别模块，根据所述信息收集部分收集到的信息，识别出已经发出或者可能发出强光的光源，识别的过程是：识别现有汽车远光灯信息；再根据所述信息收集部分收集到的信息识别出汽车、电瓶车、三轮车目标，识别出车型，根据车型、车的位置推算出远光灯所在的位置；识别现有汽车远光灯信息功能也可由所述信息收集部分实现；距离超出设定阀值的物体、光源可直接删除。

距离计算和位置预测模块，对可能发出强光的物体计算其在下一个时间点的可能的位置、距离，并预测出物体可能发出强光的部分下一个时间点的位置、距离、物体可能发出强光的部分大小；预测时使用对向物体的速度范围、根据车型轮胎得到的最大上下起伏幅度及范围、与速度相关的转弯角速度范围、本车车速、本车转弯角度、本车前方路况信息，得到下一个时间点物体的范围和发光源的范围，即下一个时间点同一个发光源的位置可能有多个；预测可以使用卡尔曼滤波作为预测方法；预测也可以根据画面帧间的差异用Horn-Schunck、Lucas-Kanade等方法计算其光流，后使用曲线拟合方法得出其可能的运动轨迹函数，用轨迹函数、路面信息和对象车辆信息预测下一个时间点目标的位置；或者在计算光流后使用仿射变换预测下一个时间点目标的位置。

视线追踪计算模块，用所述驾驶员视线追踪部分提供的数据计算出的驾驶员眼睛的位置和视线方向，视线方向计算时可以使用瞳孔角膜反射法计算出眼睛视线方向；用驾驶员眼睛的位置、视线方向和所述光源识别模块、所述距离计算和位置预测中物体发光部分的大小、距离、位置、下一个时间点的距离、下一个时间点的位置范围、下一个时间点物体发光部分的大小信息计算所述光线差别控制部分上需要控制的点的集合X，集合X内所有的位置按照与视线方向的预设角度分类，预设角度在视线不同方向可以有不同的值，从集合X内过滤出与视线方向角度小于预设值的需要控制的点的集合Y。

光线差别控制模块，根据集合Y，将需要控制区域内的透光量调节。

3、所述光线差别控制部分，用于在所述控制模块的控制下控制进入眼睛光线的每一个区域的透光率或者遮住区域进光的同时在此区域显示图像。

4、驾驶员视线追踪部分，用于检测驾驶员头部的状态和两眼的位置，得到驾驶员当前头部状态下人眼视线方向，可以由摄像头、近红外摄像头、近红外光源组成，摄像头用于拍摄画面做距离计算和瞳孔位置检测，近红外摄像头、近红外光源用于拍摄驾驶员眼睛反射近红外光的普尔钦斑，使用眼睛位置、瞳孔位置、普尔钦斑位置经过计算得到视线方向，计算方法可以采用瞳孔角膜反射视线追踪方法。

为了保证本发明的效果，所述光线差别控制部分遮盖的区域可以适当的扩大，扩大可以用膨胀运算处理光线差别控制模块需要控制透光量的区域，处理后的结果用于遮盖。

本发明的有益效果如下：

1、可以最大程度的避免行车中对向汽车、电瓶车、三轮车、测速摄像头等可能出现强光的光源对驾驶员造成的炫目情况，不但适合于白天行车、也适合于夜晚行车。

2、通过对发光源的预测，在对向车辆出现遮挡、转弯、颠簸时，不会造成强光向驾驶员眼睛的泄露。

3、正常行驶的汽车，在对向车辆从没有开任何灯，预先调整，在对向车辆突然开远光灯时，因为有预先调整，使射入本车驾驶员眼睛的对向车远光灯灯光减小到可接受的程度。

4、在无法识别对向车辆的情况下，有突然的强光导致驾驶员炫目，系统调整对向车辆远光灯到本车驾驶员眼睛光线的透光率到驾驶员到可接受的程度。

5、本发明将现有的强光源屏蔽或者替代，并预测可能出现的造成炫目的强光源情况，并根据预测事先调节相应的装置，将可能的强光光源进入驾驶者眼部的光线的透光率减到在强光光源发出强光时光线到达驾驶者眼睛不会出现炫目的程度，也可以遮蔽可能的强光光源进入驾驶者眼部的光线并在相应的位置另行显示图像替代，不影响驾驶员判断。

6、本发明的可以预测可能的强光源位置，强光源的位置可以是：

当前可能发出强光的物体及具体位置；

下一个时间点可能发出强光物体的运动轨迹。

7、本发明所述系统，只对预测出的驾驶员视线方向可能造成炫目的视线角度范围内的光源进行屏蔽，视线角度范围外的光源如果发出强光，人眼不会炫目，但是人眼能感受到有强光、有车辆，事先可以做出预动作，在人眼因为感受到周围强光而转向光源方向时，本发明所述系统在眼睛转向过程中已经将强光位置遮挡，这样既提醒了驾驶员，又不会让强光造成驾驶员炫目。

附图说明

图1为本发明实施例的汽车智能防炫目方法流程示意图；

图2为本发明实施例的汽车智能防炫目系统组成模块示意图。

具体实施方式

下面通过实施例来说明本发明的具体工作方式。

本发明汽车智能防炫目方法及系统实施例1流程如附图1，本发明实施例1系统组成模块如附图2，本发明实施例1包含201信息收集部分、202控制部分、203光线差别控制部分、204驾驶员视线追踪部分和205通信部分，具体每一部分如下：

1、201信息收集部分，用于侦测汽车驾驶员眼睛看到的画面、画面上每一点的光线强度并测出车辆前方设定视角内物体的距离，信息收集部分为两个摄像头和计算装置NVIDIAGTX 1060，一个摄像头上有液晶遮挡装置，可以在控制下调节摄像头每一点的透光率，两个摄像头安装在汽车两侧A柱进行拍摄，功能模块是：

1)目标提取模块，目标提取的目的是将需要的车辆从摄像头拍摄的画面中提取出来，提取过程是将场景图像序列输入、基于混合高斯背景建模的自适应背景提取、帧差法提取车辆目标、形态学闭操作、外接矩形操作、尺寸形态伪目标判定、提取车辆目标；提取车辆目标后对车辆目标进行车型识别，在系统使用前用各类型汽车、各角度、遮盖不同的比例的图片提取ORB特征训练SVM分类器；识别的方式是：

提取特征，提取车辆的ORB特征；

使用车辆特征用SVM进行识别，识别出车型信息；

对于天黑只能拍摄到车灯的情况，识别不出车辆，直接用车灯作为目标，用画面上的所有光源除掉目标提取模块已经识别出的目标剩下即算为车灯目标。

2)识别光源强度模块，从摄像头拍摄到的画面上识别出强光源，强光源是与周围环境相比亮度超出设定阀值的部分，识别的方式是用形态学梯度的方法识别区域，处理完后的照片用边缘分隔成多个区域，计算每一个区域中心点的亮度值，计算画面的亮度值，计算亮度使用RGB图像亮度=0.229×R + 0.587G + 0.114B进行亮度值计算，如果某区域的亮度比画面的平均亮度大于设定阀值，则在摄像头上的液晶遮挡装置将此区域的透光量减小，直至某区域的亮度与画面的平均亮度之差的绝对值小于设定阀值，记录透光量减小值，根据透光量减小值与预设阀值比较判断特定的光源是否是车辆的前远光灯。

3)检测目标距离模块，根据两个摄像头同一时间拍摄画面的差异（视差）计算出已经提取出的目标的距离，距离可以用Z=fB/d得到，其中f为相机焦距，B为两相机中心距，d为两个摄像头同一时间拍摄图像上检测目标的视差；对于汽车，计算对向汽车左前角的距离，如果汽车左前角被挡住，使用车型、右侧位置、距离数据预测出左侧位置、距离；对于没有识别出车型的发光源直接计算发光源中心点的距离；对于距离超出预定阀值的目标直接删除。

2、202控制部分，使用全志T7芯片，用于控制本系统内的其它部分，功能模块有光源识别模块、距离计算和位置预测模块、视线追踪计算模块、光线差别控制模块，具体如下：

1)光源识别模块，根据所述信息收集部分收集到的信息，识别出已经发出和可能发出强光的光源，对识别出的车型信息、位置信息经过计算得到强光源位置、可能的位置，可能的位置有前车挡住后车一侧远光灯时这个远光灯的位置；对于天黑只能拍摄到车灯的情况，识别不出车型，直接用车灯位置作为一侧灯的位置进行预测两侧远光灯的位置，这个预测是根据分析所有车型数据得到两侧远光灯的可能位置范围，因为车型不明，这个位置是根据事先统计的经验值得到的一个范围。

2)距离计算和位置预测模块，对于识别出车型的对向目标，根据对向目标当前位置预测出当前远光灯的位置，以道路的限速和下一个检测时间点预测出下一个时间点当前目标远光灯的位置，根据车型的轮胎数据预测出可能的起伏范围，根据汽车转弯能力预测出下一个时间点当前目标转弯导致远光灯位置的变动，将所有可能的远光灯的位置范围记录；对于天黑只能拍摄到车灯的情况，识别不出车型，直接用车灯光源位置进行预测，用车灯光源作为一侧车灯进行两侧的可能强光源位置预测，及下一个时间点位置预测，预测时车型轮胎数据可以用一个设定值；预测使用预先做好的统计数据，预先统计好各种已知车型车灯的位置关系，预测时根据一侧车灯，另一侧的位置按照所有已知车型的车灯位置关系预测。

3)视线追踪计算模块，用所述驾驶员视线追踪部分的数据计算出的驾驶员眼睛的位置和视线的方向，使用训练过的Haar分类器，找到驾驶员视线追踪部分拍摄的驾驶员两只眼睛的图像，将图像中眼睛的中心点用两个摄像头进行距离检测，计算出眼睛的距离，根据眼睛的距离、眼睛在画面上的位置，计算出眼睛的位置；计算驾驶员视线方向的算法为：加载一个训练过的基于HAAR级联人工智能算法的瞳孔检测器及数据，用于检测指定眼睛图片上的瞳孔位置；根据识别出的眼睛信息对近红外相机拍摄的画面1进行切割，得到眼睛的图片画面2、画面3，对画面进行去噪，去噪算法使用中值滤波，再对图像使用Canny边缘检测，再对图像使用预先设置的阈值进行二值化，二值化后的图像使用霍夫变换检测出画面2、画面3上的普尔钦斑；根据识别出的眼睛信息对双目摄像头的画面4进行切割，得到眼睛的图片画面5、画面6，使用瞳孔检测器S1识别出画面5、画面6上的瞳孔，根据瞳孔的中心点与对应的普尔钦斑上的中心点的三维坐标，用授权号为《CN103356163B》的发明专利所述方法计算得到视线方向；根据眼睛的位置、视线方向、预设的角度值将距离计算和位置预测模块得到的现在、下一个时间点发光源的位置进行分类，得到从眼睛为起点视线方向预设角度范围内的部分。

4)光线差别控制模块，根据所述视线追踪计算模块计算出的预设角度范围内的部分发光源将需要控制区域内的透光量调节，即根据眼睛的位置、光线差别控制的位置、所述视线追踪计算模块计算出的预设角度范围内的部分发光源位置，计算出光线差别控制部分需要控制透光率的区域，并将此区域变暗。

3、203光线差别控制部分，为附在前挡风玻璃上的液晶薄膜，可以根据控制部分的控制指令将某一区域的透光率减小。

4、204驾驶员视线追踪部分，为安装在驾驶室驾驶员前方的双目摄像头、近红外摄像头、近红外光源，用于检测驾驶员眼睛的位置、视线的方向。

5、205通信部分，为CAN接口，用于取得车辆的速度、转弯角度信息。

本发明实施例1工作流程如下：

1.101采集车外画面，打开汽车A柱上的双摄像头，拍摄所需的画面，拍摄画面，对画面进行识别，识别出汽车、电瓶车、三轮车等出现的光源信息，并得到光源的强度；

2. 102识别车型，无法识别出的光源按照车灯算；

3.103 根据目标信息，计算目标距离；

4.104得到当前光源位置，根据车型信息和距离、位置信息得到当前可能的强光源位置；无法识别出的光源按照汽车一侧车灯算出可能的其它两侧的灯位置；

5.105预测将来光源位置1，根据当前本车速度、对向车距离、车道限速、对向车车型等信息预测出下一个时间点对向车强光源的位置；

6.106预测将来光源位置2，根据当前本车速度、无法识别出的光源按照汽车一侧车灯算出可能的其它两侧的灯位置信息得到三个点的下一个时间点的位置信息；

7.107得到当前眼部位置、视线方向信息和视线方向预设角度范围内的强光源信息；

8.108计算遮挡区域位置，计算出光线差别控制部分需要降低透光率的位置；

9.109光线差别控制部分按照上述计算数据降低需要部分的透光率。

本发明实施例2流程如附图1，本发明实施例2系统组成模块如附图2，本发明实施例2包含201信息收集部分、202控制部分、203光线差别控制部分、204驾驶员视线追踪部分、205通信部分，具体每一部分如下：

1、201信息收集部分，用于侦测照到驾驶员眼睛的光线强度和画面、并测出物体的距离，信息收集部分为一个摄像头和一个Ouster OS-1-16线激光雷达和计算装置NVIDIA GTX1060，摄像头上有液晶遮挡装置，可以在控制下调节摄像头每一点的透光率，摄像头和激光雷达安装在汽车内后视镜的前方挡风玻璃外进行拍摄和探测，功能模块是：

1)目标提取，目标提取的目的是将车辆从摄像头拍摄的画面中提取出来，提取前用激光雷达带深度的图像训练深度学习算法，提取时用深度学习识别激光雷达送来的带深度信息的图像，得到汽车、电瓶车、三轮车等信息。对车辆目标进行车型识别，方法是在系统使用前用各类型汽车、各角度、遮盖不同的比例的图片提取ORB特征训练SVM分类器；识别的方式是：

提取特征，提取目标的ORB特征；

使用目标特征用SVM进行识别，识别出车型信息。

2) 识别光源强度，从摄像头拍摄到的画面上识别出强光源，强光源是与周围环境相比亮度超出设定阀值的部分，使用霍夫变换识别出画面上的圆形区域；计算每一个区域中心点的亮度值，计算画面的亮度值，计算亮度使用RGB图像亮度=0.229×R + 0.587G +0.114B进行亮度值计算，如果某区域的亮度比画面的平均亮度大于设定阀值，则将此区域的透光量减小，直至某区域的亮度与画面的平均亮度之差的绝对值小于设定阀值，记录透光量减小值，根据透光量减小值与预设阀值比较判断特定的光源是否是车辆的前远光灯。

3)检测目标距离，根据识别出来的车辆目标，从激光雷达的数据中取得目标的距离数据。对于汽车，取出对向汽车左前角的距离，如果汽车左前角被挡住，使用车型、右侧位置、距离数据预测出左侧位置、距离。

2、 202控制部分，使用全志T7芯片，用于控制本系统内的其它部分，完成的功能为光源识别、位置预测、视线追踪计算、光线差别控制，具体如下：

1)光源识别，根据所述信息收集部分收集到的信息，识别出已经发出和可能发出强光的光源将识别出的车型信息、位置得到强光源可能的位置。

2)位置预测，根据本车的速度、转弯角度、车辆前方的已发光、可能发光的物体信息，以本车为坐标原点，对可能发出强光的物体计算其在下一个时间点的可能的位置、距离，并预测出物体可能发出强光的部分下一个时间点物体可能发出强光的部分大小；预测时用对向物体的速度、根据车型轮胎得到的最大上下起伏幅度、转弯角速度计算，同一个可能发出强光的物体下一个时间点的位置有多个；对于识别出车型的目标，根据当前位置预测出当前远光灯的位置，多个时间点的目标用Lucas-Kanada方法算法计算此目标的光流，用拟合的方法算出目标的运动函数，根据目标车型的加速、减速、转弯能力、道路情况和运动函数，预测出下一个时间点目标可能的多个位置，根据位置得到远光灯位置。

3)视线追踪计算，用所述驾驶员视线追踪部分的数据计算出的驾驶员眼睛的位置，使用训练过的Haar分类器，找到驾驶员视线追踪部分拍摄的驾驶员两只眼睛的图像，将图像的中心点用两个摄像头进行距离检测，计算出眼睛的距离，根据眼睛的距离、眼睛在画面上的位置，计算出眼睛的位置；识别眼睛中眼角位置，对识别出的眼睛识别眼角，根据眼睛的相对位置，得到两个外眼角的位置，根据两个外眼角的连线和每只眼外眼角与内眼角连线的中心点做出的中心点与外眼角连线的垂直线1、垂直线2；生成素描，使用训练过的Haar分类器，检测出驾驶员脸部，将脸部从画面中切割出，对分割出的人脸部分图像生成素描图像，生成过程是先对图像进行去噪，去噪算法使用中值滤波，再对图像使用预先设置的阈值进行二值化，二值化后的图像使用Laplacian边缘滤波器得到素描图像画面10；计算眼睛方向，得到垂直线1、垂直线2与素描图像画面10边缘的四个交点，得到四个交点的三维坐标，用四个交点组成的面作为人眼睛的方向面，如果四个交点不在同一个平面上，对眼角连线一边的两个点A1、A2中的一个X进行调整，B1、B2是用对眼角连线另一边的两个点，调整的方法是计算出X1为通过X的直线上到A1、B1、B2平面和A2、B1、B2平面距离和最小的点，使用X1、B1、B2组成的平面作为驾驶员视线方向垂直的平面的估算值。

4)光线差别控制，根据所述视线追踪计算模块计算出的预设角度范围内的部分发光源将需要控制区域内的透光量调节，即根据眼睛的位置、光线差别控制的位置、所述视线追踪计算模块计算出的预设角度范围内的部分发光源位置，计算出光线差别控制部分需要控制透光率的区域，并将此区域变暗。

3、203光线差别控制部分，为附在前挡风玻璃上的液晶薄膜，可以根据控制部分的控制指令将某一部分的透光率减小。

5、205通信部分，为CAN接口用于和车辆通信，取得车辆的速度、转弯角度信息。

本发明实施例2工作流程如下：

1.101采集车外画面，打开激光雷达和摄像头，拍摄画面，得到画面和每一点的距离信息，对画面、距离信息进行识别，识别出汽车、电瓶车、三轮车等出现的光源，并得到光源的强度；

2.102 识别车型，无法识别出的光源按照车灯算；

3.103根据目标信息，计算目标距离；

7.107得到当前驾驶员眼部位置和驾驶员视线方向信息；

本发明实施例3流程如附图1，本发明实施例3系统组成模块如附图2，本发明实施例3包含201信息收集部分、202控制部分、203光线差别控制部分、204驾驶员视线追踪部分、205通信部分，除203光线差别控制部分外，其它部分同本发明实施例1，所述203光线差别控制部分实现与功能如下：

光线差别控制部分为紧贴在车辆前部挡风玻璃上的两层薄膜，内层薄膜为自发光的OLED薄膜，外层为液晶薄膜，分别用来在控制部分的控制下遮挡某区域光线和某区域显示图像，功能是在有对面强光照射过来时，在控制部分的控制下外部强光与眼睛连线在外层薄膜上的交点变为不透光，外部强光与眼睛连线在内层薄膜上的交点显示摄像头拍到的相应位置的画面。

本发明实施例4流程如附图1，本发明实施例4系统组成模块如附图2，本发明实施例4包含201信息收集部分、202控制部分、203光线差别控制部分、204驾驶员视线追踪部分、205通信部分，除201信息收集部分外，其它部分同本发明实施例1，所述201信息收集部分目标提取算法如下：

1、构建CNN网络结构；

两个卷积层+池化层，最后接上两个全连接层。

第一层卷积使用32个7x7x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为ReLU，后接一个2x2的池化层，方式为Max Pooling；

第二层卷积使用50个3x3x32的卷积核，步长为1，边界处理方式为“SAME”，激活函数为ReLU，后接一个2x2的池化层，方式为Max Pooling；

第一层全连接层：使用1024个神经元，激活函数为是ReLU；

第二层全连接层：使用10个神经元，使用softmax分类器，用于输出结果；

2、使用log对数损失函数，配置Adam算法的优化器，建立正确率的计算表达式；

3、识别。

识别前对CNN网络用数据进行训练。

本发明实施例5流程如附图1，本发明实施例5系统组成模块如附图2，本发明实施例5包含201信息收集部分、202控制部分、203光线差别控制部分、204驾驶员视线追踪部分、205通信部分，除201信息收集部分外，其它部分同本发明实施例2，201信息收集部分目标提取算法使用Fast YOLO，Fast YOLO结构如下：

构建Fast YOLO网络结构；

6个卷积层+池化层，最后接上3个Dense隐藏层；

第一层卷积使用16个3x3x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为(LeakyReLU，后接一个2x2的池化层，方式为Max Pooling；

第二层卷积使用32个3x3x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为LeakyReLU，后接一个2x2的池化层，方式为Max Pooling；

第三层卷积使用64个3x3x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为LeakyReLU，后接一个2x2的池化层，方式为Max Pooling；

第四层卷积使用128个3x3x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为LeakyReLU，后接一个2x2的池化层，方式为Max Pooling；

第五层卷积使用256个3x3x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为LeakyReLU，后接一个2x2的池化层，方式为Max Pooling；

第六层卷积使用512个3x3x1的卷积核，步长为1，边界处理方式为“SAME”，激活函数为LeakyReLU，后接一个2x2的池化层，方式为Max Pooling；

将多层数据变成一维数据

第一层Dense层：使用参数256；

第二层Dense层：使用参数4096，激活函数为是ReLU；

第三层Dense层：使用参数1470。

本发明实施例6流程如附图1，本发明实施例6系统组成模块如附图2，本发明实施例6包含201信息收集部分、202控制部分、203光线差别控制部分、204驾驶员视线追踪部分、205通信部分，除201信息收集部分外，其它部分同本发明实施例1，201信息收集部分车型识别如下：

使用百度AI云识别接口进行车型识别。

虽然本发明已以较佳实施例公开如上，但实施例和附图并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims

1.一种视线追踪汽车智能防炫目系统，其特征在于：它包括信息收集部分、控制部分、光线差别控制部分、驾驶员视线追踪部分，每一部分具体如下：

所述信息收集部分，用于取得、侦测车辆前方驾驶员视线范围内可能发出强光的物体，并得到物体的位置、距离信息，还得到本车的速度、转弯角度信息；

所述控制部分，用于控制本系统内的其它部分，完成的功能为光源识别、光源距离计算位置预测、视线追踪计算、光线差别控制，所述视线追踪计算用于计算出驾驶员眼睛的位置、视线方向，将驾驶员眼睛位置、视线方向预设角度内的光源、下一时间点可能发出强光的光源作为需要控制的区域；

所述光线差别控制部分，用于控制进入眼睛光线的每一个区域的透光率或者遮住某区域进光的同时在此区域显示图像；

所述驾驶员视线追踪部分，用于识别驾驶员头部的状态得到两眼的位置和视线方向。

2.根据权利要求1所述的汽车智能防炫目系统，其特征在于：

所述信息收集部分取得车外部光源信息和识别出的车型信息，所述控制部分识别出当前外部的强光源，通过从所述驾驶员视线追踪部分得到的驾驶员眼睛位置、视线方向信息，计算出所述光线差别控制部分需要将光线透光率减少的位置，控制所述光线差别控制部分将相应部分透光率减小，使强光源发出的强光照射进驾驶员眼睛的光线强度可控；

所述信息收集部分取得车外部环境的光源信息和识别出的车型信息，所述控制部分预测出下一个时间点可能出现的强光源的位置信息，根据下一个时间点可能出现的强光源位置信息和本车车辆的速度、转弯角度、本车前方路况信息预测出下一个时间点强光源可能出现的位置，通过从所述驾驶员视线追踪部分得到的驾驶员眼睛位置、视线方向信息，计算出所述光线差别控制部分需要将光线透光率减少的位置，控制所述光线差别控制部分将相应部分透光率减小，使强光源在下一个时间点可能出现的位置发出的强光照射进驾驶员眼睛的光线强度可控。

3.根据权利要求1的汽车智能防炫目系统，其特征在于：

所述信息收集部分，收集方式是：

基于摄像头、雷达数据的数据，识别出前方的可能的强光源的信息，信息包含位置、距离、光源强度；

从CAN、加速度传感器、陀螺仪、GPS、北斗其中的一个或者多个得到本车速度、转弯角度信息；

所述控制部分，完成的功能如下：

光源识别，根据所述信息收集部分收集到的信息，识别出已经发出或者可能发出强光的光源和车型，对识别出的车型信息、位置信息经过计算得到强光源位置、可能的位置；对于识别不出车型的光源，直接用车灯位置作为一侧灯的位置进行预测两侧远光灯的位置；

距离计算和位置预测，对可能发出强光的物体计算其在下一个时间点的可能的位置、距离，并预测出物体可能发出强光的部分下一个时间点可能发出强光的部分大小；预测时使用对向物体的速度、根据车型轮胎得到的最大上下起伏幅度、与速度相关的转弯角速度预测；预测时也可以根据可能发出强光物体的光流使用拟合算法计算出可能发出强光的物体的运动函数，用运动函数和可能发出强光物体的车型数据、当前道路数据得到可能发出强光的物体下一个时间点可能的位置；

视线追踪计算，根据所述驾驶员视线追踪部分提供的数据计算出的驾驶员眼睛的位置和视线方向，和所述距离计算和位置预测中物体发光部分的大小、距离、位置、下一个时间点的距离、下一个时间点的位置、下一个时间点物体发光部分的大小、预设眼睛视角值计算出所述光线差别控制部分上需要控制的点；

光线差别控制，根据所述视线追踪计算结果，将需要控制的区域的透光量调节。

4.根据权利要求1至3之一的汽车智能防炫目系统，其特征在于：光线差别控制时使用膨胀运算对需要减少透光量的区域进行处理，运算结果用于所述光线差别控制部分将相应部分透光率减小。

5.根据权利要求1至3之一的汽车智能防炫目系统，其特征在于：所述信息收集部分，为两个摄像头和计算装置，摄像头上有液晶遮挡装置，在控制下调节摄像头每一点的透光率，完成的功能还有：

目标提取，将车辆目标从摄像头拍摄的画面中提取出来；

识别光源强度，从摄像头拍摄到的画面上识别出强光源，强光源是与周围环境相比亮度超出设定阀值的部分，判断特定的光源是否是车辆的前远光灯；

检测目标距离，根据两个摄像头同一时间拍摄画面的差异计算出已经提取出的目标的距离，距离用Z=fB/d得到，其中f为相机焦距，B为两相机中心距，d为两个摄像头同一时间拍摄图像上检测目标的视差；

所述光线差别控制部分，为附在前挡风玻璃上的液晶薄膜，可以根据控制部分的控制指令将某一部分的透光率减小；

所述驾驶员视线追踪部分，为安装在驾驶室驾驶员前方的摄像头、近红外相机、近红外光源，用于检测驾驶员眼睛的位置和计算视线方向。

6.根据权利要求1至3之一的汽车智能防炫目系统，其特征在于：所述信息收集部分，为一个摄像头A和一个相机激光雷达二合一系统，摄像头A上有液晶遮挡装置，在控制下调节摄像头A上每一点的透光率，完成的功能是：

目标提取，提取前用激光雷达带深度的图像训练深度学习算法，提取时用深度学习识别激光雷达送来的带深度信息的图像、得到目标信息；

检测目标距离，根据识别出来的车辆目标，从激光雷达的数据中取得目标的距离数据；

光线差别控制部分，为附在前挡风玻璃上的液晶薄膜，根据控制部分的控制指令将某一部分的透光率减小；

驾驶员视线追踪部分，为安装在驾驶室驾驶员前方的摄像头、近红外相机、近红外光源，用于检测驾驶员眼睛的位置和计算视线方向。

7.一种汽车智能防炫目方法，其特征在于：

步骤一、采集车外画面，打开汽车A柱上的双摄像头，或者打开激光雷达和摄像头，拍摄所需的画面，拍摄画面，对画面进行识别，识别出汽车、电瓶车、三轮车等出现的光源，并得到光源的强度；

步骤二、识别车型，无法识别出的光源按照车灯算；

步骤三、根据目标信息，计算目标距离；

步骤四、得到当前光源位置，根据车型信息和距离、位置信息得到当前可能的强光源位置；无法识别出的光源按照汽车一侧车灯算出可能的其它两侧的灯位置；

步骤五、预测将来光源位置1，根据当前本车速度、对向车距离、车道限速、对向车车型等信息预测出下一个时间点对向车强光源的位置；

步骤六、预测将来光源位置2，根据当前本车速度、无法识别出的光源按照汽车一侧车灯算出可能的其它两侧的灯位置信息得到三个点的下一个时间点的位置信息；

步骤七、得到当前眼部位置信息、视线方向；

步骤八、计算遮挡区域位置，计算出光线差别控制部分需要降低透光率的位置；

步骤九、光线差别控制部分按照上述计算数据降低需要部分的透光率。

8.根据权利要求7的汽车智能防炫目方法，其特征在于：步骤一中，车外画面收集后提取的过程是将场景图像序列输入、自适应背景提取、帧差法提取车辆目标、形态学闭操作、外接矩形操作、尺寸形态伪目标判定、提取车辆目标；对于天黑只能拍摄到车灯的情况，识别不出车型，直接用车灯作为目标。

9.根据权利要求7的汽车智能防炫目方法，其特征在于：步骤三中，计算目标距离，使用训练过的Haar分类器，找到驾驶员视线追踪部分拍摄的驾驶员两只眼睛的图像，将图像的中心点用两个摄像头进行距离检测，计算出眼睛的距离，根据眼睛的距离、眼睛在画面上的位置，计算出眼睛的位置；使用瞳孔角膜反射法计算出眼睛视线方向。

10.根据权利要求7至9之一的汽车智能防炫目方法，其特征在于：步骤二中，

识别车型使用SVM分类器，识别前训练分类器，使用多个SVM分类器，在系统使用前每个SVM分类器用一种汽车、各角度、遮盖不同的比例的图片提取特征训练SVM分类器；识别过程如下：

提取特征，提取目标的ORB特征；

使用目标特征用SVM进行识别；

无法识别出的光源是根据分析所有车型数据得到两侧远光灯的可能位置，是一个范围。