CN116653979B - 一种驾驶员视场范围光线追踪方法及dms系统 - Google Patents
一种驾驶员视场范围光线追踪方法及dms系统 Download PDFInfo
- Publication number
- CN116653979B CN116653979B CN202310638026.8A CN202310638026A CN116653979B CN 116653979 B CN116653979 B CN 116653979B CN 202310638026 A CN202310638026 A CN 202310638026A CN 116653979 B CN116653979 B CN 116653979B
- Authority
- CN
- China
- Prior art keywords
- driver
- time
- automobile
- visual
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008859 change Effects 0.000 claims abstract description 27
- 238000012806 monitoring device Methods 0.000 claims abstract description 9
- 230000004886 head movement Effects 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010005184 Blindness transient Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提出了一种驾驶员视场范围光线追踪方法及DMS系统，通过设置用于获取汽车周边的环境图像的车载全景摄像装置和用于获取所述驾驶员的实时头部图像的车内驾驶员监测装置，基于所述所述环境图像构建所述汽车周边的环境模型，调用光线追踪引擎在所述环境模型中对强光光源的光线进行追踪以生成所述强光光源的光线路径数据，将光线路径经过所述驾驶员的视场范围的强光光源确定为目标光源，预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化，在未来一段时间内任一所述目标光源的光线路径落入所述驾驶员的头部活动范围时发出强光预警，能够对环境光线变化情况进行精准追踪并在突发亮度变化之前向驾驶员提供预警信息。
Description
技术领域
本发明涉及驾驶员监测技术领域，特别涉及一种驾驶员视场范围光线追踪方法及DMS系统。
背景技术
汽车驾驶过程中，环境光线是影响驾驶员的驾驶状态的重要因素之一，由于车外环境复杂多变，汽车行驶过程中在建筑、植物以及外部强光光源等的综合影响下，驾驶员所处位置的的光线亮度经常发生非常大的变化，例如从建筑阴影区域进入到阳光直射区域，或者行驶进入对向汽车的远光灯照射区域等，亮度的大幅变化往往会使得驾驶员进入短暂的失明状态，从而危害到驾驶安全。由于环境亮度的大幅变化往往是短暂且突发的事件，需要驾驶员保持对环境变化情况的高度关注以预知这种情况，从而在环境亮度发生大幅变化前做出相应的应对行为，例如提前对周边路况进行全面观察以及时发现亮度变化带来的短暂失明会导致的潜在的危险情况，以及提前减速以避免车速过快在意外情况发生时来不及反应等等。否则，当驾驶员驾驶过程中不够专注或者对环境变化情况没有足够的关注时，突发的环境亮度变化有可能会使得驾驶员受到一定的惊吓从而引发不可预料的后果。目前的DMS(Driver Monitoring System，驾驶员监测系统)只能对驾驶员本身的行为和状态进行监测，无法对车外环境光线进行预测并为驾驶员提供提前的预警信息。
发明内容
本发明正是基于上述问题，提出了一种驾驶员视场范围光线追踪方法及DMS系统，能够对环境光线变化情况进行精准追踪并在突发亮度变化之前向驾驶员提供预警信息。
有鉴于此，本发明的第一方面提出了一种驾驶员视场范围光线追踪方法，包括：
通过车载全景摄像装置获取汽车周边的环境图像；
从所述环境图像中识别所述汽车周边的可视物体，所述可视物体为被所述全景摄像装置拍摄到整体或局部的物体；
基于所述环境图像生成所述汽车周边的可视物体的可视面低模，所述可视物体的可视面为以所述汽车所在位置为视点对应的所述可视物体的可视表面，所述可视面低模为所述可视物体的可视面的低精度模型；
使用所述汽车周边的可视物体的所述可视面低模组合构建所述汽车周边的环境模型；
根据所述可视物体的识别结果以及所述环境图像的色彩信息生成所述可视物体的可视面贴图；
对所述环境模型执行贴图处理；
将所述汽车周边的可视物体划分为强光光源以及非强光物体，所述强光光源为所述全景摄像装置拍摄到的亮度大于预设的亮度阈值的物体；
监测所述汽车以及所述可视物的运动状态，所述运动状态包括运动速度以及运动方向；
根据所述汽车以及所述可视物的运动状态更新所述环境模型；
调用光线追踪引擎在所述环境模型中对所述强光光源的光线进行追踪以生成所述强光光源的光线路径数据；
确定所述驾驶员的视场范围，所述视场范围为预设的标准视场范围或者根据所述驾驶员的头部的实时姿态确定的视场范围；
将光线路径经过所述驾驶员的视场范围的强光光源确定为目标光源；
基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化；
在未来一段时间内任一所述目标光源的光线路径落入所述驾驶员的头部活动范围时发出强光预警。
进一步的，在上述的驾驶员视场范围光线追踪方法中，通过车载全景摄像装置获取汽车周边的环境图像的步骤具体包括：
通过所述车载全景摄像装置中安装在所述汽车外部各个方位的摄像单元中的两个摄像头分别获取相应方位的第一图像和第二图像。
进一步的，在上述的驾驶员视场范围光线追踪方法中，基于所述环境图像生成所述汽车周边的可视物体的可视面低模的步骤具体包括：
基于所述环境图像生成每个可视物体的可视面轮廓；
根据所述第一图像和所述第二图像的视角差计算每个可视物体的可视面内部各个像素点处与所述汽车的距离；
根据所述可视面内部各个像素点处与所述汽车的距离在所述可视面轮廓内进行填充以构建所述可视物体的可视面低模。
进一步的，在上述的驾驶员视场范围光线追踪方法中，根据所述可视物体的识别结果以及所述环境图像的色彩信息生成所述可视物体的可视面贴图的步骤具体包括：
从所述环境图像上提取所述可视物体的可视面的颜色信息；
根据所述可视物体的可视面上不同区域的颜色差异将所述可视物体的可视面划分为多个局部区域；
根据所述可视物体的识别结果匹配所述可视物体的各个局部区域的材质；
根据所述局部区域的材质和颜色生成各个局部区域的局部贴图；
使用所述局部贴图组合生成所述可视物体的可视面贴图。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在确定所述驾驶员的视场范围的步骤之后，还包括：
获取所述驾驶员的实时头部图像；
基于所述实时头部图像计算并记录所述驾驶员的头部的实时位置，所述驾驶员的头部的实时位置为所述驾驶员的头部的定位基点的实时坐标；
获取所述汽车的起步时间和启动时间，所述起步时间为所述汽车的最近一次从停止状态变为行进状态的时间，所述启动时间为所述汽车的最近一次打开汽车电源的时间；
在预测未来一段时间内所述强光光源的光线路径变化后，计算所述起步时间与当前时间的第一时间差以及所述启动时间与当前时间的第二时间差；
判断所述第一时间差是否大于预设的统计时间阈值；
当所述第一时间差大于预设的统计时间阈值时，将第一时间差确定为头部活动范围统计时长；
当所述第一时间差小于预设的统计时间阈值时，判断所述第二时间差是否大于预设的统计时间阈值；
当所述第一时间差小于预设的统计时间阈值且所述第二时间差大于预设的统计时间阈值时，将第二时间差确定为头部活动范围统计时长；
获取在所述当前时间之前所述头部活动范围统计时长内的所述驾驶员的头部的实时位置记录数据；
对所述实时位置记录数据进行分析得到所述驾驶员的头部活动范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，所述驾驶员的头部的定位基点为所述驾驶员的双眼中心点连线的中点，对所述实时位置记录数据进行分析得到所述驾驶员的头部活动范围的步骤具体包括：
基于所述驾驶员的实时头部图像确定所述驾驶员头部的尺寸；
根据所述实时位置记录数据中各个实时位置的坐标在空间坐标系中的分布确定外围实时位置的坐标点；
基于所述驾驶员头部的尺寸以及所述外围实时位置的坐标点计算所述驾驶员的头部活动范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在判断所述第二时间差是否大于预设的统计时间阈值的步骤之后，还包括：
当所述第一时间差和所述第二时间差均小于预设的统计时间阈值时，获取预先配置的头部标准活动距离，所述头部标准活动距离为驾驶员在正常驾驶行为中发生头部运动时其定位基点与在驾驶位上以标准坐姿端坐不动时的定位基点的最大距离；
获取对应所述当前时间的所述驾驶员的实时头部图像；
基于所述实时头部图像计算所述驾驶员的头部的实时位置；
将以所述实时位置为中心以所述头部标准活动距离为半径的范围确定为所述驾驶员的头部活动范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化的步骤之前，还包括：
获取所述汽车前方的行驶路径的路况数据；
基于所述路况数据、所述汽车的当前的行驶状态以及驾驶员的驾驶习惯判断所述汽车的行驶状态是否即将发生变化，所述汽车的行驶状态包括所述汽车的行驶方向和行驶速度；
当所述汽车的行驶状态发生变化时，确定所述汽车的行驶状态发生变化的时间点；
将所述汽车的行驶状态发生变化的时间点与当前时间之间的时间差确定为所述的未来一段时间。
进一步的，在上述的驾驶员视场范围光线追踪方法中，所述路况数据包括导航路况数据，获取汽车前方行驶路径的路况数据的步骤具体包括：
从车载导航系统中读取所述汽车的导航数据，所述导航数据包括所述汽车前方的行驶路径以及所述汽车前方的行驶路径的路况数据；
从所述汽车前方的行驶路径中获取影响所述汽车行驶状态的路径数据，所述影响所述汽车行驶状态的路径数据包括下一个道路交汇路口的距离、下一个红绿灯的距离、切换行驶道路的拐角的距离；
从所述路况数据中获取影响所述汽车行驶状态的路况数据，所述影响所述汽车行驶状态的路况数据包括道路拥堵数据、道路施工数据。
本发明的第二方面提出了一种DMS系统，包括用于获取汽车周边的环境图像的车载全景摄像装置和用于获取所述驾驶员的实时头部图像的车内驾驶员监测装置，所述车载全景摄像装置包括车前摄像单元、车后摄像单元、左侧摄像单元、右侧摄像单元以及车顶摄像单元，所述车载全景摄像装置的每一个摄像单元均包括至少两个安装距离大于0.5米的摄像头，所述DMS系统还包括存储器和与所述全景摄像装置、所述车内驾驶员监测装置、所述存储器连接的处理器，所述处理器被配置为执行所述存储器存储的计算机程序实现本发明第一方面任一项所述的驾驶员视场范围光线追踪方法。
本发明提出了一种驾驶员视场范围光线追踪方法及DMS系统，通过设置用于获取汽车周边的环境图像的车载全景摄像装置和用于获取所述驾驶员的实时头部图像的车内驾驶员监测装置，基于所述所述环境图像构建所述汽车周边的环境模型，调用光线追踪引擎在所述环境模型中对强光光源的光线进行追踪以生成所述强光光源的光线路径数据，将光线路径经过所述驾驶员的视场范围的强光光源确定为目标光源，预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化，在未来一段时间内任一所述目标光源的光线路径落入所述驾驶员的头部活动范围时发出强光预警，能够对环境光线变化情况进行精准追踪并在突发亮度变化之前向驾驶员提供预警信息。
附图说明
图1是本发明一个实施例提供的一种驾驶员视场范围光线追踪方法的流程图；
图2是本发明一个实施例提供的一种DMS系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本说明书的描述中，术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
下面参照附图来描述根据本发明一些实施方式提供的一种驾驶员视场范围光线追踪方法及DMS系统。
如图1所示，本发明的第一方面提出了一种驾驶员视场范围光线追踪方法，包括：
通过车载全景摄像装置获取汽车周边的环境图像；
从所述环境图像中识别所述汽车周边的可视物体，所述可视物体为被所述全景摄像装置拍摄到整体或局部的物体；
基于所述环境图像生成所述汽车周边的可视物体的可视面低模，所述可视物体的可视面为以所述汽车所在位置为视点对应的所述可视物体的可视表面，所述可视面低模为所述可视物体的可视面的低精度模型；
使用所述汽车周边的可视物体的所述可视面低模组合构建所述汽车周边的环境模型；
根据所述可视物体的识别结果以及所述环境图像的色彩信息生成所述可视物体的可视面贴图；
对所述环境模型执行贴图处理；
将所述汽车周边的可视物体划分为强光光源以及非强光物体，所述强光光源为所述全景摄像装置拍摄到的亮度大于预设的亮度阈值的物体；
监测所述汽车以及所述可视物的运动状态，所述运动状态包括运动速度以及运动方向；
根据所述汽车以及所述可视物的运动状态更新所述环境模型；
调用光线追踪引擎在所述环境模型中对所述强光光源的光线进行追踪以生成所述强光光源的光线路径数据；
确定所述驾驶员的视场范围，所述视场范围为预设的标准视场范围或者根据所述驾驶员的头部的实时姿态确定的视场范围；
将光线路径经过所述驾驶员的视场范围的强光光源确定为目标光源；
基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化；
在未来一段时间内任一所述目标光源的光线路径落入所述驾驶员的头部活动范围时发出强光预警。
具体的，所述汽车周边的可视物体包括建筑、植物、行人、交通工具，所述建筑包括房屋、天桥、隧道。所述强光光源包括直接光源和间接光源，所述直接光源为自发光光源，所述间接光源为反射所述直接光源的亮度大于所述预设的亮度阈值的高反射率物体。所述强光光源包括太阳、路灯、车灯、天空。例如，当汽车即将从低亮度环境如隧道内部行驶出来时，所述车载全景摄像装置所拍摄到的隧道口的天空的亮度会大于所述预设的亮度阈值。
进一步的，在上述的驾驶员视场范围光线追踪方法中，确定所述驾驶员的视场范围的步骤具体包括：
通过所述汽车的车内驾驶员监测装置获取所述驾驶员的实时头部图像；
基于所述实时头部图像确定所述驾驶员的头部的实时姿态；
根据所述驾驶员的头部的实时姿态确定所述驾驶员的视线方向；
根据所述汽车的位置以及所述驾驶员的的视线方向在所述环境模型中确定所述驾驶员的视场范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，通过车载全景摄像装置获取汽车周边的环境图像的步骤具体包括：
通过所述车载全景摄像装置中安装在所述汽车外部各个方位的摄像单元中的两个摄像头分别获取相应方位的第一图像和第二图像。
进一步的，在上述的驾驶员视场范围光线追踪方法中，基于所述环境图像生成所述汽车周边的可视物体的可视面低模的步骤具体包括：
基于所述环境图像生成每个可视物体的可视面轮廓；
根据所述第一图像和所述第二图像的视角差计算每个可视物体的可视面内部各个像素点处与所述汽车的距离；
根据所述可视面内部各个像素点处与所述汽车的距离在所述可视面轮廓内进行填充以构建所述可视物体的可视面低模。
进一步的，在上述的驾驶员视场范围光线追踪方法中，根据所述可视物体的识别结果以及所述环境图像的色彩信息生成所述可视物体的可视面贴图的步骤具体包括：
从所述环境图像上提取所述可视物体的可视面的颜色信息；
根据所述可视物体的可视面上不同区域的颜色差异将所述可视物体的可视面划分为多个局部区域；
根据所述可视物体的识别结果匹配所述可视物体的各个局部区域的材质；
根据所述局部区域的材质和颜色生成各个局部区域的局部贴图；
使用所述局部贴图组合生成所述可视物体的可视面贴图。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在确定所述驾驶员的视场范围的步骤之后，还包括：
获取所述驾驶员的实时头部图像；
基于所述实时头部图像计算并记录所述驾驶员的头部的实时位置，所述驾驶员的头部的实时位置为所述驾驶员的头部的定位基点的实时坐标；
获取所述汽车的起步时间和启动时间，所述起步时间为所述汽车的最近一次从停止状态变为行进状态的时间，所述启动时间为所述汽车的最近一次打开汽车电源的时间；
在预测未来一段时间内所述强光光源的光线路径变化后，计算所述起步时间与当前时间的第一时间差以及所述启动时间与当前时间的第二时间差；
判断所述第一时间差是否大于预设的统计时间阈值；
当所述第一时间差大于预设的统计时间阈值时，将第一时间差确定为头部活动范围统计时长；
当所述第一时间差小于预设的统计时间阈值时，判断所述第二时间差是否大于预设的统计时间阈值；
当所述第一时间差小于预设的统计时间阈值且所述第二时间差大于预设的统计时间阈值时，将第二时间差确定为头部活动范围统计时长；
获取在所述当前时间之前所述头部活动范围统计时长内的所述驾驶员的头部的实时位置记录数据；
对所述实时位置记录数据进行分析得到所述驾驶员的头部活动范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，所述驾驶员的头部的定位基点为所述驾驶员的双眼中心点连线的中点，对所述实时位置记录数据进行分析得到所述驾驶员的头部活动范围的步骤具体包括：
基于所述驾驶员的实时头部图像确定所述驾驶员头部的尺寸；
根据所述实时位置记录数据中各个实时位置的坐标在空间坐标系中的分布确定外围实时位置的坐标点；
基于所述驾驶员头部的尺寸以及所述外围实时位置的坐标点计算所述驾驶员的头部活动范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在判断所述第二时间差是否大于预设的统计时间阈值的步骤之后，还包括：
当所述第一时间差和所述第二时间差均小于预设的统计时间阈值时，获取预先配置的头部标准活动距离，所述头部标准活动距离为驾驶员在正常驾驶行为中发生头部运动时其定位基点与在驾驶位上以标准坐姿端坐不动时的定位基点的最大距离；
获取对应所述当前时间的所述驾驶员的实时头部图像；
基于所述实时头部图像计算所述驾驶员的头部的实时位置；
将以所述实时位置为中心以所述头部标准活动距离为半径的范围确定为所述驾驶员的头部活动范围。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化的步骤之前，还包括：
获取所述汽车前方的行驶路径的路况数据；
基于所述路况数据、所述汽车的当前的行驶状态以及驾驶员的驾驶习惯判断所述汽车的行驶状态是否即将发生变化，所述汽车的行驶状态包括所述汽车的行驶方向和行驶速度；
当所述汽车的行驶状态发生变化时，确定所述汽车的行驶状态发生变化的时间点；
将所述汽车的行驶状态发生变化的时间点与当前时间之间的时间差确定为所述的未来一段时间。
进一步的，在上述的驾驶员视场范围光线追踪方法中，所述路况数据包括实景路况数据，获取汽车前方行驶路径的路况数据的步骤具体包括：
通过所述车载全景摄像装置获取所述汽车前方的实景路况数据，所述汽车前方的实景路况数据包括行人、汽车以及障碍物的位置、大小和速度数据。
进一步的，在上述的驾驶员视场范围光线追踪方法中，所述路况数据包括导航路况数据，获取汽车前方行驶路径的路况数据的步骤具体包括：
从车载导航系统中读取所述汽车的导航数据，所述导航数据包括所述汽车前方的行驶路径以及所述汽车前方的行驶路径的路况数据；
从所述汽车前方的行驶路径中获取影响所述汽车行驶状态的路径数据，所述影响所述汽车行驶状态的路径数据包括下一个道路交汇路口的距离、下一个红绿灯的距离、切换行驶道路的拐角的距离；
从所述路况数据中获取影响所述汽车行驶状态的路况数据，所述影响所述汽车行驶状态的路况数据包括道路拥堵数据、道路施工数据。
进一步的，在上述的驾驶员视场范围光线追踪方法中，在确定所述汽车的行驶状态发生变化的时间点的步骤之后，还包括：
当所述汽车的行驶状态发生变化的时间点与当前时间之间的时间差小于预设的时间阈值时，不执行基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化的步骤；
返回执行监测所述汽车以及所述可视物的运动状态的步骤。
如图2所示，本发明的第二方面提出了一种DMS系统，包括用于获取汽车周边的环境图像的车载全景摄像装置和用于获取所述驾驶员的实时头部图像的车内驾驶员监测装置，所述车载全景摄像装置包括车前摄像单元、车后摄像单元、左侧摄像单元、右侧摄像单元以及车顶摄像单元，所述车载全景摄像装置的每一个摄像单元均包括至少两个安装距离大于0.5米的摄像头，所述DMS系统还包括存储器和与所述全景摄像装置、所述车内驾驶员监测装置、所述存储器连接的处理器，所述处理器被配置为执行所述存储器存储的计算机程序实现本发明第一方面任一项所述的驾驶员视场范围光线追踪方法。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.一种驾驶员视场范围光线追踪方法，其特征在于，包括：
通过车载全景摄像装置获取汽车周边的环境图像；
从所述环境图像中识别所述汽车周边的可视物体，所述可视物体为被所述全景摄像装置拍摄到整体或局部的物体；
基于所述环境图像生成所述汽车周边的可视物体的可视面低模，所述可视物体的可视面为以所述汽车所在位置为视点对应的所述可视物体的可视表面，所述可视面低模为所述可视物体的可视面的低精度模型；
使用所述汽车周边的可视物体的所述可视面低模组合构建所述汽车周边的环境模型；
根据所述可视物体的识别结果以及所述环境图像的色彩信息生成所述可视物体的可视面贴图；
对所述环境模型执行贴图处理；
将所述汽车周边的可视物体划分为强光光源以及非强光物体，所述强光光源为所述全景摄像装置拍摄到的亮度大于预设的亮度阈值的物体；
监测所述汽车以及所述可视物的运动状态，所述运动状态包括运动速度以及运动方向；
根据所述汽车以及所述可视物的运动状态更新所述环境模型；
调用光线追踪引擎在所述环境模型中对所述强光光源的光线进行追踪以生成所述强光光源的光线路径数据；
确定所述驾驶员的视场范围，所述视场范围为预设的标准视场范围或者根据所述驾驶员的头部的实时姿态确定的视场范围；
将光线路径经过所述驾驶员的视场范围的强光光源确定为目标光源；
基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化；
在未来一段时间内任一所述目标光源的光线路径落入所述驾驶员的头部活动范围时发出强光预警；
在确定所述驾驶员的视场范围的步骤之后，还包括：
获取所述驾驶员的实时头部图像；
基于所述实时头部图像计算并记录所述驾驶员的头部的实时位置，所述驾驶员的头部的实时位置为所述驾驶员的头部的定位基点的实时坐标；
获取所述汽车的起步时间和启动时间，所述起步时间为所述汽车的最近一次从停止状态变为行进状态的时间，所述启动时间为所述汽车的最近一次打开汽车电源的时间；
在预测未来一段时间内所述强光光源的光线路径变化后，计算所述起步时间与当前时间的第一时间差以及所述启动时间与当前时间的第二时间差；
判断所述第一时间差是否大于预设的统计时间阈值；
当所述第一时间差大于预设的统计时间阈值时，将第一时间差确定为头部活动范围统计时长；
当所述第一时间差小于预设的统计时间阈值时，判断所述第二时间差是否大于预设的统计时间阈值；
当所述第一时间差小于预设的统计时间阈值且所述第二时间差大于预设的统计时间阈值时，将第二时间差确定为头部活动范围统计时长；
获取在所述当前时间之前所述头部活动范围统计时长内的所述驾驶员的头部的实时位置记录数据；
对所述实时位置记录数据进行分析得到所述驾驶员的头部活动范围。
2.根据权利要求1所述的驾驶员视场范围光线追踪方法，其特征在于，通过车载全景摄像装置获取汽车周边的环境图像的步骤具体包括：
通过所述车载全景摄像装置中安装在所述汽车外部各个方位的摄像单元中的两个摄像头分别获取相应方位的第一图像和第二图像。
3.根据权利要求2所述的驾驶员视场范围光线追踪方法，其特征在于，基于所述环境图像生成所述汽车周边的可视物体的可视面低模的步骤具体包括：
基于所述环境图像生成每个可视物体的可视面轮廓；
根据所述第一图像和所述第二图像的视角差计算每个可视物体的可视面内部各个像素点处与所述汽车的距离；
根据所述可视面内部各个像素点处与所述汽车的距离在所述可视面轮廓内进行填充以构建所述可视物体的可视面低模。
4.根据权利要求3所述的驾驶员视场范围光线追踪方法，其特征在于，根据所述可视物体的识别结果以及所述环境图像的色彩信息生成所述可视物体的可视面贴图的步骤具体包括：
从所述环境图像上提取所述可视物体的可视面的颜色信息；
根据所述可视物体的可视面上不同区域的颜色差异将所述可视物体的可视面划分为多个局部区域；
根据所述可视物体的识别结果匹配所述可视物体的各个局部区域的材质；
根据所述局部区域的材质和颜色生成各个局部区域的局部贴图；
使用所述局部贴图组合生成所述可视物体的可视面贴图。
5.根据权利要求1所述的驾驶员视场范围光线追踪方法，其特征在于，所述驾驶员的头部的定位基点为所述驾驶员的双眼中心点连线的中点，对所述实时位置记录数据进行分析得到所述驾驶员的头部活动范围的步骤具体包括：
基于所述驾驶员的实时头部图像确定所述驾驶员头部的尺寸；
根据所述实时位置记录数据中各个实时位置的坐标在空间坐标系中的分布确定外围实时位置的坐标点；
基于所述驾驶员头部的尺寸以及所述外围实时位置的坐标点计算所述驾驶员的头部活动范围。
6.根据权利要求1所述的驾驶员视场范围光线追踪方法，其特征在于，在判断所述第二时间差是否大于预设的统计时间阈值的步骤之后，还包括：
当所述第一时间差和所述第二时间差均小于预设的统计时间阈值时，获取预先配置的头部标准活动距离，所述头部标准活动距离为驾驶员在正常驾驶行为中发生头部运动时其定位基点与在驾驶位上以标准坐姿端坐不动时的定位基点的最大距离；
获取对应所述当前时间的所述驾驶员的实时头部图像；
基于所述实时头部图像计算所述驾驶员的头部的实时位置；
将以所述实时位置为中心以所述头部标准活动距离为半径的范围确定为所述驾驶员的头部活动范围。
7.根据权利要求1所述的驾驶员视场范围光线追踪方法，其特征在于，在基于所述汽车以及所述可视物的运动状态预测未来一段时间内所述目标光源在所述环境模型中的光线路径变化的步骤之前，还包括：
获取所述汽车前方的行驶路径的路况数据；
基于所述路况数据、所述汽车的当前的行驶状态以及驾驶员的驾驶习惯判断所述汽车的行驶状态是否即将发生变化，所述汽车的行驶状态包括所述汽车的行驶方向和行驶速度；
当所述汽车的行驶状态发生变化时，确定所述汽车的行驶状态发生变化的时间点；
将所述汽车的行驶状态发生变化的时间点与当前时间之间的时间差确定为所述的未来一段时间。
8.根据权利要求7所述的驾驶员视场范围光线追踪方法，其特征在于，所述路况数据包括导航路况数据，获取汽车前方行驶路径的路况数据的步骤具体包括：
从车载导航系统中读取所述汽车的导航数据，所述导航数据包括所述汽车前方的行驶路径以及所述汽车前方的行驶路径的路况数据；
从所述汽车前方的行驶路径中获取影响所述汽车行驶状态的路径数据，所述影响所述汽车行驶状态的路径数据包括下一个道路交汇路口的距离、下一个红绿灯的距离、切换行驶道路的拐角的距离；
从所述路况数据中获取影响所述汽车行驶状态的路况数据，所述影响所述汽车行驶状态的路况数据包括道路拥堵数据、道路施工数据。
9.一种DMS系统，其特征在于，包括用于获取汽车周边的环境图像的车载全景摄像装置和用于获取所述驾驶员的实时头部图像的车内驾驶员监测装置，所述车载全景摄像装置包括车前摄像单元、车后摄像单元、左侧摄像单元、右侧摄像单元以及车顶摄像单元，所述车载全景摄像装置的每一个摄像单元均包括至少两个安装距离大于0.5米的摄像头，所述DMS系统还包括存储器和与所述全景摄像装置、所述车内驾驶员监测装置、所述存储器连接的处理器，所述处理器被配置为执行所述存储器存储的计算机程序实现如权利要求1-8任一项所述的驾驶员视场范围光线追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310638026.8A CN116653979B (zh) | 2023-05-31 | 2023-05-31 | 一种驾驶员视场范围光线追踪方法及dms系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310638026.8A CN116653979B (zh) | 2023-05-31 | 2023-05-31 | 一种驾驶员视场范围光线追踪方法及dms系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116653979A CN116653979A (zh) | 2023-08-29 |
| CN116653979B true CN116653979B (zh) | 2024-01-05 |
Family
ID=87725585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310638026.8A Active CN116653979B (zh) | 2023-05-31 | 2023-05-31 | 一种驾驶员视场范围光线追踪方法及dms系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116653979B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106585629A (zh) * | 2016-12-06 | 2017-04-26 | 广州市科恩电脑有限公司 | 一种车辆控制方法和装置 |
| DE102016118181A1 (de) * | 2016-09-27 | 2018-03-29 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bereitstellen einer Verhaltensinformation für zumindest eine Person, Fahrerassistenzsystem und Kraftfahrzeug |
| DE102017202496A1 (de) * | 2017-02-16 | 2018-08-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und System zur Vorhersage der Blendungswahrscheinlichkeit des Fahrers eines Fahrzeugs durch die Sonne |
| CN111497833A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | 驾驶员辅助系统及其控制方法 |
| CN111619324A (zh) * | 2019-02-28 | 2020-09-04 | 侯力宇 | 一种视线追踪汽车智能防炫目方法及系统 |
| CN113056390A (zh) * | 2018-06-26 | 2021-06-29 | 伊泰·卡茨 | 情境驾驶员监控系统 |
| CN114834457A (zh) * | 2022-05-24 | 2022-08-02 | 国汽智控(北京)科技有限公司 | 驾驶员状态的检测方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102619558B1 (ko) * | 2018-11-16 | 2024-01-02 | 현대모비스 주식회사 | 자율주행차의 제어시스템 및 그 제어방법 |
| US11741718B2 (en) * | 2021-05-18 | 2023-08-29 | Hitachi Astemo, Ltd. | Light interference detection during vehicle navigation |
-
2023
- 2023-05-31 CN CN202310638026.8A patent/CN116653979B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016118181A1 (de) * | 2016-09-27 | 2018-03-29 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bereitstellen einer Verhaltensinformation für zumindest eine Person, Fahrerassistenzsystem und Kraftfahrzeug |
| CN106585629A (zh) * | 2016-12-06 | 2017-04-26 | 广州市科恩电脑有限公司 | 一种车辆控制方法和装置 |
| DE102017202496A1 (de) * | 2017-02-16 | 2018-08-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und System zur Vorhersage der Blendungswahrscheinlichkeit des Fahrers eines Fahrzeugs durch die Sonne |
| CN113056390A (zh) * | 2018-06-26 | 2021-06-29 | 伊泰·卡茨 | 情境驾驶员监控系统 |
| CN111497833A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | 驾驶员辅助系统及其控制方法 |
| CN111619324A (zh) * | 2019-02-28 | 2020-09-04 | 侯力宇 | 一种视线追踪汽车智能防炫目方法及系统 |
| CN114834457A (zh) * | 2022-05-24 | 2022-08-02 | 国汽智控(北京)科技有限公司 | 驾驶员状态的检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116653979A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107031656B (zh) | 用于车轮止动器检测的虚拟传感器数据生成 | |
| US11397242B1 (en) | 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds | |
| CN108305475B (zh) | 一种交通灯识别方法及装置 | |
| US11760313B2 (en) | Sensor pod cleaning system | |
| US8229162B2 (en) | Graphic recognition device, graphic recognition method, and graphic recognition program | |
| US10849543B2 (en) | Focus-based tagging of sensor data | |
| CN109949439B (zh) | 行车实景信息标注方法、装置、电子设备和介质 | |
| KR101534056B1 (ko) | 교통 신호 맵핑 및 검출 | |
| CN111238494A (zh) | 载具、载具定位系统及载具定位方法 | |
| US11353590B2 (en) | Sensor pod calibration | |
| US11305724B2 (en) | Pedestrian protection system for sensor pods | |
| US11953623B2 (en) | Sensor pod assembly | |
| JP6962604B2 (ja) | 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置 | |
| US11623585B2 (en) | Sensor pod coverage and placement on vehicle | |
| CN105684039B (zh) | 用于驾驶员辅助系统的状况分析 | |
| US20230138084A1 (en) | Sensor optimization | |
| KR20190067366A (ko) | 차량 및 그 제어 방법 | |
| CN110751693A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN113459951A (zh) | 车外环境显示方法和装置、车辆、设备和存储介质 | |
| CN116653979B (zh) | 一种驾驶员视场范围光线追踪方法及dms系统 | |
| US11435191B2 (en) | Method and device for determining a highly precise position and for operating an automated vehicle | |
| CN110727269A (zh) | 车辆控制方法及相关产品 | |
| CN114677658A (zh) | 十亿像素动态大场景图像采集和多目标检测方法及装置 | |
| JP2023524233A (ja) | センサポッドアセンブリ | |
| US20220284550A1 (en) | System and method for increasing sharpness of image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |