CN116749881A - 视野盲区补偿方法及系统、存储介质 - Google Patents
视野盲区补偿方法及系统、存储介质 Download PDFInfo
- Publication number
- CN116749881A CN116749881A CN202310890681.2A CN202310890681A CN116749881A CN 116749881 A CN116749881 A CN 116749881A CN 202310890681 A CN202310890681 A CN 202310890681A CN 116749881 A CN116749881 A CN 116749881A
- Authority
- CN
- China
- Prior art keywords
- driver
- area
- image data
- blind area
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000000295 complement effect Effects 0.000 claims abstract description 32
- 239000013589 supplement Substances 0.000 claims abstract description 8
- 210000001508 eye Anatomy 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本申请实施例提供一种视野盲区补偿方法及系统、存储介质,所述视野盲区补偿方法包括:获取内部检测装置采集的驾驶员位姿信息,根据驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区;获取外部视觉装置采集的包括车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据,从行驶场景图像数据中,截取与当前视野盲区对应的补盲区域图像数据;将补盲区域图像数据显示于位于车辆目标部位处的显示屏;根据驾驶员位姿信息,确定驾驶员看向车辆目标部位时的视线方向,根据视线方向控制显示屏转动,使显示屏显示的补盲区域图像数据与驾驶员自然视野互补,盲区影像与驾驶员自然视野形成整体连贯的驾驶员视野。
Description
技术领域
本申请涉及图像技术领域,尤其是涉及一种视野盲区补偿方法及装置、及计算机可读存储介质。
背景技术
目前,车辆已成为人们不可或缺的交通工具,行车安全和舒适性一直是车辆行业追求的目标,车辆A柱是驾驶员左前方和右前方的柱子,连接车棚和车身的柱子,承担着部分车辆的载荷,假如当车辆发生碰撞时,A柱将承受相当一部分的冲击。A柱位于驾驶员视线的前方,在发动机舱和驾驶舱之间,左右后视镜的上方会遮挡用户的视线,尤其在车辆转弯以及进入弯道前,会造成驾驶员的视野盲区。现有技术中,有采用安装摄像头专用于拍摄A柱对应位置处的图像数据在车载系统内的显示屏进行显示的方式,然而,摄像头拍摄的是一个固定盲区范围内的图像数据,驾驶员用户通过显示屏来查看这个固定盲区范围内的图像数据时,与其看到的自然视野范围不能相互衔接,比如,同一个目标物体可能同时存在于自然视野范围和显示屏中显示的盲区范围内的图像数据中,从而导致驾驶员容易误判,导致驾驶安全风险。
此外,随着用户对汽车安全驾驶的意识越来越高,安全辅助驾驶上装量日益增大,原车没有安全辅助系统的存量车也希望可以购买后装的安全辅助驾驶设备,来给驾驶员辅助提醒告警,尽量减小事故发生,避免不必要的人身伤害和财产损失。但是目前后装的安全驾驶辅助设备虽设备尺寸大小不一,但都容易不同程度的遮挡了驾驶员视线,增加了视野盲区,这就给这些安装驾驶辅助设备的作用打了折扣。因此,不增加驾驶员盲区的安装驾驶辅助设备是用户所更加愿意安装的,也是用户的迫切需求。
发明内容
为解决现有存在的技术问题,本申请提供一种能够更加精准地确定驾驶员的视野盲区、对驾驶员的自然视野进行精准地互补式补盲视野部署的视野盲区补偿方法及系统、及计算机可读存储介质。
为达到上述目的,本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种视野盲区补偿方法,包括:
获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区;
获取外部视觉装置采集的包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据,从所述行驶场景图像数据中,截取与所述当前视野盲区对应的补盲区域图像数据;
将所述补盲区域图像数据显示于位于所述车辆目标部位处的显示屏;
根据所述驾驶员位姿信息,确定驾驶员看向所述车辆目标部位时的视线方向,根据所述视线方向控制所述显示屏转动,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
第二方面,本申请实施例提供一种视野盲区补偿系统,包括:
内部检测装置,装设于驾驶室舱内,用于采集驾驶员位姿信息;
外部视觉装置,装设于车辆目标部位的外侧,用于采集包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据;
主控装置,用于执行本申请任一实施例所述的视野盲区补偿方法;
显示屏,装设于车辆目标部位,用于在所述全视野模式下显示所述补盲区域图像数据。
第三方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如本申请任一实施例所述的视野盲区补偿方法。
上述实施例中,视野盲区补偿方法通过以能够对驾驶员的视野造成遮挡的车辆部位为车辆目标部位,获取驾驶员位姿信息,根据驾驶员位姿信息针对性地为驾驶员确定车辆目标部位造成的当前视野盲区,实时采集车辆行驶过程中的行驶场景图像数据,从行驶场景图像数据中截取与当前视野盲区对应的补盲区域图像数据,通过装设于车辆目标部位处的显示屏显示对应的补盲区域图像数据,根据驾驶员位姿信息相应控制显示屏转动,以确保显示屏的朝向与驾驶员的视线方向一致,使得显示屏中显示的补盲区域图像数据与驾驶员自然视野能够更加精准地互补,如此,不仅可以提升不同驾驶员、不同位姿状态下的当前视野盲区的精准性,而且使得驾驶员看向遮挡部位时,通过显示屏可以观看到与自然视野精准互补的盲区影像,实现了对驾驶员的自然视野进行精准地互补式补盲视野部署,达到盲区影像与驾驶员自然视野准确连贯的目的。
上述实施例中,视野盲区补偿系统及计算机可读存储介质与对应的视野盲区补偿方法实施例属于同一构思,从而分别与对应的视野盲区补偿方法实施例具有相同的技术效果,在此不再赘述。
附图说明
图1为一实施例中视野盲区补偿方法的应用场景示意图;
图2为另一实施例中视野盲区补偿方法的应用场景示意图;
图3为又一实施例中视野盲区补偿方法的应用场景示意图;
图4为一实施例中视野盲区补偿方法的流程图;
图5为一实施例中当前视线区域、当前视野盲区的关系示意图;
图6为一实施例中显示屏的调节控制的流程图;
图7为一可选的具体示例视野盲区补偿系统的结构示意图;
图8为图7所示示例中视野盲区补偿方法的流程图;
图9为图7所示示例中盲区影像展示的示意图;
图10为一实施例中视野盲区补偿装置的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”的表述,其描述了所有可能实施例的子集,需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一、第二、第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
请参阅图1,为本申请实施例提供的视野盲区补偿方法的一可选应用场景的示意图,所述视野盲区补偿方法可应用于车辆,车辆包括主控装置10、装设于能够对驾驶员视野造成遮挡的车辆目标部位的显示屏11、与主控装置10连接的用于采集驾驶员位姿信息的内部检测装置14和用于采集行驶场景图像数据的外部视觉装置13。主控装置10可以是指车辆中车载控制器,可选的,内部检测装置14、外部视觉装置13和装设于车辆目标部位的显示屏11均可以是通过后装的方式安装于原本不具备视野盲区补偿功能的已知车辆上,与已知车辆的原有车载系统的车载控制器建立通信连接,通过车载控制器加载实现本申请实施例提供的视野盲区补偿方法的计算机程序,通过原有车载系统的车载显示屏显示供人机交互操作的应用程序界面,如,对全视野模式和后视模式进行切换的模式选择页面。后装的内部检测装置14、外部视觉装置13和装设于车辆目标部位的显示屏11与已知车辆的车载控制器,共同组成视野盲区补偿系统,实现对原本不具备视野盲区补偿功能的已知车辆的功能升级。
需要说明的是,视野盲区补偿系统采用后装于已知车辆来实现对原本不具备视野盲区补偿功能的已知车辆的功能升级的实现实例中,其中后装方式并不限于图1所示的方式,如,请参阅图2,对于已知车辆中原本设有可以采集驾驶员位姿信息的驾驶员监测系统的情况,则内部检测装置14可以共用已知车辆中原有的驾驶员监测系统,而不必采用后装的方式。又如,视野盲区补偿系统还可以是整体采用后装于已知车辆来实现对原本不具备视野盲区补偿功能的已知车辆的功能升级,如,请参阅图3,主控装置10为独立于车载控制器的另一主控制器,通过主控制器加载实现本申请实施例提供的视野盲区补偿方法的计算机程序,主控制器与内部检测装置14、外部视觉装置13和装设于车辆目标部位的显示屏11均通过后装的方式安装于原本不具备视野盲区补偿功能的已知车辆上,组成整体后装于已知车辆的视野盲区补偿系统。
视野盲区补偿系统中,通过主控装置10执行计算机程序来实现针对车辆目标部位遮挡造成的视野盲区的针对性盲区补偿,实时地根据驾驶员位姿信息计算车辆目标部位对其视野遮挡造成的当前视野盲区,截取能够与驾驶员自然视野精准互补的补盲区域图像数据作为盲区影像,将盲区影像显示于车辆目标部位处的显示屏11,使得车辆行驶中驾驶员看向车辆目标部位的方向时,显示屏11中的盲区影像可与驾驶员的自然视野共同形成连贯的、无盲区视角的驾驶员视野,方便驾驶员及时、直观地看到盲区内可能存在的风险,及时做出可以规避风险的驾驶操作。
请参阅图4,为本申请一实施例提供的视野盲区补偿方法,可以应用于图1至图3分别所示的视野盲区补偿系统。其中,视野盲区补偿方法包括如下步骤:
S101,获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区。
驾驶员位姿信息,是指能够表征驾驶员位置、姿态的相关信息。其中,内部检测装置,可以是指车辆中原有的可以获得驾驶员位姿信息的驾驶员监测系统,驾驶员监测系统可以实时采集驾驶员图像数据来分析驾驶员疲劳状态,减少驾驶员疲劳驾驶的潜在危害。本实施例中,可以获取驾驶员监测系统采集的驾驶员图像数据,以采集到的驾驶员图像数据作为驾驶员位姿信息,通过对驾驶员图像数据的分析,识别驾驶员面部、眼部在图像中的位置、轮廓,利用驾驶员面部、眼部的像素位置、轮廓信息结合相机参数来计算驾驶员在世界坐标系下的位置、姿态。可选的,内部检测装置,也可以是指后装于车辆驾驶室内指定位置的内部视觉装置,通过内部视觉装置采集驾驶员图像数据作为驾驶员位姿信息。可选的,内部检测装置,还可以是指由多个不同类型的传感器组成的检测装置,如包括设于驾驶座的位垫处的压力传感器、设于靠背处的压力传感器、设于头枕处的红外传感器、距离传感器等,以多个传感器的检测信息作为驾驶员位姿信息,用于分析确定驾驶员驾驶车辆过程中实时的位置、姿态。
当前视野盲区,是指根据实时采集到的驾驶员位姿信息确定驾驶员当前的位置、姿态后,在驾驶员在相应的位置、姿态下,驾驶员看向车辆目标部位的方向时由于车辆目标部位遮挡造成的视野盲区。其中,不同身高的驾驶员驾驶同一车辆时,看向车辆目标部位的方向时,该车辆目标部位对驾驶员造成的视野盲区范围通常不同;同一驾驶员调整驾驶座位后,看向车辆目标部位的方向时,该车辆目标部位遮挡造成的视野盲区范围通常也不同;或者,同一驾驶员保持不同坐姿驾驶车辆时,看向车辆目标部位的方向时,该车辆目标部位遮挡造成的视野盲区范围通常也不同;相应的,通过内部检测装置采集实时的驾驶员位姿信息,根据驾驶员位姿信息确定车辆目标部位对驾驶员视野遮挡造成的当前视野盲区,如此,得到的当前视野盲区能够与当前驾驶员的位姿状态准确匹配。
车辆目标部位,可以是对驾驶员驾驶车辆的过程中,造成视野遮挡的任意车辆部位,如驾驶室前方的A柱。车辆目标部位可以包括多个,可选的,针对每一车辆目标部位处可以分别装设显示屏,通过各显示屏分别显示该对应的车辆目标部位对驾驶员视野造成遮挡的盲区影像。如,驾驶室前方的左、右两侧的A柱处分别装设有显示屏,左侧A柱处的显示屏相应显示左侧A柱对驾驶员视野遮挡造成的左侧盲区影像,右侧A柱处的显示屏相应显示右侧A柱对驾驶员视野遮挡造成的右侧盲区影像。
需要说明的是,影响车辆目标部位对驾驶员造成的视野盲区不同的条件可以有多个,在一可选的实施例中,结合不同驾驶员的个人习惯差异,导致影响不同驾驶员的视野盲区不同的条件变化的情况不同,在兼顾视野盲区的精准性和主控装置的计算效率的情况下,所述根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区,还包括根据实时采集到的驾驶员位姿信息,初次确定当前视野盲区后,设置在连续驾驶过程中对所述当前视野盲区进行更新的条件。针对当前视野盲区进行更新的条件可以是,根据实时采集到的驾驶员位姿信息计算确定出驾驶员的位姿状态后,判断当前位姿状态相对于参考位姿状态的变化是否超过了预设阈值、且保持当前位姿状态的时长是否满足预设时长,若是,则根据当前位姿状态重新计算确定车辆目标部位遮挡造成的当前视野区域,更新当前视野区域,若否,则仍以上一次确定的车辆目标部位遮挡造成的当前视野区域为准。
可选的,视野盲区补偿方法,还包括提供可供用户选择开启或关闭的全视野模式,在用户选择对全视野模式开启的情况下,则启动视野盲区的补偿。全视野模式,即指视野盲区补偿系统通过执行盲区视野补偿方法,将能够与驾驶员自然视野精准互补的补盲区域图像数据作为盲区影像显示于车辆目标部位处的显示屏的工作模式。
S103,获取外部视觉装置采集的包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据,从所述行驶场景图像数据中,截取与所述当前视野盲区对应的补盲区域图像数据。
行驶场景图像数据,是指车辆在行驶过程中影响车辆驾驶安全性的环境相关的图像数据。行驶场景通常是以车辆当前位置为中心的预设区域范围内构成的场景。其中,通过对所述外部视觉装置的安装位置、拍摄角度和拍摄范围的设置,使得外部视觉装置采集的行驶场景图像数据至少包括车辆目标部位对应行驶方向上的图像数据,以确保后续可以针对于不同的当前视野盲区均可以从中截取到对应的补盲区域图像数据作为盲区影像。
S105,将所述补盲区域图像数据显示于位于所述车辆目标部位处的显示屏。
显示屏装设于车辆目标部位处,也即装设于对驾驶员的视野造成遮挡的部位处。将基于驾驶员位姿信息实时确定的当前视野盲区,从行驶场景图像数据中截取得到的对应的补盲区域图像数据显示于所述显示屏,使得驾驶员看向车辆目标部位时,即看到原本由该车辆目标部位遮挡造成的盲区内的影像,显示屏内显示的盲区影像与驾驶员的自然视野连贯,共同限定形成一副无盲区且无重叠的整体驾驶员视野。
S107,根据所述驾驶员位姿信息,确定驾驶员看向所述车辆目标部位时的视线方向,根据所述视线方向控制所述显示屏转动,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
车辆目标部位处的显示屏,设置为可转动地装设于车辆目标部位。不同身高的驾驶员、驾驶员在驾驶过程中坐的位置不同、和/或驾驶员在驾驶过程中保持的姿态不同的情况下,驾驶员看向车辆目标部位的视线方向往往不同,本申请实施例中,根据驾驶员位姿信息控制显示屏转动,使得显示屏的朝向能够与驾驶员的视线方向匹配,使得显示屏显示的补盲区域图像数据与驾驶员自然视野互补,进一步确保驾驶员看向车辆目标部位时显示屏内显示的盲区影像与驾驶员的自然视野连贯,共同构成一副无盲区且无重叠的整体驾驶员视野。
上述实施例中,视野盲区补偿方法以能够对驾驶员的视野造成遮挡的车辆部位为车辆目标部位,获取驾驶员位姿信息,根据驾驶员位姿信息针对性地为驾驶员确定车辆目标部位造成的当前视野盲区,实时采集车辆行驶过程中的行驶场景图像数据,从行驶场景图像数据中截取与当前视野盲区对应的补盲区域图像数据,并通过装设于车辆目标部位处的显示屏显示对应的补盲区域图像数据,根据驾驶员位姿信息相应控制显示屏转动,以确保显示屏的朝向与驾驶员的视线方向一致,使得显示屏中显示的补盲区域图像数据与驾驶员自然视野能够更加精准地互补,如此,不仅可以提升不同驾驶员、不同位姿状态下的当前视野盲区确定的精准性,而且使得驾驶员看向遮挡部位时,通过显示屏可以观看到与自然视野精准互补的盲区影像,实现了对驾驶员的自然视野进行精准地互补式补盲视野部署,达到盲区影像与驾驶员自然视野准确连贯的目的。
在一些实施例中,所述获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区,包括:
获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定驾驶员的当前视线区域,根据所述车辆目标部位在当前视线区域内的位置确定所述车辆目标部位遮挡造成的当前视野盲区。
以车辆作为参考对象,在确定车辆目标部位对驾驶员视野遮挡造成的当前视野盲区的计算方法中,车辆目标部位的位置、尺寸等均可视为固定的已知参数,采集驾驶员位姿信息的内部检测装置的位置、采集姿态等采集参数也均可视为固定的已知参数,影响驾驶员的视野盲区不同的变量参数主要考虑不同身高的驾驶员、驾驶员在驾驶过程中坐的位置不同、和/或驾驶员在驾驶过程中保持的姿态不同的情况下,驾驶员的当前视线区域不同,通过实时采集到的驾驶员位姿信息,确定出驾驶员对应的当前视野区域后,再根据车辆目标部位在当前视线区域内的位置,可以准确地确定出车辆目标部位对当前驾驶员视野的遮挡造成的当前视野盲区。
可选的,所述内部检测装置包括内部视觉传感器;所述获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定驾驶员的当前视线区域,根据所述车辆目标部位在当前视线区域内的位置确定所述车辆目标部位遮挡造成的当前视野盲区,包括:
获取所述内部视觉传感器采集到的驾驶员图像数据,对所述驾驶员图像数据进行分析,识别驾驶员面部和眼部在所述驾驶员图像数据中的像素坐标,根据所述像素坐标及所述内部视觉传感器的拍摄姿态参数,确定驾驶员坐姿及驾驶员眼部的世界坐标;
根据所述驾驶员坐姿及所述驾驶员眼部的世界坐标,确定驾驶员的当前视线区域;以及根据所述车辆目标部位与驾驶员眼部之间的相对位置关系,确定所述车辆目标部位在所述当前视线区域内遮挡造成的当前视野盲区。
内部视觉传感器在车辆驾驶室内的安装位置、采集姿态等的设置,以能够尽量简化对驾驶员位姿状态确定的计算来进行优化。在一可选的实施例中,内部视觉传感器的安装位置、采集姿态的设置,根据常规身高的驾驶员、以常规标准的驾驶姿态进行驾驶的情况下,拍摄到的驾驶员图像数据中,驾驶员的脸部、眼部在图像中大致呈居中、对称的分布,为了便于理解和描述,这里将内部视觉传感器根据常规身高的驾驶员、以常规标准的驾驶姿态进行驾驶的情况下,拍摄到的驾驶员图像数据称为参考驾驶员图像数据。在后续对车辆进行驾驶过程中,通过内部视觉传感器采集到的驾驶员图像数据,识别驾驶员面部和眼部在驾驶员图像数据中的像素坐标,再根据所述像素坐标及内部视觉传感器的拍摄姿态参数,确定驾驶员在世界坐标系下的驾驶员坐姿及驾驶员眼部的世界坐标时,可以根据识别到的驾驶员面部和眼部在实时的驾驶员图像数据中的像素坐标,相对于参考驾驶员图像数据中驾驶员面部和眼部的像素坐标之间的偏差情况,基于相同的物理目标(也即驾驶员面部和眼部)在像素坐标下的比例关系同样适用于其在世界坐标下的比例关系,从而可以简化确定驾驶员坐姿及驾驶员眼部的世界坐标的计算。
通过内部视觉传感器实时采集到的驾驶员图像数据,确定出驾驶员坐姿和驾驶员眼部的世界坐标后,可以知晓驾驶员的脸部朝向、眼睛高度,确定出驾驶员的当前视线区域。结合车辆的一些预设的结构尺寸参数,如车辆目标部位在驾驶舱的位置、尺寸等已知参数,知晓世界坐标系下驾驶员眼部的世界坐标的情况下,可以获得车辆目标部位与驾驶员眼部在世界坐标下二者之间的相对位置关系,从而便于根据车辆目标部位在当前视线区域内的位置,准确地确定出与驾驶员当前的姿态状态下车辆目标部位对其视野的遮挡造成的当前视野盲区。可选的,当前视野区域、当前视野盲区,均可采用以眼睛作为参考点的一个范围表示,如,以车辆目标部位为A柱为例,A柱对驾驶员视野的遮挡可以理解为在整个竖直方向,因此,驾驶员的当前视野区域考虑的是水平方向的一个角度范围,相应的,当前视野盲区也是水平方向的一个角度范围。在另一可选的实施例中,当前视野区域、当前视野盲区,也均可采用以车辆目标部位作为参考点的一个范围表示。
上述实施例中,可通过利用车辆的一些预设的结构尺寸参数,结合内部视觉传感器在车辆中的安装位置、采集姿态、相机参数等作为已知参数,通过相机坐标系和世界坐标系之间的转换关系,基于驾驶员姿态的变化、眼睛高度的变化这些变量参数的确定后,实时准确地计算出与驾驶员在驾驶过程中的视野盲区,使得驾驶员看向车辆上对其视野造成遮挡的车辆目标部位时,通过显示屏可以观看到与自然视野精准互补的盲区影像,实现了对驾驶员的自然视野进行精准地互补式补盲视野部署,达到盲区影像与驾驶员自然视野准确连贯的目的。
可选的,所述根据所述车辆目标部位与驾驶员眼部之间的相对位置关系,确定所述车辆目标部位在所述当前视线区域内遮挡造成的当前视野盲区,包括:
根据所述车辆目标部位的宽度及与驾驶员眼部之间的相对距离,确定所述车辆目标部位在所述当前视线区域内的遮挡区域宽度,基于所述遮挡区域宽度确定所述车辆目标部位遮挡造成的当前视野盲区。
本实施例中,车辆目标部位,是指能够对驾驶员视野造成一个水平方向上的区域范围的遮挡的部位。在确定出驾驶员的当前视野区域后,可以根据车辆目标部位的宽度及与驾驶员眼部之间的相对距离,确定出车辆目标部位在当前视线区域内的位置及宽度,如图5所示,根据车辆目标部位在当前视线区域S内的遮挡区域宽度W,相应确定出车辆目标部位对驾驶员视野的遮挡造成的当前视野盲区M。
上述实施例中,通过计算车辆目标部位在当前视线区域内的遮挡区域宽度来确定当前视野盲区,可以简化当前视野盲区的计算,也便于更加精准地确定出行驶场景图像数据中对驾驶员视野造成遮挡的那一部分图像数据来形成盲区影像。
在一些实施例中,所述外部视觉装置包括设于所述车辆目标部位外侧的外部视觉传感器;所述从所述行驶场景图像数据中,截取与所述当前视野盲区对应的补盲区域图像数据,包括:
根据所述外部视觉传感器的位置和拍摄姿态参数,确定所述行驶场景图像数据对应的拍摄视野区域;
基于同一参考对象在所述当前视野盲区和所述拍摄视野区域内的位置,确定所述当前视野盲区在所述拍摄视野区域内的成像区域,从所述行驶场景图像数据中截取相应所述成像区域内的图像作为补盲区域图像数据。
外部视觉装置采用设于车辆目标部位外侧的外部视觉传感器,一方面,外部视觉传感器可考虑红外图像传感器、或由红外图像传感器和可见光图像传感器形成的双光融合的图像传感器组合,利用红外图像传感器在黑暗、逆光环境中绝对性能优势,提升视野盲区补偿系统在车辆处于黑暗、逆光环境中行驶过程中对驾驶员的辅助性能,有效提升车辆的安全驾驶性能;另一方面,外部视觉传感器可对应设于车辆目标部位的外侧,采集到的行驶场景图像数据可视为以车辆目标部位的位置对称的区域内的图像数据,有利于简化从行驶场景图像数据中确定和截取出与当前视野盲区对应的图像区域。本实施例中,根据外部视觉传感器的位置和拍摄姿态参数,确定行驶场景图像数据对应的拍摄视野区域,在以车辆目标部位对驾驶员视野造成的是一个水平方向上的区域范围的遮挡的实现实例中,拍摄视野区域可用水平方向的一个角度范围表示,如,以外部视觉传感器的位置为参考点的一个水平方向上的角度范围。
可选的,当前视线区域、当前视野盲区以及拍摄视野区域的初始表达可各自分别以不同的物理目标,如驾驶员眼睛、车辆目标部位、外部视觉传感器的位置为参考点的角度范围,再可以根据需要,将其中任意两者转换为以同一参考对象在当前视野盲区和拍摄视野区域内的位置,以建立二者之间的关联。如将当前视线区域、当前视野盲区转换为均以驾驶员眼睛的位置为参考点的角度范围,从当前视线区域中确定出当前视野盲区,这里同一参考对象是指驾驶员眼睛。又如,将当前视野盲区、拍摄视野区域转换为以车辆目标部位的位置为参考点的角度范围,从拍摄视野区域中确定出当前视野盲区的成像区域,进而快速、精准地从所述行驶场景图像数据中截取相应所述成像区域内的图像作为补盲区域图像数据,这里同一参考对象是指车辆目标部位。
上述实施例中,利用同一参考对象当前视野盲区和外部图像传感器的拍摄视野区域内的位置,建立当前视野盲区和拍摄视野区域在世界坐标系下的物理位置的关联,便于快速、精准地从行驶场景图像数据中截取出与当前视野盲区对应的补盲区域图像数据形成盲区影像,有效提升盲区影像与驾驶员自然视野的互补精度,提升驾驶员整体视野的连贯性。
可选的,所述基于同一参考对象在所述当前视野盲区和所述拍摄视野区域内的位置,确定所述当前视野盲区在所述拍摄视野区域内的成像区域,包括:
将所述当前视野盲区表示为以所述车辆目标部位为参考对象的第一角度范围、以及将所述拍摄视野区域表示为以所述车辆目标部位为参考对象的第二角度范围;
根据所述第一角度范围与所述第二角度范围的重叠情况,确定所述当前视野盲区在所述拍摄视野区域内的成像区域。
请再次参阅图5,当前视野盲区和拍摄视野区域可分别表示为以车辆目标部位为参考对象的角度范围,具体以车辆目标部位是指A柱为例,第一角度范围和第二角度范围均是指水平方向上的角度范围。在外部视觉传感器直接部署于车辆目标部位的外侧的可选示例中,外部视觉传感器采集到的行驶场景图像数据可直接视为以车辆目标部位的位置为参考点的角度范围,简化计算。根据同样以车辆目标部位为参考对象的角度范围的重叠情况,可快速、精准地截取出与当前视野盲区对应的补盲区域图像数据形成盲区影像。
在一些实施例中,根据所述视线方向控制所述显示屏转动,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补,包括:
根据所述视线方向与显示屏中垂线之间的角度偏差,控制所述显示屏转动以使得所述角度偏差在容忍范围内,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
显示屏中垂线,是指垂直于显示屏的表面的垂线;或者,是指垂直于显示屏的表面且过显示屏中心点的垂线。若驾驶员的视线方向能够与显示屏中垂线重合,通常表示显示屏的朝向刚好正对驾驶员的视线,可以达到满足驾驶员最佳观看的状态。本实施例中,请参阅图6,对显示屏的智能控制,包括在补盲区域图像显示之前,对显示屏的朝向进行智能调节,包括:S61,内部检测装置采集驾驶位姿信息;S612,判断偏差是否小于容忍范围;若是,执行S613-S615,若否,执行S616。S613,外部视觉装置采集驾驶场景图像数据;S614,根据驾驶员位姿信息裁剪补盲区域图像数据;S615,显示补盲区域图像数据,与自然视野连贯拼接。S616,调节显示屏转动,并返回步骤S612。其中,通过判断驾驶员的视线方向与显示屏中垂线之间的角度偏差是否在容忍范围内,若超过容忍范围,则智能控制显示屏转动,使得驾驶员的视线方向与显示屏中垂线之间的角度偏差在容忍范围内;若未超过容忍范围,则显示屏可以保持当前的朝向,如此,可以在保障显示屏的朝向能够满足驾驶员最佳观看的状态的情况下,减少对显示屏的频繁调节,节省对主控装置的算力消耗,也避免过于频繁的调节影响驾驶员的体验。
在一些实施例中,所述视野盲区补偿方法还包括:
获取当前环境的照度信息,根据所述照度信息调整所述显示屏的当前亮度在对应匹配的亮度区间内;和/或,
判断车辆是否处于上电状态及显示屏是否处于展开状态,若车辆处于上电状态且显示屏处于收纳状态,控制所述显示屏从收纳状态切换至展开状态;若车辆处于下电状态且显示屏处于展开状态,控制所述显示屏从展开状态切换至收纳状态。
请再次参阅图6,对显示屏的智能控制,还包括亮度调节,包括:S62,获取当前环境的照度信息;S621,判断亮度是否在匹配的亮度区间内;若是,返回S621;若否,执行S622,调整显示屏亮度,并返回S621。基于显示屏使用的当前环境的照度信息的变化,智能地调节显示屏的亮度,使得显示屏的亮度与环境的照度匹配,提升驾驶员从显示屏中观看盲区影像的舒适性。此外,对显示屏的智能控制,还可以包括随车启动调节,包括:S63,判断车辆是否上电;若是,执行S631-S632,如否,执行S633-S634,S631,判断显示屏是否在展开状态,若是,执行S61,若否,执行S632,控制显示屏从整机中展开,系统开机。S633,判断显示屏是否为展开状态,若是,执行S634,控制显示屏切换至收纳状态,关闭系统。基于车辆的上电状态,智能地控制显示屏在车辆停止后自动切换至收纳状态,及在车辆初始启动时自动切换至展开状态并开机。在后续车辆行驶过程中,基于主控装置执行视野盲区补偿方法,在主控装置的控制下实时显示驾驶员的相应盲区内的补盲区域图像数据。
在一些实施例中,视野盲区补偿系统包括全视野模式和后视模式,在进入全视野模式之前,所述视野盲区补偿方法,还包括:
获取模式选定指令;
若所述模式选定指令为全视野模式选定指令时,则进入全视野模式;
若所述模式选定指令为后视模式选定指令时,则进入后视模式;在后视模式下,关闭所述全视野模式,获取后视视觉装置采集的后视图像数据,将所述后视图像数据显示于所述显示屏。
视野盲区补偿系统对驾驶员视野中的盲区的补偿可以有多种模式,本实施例中,视野盲区补偿系统包括全视野模式和后视模式,并提供人机交互操作来选择视野盲区补偿系统当前处于全视野模式,或者处于后视模式。在全视野模式下,主控装置确定出车辆目标部位对驾驶员视野遮挡造成的盲区所对应的盲区影像,并将盲区影像在对应车辆目标部位处的显示屏中显示;而在后视模式下,主控装置关闭全视野模式,获取装设于车辆后方的后视视觉装置采集的后视图像数据,将所述后视图像数据显示于所述显示屏。后视视觉装置,可以是指安装于车辆后方以采集车辆后方的图像数据的车载摄像头。其中,后视模式的设置,可以满足驾驶员在不同驾驶场景下的使用需求,比如在倒车时,驾驶员可以选择后视模式,通过装设于车辆目标部位处的显示屏观看到实时的后视图像数据。
在一些实施例中,所述视野盲区补偿方法,还包括:
对所述补盲区域图像数据进行分析,得到风险提示信息;
将所述风险提示信息显示于所述显示屏;和/或,将所述风险提示信息发送给基于无线连接的智能终端;和/或,将所述风险提示信息发送给报警装置;和/或,将所述风险提示信息通过平视显示系统投影至驾驶员前方的挡风玻璃上。
风险提示信息,是指基于获得的补盲区域图像数据进行分析,按照设定的风险策略判断出影响车辆行驶安全的目标、及各目标对车辆的行驶安全造成的潜在风险的等级等,形成风险提示信息。风险提示信息,可以显示于对应的显示屏中。可选的,主控装置可以与驾驶员的智能终端设备,如智能手机、穿戴式AR设备无线连接,风险提示信息还可以发送至智能终端,方便驾驶员实时查看。可选的,车辆上可以设置报警装置,如指示灯、扬声器等,风险提示信息还可以发送给报警装置,通过报警装置用声、光提醒的方式将风险以更加醒目的方式传达给驾驶员。可选的,主控装置还可以与平视显示系统(head-up display,HUD)通信连接,风险提示信息还可以通过平视显示系统投影至驾驶员前方的挡风玻璃上,以便于将风险提示信息全方位展示给驾驶员。
上述实施例中,视野盲区补偿系统不仅具备环境感知功能,通过显示屏显示与驾驶员自然视野精准互补的盲区影像,而且具备环境认知功能,通过显示屏同时显示基于盲区影像分析并得到风险提示信息,在补充盲区视野的基础上,通过风险提示信息辅导驾驶员的驾驶操作,提高驾驶安全性能。
在一些实施例中,所述视野盲区补偿方法,还包括:
获取车辆外环境信息,根据所述环境信息控制所述外部视觉装置于红外图像模式、可见光图像模式或双光融合模式之间切换。
本实施例中,外部视觉装置包括红外图像传感器和可见光图像传感器,主控装置可以根据车辆外环境信息,智能地控制外部视觉装置工作于仅通过红外图像传感器采集行驶场景的红外图像数据,对应为红外图像模式、或仅通过可见光图像传感器采集行驶场景的可见光图像数据,对应为可见光图像模式、或同时通过红外图像传感器和可见光图像传感器采集红外图像数据和可见光图像数据进行融合,得到融合图像数据,对应为双光融合模式。红外图像模式、可见光图像模式和双光融合模式可使得视野盲区补偿系统满足车辆在不同外部环境条件下的使用需求,充分提高驾驶安全性能。
为了能够对本申请实施例所提供的视野盲区补偿方法具有更加整体的理解,请结合参阅图7至9,在一可选的具体示例中,对驾驶员视野造成遮挡的车辆目标部位是指发动机舱和驾驶舱之间的A柱,视野盲区补偿方法应用于车辆中的视野盲区补偿系统,在一个应用实例中,视野盲区补偿系统为电子视野设备,电子视野设备包括设于驾驶室内部的主机、装设于A柱上的显示屏、设于驾驶室内的内部检测装置及设于车辆外侧的外部视觉装置,所述主机包括主控制器。所述视野盲区补偿方法包括:
S11,内部检测装置采集驾驶员位姿信息,确定驾驶员位置和姿态。
S12,根据驾驶员位置和姿态,自动调整显示屏转动至对应的方位角度。
其中,内部检测装置包括内部视觉传感器和热传感器,通过内部视觉传感器和热传感器可以确定驾驶者的坐姿以及高度,并且自动调整显示屏的方位角度,驾驶者可以在最优角度观看显示区域。在一个具体示例中,根据内部视觉传感器采集的驾驶员图像数据,通过识别驾驶者的面部,获取驾驶者的相对姿态和位置,根据驾驶者的位置计算最佳显示屏中垂线角度,通过对比最佳显示角度与当前显示屏角度的偏差,获取步进方向和步进距离,执行显示屏角度调整,使驾驶者视觉最佳观看角度。
S13,根据驾驶员位置和姿态,确定驾驶员的当前视线区域和当前视野盲区。
根据内部视觉传感器采集的驾驶员图像数据,根据驾驶员面部眼球识别和面部位置识别,确定驾驶者视野遮挡区域和视线角度。
S14,外部视觉装置采集包含盲区视觉数据的行驶场景图像数据,根据当前视野盲区从行驶场景图像数据中截取匹配的盲区影像。
其中,外部视觉装置包括外部视觉传感器,外部视觉传感器采集行驶场景图像数据,根据驾驶员面部眼球识别和面部位置识别确定出驾驶员的视野遮挡区域和视线角度,通过外部视觉装置的安装位置计算出需要显示的盲区区域影像,通过自动调整显示屏的显示视角角度并由其显示盲区区域影像,使驾驶员自然视野与电子视野设备的电子视野连贯的拼合,提高信息传递效率和人机交互感受,提高用户体验。
S15,根据对盲区影像进行分析,得到风险提示信息,并将风险提示信息显示于驾驶员的智能终端、AR设备、或通过HUD进行展示。
上述实施例所提供的视野盲区补偿方法,至少具备如下特点:
第一,视野盲区补偿系统充分利用驾驶舱内自身具备的视野遮挡区,根据这些区域(例如左右A柱的视野遮挡)的位置和区域大小,充分利用这些区域进行电子视野部署,实现驾驶盲区利用以及盲区补盲,根据安装位置不同,电子视野系统的显示系统也匹配显示,避免驾驶员盲区造成的驾驶事故;
第二,视野盲区补偿系统具备环境感知、认知功能,在补充盲区视野的同时,实时实施AI智能感知过程,将感知后的结果分析成为认知结果,可以与智能终端联通,以AR或者HUD的方式将提示结果全方位展示给使用者,充分提高驾驶的安全性能;
第三,视野盲区补偿系统具备驾驶员检测系统,实时监测驾驶员疲劳以及注意力状态实时提醒。该系统可通过十分简单的人机交互过程进行表现偏好设置,例如显示内容可设置为全视野无盲区感模式,也可以设置为后视模式。外部视觉装置具备红外热成像和/或可见光传感器,由于红外热成像在黑暗以及逆光时的绝对优势,显示表现模块根据环境实际情况自动切换红外热成像、可见光或者融合模式,给使用者带来最优的驾驶辅助体验。
请参阅图10,本申请另一方面,提供一种视野盲区补偿系统,包括第一获取模块911,用于获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区;第二获取模块912,用于获取外部视觉装置采集的包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据,从所述行驶场景图像数据中,截取与所述当前视野盲区对应的补盲区域图像数据;显示控制模块913,用于将所述补盲区域图像数据显示于位于所述车辆目标部位处的显示屏;显示调整模块914,用于根据所述驾驶员位姿信息,确定驾驶员看向所述车辆目标部位时的视线方向,根据所述视线方向控制所述显示屏转动,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
可选的,所述第一获取模块911,还用于获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定驾驶员的当前视线区域,根据所述车辆目标部位在当前视线区域内的位置确定所述车辆目标部位遮挡造成的当前视野盲区。
可选的,所述第一获取模块911,还用于获取所述内部视觉传感器采集到的驾驶员图像数据,对所述驾驶员图像数据进行分析,识别驾驶员面部和眼部在所述驾驶员图像数据中的像素坐标,根据所述像素坐标及所述内部视觉传感器的拍摄姿态参数,确定驾驶员坐姿及驾驶员眼部的世界坐标;根据所述驾驶员坐姿及所述驾驶员眼部的世界坐标,确定驾驶员的当前视线区域;以及根据所述车辆目标部位与驾驶员眼部之间的相对位置关系,确定所述车辆目标部位遮挡造成的当前视野盲区。
可选的,所述第一获取模块911,还用于根据所述车辆目标部位的宽度及与驾驶员眼部之间的相对距离,确定所述车辆目标部位在所述当前视线区域内的遮挡区域宽度,基于所述遮挡区域宽度确定所述车辆目标部位在所述当前视线区域内遮挡造成的当前视野盲区。
可选的,所述第二获取模块912,还用于根据所述外部视觉传感器的位置和拍摄姿态参数,确定所述行驶场景图像数据对应的拍摄视野区域;基于同一参考对象在所述当前视野盲区和所述拍摄视野区域内的位置,确定所述当前视野盲区在所述拍摄视野区域内的成像区域,从所述行驶场景图像数据中截取相应所述成像区域内的图像作为补盲区域图像数据。
可选的,所述第二获取模块912,还用于将所述当前视野盲区表示为以所述车辆目标部位为参考对象的第一角度范围、以及将所述拍摄视野区域表示为以所述车辆目标部位为参考对象的第二角度范围;根据所述第一角度范围与所述第二角度范围的重叠情况,确定所述当前视野盲区在所述拍摄视野区域内的成像区域。
可选的,所述显示调整模块914,还用于根据所述视线方向与显示屏中垂线之间的角度偏差,控制所述显示屏转动以使得所述角度偏差在容忍范围内,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
可选的,所述显示控制模块913,还用于获取当前环境的照度信息,根据所述照度信息调整所述显示屏的当前亮度在对应匹配的亮度区间内;和/或,判断车辆是否处于上电状态及显示屏是否处于展开状态,若车辆处于上电状态且显示屏处于收纳状态,控制所述显示屏从收纳状态切换至展开状态;若车辆处于下电状态且显示屏处于展开状态,控制所述显示屏从展开状态切换至收纳状态。
可选的,所述视野盲区补偿装置还包括模式选择模块,用于获取模式选定指令;若所述模式选定指令为全视野模式选定指令时,则进入全视野模式;若所述模式选定指令为后视模式选定指令时,则进入后视模式;在后视模式下,关闭所述全视野模式,获取后视视觉装置采集的后视图像数据,将所述后视图像数据显示于所述显示屏。
可选的,所述视野盲区补偿装置还包括风险提示模块,用于对所述补盲区域图像数据进行分析,得到风险提示信息;将所述风险提示信息显示于所述显示屏;和/或,将所述风险提示信息发送给基于无线连接的智能终端;和/或,将所述风险提示信息发送给报警装置;和/或,将所述风险提示信息通过平视显示系统投影至驾驶员前方的挡风玻璃上。
可选的,所述显示控制模块913,还用于获取车辆外环境信息,根据所述环境信息控制所述外部视觉装置于红外图像模式、可见光图像模式或双光融合模式之间切换。
需要说明的是:上述实施例提供的视野盲区补偿装置在实现视野盲区补偿的过程中,仅以上述各程序模块的划分进行举例说明,在实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即可将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分方法步骤。另外,上述实施例提供的视野盲区补偿装置与对应的视野盲区补偿方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请另一方面,提供一种视野盲区补偿系统,包括内部检测装置,装设于驾驶室舱内,用于采集驾驶员位姿信息;外部视觉装置,装设于车辆目标部位的外侧,用于采集包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据;主控装置,用于执行本申请任一实施例所述的视野盲区补偿方法;显示屏,装设于车辆目标部位,用于在所述全视野模式下显示所述补盲区域图像数据。可选的,主控装置可以包括存储器和控制器,存储器内存储有用于实现本申请任一实施例所提供的视野盲区补偿方法的计算机程序,计算机程序被控制器执行时,实现本申请任一实施例提供的视野盲区补偿方法的步骤,且能达到与前述对应各视野盲区补偿方法实施例相同的技术效果,为避免重复,这里不再赘述。
可选的,视野盲区补偿系统还包括装设于车辆后方的后视视觉装置,所述后视视觉装置用于采集后视图像数据;所述显示屏,还用于在后视模式下显示所述后视图像数据。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述任一视野盲区补偿方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(RandomAccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种视野盲区补偿方法,其特征在于,包括:
获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区;
获取外部视觉装置采集的包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据,从所述行驶场景图像数据中,截取与所述当前视野盲区对应的补盲区域图像数据;
将所述补盲区域图像数据显示于位于所述车辆目标部位处的显示屏;
根据所述驾驶员位姿信息,确定驾驶员看向所述车辆目标部位时的视线方向,根据所述视线方向控制所述显示屏转动,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
2.如权利要求1所述的视野盲区补偿方法,其特征在于,所述获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定车辆目标部位遮挡造成的当前视野盲区,包括:
获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定驾驶员的当前视线区域,根据所述车辆目标部位在当前视线区域内的位置确定所述车辆目标部位遮挡造成的当前视野盲区。
3.如权利要求2所述的视野盲区补偿方法,其特征在于,所述内部检测装置包括内部视觉传感器;所述获取内部检测装置采集的驾驶员位姿信息,根据所述驾驶员位姿信息确定驾驶员的当前视线区域,根据所述车辆目标部位在当前视线区域内的位置确定所述车辆目标部位遮挡造成的当前视野盲区,包括:
获取所述内部视觉传感器采集到的驾驶员图像数据,对所述驾驶员图像数据进行分析,识别驾驶员面部和眼部在所述驾驶员图像数据中的像素坐标,根据所述像素坐标及所述内部视觉传感器的拍摄姿态参数,确定驾驶员坐姿及驾驶员眼部的世界坐标;
根据所述驾驶员坐姿及所述驾驶员眼部的世界坐标,确定驾驶员的当前视线区域;以及根据所述车辆目标部位与驾驶员眼部之间的相对位置关系,确定所述车辆目标部位在所述当前视线区域内遮挡造成的当前视野盲区。
4.如权利要求3所述的视野盲区补偿方法,其特征在于,所述根据所述车辆目标部位与驾驶员眼部之间的相对位置关系,确定所述车辆目标部位在所述当前视线区域内遮挡造成的当前视野盲区,包括:
根据所述车辆目标部位的宽度及与驾驶员眼部之间的相对距离,确定所述车辆目标部位在所述当前视线区域内的遮挡区域宽度,基于所述遮挡区域宽度确定所述车辆目标部位遮挡造成的当前视野盲区。
5.如权利要求1所述的视野盲区补偿方法,其特征在于,所述外部视觉装置包括设于所述车辆目标部位外侧的外部视觉传感器;所述从所述行驶场景图像数据中,截取与所述当前视野盲区对应的补盲区域图像数据,包括:
根据所述外部视觉传感器的位置和拍摄姿态参数,确定所述行驶场景图像数据对应的拍摄视野区域;
基于同一参考对象在所述当前视野盲区和所述拍摄视野区域内的位置,确定所述当前视野盲区在所述拍摄视野区域内的成像区域,从所述行驶场景图像数据中截取相应所述成像区域内的图像作为补盲区域图像数据。
6.如权利要求5所述的视野盲区补偿方法,其特征在于,所述基于同一参考对象在所述当前视野盲区和所述拍摄视野区域内的位置,确定所述当前视野盲区在所述拍摄视野区域内的成像区域,包括:
将所述当前视野盲区表示为以所述车辆目标部位为参考对象的第一角度范围、以及将所述拍摄视野区域表示为以所述车辆目标部位为参考对象的第二角度范围;
根据所述第一角度范围与所述第二角度范围的重叠情况,确定所述当前视野盲区在所述拍摄视野区域内的成像区域。
7.如权利要求1所述的视野盲区补偿方法,其特征在于,根据所述视线方向控制所述显示屏转动,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补,包括:
根据所述视线方向与显示屏中垂线之间的角度偏差,控制所述显示屏转动以使得所述角度偏差在容忍范围内,使所述显示屏显示的所述补盲区域图像数据与驾驶员自然视野互补。
8.如权利要求1所述的视野盲区补偿方法,其特征在于,还包括:
获取当前环境的照度信息,根据所述照度信息调整所述显示屏的当前亮度在对应匹配的亮度区间内;和/或,
判断车辆是否处于上电状态及显示屏是否处于展开状态,若车辆处于上电状态且显示屏处于收纳状态,控制所述显示屏从收纳状态切换至展开状态;若车辆处于下电状态且显示屏处于展开状态,控制所述显示屏从展开状态切换至收纳状态。
9.如权利要求1至8中任一项所述的视野盲区补偿方法,其特征在于,还包括:
对所述补盲区域图像数据进行分析,得到风险提示信息;
将所述风险提示信息显示于所述显示屏;和/或,将所述风险提示信息发送给基于无线连接的智能终端;和/或,将所述风险提示信息发送给报警装置;和/或,将所述风险提示信息通过平视显示系统投影至驾驶员前方的挡风玻璃上。
10.一种视野盲区补偿系统,其特征在于,包括:
内部检测装置,装设于驾驶室舱内,用于采集驾驶员位姿信息;
外部视觉装置,装设于车辆目标部位的外侧,用于采集包括所述车辆目标部位对应行驶方向上的图像数据在内的行驶场景图像数据;
主控装置,用于执行如权利要求1至9中任一项所述的视野盲区补偿方法;
显示屏,装设于车辆目标部位,用于在所述全视野模式下显示所述补盲区域图像数据。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的视野盲区补偿方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310890681.2A CN116749881A (zh) | 2023-07-19 | 2023-07-19 | 视野盲区补偿方法及系统、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310890681.2A CN116749881A (zh) | 2023-07-19 | 2023-07-19 | 视野盲区补偿方法及系统、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116749881A true CN116749881A (zh) | 2023-09-15 |
Family
ID=87959103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310890681.2A Pending CN116749881A (zh) | 2023-07-19 | 2023-07-19 | 视野盲区补偿方法及系统、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116749881A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118506300A (zh) * | 2024-07-22 | 2024-08-16 | 浙江鼎奕科技发展有限公司 | 用于行车危险自动识别的图像处理系统及方法 |
-
2023
- 2023-07-19 CN CN202310890681.2A patent/CN116749881A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118506300A (zh) * | 2024-07-22 | 2024-08-16 | 浙江鼎奕科技发展有限公司 | 用于行车危险自动识别的图像处理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107284356B (zh) | 车辆视镜替代系统 | |
EP1510849B1 (en) | A virtual display device for use in a vehicle | |
JP2002137653A (ja) | 技術装置の操作者の注意力制御方法および装置 | |
US20060043295A1 (en) | On-vehicle night vision camera system, display device and display method | |
US20110035099A1 (en) | Display control device, display control method and computer program product for the same | |
CN110239441A (zh) | 一种后视镜的视野自动调整方法和装置 | |
US9463743B2 (en) | Vehicle information display device and vehicle information display method | |
EP4245609A1 (en) | Rear-view mirror control method and related device | |
CN112829584B (zh) | 一种用于车辆显示装置的亮度调节方法及系统 | |
CN114248689B (zh) | 用于机动车的摄像头监测系统及其图像显示方法 | |
CN116749881A (zh) | 视野盲区补偿方法及系统、存储介质 | |
JPH0976815A (ja) | 運転操作補助装置 | |
CN114489332B (zh) | Ar-hud输出信息的显示方法及系统 | |
CN110831840B (zh) | 用于在避让障碍物时辅助机动车使用者的方法、驾驶员辅助装置和机动车 | |
WO2018126257A1 (en) | Automatic eye box adjustment | |
EP3734502B1 (en) | Display method | |
JP2010058631A (ja) | 車両用情報表示装置 | |
CN113928224A (zh) | 基于hud和像素大灯的辅助驾驶系统 | |
WO2019240972A1 (en) | Color modification system and methods for vehicle displays | |
CN117055734A (zh) | 一种车载屏幕的控制方法、装置、计算机设备和存储介质 | |
JPH10116052A (ja) | 画像表示装置 | |
CN113352852A (zh) | 强光遮挡的方法、装置及系统 | |
KR101786581B1 (ko) | 헤드업 디스플레이의 표시 제어 장치 | |
CN116714520A (zh) | 视野盲区补偿方法及系统、存储介质 | |
EP3448723B1 (en) | Human-machine interface apparatus for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |