CN117508216A - 基于画面显示的辅助驾驶方法、装置、设备及存储介质 - Google Patents
基于画面显示的辅助驾驶方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117508216A CN117508216A CN202311653192.1A CN202311653192A CN117508216A CN 117508216 A CN117508216 A CN 117508216A CN 202311653192 A CN202311653192 A CN 202311653192A CN 117508216 A CN117508216 A CN 117508216A
- Authority
- CN
- China
- Prior art keywords
- image
- screen
- vehicle
- sensor
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000007613 environmental effect Effects 0.000 claims description 68
- 238000001228 spectrum Methods 0.000 claims description 41
- 230000003595 spectral effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 11
- 238000001931 thermography Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于画面显示的辅助驾驶方法、装置、设备及存储介质,所述方法包括:获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于所述第一图像生成第一画面;获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面,其中所述第二水平视场范围小于所述第一水平视场范围;获取所述车辆设备的运动状态数据;基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上。
Description
技术领域
本发明涉及自动驾驶技术领域,特别涉及一种基于画面显示的辅助驾驶方法、装置、设备及计算机可读存储介质。
背景技术
目前,驾驶辅助系统绝大多数以可见光传感器为主要器件,这种单光谱传感器配置方式为绝大多数的辅助驾驶方案。然而单光谱传感器的受限条件一致,在受限条件环境下,单光谱的传感器配置方案会受到严重的影响,因为光谱传感器单一而导致特殊场景传感器全局受限,影响环境感知的准确性。多光谱驾驶辅助系统较为少见,但是多光谱辅助驾驶系统的稳定性高,环境受限导致的全局性的传感器受限场景更少,可以更好的保障环境传感器系统在绝大多数环境下能够正确获取环境信息,保障辅助驾驶系统全天候全场景有效工作。但现有的多光谱传感系统,多采用固定视场的模式,显示终端上也只能显示固定视场下采集的图像,无法根据车辆设备的运动状态切换显示画面,也就无法及时的给驾驶员提供更准确的环境信息。
发明内容
为了解决现有存在的技术问题,本发明实施例提供一种基于画面显示的辅助驾驶方法、装置、设备及计算机可读存储介质,能根据行驶场景,选择匹配的视场下采集的图像进行显示,给驾驶员提供更准确的图像信息,从而提高驾驶安全。
第一方面,提供一种基于画面显示的辅助驾驶方法,包括:
获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于所述第一图像生成第一画面;
获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面,其中所述第二水平视场范围小于所述第一水平视场范围;
获取所述车辆设备的运动状态数据;
基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上。
第二方面,提供一种车辆设备,包括传感器模组、控制器及显示终端,所述传感器模组包括具有第一水平视场范围的第一图像采集装置、具有第二水平视场范围的第二图像采集装置及运动姿态传感器,其中所述第二水平视场范围小于所述第一水平视场范围,所述控制器分别与所述第一图像采集装置、所述第二图像采集装置、所述运动姿态传感器及所述显示终端相连接;所述第一图像采集装置用于采集第一图像,所述第二图像采集装置用于采集第二图像,所述运动姿态传感器用于采集所述车辆设备的运动状态数据,所述控制器用于基于所述运动状态数据,控制所述显示终端显示所述第一图像对应的第一画面或所述第二图像对应的第二画面。
第三方面,提供一种车辆设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行本申请实施例所提供的基于画面显示的辅助驾驶方法的步骤。
第四方面,提供一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行本申请实施例所提供的基于画面显示的辅助驾驶方法的步骤。
在上述实施例中,第一图像采集装置具有第一水平视场范围,第二图像采集装置具有第二水平视场范围,其中第二水平视场范围小于第一水平视场范围,这样第一图像采集装置能够采集车辆设备的前方较大视野范围内的第一图像,并基于第一图像生成第一画面,第二图像采集装置能够采集车辆设备的前方较小视野范围内的第二图像,并基于第二图像生成第二画面,然后根据运动姿态传感器采集的运动状态数据确定车辆设备的行驶场景,选择与行驶场景匹配的画面显示在车辆设备的屏幕上,从而根据行驶场景提供与行驶场景匹配的视场下采集的图像,并能根据行驶场景切换显示画面,给驾驶员提供更准确的图像信息,从而提高驾驶安全。
附图说明
图1为一实施例中基于画面显示的辅助驾驶方法的应用环境图;
图2为一实施例中车辆设备的框图示意图;
图3为一实施例中第一图像采集装置及第二图像采集装置的示意图;
图4为一实施例中多个第二图像采集装置的水平视场示意图;
图5为一实施例中基于画面显示的辅助驾驶方法的流程图;
图6为一实施例中多个第二图像采集装置的位置分布示意图;
图7为另一实施例中基于画面显示的辅助驾驶方法的流程图;
图8为又一实施例中基于画面显示的辅助驾驶方法的流程图;
图9为另一实施例中第一画面与第二画面叠加显示的示意图;
图10为一实施例中基于画面显示的辅助驾驶装置的示意图;
图11为一实施例中车辆设备的示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明的保护范围。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在以下的描述中,涉及到“一些实施例”的表述,其描述了所有可能实施例的子集,但是应当理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
参阅图1,为一实施例中基于画面显示的辅助驾驶方法的应用环境图。基于画面显示的辅助驾驶方法应用于车辆设备10中,车辆设备10包括显示终端11、传感器模组12及控制器13。传感器模组12用于采集车辆设备10行驶过程中的数据,控制器13根据传感器模组12采集的图像数据,基于图像数据生成图像画面,显示在车辆设备10的屏幕上。
其中传感器模组12可以是一个或者多个传感器集成的模组,传感器模组12可以是多个,可以安装在车辆设备10的不同的位置处。传感器模组12包括但不限于多光谱视觉传感器、环境传感器及运动姿态传感器。其中多光谱视觉传感器包括但不限于以下一种或者多种传感器的组合:红外热成像传感器、可见光图像传感器、毫米波传感器、激光雷达传感器及深度传感器。环境传感器包括但不限于以下一种或者多种组合的传感器:亮度传感器、温度传感器、雾霾传感器等环境传感器。运动姿态传感器包括但不限于以下一种或者多种的组合:惯性传感器(Inertial Measurement Unit,IMU)、速度传感器、加速度传感器、陀螺仪传感器、地磁传感器、旋转矢量传感器、方向盘转角传感器、水平传感器、倾斜传感器、振动传感器、位移传感器及重力传感器等。
其中屏幕为显示终端11显示图像的表面,屏幕设置于驾驶员的前方以便于驾驶员查看画面,其中显示终端11包括但不限于诸如液晶显示器之类的显示器、带有投影仪屏幕的投影仪等等。显示终端11可以是位于车辆设备10的中控上显示器,也可以是设置于车辆设备10后部的投影仪,以向投影仪屏幕上投影图像。
其中控制器13可以是一个或者多个,在有多个控制器13时,多个控制器可以是集成在一个芯片上,也可以是独立设置在每个芯片上。其中车辆设备10为安装在任何类型的移动体上的设备,例如车辆、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船或机器人等等。
如图2所示,图2为一实施例中车辆设备的框图示意图。车辆设备10包括显示终端11、控制器13、具有第一水平视场范围的第一图像采集装置14、具有第二水平视场范围的第二图像采集装置15及运动姿态传感器16。控制器13分别与显示终端11、第一图像采集装置14、第二图像采集装置15及运动姿态传感器16相通信连接。第一图像采集装置14及第二图像采集装置15用于采集车辆设备10运动过程中的图像数据,运动姿态传感器16用于采集车辆设备10运动过程中的速度、姿态、加速度、重力等数据。控制器13用于获取第一图像采集装置14、第二图像采集装置15及运动姿态传感器16采集的数据,并基于运动姿态传感器16采集的数据,确定需要生成的画面数据,将生成的画面数据显示在显示终端11的屏幕上。
第一图像采集装置14、第二图像采集装置15可以是一个或者多个传感器的组合。其中第一图像采集装置14、第二图像采集装置15设置在车辆设备10的前部,该前部为车辆设备10中位于驾驶员前方的区域。例如第一图像采集装置14及第二图像采集装置15可以安装在前挡风玻璃上,或安装在前车牌架下方或者车牌架上用车牌上两颗螺丝固定等等。第一图像采集装置14及第二图像采集装置15用于获取驾驶员前方的图像。其中第一图像采集装置14的第一水平视场范围大于第二图像采集装置15的第二水平视场范围。水平视场代表着图像采集装置能够观察到的最大水平范围,水平视场越大,水平观测范围越大。可选的,第一图像采集装置14的视距小于第二图像采集装置15的视距。控制器13获取第一图像采集装置14及第二图像采集装置15采集的图像,基于图像确定跟踪的目标对象,从而对目标对象实时跟踪。控制器13并将跟踪的目标对象的图像显示在显示终端11中。
第一图像采集装置14的第一水平视场范围较大,能够采集到驾驶员前方较大范围内较近的目标,第二图像采集装置15的第二水平视场范围较小,能够采集到较小范围内的目标;即第一图像采集装置14对应近距离宽视场,第二图像采集装置15对应远距离窄视场。当一个目标进入车辆设备10的前方区域时,首先会先进入第一图像采集装置14的第一水平视场范围内时,利用第一图像采集装置14就能获取到该目标的图像,若分析到该目标为重点跟踪的目标对象,控制器13控制第二图像采集装置15正对目标对象,采集该目标对象的图像,就能够获取到较远较清晰的目标对象的图像,对该目标对象进行动态跟踪,直至该目标对象离开第二图像采集装置15的第二水平视场范围。通过第一图像采集装置14先捕捉到目标对象,再利用第二图像采集装置15实时获取到较清晰的目标对象的图像进行跟踪,由于第二图像采集装置15采用较小的视场,视野范围小,视距也较远,可以采集到更远距离的图像,这样在跟踪目标对象时,可以获取目标对象的更清楚且更远距离的图像信息,从而能够给驾驶员提供重点跟踪的目标对象的更清晰更多细节的图像信息,从而减少驾驶员的误判,提高驾驶安全。
可选的,第一图像采集装置14的第一水平视场范围在120°至179°之间。进一步地,第一图像采集装置14的第一水平视场范围可以是120°、135°、140°、145°、150°、155°、160°、165°、170°、175°、179°等。第二图像采集装置15的第二水平视场范围为在40°至60°之间。进一步地,第二图像采集装置15的第二水平视场范围可以是40°、45°、50°、55°、60°等。
可选的,第一图像采集装置14的视距在0.1m至200m之间。进一步地,第一图像采集装置14的视距可以是10m、20m、30m、40m、50m、60m、70m、80m、90m、100m、110m、120m、130m、140m、150m、160m、170m、180m、190m、200m、210m、220m。
第二图像采集装置15的视距在0.1m至300m之间,进一步地,第二图像采集装置15的视距可以是10m、20m、30m、40m、50m、60m、70m、80m、90m、100m、110m、120m、130m、140m、150m、160m、170m、180m、190m、200m、210m、220m、230m、240m、250m、260m、270m、280m、290m、300m。
为了实时动态的跟踪驾驶员前方的重点目标,需要设置多个第二图像采集装置15,以保证重点目标位于车辆前方时,能够动态捕捉到该重点目标的运动情况。因此,在一些实施例中,多个第二图像采集装置15设置于第一图像采集装置14的两侧。如图3所示,在第一图像采集装置14的左边设置了一个第二图像采集装置A、在右边设置了两个第二图像采集装置15,分别为第二图像采集装置B及第二图像采集装置C。利用每个图像采集装置可以跟踪一个重点目标,例如第二图像采集装置A跟踪了一个骑摩托车的重点目标,第二图像采集装置B跟踪了一辆汽车,第三图像采集装置C跟踪了一个行人。
进一步的,相邻两个第二图像采集装置15的水平视场范围有交叉。如图4所示,第二图像采集装置A与第二图像采集装置B相邻。这样相邻两个第二图像采集装置15的水平视场范围有交叉,当目标对象从一个第二图像采集装置15的第二水平视场范围离开,目标对象就会进入另一个第二图像采集装置15的第二水平视场范围,从而能够动态捕捉到该重点目标的更清楚、距离更远的图像,使驾驶员能够及时了解该重点目标的情况,以减少误判。
在一些实施例中,第一图像采集装置14可以是一个传感器或多个传感器的组合。例如可以是被动红外热成像、主动红外热成像传感器、可见光图像传感器、毫米波雷达传感器、激光雷达传感器、深度传感器或以上类别的一个或者多个组合的复合传感器。第二图像采集装置15可以是一个传感器或多个传感器的组合。例如可以是被动红外热成像、主动红外热成像传感器、可见光图像传感器、毫米波雷达传感器、激光雷达传感器、深度传感器。
在一些实施例中,第二图像采集装置15包括转动组件,该转动组件用于调整第二图像采集装置15水平视场轴线的方位。控制器13通过控制转动组件能够调整第二图像采集装置15的朝向方位。当一个需要重点监测的目标对象进入第二图像采集装置15的第二水平视场范围时,控制器13通过转动组件调整第二图像采集装置15的轴线,使第二图像采集装置15的朝向正对该目标对象,这样就能够使拍摄的目标对象的图像更清晰,而且第二图像采集装置15的视距也较远,这样通过第二图像采集装置15能获取更远距离的图像信息。因此在跟踪目标对象时,能够根据目标对象的运动,一直动态调整转动组件,使第二图像采集装置15的一直朝向正对该目标对象,而且能够得到较远的、较清晰的目标对象的图像,从而能够给驾驶员提供重点监测目标的较远的、较清晰的图像信息,从而提高驾驶安全。
请参阅图5,为本申请一实施例提供的基于画面显示的辅助驾驶方法的流程图。基于画面显示的辅助驾驶方法应用于车辆设备中,该基于画面显示的辅助驾驶方法包括如下步骤:
S11、获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于第一图像生成第一画面。
在本实施例中,第一图像采集装置14设置在车辆设备10的前部,在车辆设备10运动的过程中,第一图像采集装置14按照第一预设时间间隔采集第一图像,第一预设时间间隔越短,实时性越高。控制器13对第一图像进行预处理,并利用目标识别方法从预处理的图像数据中提取多个目标,基于提取的多个目标生成第一画面。
其中预处理主要目的是消除图像数据中无关的信息,恢复有用的真实信息,增强有关信息的可检测性、最大限度地简化数据,从而改进特征提取、图像识别的可靠性。预处理的方式包括但不限于:灰度化处理、几何变换处理、图像增强处理等等。其中目标识别方法包括但不限于基于颜色的识别方法、基于纹理的识别方法、基于形状的识别方法及基于深度学习的识别方法。其中基于颜色的识别方法是根据预处理的图像中像素点的颜色信息,从预处理的图像中识别出目标。基于纹理的识别方法是根据预处理的图像中像素点的纹理信息,从预处理的图像中识别出目标。基于形状的识别方法是根据预处理的图像中目标物体的形状信息,从预处理的图像中识别出目标。基于深度学习的识别方法是基于神经网络的深度学习算法,通过训练神经网络,可以自动学习图像中的特征,并识别出预处理的图像中的目标。
在识别出的目标为多个时,需要综合评价这多个目标,选出最需要重点监测的目标作为目标对象。在一些实施例中,在第一图像中有多个目标时,基于决策因子评价所述多个目标,并确定所述多个目标的优先级,基于所述多个目标的优先级,选取优先级高于预设优先级的目标作为所述目标对象。
所述决策因子包括以下至少一种:目标的行驶速度、目标的行驶方向、目标与车辆的距离。目标的行驶速度越快,危险度越高,优先级越高;在同一车道中目标的行驶方向与车辆的行驶方向相反,优先级高。目标与车辆的距离越近,危险度越高,优先级越高。在决策因子中,目标的危险度越高,对目标的评分就会越高,目标对应的优先级就越高。这样通过优先级的方式对目标进行排序,选出危险系数较高的目标进行跟踪,从而能够及时跟踪危险目标,以减少安全事故。
由于第一图像采集装置14的第一水平视场范围大于第二图像采集装置15的第二水平视场范围,因此第一画面中的图像数据包括较大视野范围内的数据。可选的,第一图像采集装置14的视距小于第二图像采集装置15的视距,因此第一画面中的图像数据包括大视野范围内较近距离的图像数据。
S12、获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面。
在一些实施例中,第二图像是第二图像采集装置跟踪至少一个基于第一图像确定的目标对象采集的图像。由于第一图像采集装置14的第一水平视场范围较大,第二图像采集装置15的第二水平视场范围较小,在车辆设备10运动过程中,车辆设备10前方的目标会先进入第一图像采集装置14的第一水平视场范围内,控制器13获取第一图像,根据第一图像识别出多个目标后,从多个目标中确定待跟踪的目标对象,并基于第一图像确定目标对象的方位,根据目标对象的方位确定目标对象对应的第二图像采集装置15,并控制目标对象对应的第二图像采集装置15对该目标对象进行跟踪,直至该目标对象离开第二图像采集装置15的第二水平视场范围。从第一图像中确定的目标对象的数量可以是一个或者多个。每个第二图像采集装置15在跟踪对应的目标对象时,第二图像采集装置15按照第二预设时间间隔采集第二图像,第二预设时间间隔越短,实时性越高。控制器13获取第二图像,对第二图像进行预处理,并基于预处理后的图像数据生成第二画面。预处理的方式包括但不限于:灰度化处理、几何变换处理、图像增强处理等等。
由于第二图像采集装置15的第二水平视场范围小于第一图像采集装置14的第一水平视场范围,因此第二画面中的图像数据包括较小视野范围内的数据,在跟踪目标对象时可以获取到更清晰的图像。可选的,第二图像采集装置15的视距大于第一图像采集装置14的视距,因此利用第二图像采集装置15对目标对象跟踪时,可以获取到跟踪的目标对象的更远距离较清晰的图像,这样在第二画面上就能看到跟踪的目标对象的更远距离较清晰的图像。
S13、获取所述车辆设备的运动姿态传感器采集的运动状态数据。
在本实施例中,运动姿态传感器16是用于测量车辆设备10在空间中的姿态、方向、位置的传感器。其中运动状态数据包括但不限于以下一种或者多种的组合:速度数据、加速度数据、转向数据、重力数据、车身倾斜数据、位置数据、位移数据等等。
S14、基于运动状态数据,将第一画面或者第二画面显示在车辆设备的屏幕上。
在本实施例中,运动状态数据指示车辆设备10在行驶过程中的状态,根据运动状态数据能够确定车辆设备10的行驶场景,例如根据转向数据能够判断车辆设备10是否在转向及转向时的方向;根据加速度数据判断车辆设备10是否在减速或者加速;根据位移数据能够判断车辆设备10是否在直行等等。控制器13根据确定的行驶场景,能判断出当前最适于行驶观察的视场范围,进而从第一画面、第二画面中选择与行驶场景匹配的画面显示在车辆设备的屏幕上。
可以理解的是,在上述步骤S11-S13中,没有先后顺序,也可以同时执行,获取到第一图像、第二图像及运动状态数据即可。
在上述实施例中,第一图像采集装置具有第一水平视场范围,第二图像采集装置具有第二水平视场范围,其中第二水平视场范围小于第一水平视场范围,这样第一图像采集装置能够采集车辆设备的前方较大视野范围内的第一图像,并基于第一图像生成第一画面,第二图像采集装置能够采集车辆设备的前方较小视野范围内的第二图像,并基于第二图像生成第二画面,然后根据运动姿态传感器采集的运动状态数据确定车辆设备的行驶场景,选择与行驶场景匹配的画面显示在车辆设备的屏幕上,从而根据行驶场景提供多视场下采集的图像,并能根据行驶场景切换显示画面,给驾驶员提供更准确的图像信息,从而提高驾驶安全。
车辆设备10在行驶过程中,在遇到转弯时,一般是弯道行驶,速度较慢,此时不需要很远距离的环境图像信息,需要较近的大范围内的视野以便于驾驶员查看弯道前方的环境。因此在一些实施例中,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在根据所述运动状态数据确定所述车辆设备正在转弯时,将所述第一画面显示在所述车辆设备的屏幕上。
具体地,运动状态数据包括转向数据,通过转向数据能够确定车辆设备10是否在转弯及转弯时的方向。例如通过方向盘转角传感器采集转向数据。在确定车辆设备10在转弯时,将基于较大水平视场范围的第一图像采集装置14采集的第一图像生成的第一画面显示在车辆设备10的屏幕上。在一些实施例中,在根据所述运动状态数据确定车辆设备10完成转弯动作时,将显示的第一画面切换至转弯前的画面或者预设画面。其中预设画面为预先设置的画面,例如第一画面与第二画面同时显示的画面为预设画面,此处对预设画面不做限定。例如在进入转弯前时车辆设备10的屏幕显示的画面是第二画面,在结束转弯动作后,将车辆设备10的屏幕显示的画面切换成第一画面或预设画面。
在上述实施例中,在车辆设备转弯时,将基于较大水平视场范围的第一图像采集装置采集的第一图像生成的第一画面显示在车辆设备的屏幕上,能够给驾驶员提供较近的大范围内的视野以便于驾驶员查看弯道前方的环境,从而提高弯道行驶的安全。
在车辆设备的行驶过程中,在直行时,更关注直行前方一定视野范围内环境信息,在一些实施例中,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在根据所述运动状态数据,及/或所述第一图像确定所述车辆设备正在直行时,将所述第二画面显示在所述车辆设备的屏幕上。
具体地,运动状态数据包括位移数据,通过位移数据确定车辆设备10上位行驶路径是直线时,则表示车辆设备10在直行。例如通过设置在方向盘上的位移传感器采集位移数据。在采集的第一图像中有直线车道线时,控制器13还可以通过第一图像中的车道线为参考,在车辆设备10的行驶路径与直线车道线平行时,确定车辆设备10在直行。当车辆设备10在直行时,驾驶员更关注直行前方一定视野范围内环境信息,此时基于较小水平视场范围内的第二图像采集装置15采集的第二图像生成第二画面,将第二画面显示在屏幕上。在一可选示例中,第二图像采集装置15的视距比第一图像采集装置14的视距更长,这样在直行时,采集的第二图像包括更远距离的图像信息。例如在高速路上行驶时,高速路上有多个车道,驾驶员更关注车辆设备10所在车道的前方的环境图像,此时采用较小水平视场范围内的第二图像采集装置15采集的第二图像生成第二画面,可以提供更清晰的一定视野范围内的第二画面。可选的,还可以提供该车道上更远距离的图像信息。
在上述实施例中,在车辆设备直行过程中,基于较小水平视场范围内的第二图像采集装置15采集的第二图像生成第二画面,将第二画面显示在屏幕上,能够提供前方一定视野范围内较清晰的环境图像信息。可选的,还可以在直行行驶时,采集的第二图像包括更远距离的图像信息,这样显示的第二画面可以提供较清晰的更远距离的图像信息,从而给驾驶员提供更符合驾驶场景的视野范围内的环境图像信息,以提高驾驶安全。
在一些实施例中,如图6所示,为一实施例中多个第二图像采集装置的位置分布示意图,将多个第二图像采集装置15安装在车辆设备10上,每个第二图像采集装置15基于其采集的第二图像生成第二画面,即每个第二图像采集装置对应一个第二画面。多个第二图像采集装置15相对于车辆设备的前进方向上的中轴线分为右侧区域第二图像采集装置15、左侧区域第二图像采集装置15及中间区域第二图像采集装置15。例如图6所示,第二图像采集装置A为左侧区域的第二图像采集装置、第二图像采集装置B为中间区域的第二图像采集装置、第二图像采集装置C为右侧区域的第二图像采集装置。
在一些实施例中,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
将所述车辆设备相对于所述车辆设备行驶的所述道路的宽度方向上的相对位置区域所指示的区域中的第二图像采集装置对应的第二画面显示在所述车辆设备的屏幕上,其中所述相对位置区域包括所述车辆设备位于所述道路的右侧区域、或左侧区域、或中间区域。
在有多个第二图像采集装置15时,车辆设备10行驶在道路上,一般驾驶员更关注所在车道上的环境图像信息。例如在车辆设备10在道路的右侧区域行驶时,基于右侧区域的第二图像采集装置15采集的第二图像生成第二画面,并将第二画面显示;在道路的左侧区域行驶时,基于左侧区域的第二图像采集装置15采集的第二图像生成第二画面,并将第二画面显示;在道路的中间区域行驶时,基于中间区域的第二图像采集装置15采集的第二图像生成第二画面,并将第二画面显示。在一可选示例中,第二图像采集装置15的视距比第一图像采集装置14的视距更长,这样可以采集更远距离的图像信息。
在上述实施例中,基于车辆设备在道路上的区域位置,选择与区域位置对应的第二图像采集装置采集的第二图像生成第二画面,从而可以提供前方一定视野范围内较清晰的环境信息。可选的,在行驶过程时,采集的第二图像还可以包括更远距离的图像信息,这样显示的第二画面可以提供较清晰的更远距离的图像信息,从而给驾驶员提供更符合驾驶场景的视野范围内的环境图像信息,以提高驾驶安全。
在一些实施例中,第二图像采集装置15用于跟踪至少一个目标对象,每个目标对象对应一个优先级,所述优先级指示目标对象对所述车辆设备的危险程度,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
将跟踪优先级高于预设优先级的目标对象的第二图像采集装置对应的第二画面显示在所述车辆设备的屏幕上。
目标对象是基于优先级从第一图像识别出的多个目标中确定的对象。由于第一图像采集装置14的第一水平视场范围较大,第二图像采集装置15的第二水平视场范围较小,在车辆设备10运动过程中,车辆设备10前方的目标会先进入第一图像采集装置14的第一水平视场范围内,控制器13获取第一图像,根据第一图像识别出多个目标后,从多个目标中确定待跟踪的目标对象。第二图像采集装置15的第二水平视场范围较小,在跟踪目标对象时,能够捕获更清晰的图像信息。
在上述实施例中,将第二图像采集装置跟踪的危险程度较高的目标对象的第二画面显示在屏幕上,显示的第二画面可以提供较清晰的跟踪的目标对象的图像信息,从而给驾驶员提供更符合驾驶场景的视野范围内的环境图像信息,以提高驾驶安全。
在一些实施例中,所述车辆设备包括环境传感器,所述车辆设备包括环境传感器及不同可视度对应的不同光谱传感器,所述获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于所述第一图像生成第一画面包括:
获取所述环境传感器感知的指示可视度的环境数据,根据所述环境数据选择所述第一图像装置中与所述环境数据对应的光谱传感器,并获取所述第一图像装置中与所述环境数据对应的光谱传感器采集的第一图像,基于所述第一图像生成第一画面;及/或
所述获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面包括:
获取所述环境传感器感知的环境数据,根据所述环境数据选择所述第二图像装置中与所述环境数据对应的光谱传感器,并获取所述第二图像装置中与所述环境数据对应的光谱传感器采集的第二图像,基于所述第二图像生成第二画面。
环境数据包括但不限于:可视度高于或者等于预设可视度的第一环境数据、可视度低于预设可视度的第二环境数据。例如第一环境数据包括白天、可视度好的雨天等等,适合用第一光谱传感器。第二环境数据包括黑夜、可视度差的雨天、雾天等等,适合用第二光谱传感器。例如在通过环境传感器感知到当前环境数据指示第一环境数据时,控制器13获取第一图像采集装置14中的第一光谱传感器采集的第一图像,并基于该第一图像生成第一画面,及/或获取第二图像采集装置15中的第一光谱传感器采集的第二图像,并基于该第二图像生成第二画面;在通过环境传感器感知到当前环境数据指示第二环境数据时,控制器13获取第一图像采集装置14中的第二光谱传感器采集的第一图像生成第一画面,及/或获取第二图像采集装置15中第二光谱传感器采集的第二图像生成第二画面。其中第一光谱传感器包括但不限于以下一种或者多种的组合:可见光图像传感器、红外热成像传感器、激光雷达传感器等等。第二光谱传感器包括但不限于以下一种或者多种的组合:红外热成像传感器、激光雷达传感器等。例如,在一个具体的实施例中,可选用可见光图像传感器作为第一光谱传感器,选用红外热成像传感器作为第二光谱传感器。
进一步地,在第一光谱传感器为多种传感器的组合时,获取第一光谱传感器中多种传感器采集的图像数据,基于第一光谱传感器中每种传感器对应融合权重,融合多种传感器采集的图像数据生成要显示的画面。在第二光谱传感器为多种传感器的组合时,获取第二光谱传感器中多种传感器采集的图像数据,基于第二光谱传感器中每种传感器对应融合权重,融合多种传感器采集的图像数据生成要显示的画面。例如在白天时,通过可见光图像传感器采集的可见光图像较清晰,那么可见光图像对应的融合权重较大,在晚上时,通过红外热成像传感器采集的红外图像较清晰,那么红外图像对应的融合权重较大。在融合图像时,通过不同的传感器适合的可视度环境设置不同的融合权重,从而可以提高显示画面的质量,给驾驶员提供更符合驾驶可视度场景的环境图像信息,以提高驾驶安全。
如图7所示,为另一实施例中基于画面显示的辅助驾驶方法的流程图。该流程图包括:
S71、获取环境传感器感知的环境数据。
S72、从第一图像采集装置中选择环境数据的对应光谱传感器,并基于环境数据对应的光谱传感器采集的第一图像生成第一画面。
S73、从第二图像采集装置环境数据的对应光谱传感器,并基于环境数据对应的光谱传感器采集的第二图像生成第二画面。
S74、获取所述车辆设备的运动状态数据。
S75、基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上。
可以理解的是,上述步骤S72与S73间没有先后顺序,可以同时执行,S75与步骤S71-S74间没有先后顺序,可以同时执行。
在上述实施例中,根据不同的可视度选择获取与可视度对应的传感器采集的图像,并基于采集的图像生成第一画面或第二画面显示在屏幕上,能够根据运动状态和环境信息,确定最佳的显示画面,从而让驾驶者获取质量更高的环境图像信息,以提高驾驶安全。
如图8所示,为又一实施例中基于画面显示的辅助驾驶方法的流程图。
S81,运动姿态传感器采集车辆设备的运动姿态数据。
S82,控制器获取运动姿态数据。
S83,控制器根据运动姿态数据选择合适视场的传感器作为输出源。
控制器13根据运动姿态数据选择第一图像采集装置14或者第二图像采集装置15作为图像数据的输出源,并将基于第一图像采集装置14采集的图像数据生成的第一画面显示在屏幕上或者将第二图像采集装置15采集的图像数据生成的第二画面显示在屏幕上。例如车辆上安装有多个传感器,多个传感器实时采集数据,其中具有第一水平视场范围的图像采集装置包括A1、A2及A3三种不同光谱传感器,具有第二水平视场范围的图像采集装置包括B1、B2及B3三种不同光谱传感器。若车辆正在转弯,则控制器13根据运动状态数据指示转弯状态,选择具有第一水平视场范围的图像采集装置A1、A2及A3作为输出源。
S84,环境传感器采集环境数据。
S85,控制器获取环境数据。
S86,控制器根据环境数据选择合适光谱的传感器作为输出源。
环境数据包括但不限于:可视度高于或者等于预设可视度的第一环境数据、可视度低于预设可视度的第二环境数据。例如第一环境数据包括白天、可视度好的雨天等等,适合用第一光谱传感器。第二环境数据包括黑夜、可视度差的雨天、雾天等等,适合用第二光谱传感器。根据环境数据选择环境数据对应的光谱传感器,及/或根据环境数据选择环境数据对应的光谱传感器。例如车辆上安装有多个传感器,多个传感器实时采集数据,其中具有第一水平视场范围的图像采集装置包括A1、A2及A3三种不同光谱传感器,具有第二水平视场范围的图像采集装置包括B1、B2及B3三种不同光谱传感器,其中A1及B1为适合第一种可视度环境的光谱传感器,如白天无雾的环境;A2及B2为适合第二种可视度环境的光谱传感器,如黑夜无雾的环境,A3及B3为适合第三种可视度环境的光谱传感器,如有雾环境。若当前环境数据为黑夜无雾,则控制器根据环境数据,选择A2及B2作为输出源
S87,控制器根据两端输出源确定目标传感器,并基于所述目标传感器采集的图像控制显示终端显示对应画面。
将根据运动姿态数据选择的输出源与根据环境数据选择的输出源中的公共输出源作为目标传感器。例如,车辆正在无雾的黑夜环境下执行转弯动作,则通过步骤S81-S83选择具有第一水平视场范围的图像采集装置A1、A2及A3作为输出源,通过步骤S84-S86选择A2及B2作为输出源,然后上述两端的公共输出源为A2,则目标传感器为A2,即在无雾的黑夜环境下执行转弯动作时,基于A2光谱传感器采集第一图像,然后基于第一图像生成第一画面并显示。
可以理解的是,上述步骤S81-S83与步骤S84-S86间没有先后顺序,可以同时执行,即在执行步骤S81-83时,也可以同时执行步骤S84-S86。
在上述实施例中,根据不同的可视度选择获取与可视度对应的传感器采集的图像,并基于采集的图像生成第一画面或第二画面显示在屏幕上,能够根据运动状态和环境信息,确定最佳的显示画面,从而让驾驶者获取质量更高的环境图像信息,以提高驾驶安全。当车辆的运动状态或周围的环境信息发生变化时,对应选择的目标传感器也发生变化,通过上述方法可自动按照新的目标传感器完成显示画面的切换。
在一些实施例中,所述第一图像采集装置包括多个传感器,所述第一画面是基于所述第一图像采集装置中的多个传感器采集的图像数据融合得到的画面;及/或所述第二图像采集装置包括多个传感器,所述第二画面是基于所述第二图像采集装置中的多个传感器采集的图像数据融合得到的画面。
具体地,分别获取第一图像采集装置14中每个传感器采集的图像,利用图像配准方法将第一图像采集装置14中每个传感器采集的图像进行配准,得到配准后的第一图像,基于配准后的第一图像生成第一画面;及/或分别获取第二图像采集装置15中每个传感器采集的图像,利用图像配准方法将第二图像采集装置15中每个传感器采集的图像进行配准,得到配准后的第二图像,基于配准后的第二图像生成第二画面。利用图像配准方法将多个传感器采集的图像进行配准,可以将多个图像融合叠加成一个图像,这样可以发挥各种类型传感器的优势。例如根据环境数据,可以选择第一图像采集装置中的可见光传感器与红外图像传感器作为第一画面的数据源,将可见光图像传感器采集的图像与红外图像传感器采集的图像进行配准得到一个融合后的图像。再例如,根据环境数据,可以选择第二图像采集装置中的可见光图像传感器采集的图像与激光雷达传感器作为第二画面的数据源,将可见光图像传感器采集的图像与激光雷达传感器采集的图像进行配准得到一个融合后的图像。
在上述实施例中,第一图像采集装置及第二图像采集装置不是单一的传感器,可以是多种类型传感器的组合,这样可以利用各种类型传感器的优势,获取多个传感器采集的图像,将多个图像配准融合成一个图像,从而能获取更加清晰的图像信息,从而让驾驶者获取质量更高的环境图像信息,以提高驾驶安全。
在一些实施例中,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在基于所述运动状态数据,将所述第一画面显示在所述车辆设备的屏幕上时,同时将所述第二画面显示在所述车辆设备的屏幕上,其中所述第一画面为所述显示终端的主画面;或
在基于所述运动状态数据,将所述第二画面显示在所述车辆设备的屏幕上时,同时将所述第一画面显示在所述车辆设备的屏幕上,其中所述第二画面为所述显示终端的主画面。
根据运动状态数据确定车辆设备的行驶场景,选择将与行驶场景匹配的画面作为主画面显示,其他画面为次要画面进行显示。例如车辆设备10在转弯时,将第一画面作为主画面显示在屏幕上,第二画面作为次要画面显示在屏幕上,其中主画面在屏幕上的占比要大于次要画面在屏幕上的占比。
上述实施例中,将与行驶场景匹配的画面作为主画面显示,其他画面为次要画面进行辅助显示,从而让驾驶者获取质量更全面的环境图像信息,以提高驾驶安全。
在一些实施例中,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在基于所述运动状态数据,将所述第一画面显示在所述车辆设备的屏幕上时,同时将所述第二画面叠加显示在第一画面上;或在基于所述运动状态数据,将所述第一画面显示在所述车辆设备的屏幕上时,同时将所述第二画面叠加显示在第一画面上。
将第一画面与至少一个第二画面叠加显示在屏幕上。其中第二画面是基于至少一个第二图像采集装置15采集的第二图像而生成的。同时在屏幕上提供大视场范围下的图像信息及小视场范围跟踪的目标对象的图像信息。图9为另一实施例中第一画面与第二画面叠加显示的示意图,基于第一图像采集装置A采集的第一图像生成画面A,基于第二图像采集装置B采集的第二图像生成画面B,画面A与画面B相互融合叠加在一起显示。
在上述实施例中,同时在屏幕上显示大视场范围下的图像信息及小视场范围跟踪的目标对象的图像信息,让驾驶者获取质量更全面的环境图像信息,以提高驾驶安全。
在一些实施例中,预先配置多种画面显示模式,多种画面显示模式包括但不限于:仅显示第一画面的第一显示模式、仅显示第二画面的第二显示模式、将第一画面作为主画面的第三显示模式、将第二画面作为主画面的第四显示模式及叠加显示第一画面及第二画面的第五显示模式。例如第一显示模式的名称为“大视场画面”、第二显示模式的名称为“小视场画面”、第三显示模式的名称为“大视场混合画面”、第四显示模式的名称为“小视场混合画面”。这些画面显示模式的名称可以显示在屏幕上,以供驾驶员选择需要的模式,或者设置默认模式。驾驶员也通过语音控制选择对应的模式,例如当控制器13获取到语音“将画面切换到大视场混合画面”时,控制器13将当前显示的画面切换到第三显示模式下的画面。
在上述实施例中,通过设置多模式下的显示画面以便于驾驶员根据行驶场景选择需要的画面,从而为让驾驶者获取质量更全面更清晰的环境图像信息,以提高驾驶安全。
请参阅图10,本申请一实施例提供一种基于画面显示的辅助驾驶装置,包括:生成模块21,用于获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于所述第一图像生成第一画面;所述生成模块21还用于获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面,其中所述第二水平视场范围小于所述第一水平视场范围;所述生成模块21还用于获取所述车辆设备的运动状态数据;显示模块22,用于基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上。
可选的,显示模块22还用于:在根据所述运动状态数据确定所述车辆设备正在转弯时,将所述第一画面显示在所述车辆设备的屏幕上。
可选的,显示模块22用于:在根据所述运动状态数据,及/或所述第一图像确定所述车辆设备正在直行时,将所述第二画面显示在所述车辆设备的屏幕上。
可选的,所述车辆设备包括多个第二图像采集装置,每个第二图像采集装置对应一个第二画面,多个第二图像采集装置相对于所述车辆设备的前进方向上的中轴线分为右侧区域第二图像采集装置、左侧区域第二图像采集装置及中间区域第二图像采集装置,显示模块22还用于:基于所述运动状态数据及/所述第一图像确定所述车辆设备相对于所述车辆设备行驶的所述道路的宽度方向上的相对位置区域,并将该相对位置区域所指示的区域中的第二图像采集装置对应的第二画面显示在所述车辆设备的屏幕上,其中所述相对位置区域包括所述车辆设备位于所述道路的右侧区域、或左侧区域、或中间区域。
可选的,所述第二图像采集装置用于跟踪至少一个目标对象,每个目标对象对应一个优先级,所述优先级指示目标对象对所述车辆设备的危险程度,显示模块22用于:将跟踪优先级高于预设优先级的目标对象的第二图像采集装置对应的第二画面显示在所述车辆设备的屏幕上。
可选的,所述车辆设备包括环境传感器及不同可视度对应的不同光谱传感,生成模块21还用于获取所述环境传感器感知的指示可视度的环境数据,根据所述环境数据选择所述第一图像装置中与所述环境数据对应的光谱传感器,并获取所述第一图像装置中与所述环境数据对应的光谱传感器采集的第一图像,基于所述第一图像生成第一画面;及/或
所述获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面包括:
获取所述环境传感器感知的指示可视度的环境数据,根据所述环境数据选择所述第二图像装置中与所述环境数据对应的光谱传感器,并获取所述第二图像装置中与所述环境数据对应的光谱传感器采集的第二图像,基于所述第二图像生成第二画面。
可选的,所述第一图像采集装置包括多个传感器,所述第一画面是基于所述第一图像采集装置中的多个传感器采集的图像数据融合得到的画面;及/或所述第二图像采集装置包括多个传感器,所述第二画面是基于所述第二图像采集装置中的多个传感器采集的图像数据融合得到的画面。
可选的,显示模块22还用于:
在基于所述运动状态数据,将所述第一画面显示在所述车辆设备的屏幕上时,同时将所述第二画面显示在所述车辆设备的屏幕上,其中所述第一画面为所述车辆设备的屏幕的主画面;或
在基于所述运动状态数据,将所述第二画面显示在所述车辆设备的屏幕上时,同时将所述第一画面显示在所述车辆设备的屏幕上,其中所述第二画面为所述车辆设备的屏幕的主画面。
本领域技术人员可以理解的是,图10中基于画面显示的辅助驾驶装置的结构并不构成对基于画面显示的辅助驾驶装置的限定,所述各个模块可以全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的控制器中,也可以以软件形式存储于计算机设备中的存储器中,以便于控制器调用执行以上各个模块对应的操作。在其他实施例中,基于画面显示的辅助驾驶装置中可以包括比图示更多或更少的模块。
请参阅图11,本申请实施例的另一方面,还提供了一种车辆设备,包括存储器3011和处理器3012,存储器3011存储有计算机程序,计算机程序被处理器执行时,使得处理器212执行本申请上述任一实施例所提供的基于画面显示的辅助驾驶方法的步骤。车辆设备可包括计算设备(例如,台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如,智能电话、无线电话等)、可穿戴设备(例如,一对智能眼镜或智能手表)或类似设备。
其中处理器3012是控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器3011内的软件程序和/或模块,以及调用存储在存储器3011内的数据,执行计算机设备的各种功能和处理数据。可选的,处理器3012可包括一个或多个处理核心;优选的,处理器3012可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器3012中。
存储器3011可用于存储软件程序以及模块,处理器3012通过运行存储在存储器3011的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器3011可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器3011可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器3011还可以包括存储器控制器,以提供处理器3012对存储器3011的访问。
本申请实施例另一方面,还提供一种存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请上述任一实施例所提供的基于画面显示的辅助驾驶方法的步骤。
本领域普通技术人员可以理解实现上述实施例所提供的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围以准。
Claims (12)
1.一种基于画面显示的辅助驾驶方法,应用于车辆设备中,其特征在于,所述方法包括:
获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于所述第一图像生成第一画面;
获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面,其中所述第二水平视场范围小于所述第一水平视场范围;
获取所述车辆设备的运动状态数据;
基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上。
2.如权利要求1所述的基于画面显示的辅助驾驶方法,其特征在于,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在根据所述运动状态数据确定所述车辆设备正在转弯时,将所述第一画面显示在所述车辆设备的屏幕上。
3.如权利要求1所述的基于画面显示的辅助驾驶方法,其特征在于,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在根据所述运动状态数据,及/或所述第一图像确定所述车辆设备正在直行时,将所述第二画面显示在所述车辆设备的屏幕上。
4.如权利要求1或3所述的基于画面显示的辅助驾驶方法,其特征在于,所述车辆设备包括多个第二图像采集装置,每个第二图像采集装置对应一个第二画面,多个第二图像采集装置相对于所述车辆设备的前进方向上的中轴线分为右侧区域第二图像采集装置、左侧区域第二图像采集装置及中间区域第二图像采集装置,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
基于所述运动状态数据及/或所述第一图像确定所述车辆设备相对于所述车辆设备行驶的道路的宽度方向上的相对位置区域,并将所述相对位置区域所指示的区域中的第二图像采集装置对应的第二画面显示在所述车辆设备的屏幕上,其中所述相对位置区域包括所述车辆设备位于所述道路的右侧区域、或左侧区域、或中间区域。
5.如权利要求1或3所述的基于画面显示的辅助驾驶方法,其特征在于,所述第二图像采集装置用于跟踪至少一个目标对象,每个目标对象对应一个优先级,所述优先级指示目标对象对所述车辆设备的危险程度,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
将跟踪优先级高于预设优先级的目标对象的第二图像采集装置对应的第二画面显示在所述车辆设备的屏幕上。
6.如权利要求1所述的基于画面显示的辅助驾驶方法,其特征在于,所述车辆设备包括环境传感器及不同可视度对应的不同光谱传感器,所述获取具有第一水平视场范围的第一图像采集装置采集的第一图像,并基于所述第一图像生成第一画面包括:
获取所述环境传感器感知的指示可视度的环境数据,根据所述环境数据选择所述第一图像装置中与所述环境数据对应的光谱传感器,并获取所述第一图像装置中与所述环境数据对应的光谱传感器采集的第一图像,基于所述第一图像生成第一画面;及/或
所述获取具有第二水平视场范围的第二图像采集装置采集的第二图像,并基于所述第二图像生成第二画面包括:
获取所述环境传感器感知的指示可视度的环境数据,根据所述环境数据选择所述第二图像装置中与所述环境数据对应的光谱传感器,并获取所述第二图像装置中与所述环境数据对应的光谱传感器采集的第二图像,基于所述第二图像生成第二画面。
7.如权利要求1所述的基于画面显示的辅助驾驶方法,其特征在于,所述第一图像采集装置包括多个传感器,所述第一画面是基于所述第一图像采集装置中的多个传感器采集的图像数据融合得到的画面;及/或所述第二图像采集装置包括多个传感器,所述第二画面是基于所述第二图像采集装置中的多个传感器采集的图像数据融合得到的画面。
8.如权利要求1所述的基于画面显示的辅助驾驶方法,其特征在于,所述基于所述运动状态数据,将所述第一画面或者所述第二画面显示在所述车辆设备的屏幕上包括:
在基于所述运动状态数据,将所述第一画面显示在所述车辆设备的屏幕上时,同时将所述第二画面显示在所述车辆设备的屏幕上,其中所述第一画面为所述车辆设备的屏幕的主画面;或
在基于所述运动状态数据,将所述第二画面显示在所述车辆设备的屏幕上时,同时将所述第一画面显示在所述车辆设备的屏幕上,其中所述第二画面为所述车辆设备的屏幕的主画面。
9.一种车辆设备,其特征在于,所述车辆设备包括传感器模组、控制器及显示终端,所述传感器模组包括具有第一水平视场范围的第一图像采集装置、具有第二水平视场范围的第二图像采集装置及运动姿态传感器,其中所述第二水平视场范围小于所述第一水平视场范围,所述控制器分别与所述第一图像采集装置、所述第二图像采集装置、所述运动姿态传感器及所述显示终端相连接;所述第一图像采集装置用于采集第一图像,所述第二图像采集装置用于采集第二图像,所述运动姿态传感器用于采集所述车辆设备的运动状态数据,所述控制器用于基于所述运动状态数据,控制所述显示终端显示所述第一图像对应的第一画面或所述第二图像对应的第二画面。
10.如权利要求9所述的车辆设备,其特征在于,所述传感器模组还包括环境传感器及不同可视度对应的不同光谱传感器,所述环境传感器及各光谱传感器分别与所述控制器连接;所述环境传感器用于感知指示可视度的环境数据,所述控制器根据所述环境数据选择对应的光谱传感器作为输出源。
11.一种车辆设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8任一项所述方法的步骤。
12.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311653192.1A CN117508216A (zh) | 2023-12-04 | 2023-12-04 | 基于画面显示的辅助驾驶方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311653192.1A CN117508216A (zh) | 2023-12-04 | 2023-12-04 | 基于画面显示的辅助驾驶方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117508216A true CN117508216A (zh) | 2024-02-06 |
Family
ID=89760791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311653192.1A Pending CN117508216A (zh) | 2023-12-04 | 2023-12-04 | 基于画面显示的辅助驾驶方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117508216A (zh) |
-
2023
- 2023-12-04 CN CN202311653192.1A patent/CN117508216A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nidamanuri et al. | A progressive review: Emerging technologies for ADAS driven solutions | |
CN108571974B (zh) | 使用摄像机的车辆定位 | |
US11767024B2 (en) | Augmented reality method and apparatus for driving assistance | |
CN107554425B (zh) | 一种增强现实车载平视显示器ar-hud | |
EP3008708B1 (en) | Vision augmented navigation | |
JP6444835B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理システム | |
EP2544449B1 (en) | Vehicle perimeter monitoring device | |
Gavrila et al. | Real time vision for intelligent vehicles | |
CN109116846B (zh) | 一种自动驾驶方法、装置、计算机设备和存储介质 | |
US8050460B2 (en) | Method for recognition of an object | |
CN112115857B (zh) | 智能汽车的车道线识别方法、装置、电子设备及介质 | |
US10996469B2 (en) | Method and apparatus for providing driving information of vehicle, and recording medium | |
KR20190077482A (ko) | 차량이 턴을 하고 있을 때 가상 카메라의 방위를 조정하기 위한 방법 및 시스템 | |
Li et al. | A survey of adas perceptions with development in china | |
US20220230018A1 (en) | Combining visible light camera and thermal camera information | |
CN108107897A (zh) | 实时传感器控制方法及装置 | |
CN113165510B (zh) | 显示控制装置、方法和计算机程序 | |
JP2004265432A (ja) | 走行環境認識装置 | |
CN113459951A (zh) | 车外环境显示方法和装置、车辆、设备和存储介质 | |
Kim et al. | An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing | |
CN117508216A (zh) | 基于画面显示的辅助驾驶方法、装置、设备及存储介质 | |
JP4567072B2 (ja) | 車両周辺監視装置 | |
US20210382560A1 (en) | Methods and System for Determining a Command of an Occupant of a Vehicle | |
CN108363387A (zh) | 传感器控制方法及装置 | |
Rosenblum et al. | A high fidelity multi-sensor scene understanding system for autonomous navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |