CN116634095A - 车辆盲区路面感知方法、装置、设备及存储介质 - Google Patents
车辆盲区路面感知方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116634095A CN116634095A CN202210122643.8A CN202210122643A CN116634095A CN 116634095 A CN116634095 A CN 116634095A CN 202210122643 A CN202210122643 A CN 202210122643A CN 116634095 A CN116634095 A CN 116634095A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- blind area
- road surface
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008447 perception Effects 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims description 20
- 239000000725 suspension Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000004347 surface barrier Methods 0.000 abstract description 4
- 230000004888 barrier function Effects 0.000 abstract 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种车辆盲区路面感知方法、装置、设备及存储介质。本公开通过获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像，基于第一图像，确定车辆前向盲区路面的起伏信息，基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。进一步，基于起伏信息和路况信息，生成车辆盲区路面感知信息。车辆在复杂路面行驶时，通过获取摄像头采集的图像对车辆盲区的路面进行感知，获取路面障碍物、凸起和坑洼的检测情况，可以辅助驾驶员对车辆进行控制，也可以智能控制车辆，在车辆行驶经过障碍时及时避障，提高避障能力和降低车辆被剐蹭的风险，提高驾驶舒适性及安全性。
Description
技术领域
本公开涉及智能汽车领域，尤其涉及一种车辆盲区路面感知方法、装置、设备及存储介质。
背景技术
随着科学技术的发展，人们越来越注重车辆驾驶的智能化、安全性与舒适度。
通常情况下，由于驾驶员受视野范围的限制，存在诸多驾驶盲区，例如车底、车尾、车头等。当在路况复杂的道路上行驶时，尤其行驶在狭窄的道路上，驾驶员由于存在视野盲区，所以无法判断车辆底部是否有障碍物、当前路面是否有凸起或坑洼、轮胎是否有刮伤的风险、车身是否有被旁边的障碍物剐蹭的风险等。因此，路面感知技术的发展显得尤为重要。
但是，现有的路面感知技术主要是针对车辆前方的道路进行感知检测，无法对车辆盲区进行检测，导致驾驶员无法感知车身周围以及车底路面状况，不能提前采取措施避开障碍或者路面的坑洼，存在车辆被剐蹭的风险以及行车安全问题。
发明内容
为了解决上述技术问题，本公开提供了一种车辆盲区路面感知方法、装置、设备及存储介质，可以感知车辆盲区路面，提高障碍能力和降低车辆被剐蹭的风险，从而提高车辆驾驶的舒适度与安全性。
第一方面，本公开实施例提供一种车辆盲区路面感知方法，所述方法包括：
获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像；
基于所述第一图像，确定车辆前向盲区路面的起伏信息；
基于所述至少一张第二图像和所述第三图像，确定车辆周向盲区和底部对应的路况信息；
基于所述起伏信息和所述路况信息，生成车辆盲区路面感知信息。
在一些实施例中，所述获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像之前，所述方法还包括：
获取车辆惯性传感器的纵向方向数据；
判断所述纵向方向数据是否大于预设阈值，若是，则执行所述获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像的步骤及其后续步骤。
在一些实施例中，所述周向盲区摄像头组采集的至少一张第二图像，通过以下至少一个摄像头获取：
左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头。
在一些实施例中，所述基于所述第一图像，确定车辆前向盲区路面的起伏信息包括：
通过预先训练的深度学习模型对所述第一图像进行处理，得到所述第一图像对应的深度图；
基于所述深度图和所述前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息。
在一些实施例中，所述方法还包括：
基于所述车辆盲区路面感知信息，在车载显示屏上渲染车辆盲区路面可视图。
在一些实施例中，所述方法还包括：
基于所述车辆盲区路面感知信息，决策车辆执行机构的控制信息；
基于所述控制信息生成控制指令；
将所述控制指令下发所述车辆执行机构。
在一些实施例中，所述控制指令包括以下至少一种：
方向盘的转向控制指令、悬架的软硬控制指令、悬架的升降控制指令。
第二方面，本公开实施例提供一种车辆盲区路面感知装置，车辆包括前向盲区摄像头、周向盲区摄像头组和底部摄像头，所述装置包括：
第一获取模块，用于获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像；
第一确定模块，用于基于所述第一图像，确定车辆前向盲区路面的起伏信息；
第二确定模块，用于基于所述至少一张第二图像和所述第三图像，确定车辆周向盲区和底部对应的路况信息；
第一生成模块，用于基于所述起伏信息和所述路况信息，生成车辆盲区路面感知信息。
在一些实施例中，所述装置还包括：
第二获取模块，用于获取车辆惯性传感器的纵向方向数据；
判断模块，用于判断所述纵向方向数据是否大于预设阈值，若是，则执行所述获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像的步骤及其后续步骤。
在一些实施例中，所述周向盲区摄像头组包括以下至少一个摄像头：
左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头。
在一些实施例中，所述第一确定模块包括得到单元和/或确定单元；
得到单元，用于通过预先训练的深度学习模型对所述第一图像进行处理，得到所述第一图像对应的深度图；
确定单元，用于基于所述深度图和所述前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息。
在一些实施例中，所述装置还包括：
渲染模块，用于基于所述车辆盲区路面感知信息，在车载显示屏上渲染车辆盲区路面可视图。
在一些实施例中，所述装置还包括：
决策模块，用于基于所述车辆盲区路面感知信息，决策车辆执行机构的控制信息；
第二生成模块，用于基于所述控制信息生成控制指令；
下发模块，用于将所述控制指令下发所述车辆执行机构。
在一些实施例中，所述控制指令包括以下至少一种：
方向盘的转向控制指令、悬架的软硬控制指令、悬架的升降控制指令。
第三方面，本公开实施例提供一种车辆，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的车辆盲区路面感知方法。
本公开实施例提供的车辆盲区路面感知方法、装置、设备及存储介质，通过获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像，基于第一图像，确定车辆前向盲区路面的起伏信息，基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。进一步，基于起伏信息和路况信息，生成车辆盲区路面感知信息。由于车辆在复杂路面行驶时，获取摄像头采集的图像对车辆盲区的路面进行感知，获取路面障碍物、凸起和坑洼的检测情况，辅助驾驶员进行车辆控制，提高避障能力和降低车辆被剐蹭的风险。驾驶员可以根据车辆盲区路面感知信息,在车辆行驶经过障碍时及时避障，提高驾驶舒适性及安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的车辆盲区路面感知方法流程图；
图2为本公开实施例提供的一种应用场景的示意图；
图3为本公开另一实施例提供的车辆盲区路面感知方法流程图；
图4为本公开另一实施例提供的车辆盲区路面感知方法流程图；
图5为本公开实施例提供的车辆盲区路面感知装置的结构示意图；
图6为本公开实施例提供的车辆的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本公开实施例提供了一种车辆盲区路面感知方法，下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的车辆盲区路面感知方法流程图。该方法可以应用于图2所示的应用场景，该应用场景中包括车机20、前向盲区摄像头21、周向盲区摄像头组22、底部摄像头23和车载显示屏24。可以理解的是，本公开实施例提供的车辆盲区路面感知方法还可以应用在其他场景中。
下面结合图2所示的应用场景，对图1所示的车辆盲区路面感知方法进行介绍，该方法包括的具体步骤如下：
S101、获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像。
可选的，如图2所示的车机20获取前向盲区摄像头21采集的第一图像、周向盲区摄像头组22采集的至少一张第二图像和底部摄像头23采集的第三图像。前向盲区摄像头主要拍摄车头前方0.5m-1m范围内的前向盲区路面图像，周向盲区摄像头组主要拍摄车辆周围的路面情况，包括车辆左侧0.5m范围内、车辆右侧0.5m范围内以及车辆后面0.5m范围内的盲区路面图像，底部摄像头主要拍摄车辆底部的盲区路面图像。
可选的，周向盲区摄像头组可以由多个摄像头组成，因而采集到的第二图像至少一张。
S102、基于第一图像，确定车辆前向盲区路面的起伏信息。
例如，车机20在获取到第一图像之后，确定车辆前向盲区路面的起伏信息，起伏信息包括路面凸起情况、路面坑洼情况、路面的不平顺度。
S103、基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。
具体的，车机20在获取到至少一张第二图像和第三图像之后，通过图像矫正、图像变换、图像对齐、图像配准及拼接等算法，实现整车底部及周围盲区的地面可视化，从而确定车辆周向盲区和底部对应的路况信息。
S104、基于起伏信息和路况信息，生成车辆盲区路面感知信息。
如图2所示的车机20基于起伏信息和路况信息，生成车辆盲区路面感知信息，例如，起伏位置、平顺曲线、障碍物位置等。驾驶员可以根据车辆盲区路面感知信息,在车辆行驶经过障碍时及时避障，提高驾驶舒适性及安全性。
本公开实施例通过获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像，基于第一图像，确定车辆前向盲区路面的起伏信息，基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。进一步，基于起伏信息和路况信息，生成车辆盲区路面感知信息。车辆在复杂路面行驶时，通过获取摄像头采集的图像对车辆盲区的路面进行感知，获取路面障碍物、凸起和坑洼的检测情况，辅助驾驶员进行车辆控制，提高避障能力和降低车辆被剐蹭的风险。驾驶员可以根据车辆盲区路面感知信息,在车辆行驶经过障碍时及时避障，提高驾驶舒适性及安全性。
在上述实施例的基础上，获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像之前，方法还包括：获取车辆惯性传感器的纵向方向数据；判断纵向方向数据是否大于预设阈值，若是，则执行获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像的步骤及其后续步骤。
如图2所示的车机20获取车辆惯性传感器的纵向方向数据即Z轴方向数据，然后判断纵向方向数据是否大于预设阈值，如果判断出纵向方向数据大于预设阈值，说明车辆震动幅度比较大，路面可能不平坦，则执行获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像的步骤及其后续步骤，否则继续检测车辆惯性传感器的纵向方向数据。如此，可以在车辆经过不平坦的路面时，开启路面感知检测，行驶在平坦的路面上则不开启，以减少能耗，达到节能的效果。
可选的，周向盲区摄像头组采集的至少一张第二图像，通过以下至少一个摄像头获取：左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头。
例如，周向盲区摄像头组可以包括左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头，也可以包括左侧盲区摄像头、右侧盲区摄像头、后向盲区摄像头。
本公开实施例通过获取车辆惯性传感器的纵向方向数据；判断纵向方向数据是否大于预设阈值，若是，则执行获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像的步骤及其后续步骤，周向盲区摄像头组包括以下至少一个摄像头：左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头。由于先获取车辆惯性传感器的纵向方向数据，然后判断纵向方向数据是否大于预设阈值，当纵向方向数据大于预设阈值时，再对车辆盲区路面进行感知，可以实现在车辆经过不平坦的路面时，开启路面感知检测，行驶在平坦的路面上则不开启，以减少能耗，达到节能的效果。
图3为本公开另一实施例提供的车辆盲区路面感知方法流程图，如图3所示，该方法包括如下几个步骤：
S301、获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像。
具体的，S301和S101的实现过程和原理一致，此处不再赘述。
S302、通过预先训练的深度学习模型对第一图像进行处理，得到第一图像对应的深度图。
例如，将获取的第一图像通过预先训练的深度学习模型进行处理，得到第一图像对应的前向盲区路面深度图，可以直观地感受到前方盲区路面的情况。
S303、基于深度图和前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息。
可选的，根据深度图以及前向盲区摄像头与地面之间预设的空间几何关系，计算车辆前向盲区内的路面高低起伏情况，并将车轮前方的路面高低起伏绘制路面不平顺曲线，及起伏较大(凸起，坑洼等)的地方在路面上框选出来，进而确定车辆前向盲区路面的起伏信息。
S304、基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。
具体的，S304和S103的实现过程和原理一致，此处不再赘述。
S305、基于起伏信息和路况信息，生成车辆盲区路面感知信息。
具体的，S305和S104的实现过程和原理一致，此处不再赘述。
S306、基于车辆盲区路面感知信息，在车载显示屏上渲染车辆盲区路面可视图。
如图2所示的车机基于车辆盲区路面感知信息，在车载显示屏24上渲染车辆盲区路面可视图，可以实现整车底部及周围盲区的地面可视化，辅助驾驶员进行车辆控制，提高避障能力和降低车辆被剐蹭的风险。
本公开实施例通过获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像，通过预先训练的深度学习模型对第一图像进行处理，得到第一图像对应的深度图，基于深度图和前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息，基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。进一步，基于起伏信息和路况信息，生成车辆盲区路面感知信息，基于车辆盲区路面感知信息，在车载显示屏上渲染车辆盲区路面可视图。车辆在复杂路面行驶时，通过获取摄像头采集的图像对车辆盲区的路面进行感知，获取路面障碍物、凸起和坑洼的检测情况，并基于路面感知信息在车载显示屏上渲染车辆盲区路面可视图，从而实现整车底部及周围盲区的地面可视化，可以更好地辅助驾驶员进行车辆控制，进一步提高避障能力和降低车辆被剐蹭的风险。
图4为本公开另一实施例提供的车辆盲区路面感知方法流程图，如图4所示，该方法包括如下几个步骤：
S401、获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像。
具体的，S401和S101的实现过程和原理一致，此处不再赘述。
S402、通过预先训练的深度学习模型对第一图像进行处理，得到第一图像对应的深度图。
具体的，S402和S302的实现过程和原理一致，此处不再赘述。
S403、基于深度图和前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息。
具体的，S403和S303的实现过程和原理一致，此处不再赘述。
S404、基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。
具体的，S404和S304的实现过程和原理一致，此处不再赘述。
S405、基于起伏信息和路况信息，生成车辆盲区路面感知信息。
具体的，S405和S305的实现过程和原理一致，此处不再赘述。
S406、基于车辆盲区路面感知信息，决策车辆执行机构的控制信息。
可选的，车机根据车辆盲区路面感知信息对车辆执行机构例如方向盘、车辆悬架等的控制信息进行决策，以提高驾驶舱的平稳性，智能辅助车辆驾驶，及时躲避路面障碍物，车辆盲区路面感知信息包括不平顺曲线和坑洼凸起的分布情况等。
S407、基于控制信息生成控制指令。
例如，在车机决策车辆执行机构的控制信息之后，根据控制信息生成控制指令，如此，可以根据控制指令对车辆的执行机构进行智能调节，更好地辅助驾驶，提升安全性、智能化及舒适度。
可选的，控制指令包括以下至少一种：方向盘的转向控制指令、悬架的软硬控制指令、悬架的升降控制指令。
S408、将控制指令下发车辆执行机构。
可选的，车机20将控制指令下发车辆执行机构，车辆执行机构包括方向盘、悬架等。例如，车辆执行机构根据控制指令调节方向盘的转向、车辆悬架的软硬、抬升悬架或下降悬架，从而更好地通过坑洼凸起路段，提高驾驶舱的平稳性，提高驾驶体验。
本公开实施例通过获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像，通过预先训练的深度学习模型对第一图像进行处理，得到第一图像对应的深度图，基于深度图和前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息，基于至少一张第二图像和第三图像，确定车辆周向盲区和底部对应的路况信息。进一步，基于起伏信息和路况信息，生成车辆盲区路面感知信息，基于车辆盲区路面感知信息，决策车辆执行机构的控制信息，基于控制信息生成控制指令，将控制指令下发车辆执行机构。车辆在复杂路面行驶时，通过获取摄像头采集的图像对车辆盲区的路面进行感知，获取路面障碍物、凸起和坑洼的检测情况，辅助驾驶员进行车辆控制，提高避障能力和降低车辆被剐蹭的风险，并且基于车辆盲区路面感知信息，决策车辆执行机构的控制信息，基于控制信息生成控制指令，将控制指令下发车辆执行机构，进而车辆执行机构根据控制指令调节方向盘的转向、车辆悬架的软硬、抬升悬架或下降悬架，从而更好地通过坑洼凸起路段，提高驾驶舱的平稳性，提高驾驶体验。
图5为本公开实施例提供的车辆盲区路面感知装置的结构示意图。该车辆盲区路面感知装置可以是如上实施例所述的车机，或者该车辆盲区路面感知装置可以该车机中的部件或组件。本公开实施例提供的车辆盲区路面感知装置可以执行车辆盲区路面感知方法实施例提供的处理流程，如图5所示，车辆盲区路面感知装置500包括：第一获取模块501、第一确定模块502、第二确定模块503、第一生成模块504；其中，第一获取模块501用于获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像；第一确定模块502用于基于所述第一图像，确定车辆前向盲区路面的起伏信息；第二确定模块503用于基于所述至少一张第二图像和所述第三图像，确定车辆周向盲区和底部对应的路况信息；第一生成模块504用于基于所述起伏信息和所述路况信息，生成车辆盲区路面感知信息。
可选的，所述装置还包括：第二获取模块505、判断模块506；第二获取模块505用于获取车辆惯性传感器的纵向方向数据；判断模块506用于判断所述纵向方向数据是否大于预设阈值，若是，则执行所述获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像的步骤及其后续步骤。
可选的，所述周向盲区摄像头组采集的至少一张第二图像，通过以下至少一个摄像头获取：左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头。
可选的，所述第一确定模块502包括得到单元5021和/或确定单元5022；得到单元5021用于通过预先训练的深度学习模型对所述第一图像进行处理，得到所述第一图像对应的深度图；确定单元5022用于基于所述深度图和所述前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息。
可选的，所述装置还包括：渲染模块507；渲染模块507用于基于所述车辆盲区路面感知信息，在车载显示屏上渲染车辆盲区路面可视图。
可选的，所述装置还包括：决策模块508、第二生成模块509、下发模块510；其中，决策模块508用于基于所述车辆盲区路面感知信息，决策车辆执行机构的控制信息；第二生成模块509用于基于所述控制信息生成控制指令；下发模块510用于将所述控制指令下发所述车辆执行机构。
可选的，所述控制指令包括以下至少一种：方向盘的转向控制指令、悬架的软硬控制指令、悬架的升降控制指令。
图5所示实施例的车辆盲区路面感知装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本公开实施例中的一种车辆的结构示意图。下面具体参考图6，其示出了适于用来实现本公开实施例中的车辆600的结构示意图。图6示出的车辆仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，车辆600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的车辆盲区路面感知方法。在RAM 603中，还存储有车辆600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许车辆600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的车辆600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，从而实现如上所述的访问控制方法。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述车辆中所包含的；也可以是单独存在，而未装配入该车辆中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该车辆执行时，使得该车辆：
获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像；
基于所述第一图像，确定车辆前向盲区路面的起伏信息；
基于所述至少一张第二图像和所述第三图像，确定车辆周向盲区和底部对应的路况信息；
基于所述起伏信息和所述路况信息，生成车辆盲区路面感知信息。
可选的，当上述一个或者多个程序被该车辆执行时，该车辆还可以执行上述实施例所述的其他步骤。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (11)
1.一种车辆盲区路面感知方法，其特征在于，所述方法包括：
获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像；
基于所述第一图像，确定车辆前向盲区路面的起伏信息；
基于所述至少一张第二图像和所述第三图像，确定车辆周向盲区和底部对应的路况信息；
基于所述起伏信息和所述路况信息，生成车辆盲区路面感知信息。
2.根据权利要求1所述的方法，其特征在于，所述获取前向盲区摄像头采集的第一图像、周向盲区摄像头组采集的至少一张第二图像和底部摄像头采集的第三图像之前，所述方法还包括：
获取车辆惯性传感器的纵向方向数据；
判断所述纵向方向数据是否大于预设阈值，若是，则执行所述获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像的步骤及其后续步骤。
3.根据权利要求1所述的方法，其特征在于，所述周向盲区摄像头组采集的至少一张第二图像，通过以下至少一个摄像头获取：
左前侧盲区摄像头、右前侧盲区摄像头、左侧盲区摄像头、右侧盲区摄像头、左后侧盲区摄像头、右后侧盲区摄像头和后向盲区摄像头。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，确定车辆前向盲区路面的起伏信息包括：
通过预先训练的深度学习模型对所述第一图像进行处理，得到所述第一图像对应的深度图；
基于所述深度图和所述前向盲区摄像头与地面之间预设的空间几何关系，确定车辆前向盲区路面的起伏信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述车辆盲区路面感知信息，在车载显示屏上渲染车辆盲区路面可视图。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述车辆盲区路面感知信息，决策车辆执行机构的控制信息；
基于所述控制信息生成控制指令；
将所述控制指令下发所述车辆执行机构。
7.根据权利要求6所述的方法，其特征在于，所述控制指令包括以下至少一种：
方向盘的转向控制指令、悬架的软硬控制指令、悬架的升降控制指令。
8.一种车辆盲区路面感知装置，其特征在于，车辆包括前向盲区摄像头、周向盲区摄像头组和底部摄像头，所述装置包括：
第一获取模块，用于获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像；
第一确定模块，用于基于所述第一图像，确定车辆前向盲区路面的起伏信息；
第二确定模块，用于基于所述至少一张第二图像和所述第三图像，确定车辆周向盲区和底部对应的路况信息；
第一生成模块，用于基于所述起伏信息和所述路况信息，生成车辆盲区路面感知信息。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取车辆惯性传感器的纵向方向数据；
判断模块，用于判断所述纵向方向数据是否大于预设阈值，若是，则执行所述获取所述前向盲区摄像头采集的第一图像、所述周向盲区摄像头组采集的至少一张第二图像和所述底部摄像头采集的第三图像的步骤及其后续步骤。
10.一种车辆，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210122643.8A CN116634095A (zh) | 2022-02-09 | 2022-02-09 | 车辆盲区路面感知方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210122643.8A CN116634095A (zh) | 2022-02-09 | 2022-02-09 | 车辆盲区路面感知方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116634095A true CN116634095A (zh) | 2023-08-22 |
Family
ID=87625246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210122643.8A Pending CN116634095A (zh) | 2022-02-09 | 2022-02-09 | 车辆盲区路面感知方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116634095A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116901089A (zh) * | 2023-09-14 | 2023-10-20 | 浩科机器人（苏州）有限公司 | 一种多角度视距的机器人控制方法及系统 |
| CN118025017A (zh) * | 2024-04-11 | 2024-05-14 | 中国第一汽车股份有限公司 | 车辆的全景影像显示方法、装置、车辆、介质及程序产品 |
-
2022
- 2022-02-09 CN CN202210122643.8A patent/CN116634095A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116901089A (zh) * | 2023-09-14 | 2023-10-20 | 浩科机器人（苏州）有限公司 | 一种多角度视距的机器人控制方法及系统 |
| CN116901089B (zh) * | 2023-09-14 | 2024-01-05 | 浩科机器人（苏州）有限公司 | 一种多角度视距的机器人控制方法及系统 |
| CN118025017A (zh) * | 2024-04-11 | 2024-05-14 | 中国第一汽车股份有限公司 | 车辆的全景影像显示方法、装置、车辆、介质及程序产品 |
| CN118025017B (zh) * | 2024-04-11 | 2024-08-06 | 中国第一汽车股份有限公司 | 车辆的全景影像显示方法、装置、车辆、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116634095A (zh) | 车辆盲区路面感知方法、装置、设备及存储介质 | |
| JP7027737B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN112312031A (zh) | 增强的高动态范围成像和色调映射 | |
| JP6939283B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CA2996402A1 (en) | System and method for providing driving assistance to safely overtake a vehicle | |
| CN113276774B (zh) | 无人车远程驾驶过程中视频画面的处理方法、装置及设备 | |
| JP2017037473A (ja) | 操舵支援装置 | |
| CN113228135A (zh) | 一种盲区图像获取方法及相关终端装置 | |
| US11626028B2 (en) | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content | |
| CN111564051A (zh) | 自动驾驶汽车安全行车控制方法、装置、设备及存储介质 | |
| CN110091866A (zh) | 泊车路径获取方法及装置 | |
| CN118613822A (zh) | 利用基于对象显著性的动态接缝布置的图像拼接用于环视可视化 | |
| CN114616158A (zh) | 自动驾驶方法、装置和存储介质 | |
| KR101641491B1 (ko) | 차량 운전 보조 장치 및 이를 구비한 차량 | |
| WO2023241214A1 (zh) | 显示方法、装置及电子后视镜系统 | |
| WO2024027112A1 (zh) | 车辆控制方法、装置、自动泊车辅助控制器、终端及系统 | |
| CN116923372A (zh) | 驾驶控制方法、装置、设备及介质 | |
| CN116572837A (zh) | 一种信息显示控制方法及装置、电子设备、存储介质 | |
| CN118043843A (zh) | 利用基于自我车辆状态的动态接缝布置的图像拼接用于环视可视化 | |
| CN117940319A (zh) | 利用周围环境的自适应三维碗模型的图像拼接用于环视可视化 | |
| CN112970029B (zh) | 用于自主机器应用中传感器视盲检测的深度神经网络处理 | |
| CN116198529B (zh) | 自动泊车推荐方法、装置、电子设备和计算机可读介质 | |
| WO2019123570A1 (ja) | 駐車位置決定装置及び駐車位置決定プログラム | |
| TW202114890A (zh) | 用於車道變換控制的側向軌跡追蹤方法及系統 | |
| JP2020095618A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |