CN113569692A - 辅助驾驶方法、系统、设备和计算机可读存储介质 - Google Patents
辅助驾驶方法、系统、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113569692A CN113569692A CN202110828565.9A CN202110828565A CN113569692A CN 113569692 A CN113569692 A CN 113569692A CN 202110828565 A CN202110828565 A CN 202110828565A CN 113569692 A CN113569692 A CN 113569692A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- information
- real
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 49
- 239000000463 material Substances 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明公开了一种辅助驾驶方法、系统、设备和计算机可读存储介质，所述方法包括：实时采集路面图像和路面起伏状况；上传对路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像至云端；获取并上传车辆的操作信息至云端；实时接收云端基于实时影像发送的目标影像，并根据所述目标影像判断车辆是否处于受困状态；若车辆处于受困状态，则通过预设的显示设备显示所述目标影像。本发明提出的一种辅助驾驶方法，在车辆受困时通过预设的显示设备显示目标影像，可以使驾驶员视线不受阻碍的看到车辆底部盲区的路面状况，获得对行驶路线轨迹选择的建议以及易受困路线的警告，从而实现了车辆行驶的安全性以及车辆受困时脱困的便捷性。
Description
技术领域
本发明涉及汽车辅助驾驶技术领域，尤其涉及一种辅助驾驶方法、系统、设备和计算机可读存储介质。
背景技术
目前，国内外对于虚拟现实技术均有所研究开发，虚拟现实技术发展至今，已经在各个领域发挥重要作用，并影响着各行业的发展方向。虚拟现实技术在游戏、教育、医疗、旅游、销售等各行各业的成熟应用，使得很多生活和服务领域都发生了形态上的改变，更是已经广泛应用到了汽车的生产制造、影音娱乐等方面，但在车辆行驶中的应用却较少。而车辆在行驶过程中，往往会容易陷入沟壑或泥泞中难以脱困，此时需要有人指点驾驶员如何操作才能脱困。
发明内容
本发明的主要目的在于提供一种辅助驾驶方法、系统、设备和计算机可读存储介质，旨在解决如何使得受困的车辆能更方便快捷地脱困的问题。
为实现上述目的，本发明提供一种辅助驾驶方法，所述辅助驾驶方法应用于车端，包括以下步骤：
实时采集路面图像和路面起伏状况；
对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，并将所述实时影像上传至云端；
获取车辆的操作信息，并将所述车辆的操作信息上传至云端；
实时接收所述云端基于所述实时影像发送的目标影像，并根据所述目标影像判断所述车辆是否处于受困状态；
若所述车辆处于受困状态，则通过预设的显示设备显示所述目标影像。
可选地，所述对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像的步骤包括：
对所述路面图像进行特征提取，得到多个图像特征点；
对各所述图像特征点进行画面拼接，以得到包含车底全景的影像；
根据所述路面起伏状况和所述包含车底全景的影像构建包含沟壑信息标注的实时影像。
可选地，所述根据所述路面起伏状况和所述包含车底全景的影像构建包含沟壑信息标注的实时影像的步骤包括：
对所述路面起伏状况进行网格化处理，得到多个网格，对各所述网格的高度及相邻网格间的高度差信息进行数据处理，以得到沟壑信息；
将所述沟壑信息标注在所述包含车底全景的影像中，得到所述包含沟壑信息标注的实时影像。
此外，为实现上述目的，本发明还提供一种辅助驾驶方法，所述辅助驾驶方法应用于云端，包括以下步骤：
接收车端上传的实时影像；
识别所述实时影像中所有网格的材质信息和车轮位置信息；
接收所述车端上传的车辆的操作信息；
根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像，并将所述目标影像发送至所述车端。
可选地，所述根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像的步骤包括：
将所述实时影像中的沟壑信息、所述材质信息和所述车轮位置信息设定为环境信息；
根据所述车辆的操作信息和所述环境信息获取车辆状态；
根据所述车辆状态对所述实时影像进行图像处理，以得到目标影像。
可选地，所述根据所述车辆的操作信息和所述环境信息获取车辆状态的步骤包括：
若在预设时长内所述车辆的操作信息中的油门状态为加油状态，且所述环境信息中的所述车轮位置信息为车轮位置不变化，则确定车辆处于受困状态。
可选地，所述根据所述车辆状态对所述实时影像进行图像处理，以得到目标影像的步骤包括：
若确定车辆处于正常状态，则清除所述实时影像中的沟壑信息，以得到目标影像；或，
若确定车辆处于受困状态，则清除所述实时影像中的沟壑信息，得到待标注影像；
根据所述环境信息确定推荐路线，并将所述推荐路线标注在所述待标注影像中，以得到目标影像。
此外，为实现上述目的，本发明还提供一种辅助驾驶系统，所述辅助驾驶系统应用于车端和云端，
所述车端用于实时采集路面图像和路面起伏状况；
所述车端用于对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，并将所述实时影像上传至所述云端；
所述云端用于接收所述车端上传的所述实时影像；
所述车端用于获取车辆的操作信息，并将所述车辆的操作信息上传至所述云端；
所述云端用于识别所述实时影像中所有网格的材质信息和车轮位置信息；
所述云端用于接收所述车端上传的所述车辆的操作信息；
所述云端用于根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像，并将所述目标影像发送至所述车端；
所述车端用于实时接收所述云端发送的目标影像，并根据所述目标影像判断所述车辆是否处于受困状态；
所述车端用于若所述车辆处于受困状态，则通过预设的显示设备显示所述目标影像。
此外，为实现上述目的，本发明还提供一种辅助驾驶设备，所述辅助驾驶设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的辅助驾驶程序，所述辅助驾驶程序被所述处理器执行时实现如上所述的辅助驾驶方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有辅助驾驶程序，所述辅助驾驶程序被处理器执行时实现如上所述的辅助驾驶方法的步骤。
本发明提出的一种辅助驾驶方法，通过实时采集路面图像和路面起伏状况，并对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，获取车辆的操作信息并将所述车辆的操作信息和所述实时影像上传至云端，接收所述云端对所述车辆的操作信息和所述实时影像进行分析后得到的目标影像，能够帮助驾驶员在车辆行驶的过程中不幸受困时，通过预设的显示设备显示所述目标影像，可以视线不受阻碍的看到车辆底部盲区的路面状况，并且从所述目标影像中获得对驾驶路线轨迹选择的建议以及易受困路线的警告，从而实现了车辆行驶的安全性以及车辆受困时脱困的便捷性。
附图说明
图1为本发明辅助驾驶方法第一实施例的流程示意图；
图2为本发明辅助驾驶方法第二实施例的流程示意图；
图3为本发明辅助驾驶系统中各组成部分信息传递的示意图；
图4为本发明辅助驾驶方法中标注有路线轨迹的实时影像示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：
实时采集路面图像和路面起伏状况；
对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，并将所述实时影像上传至云端；
获取车辆的操作信息，并将所述车辆的操作信息上传至云端；
实时接收所述云端基于所述实时影像发送的目标影像，并根据所述目标影像判断车辆是否处于受困状态；
若车辆处于受困状态，则通过预设的显示设备显示所述目标影像。
由于车辆在行驶过程中，往往会容易陷入沟壑或泥泞中难以脱困。
本发明提供一种解决方案，通过实时采集路面图像和路面起伏状况，并对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，获取车辆的操作信息并将所述车辆的操作信息和所述实时影像上传至云端，接收所述云端对所述车辆的操作信息和所述实时影像进行分析后得到的目标影像，能够帮助驾驶员在车辆行驶的过程中不幸受困时，通过预设的显示设备显示所述目标影像，可以视线不受阻碍的看到车辆底部盲区的路面状况，并且从所述目标影像中获得对驾驶路线轨迹选择的建议以及易受困路线的警告，从而实现了车辆行驶的安全性以及车辆受困时脱困的便捷性。
参照图1，本发明第一实施例提供一种辅助驾驶方法，所述方法应用于车端，包括以下步骤：
步骤S10，实时采集路面图像和路面起伏状况；
需要说明的是，本实施例的执行主体为车端，所述车端包括图像采集系统，所述图像采集系统使用安装在所述汽车底盘上的多个微距摄像头与毫米波雷达实现图像采集和路面探测，通过所述微距摄像头实时拍摄路面图片，并将所述路面图片作为路面图像保存在所述图像采集系统中，通过所述毫米波雷达实时探测路面起伏状况，所述路面起伏状况包括地面的坑洼、高低等状况，并将其记录、保存在所述图像采集系统中。
可以理解的是，安装多个微距摄像头的目的是为了保证图像采集的范围更大，采集到的图像更清晰，传递的信息更完整。
步骤S20，对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，并将所述实时影像上传至云端；
需要说明的是，本实施例中所述汽车包括车载图像处理系统，通过所述车载图像处理系统对所述图像采集系统中保存的内容进行图像处理，所述图像采集系统中保存的内容为所述路面图像和所述路面起伏状况，即可得到所述包含沟壑信息标注的实时影像，然后将所述实时影像上传至云端的图像处理系统。
本实施例中，步骤S20包括：
步骤b21，对所述路面图像进行特征提取，得到多个图像特征点；
步骤b22，对各所述图像特征点进行画面拼接，以得到包含车底全景的实时影像；
步骤b23，根据所述路面起伏状况和所述包含车底全景的影像构建包含沟壑信息标注的实时影像。
需要说明的是，所述车载图像处理系统进行图像处理的步骤包括：将车底各个微距摄像头的实时画面进行图像拼接。先是对各摄像头同一时刻的实时画面进行特征提取，得到图像特征点，所述图像特征点作为画面拼接的依据。将实时画面灰度后，匹配相邻摄像头图像的纹理信息灰度直方图。之后进行图像特征点的匹配，将相邻的两个摄像头的画面纹理相似处开始进行拼接，将车底所有微距摄像头的实时画面拼接组合完成后得到车底及车周围图像画面，即所述包含车底全景的实时影像。得到的所述包含车底全景的实时影像，首先会传输一份到VR(Virtual Reality，缩写为VR，虚拟现实技术)显示设备中，使驾驶员向下看时，能得到将底盘“看穿”的效果，同时配合车辆驾驶员处向前方的摄像头提供的画面，并不影响驾驶员佩戴所述VR显示设备时的前部视野。
可以理解的是，所述包含车底全景的实时影像不会自动显示，以免影响车辆行驶，但驾驶员可主动开启所述VR显示设备观看所述包含车底全景的实时影像。
本实施例中，步骤b23包括：
步骤b231，对所述路面起伏状况进行网格化处理，得到多个网格，对各所述网格的高度及相邻网格间的高度差信息进行数据处理，以得到沟壑信息；
步骤b232，将所述沟壑信息标注在所述车底全景中，得到所述包含沟壑信息标注的实时影像。
需要说明的是，得到所述包含车底全景的实时影像以后，所述车载图像处理系统将对所述包含车底全景的实时影像进行二次图像处理。首先是将画面进行网格化，整幅所述包含车底全景的实时影像划分为若干个网格并以坐标的形式标注每一个网格。同时将网格影像匹配车底毫米波雷达后，得到所述路面起伏状况，即各所述网格的高度及相邻网格间的高度差信息，对所述各所述网格的高度及相邻网格间的高度差信息进行特征化、数值化以得到沟壑信息。
可以理解的是，所述沟壑信息能更直观地体现所述路面起伏状况，可以根据所述沟壑信息选择更为平坦的路线进行行驶。将所述沟壑信息标注在网格化后的所述实时影像中，并将每个车轮压住的图像坐标信息记录标注，即可得到包含沟壑信息标注的实时影像，最后将该实时影像上传至云端图像处理系统。
应理解的是，在所述实时影像中提供所述沟壑信息的标注能够为云端进行车辆状态的判断提供更多判断依据，进而更加精准地判断出车辆是否受困。
步骤S30，获取车辆的操作信息，并将所述车辆的操作信息上传至云端；
可以理解的是，所述车辆的操作信息包括方向盘转向、油门踩松、档位位置等与车辆控制相关的信息，将此类信息上传至云端能为云端提供更可靠的车辆状态判断依据。
步骤S40，实时接收所述云端基于所述实时影像发送的目标影像，并根据所述目标影像判断所述车辆是否处于受困状态；
需要说明的是，判断车辆处于受困状态的依据是：若所述云端发送的目标影像中包含路线轨迹，即推荐路线轨迹，则车辆处于受困状态，此时将所述包含路线轨迹的目标影像以影像的形式转发给VR显示设备；反之，若所述云端发送的目标影像中仅包含车底全景，没有路线轨迹，则车辆未处于受困状态。
步骤S50，若所述车辆处于受困状态，则通过预设的显示设备显示所述目标影像。
需要说明的是，本实施例中所述预设的显示设备为VR显示设备，所述预设的显示设备也可以是其他符合要求的显示设备，本实施例对此不加以限制。所述VR显示设备由车辆驾驶员佩戴，所述目标影像包括车底及车周围图像画面、当前轮胎的实时图像以及推荐路线的轨迹，所述推荐路线即轮胎的建议行驶路线轨迹，按照该轨迹行驶即可使得车辆脱离困境。
本实施例中，步骤S40之后包括：
若所述车辆未处于受困状态，则不通过预设的显示设备显示所述目标影像。
可以理解的是，若所述车辆未处于受困状态，则无需观看车底及周围的图像画面，但是若驾驶员有需要，可自行开启VR显示设备观看车底全景。
在本实施例中，提出了一种辅助驾驶方法，通过实时采集路面图像和路面起伏状况，并对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，获取车辆的操作信息并将所述车辆的操作信息和所述实时影像上传至云端，接收所述云端对所述车辆的操作信息和所述实时影像进行分析后得到的目标影像，能够帮助驾驶员在车辆行驶过程中受困时，通过VR显示设备显示所述目标影像，可以视线不受阻碍的看到车辆底部盲区的路面状况，并且从所述目标影像中获得对车辆行驶路线轨迹选择的建议以及易受困路线的警告，从而实现了车辆行驶的安全性以及车辆受困时脱困的便捷性。
参照图2，本发明第二实施例提供一种辅助驾驶方法，所述方法应用于云端，包括以下步骤：
步骤A10，接收车端上传的实时影像；
需要说明的是，本实施例的执行主体为云端，所述云端包含云端图像处理系统、云端图像识别系统和云端辅助驾驶系统，所述车端上传的实时影像为包含沟壑信息标注的经过网格化的包含车底全景的实时影像，所述云端图像处理系统会先将实时接收到的实时影像进行二次图像处理，即进行纹理、颜色等特征提取后将所述实时影像输入云端图像识别系统中。
步骤A20，识别所述实时影像中所有网格的材质信息和车轮位置信息；
需要说明的是，所述云端图像识别系统会基于所述云端图像处理系统进行二次图像处理后的实时影像，识别地面每个网格的材质信息，即湿度、硬度、光泽度等信息，并都数值化为1-10的等级，识别地面每个网格的车轮位置信息，即车轮是否碾过各网格，当前被碾住的网格位置即为当前车轮位置，最后将所有信息转发给云端辅助驾驶系统。所述云端图像识别系统基于神经网络进行深度学习，前期训练后，后期会定期会抽取部分结果进行人工判定，判定的结果返回给神经网络，以优化图像识别准确度。
步骤A30，接收所述车端上传的车辆的操作信息；
可以理解的是，所述车辆的操作信息包括方向盘转向、油门踩松、档位位置等与车辆控制相关的信息，所述车端发送的此类信息由所述云端辅助驾驶系统接收并保存。所述车辆的操作信息能够作为检测所述车辆状态的关键信息。
步骤A40，根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像，并将所述目标影像发送至所述车端。
可以理解的是，所述云端辅助驾驶系统中包含了由所述车端上传的所述车辆的操作信息以及由所述云端图像识别系统识别所述实时影像后得到的所述材质信息和所述车轮位置信息，结合上述信息可以确定车辆的状态和目标影像，并将所述目标影像发送至所述车端。
需要说明的是，所述云端辅助驾驶系统能够基于神经网络进行自我优化，当车轮碾过网格后，将被碾过网格的环境信息和车轮碾过该网格时车辆的操作信息反馈至神经网络，以优化网格信息判断准确度。所述云端辅助驾驶系统通过记录不同驾驶者对车辆的操作信息及环境信息，学习各种地面环境下脱困的操作路线方案及陷入困镜的操作方案，优化所述云端辅助驾驶系统对处于受困状态中的车辆如何操作脱困以及怎样操作有被困风险的预判能力。
本实施例中，步骤A40中的所述根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像的步骤包括：
步骤c41，将所述实时影像中的沟壑信息、所述材质信息和所述车轮位置信息设定为环境信息；
步骤c42，根据所述车辆的操作信息和所述环境信息获取车辆状态；
步骤c43，根据所述车辆状态对所述实时影像进行图像处理，以得到目标影像。
需要说明的是，所述云端辅助驾驶系统能将接收到的信息归类，通过车辆的操作信息了解驾驶员对车辆进行了何种操作，通过环境信息了解当前是否行驶在泥泞路面，车轮是否陷入泥泞中被卡住导致车辆受困。
可以理解的是，在根据所述车辆的操作信息和所述环境信息获取到车辆状态后，这些信息已经体现了它们的价值，若将包含诸多信息的目标影像反馈给车端，会导致所述目标影像包含的内容太过繁杂，所以在获取到车辆状态后，所述云端会控制所述云端图像处理系统对所述实时影像进行三次图像处理，以得到仅包含关键信息的所述目标影像。
本实施例中，步骤c42包括：
步骤c421，若在预设时长内所述车辆的操作信息中的油门状态为加油状态，且所述环境信息中的所述车轮位置信息为车轮位置不变化，则确定车辆处于受困状态。
需要说明的是，本实施例中，所述预设时长设定为5秒，所述预设时长也可以设定为其他合理的时长，本实施例对此不加以限制。
可以理解的是，若所述车辆的操作信息中油门一直处于被踩踏的状态，则视为车辆处于加油状态，此时若所述环境信息中的车轮位置信息没有产生明显的位移，则视为车轮位置不变化，此时能够确定车辆处于受困状态。若未同时出现上述条件，则确定车辆处于正常状态。
应理解的是，通过上述方法获取车辆状态的前提是车辆处于启动状态，若车辆熄火，则上述判断依据并不适用。
本实施例中，步骤c43包括：
步骤c431，若确定车辆处于正常状态，则清除所述实时影像中的沟壑信息，以得到目标影像；或，
步骤c432，若确定车辆处于受困状态，则清除所述实时影像中的沟壑信息，得到待标注影像；
步骤c433，根据所述环境信息确定推荐路线，并将所述推荐路线标注在所述待标注影像中，以得到目标影像。
需要说明的是，根据所述环境信息中的沟壑信息、材质信息和车轮位置信息可以判断出适合车辆行驶的路线，将每个网格的沟壑信息、材质信息和车轮位置信息输入到云端辅助驾驶系统的计算模型中，所述计算模型根据所述车轮位置信息由近及远地输出各网格是否能被车轮碾过的结果，将能被碾过的各网格连线即可得到推荐路线的轨迹，不能被碾过的各网格为易受困网格，同时将网格能否被碾过的信息反馈至神经网络，以优化网格信息判断准确度。
可以理解的是，根据不同的车辆状态，所述云端图像处理系统对所述实时影像的处理方式存在差异，若车辆处于正常状态，则所述目标影像中只需包含经过画面拼接后得到的车底全景，其他信息均为影响驾驶员视野的无用信息；若车辆处于受困状态，则需在所述目标影像包含的车底全景中的轮胎位置提示驾驶员该如何脱困，即在所述轮胎位置标注出推荐路线轨迹，参照图4，图4为本发明辅助驾驶方法中标注有推荐路线轨迹的实时影像示意图，从图中可以看到路面上的车轮位置处标注有推荐路线轨迹，提示驾驶员操作车辆沿所述推荐路线轨迹行驶即可脱困。
在本实施例中，提出了一种辅助驾驶方法，通过接收车端上传的实时影像；识别所述实时影像中所有网格的材质信息和车轮位置信息；接收所述车端上传的车辆的操作信息；根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像，并将所述目标影像发送至所述车端。使得车端的驾驶员获得了包含车底全景及标注有推荐路线的目标影像，通过所述目标影像能够获得利于车辆脱困的帮助信息和避免车辆受困的危险操作警示，进而实现了车辆行驶的安全性以及车辆受困时脱困的便捷性。
参照图3，本发明实施例还提出一种辅助驾驶系统，所述辅助驾驶系统应用于车端和云端，
所述车端用于控制车端的毫米波雷达和微距摄像头实时采集路面图像和路面起伏状况，并将采集到的路面图像和路面起伏状况发送给车端的车载图像处理系统；
所述车端用于控制所述车载图像处理系统对所述路面图像进行图像处理之后得到包含车底全景的图像，并将所述包含车底全景的图像发送给车端的预设的显示设备，进一步地，所述车载图像处理系统基于所述包含车底全景的图像对所述路面起伏状况进行处理，得到包含沟壑信息标注的实时影像，并将所述影像上传至云端的图像处理系统；
所述车端用于获取车辆的操作信息，并将所述车辆的操作信息上传至所述云端的辅助驾驶系统；
所述云端用于控制云端图像处理系统对接收到所述实时影像进行二次图像处理之后将其发送给云端图像识别系统，再控制所述云端图像识别系统识别出所述实时影像中用于判断车辆状态的材质信息和车辆位置信息，并将所述材质信息和车辆位置信息发送给云端辅助驾驶系统；
所述云端用于控制所述云端辅助驾驶系统接收所述车端发送的车辆的操作信息和所述云端图像识别系统发送的所述材质信息和车辆位置信息，并根据所述车辆的操作信息、所述材质信息和所述车轮位置信息判断出车辆状态后，将有效信息标注在所述实时影像中并返回给所述云端图像处理系统，控制所述云端图像处理系统对所述实时影像进行三次图像处理之后得到目标影像，并将所述目标影像发送至车端的预设的显示设备中；
所述车端用于控制所述预设的显示设备实时接收所述云端发送的所述目标影像，并根据所述目标影像判断所述车辆是否处于受困状态，判断所述车辆处于受困状态的依据是：若所述云端发送的所述目标影像中包含路线轨迹，则确定所述车辆处于受困状态，反之，若所述云端发送的所述目标影像中未包含所述路线轨迹，则确定所述车辆处于正常状态；
所述车端用于若所述车辆处于受困状态，则控制所述预设的显示设备显示所述目标影像。
所述辅助驾驶系统的具体实施方式可参照上述第一实施例和第二实施例的相应步骤。
此外，本发明实施例还提出一种辅助驾驶设备，所述辅助驾驶设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的辅助驾驶程序，所述辅助驾驶程序被所述处理器执行时实现如上所述的辅助驾驶方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有辅助驾驶程序，所述辅助驾驶程序被处理器执行时实现如上所述的辅助驾驶方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种辅助驾驶方法，其特征在于，所述辅助驾驶方法应用于车端，包括以下步骤：
实时采集路面图像和路面起伏状况；
对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，并将所述实时影像上传至云端；
获取车辆的操作信息，并将所述车辆的操作信息上传至云端；
实时接收所述云端基于所述实时影像发送的目标影像，并根据所述目标影像判断所述车辆是否处于受困状态；
若所述车辆处于受困状态，则通过预设的显示设备显示所述目标影像。
2.如权利要求1所述的辅助驾驶方法，其特征在于，所述对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像的步骤包括：
对所述路面图像进行特征提取，得到多个图像特征点；
对各所述图像特征点进行画面拼接，以得到包含车底全景的影像；
根据所述路面起伏状况和所述包含车底全景的影像构建包含沟壑信息标注的实时影像。
3.如权利要求2所述的辅助驾驶方法，其特征在于，所述根据所述路面起伏状况和所述包含车底全景的影像构建包含沟壑信息标注的实时影像的步骤包括：
对所述路面起伏状况进行网格化处理，得到多个网格，对各所述网格的高度及相邻网格间的高度差信息进行数据处理，以得到沟壑信息；
将所述沟壑信息标注在所述包含车底全景的影像中，得到所述包含沟壑信息标注的实时影像。
4.一种辅助驾驶方法，其特征在于，所述辅助驾驶方法应用于云端，包括以下步骤：
接收车端上传的实时影像；
识别所述实时影像中所有网格的材质信息和车轮位置信息；
接收所述车端上传的车辆的操作信息；
根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像，并将所述目标影像发送至所述车端。
5.如权利要求4所述的辅助驾驶方法，其特征在于，所述根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像的步骤包括：
将所述实时影像中的沟壑信息、所述材质信息和所述车轮位置信息设定为环境信息；
根据所述车辆的操作信息和所述环境信息获取车辆状态；
根据所述车辆状态对所述实时影像进行图像处理，以得到目标影像。
6.如权利要求5所述的辅助驾驶方法，其特征在于，所述根据所述车辆的操作信息和所述环境信息获取车辆状态的步骤包括：
若在预设时长内所述车辆的操作信息中的油门状态为加油状态，且所述环境信息中的所述车轮位置信息为车轮位置不变化，则确定车辆处于受困状态。
7.如权利要求5所述的辅助驾驶方法，其特征在于，所述根据所述车辆状态对所述实时影像进行图像处理，以得到目标影像的步骤包括：
若确定车辆处于正常状态，则清除所述实时影像中的沟壑信息，以得到目标影像；或，
若确定车辆处于受困状态，则清除所述实时影像中的沟壑信息，得到待标注影像；
根据所述环境信息确定推荐路线，并将所述推荐路线标注在所述待标注影像中，以得到目标影像。
8.一种辅助驾驶系统，其特征在于，所述辅助驾驶系统应用于车端和云端，
所述车端用于实时采集路面图像和路面起伏状况；
所述车端用于对所述路面图像和路面起伏状况进行图像处理得到包含沟壑信息标注的实时影像，并将所述实时影像上传至所述云端；
所述云端用于接收所述车端上传的所述实时影像；
所述车端用于获取车辆的操作信息，并将所述车辆的操作信息上传至所述云端；
所述云端用于识别所述实时影像中所有网格的材质信息和车轮位置信息；
所述云端用于接收所述车端上传的所述车辆的操作信息；
所述云端用于根据所述车辆的操作信息、所述材质信息和所述车轮位置信息确定目标影像，并将所述目标影像发送至所述车端；
所述车端用于实时接收所述云端发送的目标影像，并根据所述目标影像判断所述车辆是否处于受困状态；
所述车端用于若所述车辆处于受困状态，则通过预设的显示设备显示所述目标影像。
9.一种辅助驾驶设备，其特征在于，所述辅助驾驶设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的辅助驾驶程序，所述辅助驾驶程序被所述处理器执行时实现如权利要求1至3、4至7中任一项所述的辅助驾驶方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有辅助驾驶程序，所述辅助驾驶程序被处理器执行时实现如权利要求1至3、4至7中任一项所述的辅助驾驶方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110828565.9A CN113569692B (zh) | 2021-07-22 | 2021-07-22 | 辅助驾驶方法、系统、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110828565.9A CN113569692B (zh) | 2021-07-22 | 2021-07-22 | 辅助驾驶方法、系统、设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569692A true CN113569692A (zh) | 2021-10-29 |
| CN113569692B CN113569692B (zh) | 2024-02-09 |
Family
ID=78166116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110828565.9A Active CN113569692B (zh) | 2021-07-22 | 2021-07-22 | 辅助驾驶方法、系统、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569692B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114435029A (zh) * | 2022-02-28 | 2022-05-06 | 阿维塔科技(重庆)有限公司 | 车辆行驶的调整方法及调整系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002036987A (ja) * | 2000-07-27 | 2002-02-06 | Nissan Motor Co Ltd | 車両周囲監視装置 |
| CN108074409A (zh) * | 2016-11-11 | 2018-05-25 | 大陆汽车投资（上海）有限公司 | 道路安全驾驶辅助系统 |
| CN110371131A (zh) * | 2019-05-31 | 2019-10-25 | 惠州市德赛西威汽车电子股份有限公司 | 基于adas的车辆esp关闭告警方法及车载系统 |
| CN110481556A (zh) * | 2018-05-14 | 2019-11-22 | 福特全球技术公司 | 车辆逃离 |
| CN110488846A (zh) * | 2019-09-19 | 2019-11-22 | 广州文远知行科技有限公司 | 无人驾驶远程协助方法、装置、设备及储存介质 |
| CN110509845A (zh) * | 2018-05-21 | 2019-11-29 | 上海博泰悦臻网络技术服务有限公司 | 基于360环视装置的车底透视路面系统及汽车 |
| CN110884429A (zh) * | 2019-11-29 | 2020-03-17 | 安徽江淮汽车集团股份有限公司 | 基于激光雷达的辅助驾驶系统及方法 |
| CN210363587U (zh) * | 2019-02-15 | 2020-04-21 | 浙江吉利汽车研究院有限公司 | 一种辅助驾驶系统 |
| CN111959397A (zh) * | 2020-08-24 | 2020-11-20 | 北京茵沃汽车科技有限公司 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
| CN112466141A (zh) * | 2020-11-12 | 2021-03-09 | 深圳慧拓无限科技有限公司 | 一种面向车路协同的智能网联路端设备交互方法、系统及存储介质 |
-
2021
- 2021-07-22 CN CN202110828565.9A patent/CN113569692B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002036987A (ja) * | 2000-07-27 | 2002-02-06 | Nissan Motor Co Ltd | 車両周囲監視装置 |
| CN108074409A (zh) * | 2016-11-11 | 2018-05-25 | 大陆汽车投资（上海）有限公司 | 道路安全驾驶辅助系统 |
| CN110481556A (zh) * | 2018-05-14 | 2019-11-22 | 福特全球技术公司 | 车辆逃离 |
| CN110509845A (zh) * | 2018-05-21 | 2019-11-29 | 上海博泰悦臻网络技术服务有限公司 | 基于360环视装置的车底透视路面系统及汽车 |
| CN210363587U (zh) * | 2019-02-15 | 2020-04-21 | 浙江吉利汽车研究院有限公司 | 一种辅助驾驶系统 |
| CN110371131A (zh) * | 2019-05-31 | 2019-10-25 | 惠州市德赛西威汽车电子股份有限公司 | 基于adas的车辆esp关闭告警方法及车载系统 |
| CN110488846A (zh) * | 2019-09-19 | 2019-11-22 | 广州文远知行科技有限公司 | 无人驾驶远程协助方法、装置、设备及储存介质 |
| CN110884429A (zh) * | 2019-11-29 | 2020-03-17 | 安徽江淮汽车集团股份有限公司 | 基于激光雷达的辅助驾驶系统及方法 |
| CN111959397A (zh) * | 2020-08-24 | 2020-11-20 | 北京茵沃汽车科技有限公司 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
| CN112466141A (zh) * | 2020-11-12 | 2021-03-09 | 深圳慧拓无限科技有限公司 | 一种面向车路协同的智能网联路端设备交互方法、系统及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114435029A (zh) * | 2022-02-28 | 2022-05-06 | 阿维塔科技(重庆)有限公司 | 车辆行驶的调整方法及调整系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569692B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11967109B2 (en) | Vehicle localization using cameras | |
| US10392009B2 (en) | Automatic parking system and automatic parking method | |
| CN112965504B (zh) | 基于自动驾驶的远程确认方法、装置、设备及存储介质 | |
| US10558868B2 (en) | Method and apparatus for evaluating a vehicle travel surface | |
| EP3343438A1 (en) | Automatic parking system and automatic parking method | |
| US10606257B2 (en) | Automatic parking system and automatic parking method | |
| US9120425B2 (en) | Park assist system | |
| US11691619B2 (en) | Automatic parking system and automatic parking method | |
| CN102059978A (zh) | 驾驶辅助方法与系统 | |
| EP3342681B1 (en) | Automatic parking system and automatic parking method | |
| CN110388928B (zh) | 导航系统和导航地图的更新方法、装置 | |
| US20150197281A1 (en) | Trailer backup assist system with lane marker detection | |
| JP2019040539A (ja) | 走行支援システム | |
| CN113569692A (zh) | 辅助驾驶方法、系统、设备和计算机可读存储介质 | |
| CN112092809A (zh) | 一种辅助倒车方法、装置、系统及车辆 | |
| CN113673403B (zh) | 行驶环境检测方法、系统、装置、计算机设备、计算机可读存储介质及汽车 | |
| CN113353071B (zh) | 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统 | |
| JP2022179490A (ja) | 運転評価モデル適合装置、端末装置、制御方法、プログラム及び記憶媒体 | |
| CN115705783A (zh) | 用于停车辅助的视觉引导系统 | |
| CN112837365A (zh) | 一种基于图像的车辆定位方法及装置 | |
| TW201945228A (zh) | 停車輔助系統及停車輔助方法 | |
| CN111753632B (zh) | 驾驶辅助装置 | |
| CN110884501B (zh) | 车辆感知的数据处理方法、装置、电子设备与存储介质 | |
| JP7146491B2 (ja) | 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体 | |
| CN117885643A (zh) | 识别车辆的停放可能性的方法、计算机程序产品和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |