CN115063773A - 一种车辆盲区图像处理方法、装置、设备及存储介质 - Google Patents

一种车辆盲区图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115063773A
CN115063773A CN202210528822.1A CN202210528822A CN115063773A CN 115063773 A CN115063773 A CN 115063773A CN 202210528822 A CN202210528822 A CN 202210528822A CN 115063773 A CN115063773 A CN 115063773A
Authority
CN
China
Prior art keywords
area
target
image
vehicle
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210528822.1A
Other languages
English (en)
Inventor
孔庆宇
徐康
黄歆
白文娟
朱峰
王雪
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202210528822.1A priority Critical patent/CN115063773A/zh
Publication of CN115063773A publication Critical patent/CN115063773A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆盲区图像处理方法、装置、设备及存储介质，属于图像处理领域，该方法包括响应于车辆转弯指令，检测第一区域与第二区域的区域重合信息；在区域重合信息指示第一区域与第二区域不重合的情况下，获取目标区域的雷达点云信息；所述目标区域为第一区域与第二区域之间的区域；所述雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；基于目标图像与目标区域的雷达点云信息进行数据拼接，得到车辆全景图像；目标图像包括第一区域中的图像与第二区域中的图像；解决了因车头转动而造成局部拼接图像缺失产生的检测盲区，并且能够更清楚的检测到障碍物的距离、角度。

Description

一种车辆盲区图像处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，具体为一种车辆盲区图像处理方法、装置、设备及存储介质。
背景技术
针对货车场景，由于货车体型较大，存在较大的视觉盲区，一般要在车辆前方、后方，以及车辆两侧布放广角或鱼眼摄像头，摄像头用于监控车辆前方、后方，以及车辆两侧，但是针对分体式，带有挂车的超长货车，上述方案存在一定局限性，由于挂车的车头、车厢为分体式，车辆在转弯时，车头、车厢会出现角度和位置的相对位移，容易出现视频拼接覆盖盲区，造成局部拼接失败，难以实现360°环视监控。
发明内容
为了克服现有技术存在的缺点与不足，本发明公开一种车辆盲区图像处理方法，能够解决因车头转动而造成局部拼接图像缺失而产生的盲区，并且能够更清楚的检测到障碍物的距离、角度。该方法包括步骤：
响应于车辆转弯指令，检测第一区域与第二区域的区域重合信息；所述第一区域为目标车辆的前方区域，所述第二区域为所述目标车辆的车身侧边区域；
在所述区域重合信息指示所述第一区域与所述第二区域不重合的情况下，获取目标区域的雷达点云信息；所述目标区域为所述第一区域与所述第二区域之间的区域，所述目标区域的部分区域与所述第一区域重合，所述目标区域的部分区域与所述第二区域重合；所述雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；
基于目标图像与所述目标区域的雷达点云信息进行数据拼接，得到车辆全景图像；所述目标图像包括所述第一区域中的图像与所述第二区域中的图像。
进一步地，所述基于所述目标图像与所述目标区域的雷达点云信息进行数据拼接，生成车辆全景图像，包括：
对所述目标区域的雷达点云信息进行数据处理，得到原始雷达图像；
对所述原始雷达图像进行视觉角度转换，得到目标雷达图像；所述目标雷达图像的视觉角度与所述目标图像的视觉角度相匹配；
基于所述目标图像以及所述目标雷达图像进行图像拼接，得到所述车辆全景图像。
进一步地，所述基于所述目标图像以及所述目标雷达图像进行图像拼接，得到所述车辆全景图像，包括：
对所述目标雷达图像在第一重合区域以及第二重合区域的图像分别进行裁剪，得到目标裁剪图像；所述第一重合区域为所述目标区域与所述第一区域的重合区域，所述第二重合区域为所述目标区域与所述第二区域的重合区域；
将所述目标图像与所述目标裁剪图像进行拼接，得到所述车辆全景图像。
进一步地，所述对所述目标雷达图像在第一重合区域以及第二重合区域的图像分别进行裁剪，得到目标裁剪图像之前，所述方法还包括：
基于目标车辆的转弯角度，确定所述第一区域与所述目标区域的第一重合角度；
基于所述第一重合角度确定所述第一重合区域；
基于第二重合角度确定所述第二重合区域；所述第二重合角度为所述第二区域与所述目标区域的重合角度。
进一步地，所述方法还包括：
基于所述车辆全景图像确定目标危险类型；
确定与所述目标危险类型对应的目标执行模块；
向目标执行模块发送危险处理指令，以使得所述目标执行模块执行所述危险处理指令。
基于所述危险处理指令，所述目标执行模块进行危险处理。
进一步地，所述车辆全景图像包括多个图像区域；
所述方法还包括：
基于目标危险类型，对所述车辆全景图像的所述多个图像区域进行危险标记；所述危险标记与所述目标危险类型相对应；
向显示装置发送图像显示指令，以使得所述显示装置显示带有所述危险标记的所述车辆全景图像。
进一步地，所述基于所述危险处理指令，所述目标执行模块进行危险处理之前，所述方法还包括：
基于所述目标危险类型，确定与所述目标危险类型对应的目标执行模块。
进一步地，所述确定与所述目标危险类型对应的目标执行模块之前，所述方法还包括：
确定与多个预设危险类型各自对应的预设执行模块；
建立所述多个预设危险类型，以及所述多个危险类型各自对应的所述预设执行模块的对应关系。
另一方面，本申请还提供一种车辆盲区图像处理装置，包括：
检测模块，用于响应于车辆转弯指令，检测第一区域与第二区域的区域重合信息；所述第一区域为目标车辆的前方区域，所述第二区域为所述目标车辆的车身侧边区域；
获取模块，用于在所述区域重合信息指示所述第一区域与所述第二区域不重合的情况下，获取目标区域的雷达点云信息；所述目标区域为所述第一区域与所述第二区域之间的区域，所述目标区域的部分区域与所述第一区域重合，所述目标区域的部分区域与所述第二区域重合；所述雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；
数据拼接模块，用于基于目标图像与所述目标区域的点云信息进行数据拼接，得到车辆全景图像；所述目标图像包括所述第一区域中的图像与所述第二区域中的图像。
第三方面，本申请还提供一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的一种车辆盲区图像处理方法。
第四方面，本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上所述的一种车辆盲区图像处理方法。
实施本发明，具有如下有益效果：
在车辆转弯时检测第一区域与第二区域的区域重合信息，用于判断在车辆转弯时，是否存在检测盲区，若存在检测盲区，则获取目标区域的雷达点云信息，目标区域包括盲区以及分别与第一区域以及第二区域部分重合区域，防止图像拼接断裂，基于目标图像与目标区域的雷达点云信息进行数据拼接，得到车辆全景图像，解决了因车头转动而造成局部拼接图像缺失而产生的检测盲区，由于雷达的检测特性，能够更清楚的检测到障碍物的距离、角度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例提供的车辆直行检测区域示意图；
图2为本发明实施例提供的车辆转弯检测区域示意图；
图3为本发明实施例提供的车辆盲区图像处理方法流程图；
图4(a)-(b)为本发明实施例提供的图像拼接原理图；
图5为本发明实施例提供的图像虚拟叠加显示原理图；
图6为本发明实施例提供的中央处理单元结构框图；
图7为本发明实施例提供的车辆盲区图像处理装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本实施例中，本发明所要解决的技术问题在于解决了因车头转动而造成局部拼接图像缺失而产生的检测盲区，并且能够更清楚的检测到障碍物的距离、角度。在分体式半挂卡车中，当车辆转弯时，车头先转动，车厢不动，车头上的摄像头随车头转动而移动，车厢上的摄像头不动，此时车头与车厢连接处存在检测盲区。在本实施例中，参照图1，图1为车辆直行时的检测区域视图，采用多个摄像头采集车辆周围行驶环境，作为一种优选的实施方式，摄像头采用广角摄像头或者鱼眼摄像头，分别设在车头、车厢两侧以及车尾，其中，设在车头的摄像头所采集的图像区域为A区，作为一种优选的实施方式，车头可以同时设置摄像头和毫米波雷达，用于检测位于A区的障碍物的距离、方向与形状，车厢两侧的摄像头所采集的图像区域分别为BL区与BR区，车尾的摄像头所采集的图像区域为C区，车厢前端的两侧设有毫米波雷达，用于检测DL区以及DR区，车厢前端两侧的毫米波雷达位置比设在车厢两侧的摄像头位置靠前，毫米波雷达性价比高，能够更加清楚的测得障碍物的距离、角度以及障碍物的形状，直行时DL区与DR区能够被摄像头检测到，此时无需将雷达检测图像与摄像头所检测的图像进行拼接。参照图2，图2为车辆转弯时的检查区域视图，BL区、BR区与C区不变，A区检测区域变化，当车辆左转时，产生检测盲区DR区，当车辆右转时，产生检测盲区DL区，为了解决因车头转动而造成局部拼接图像缺失而产生的检测盲区，在车头与车厢连接处的两侧设有毫米波雷达，用于检测DL区以及DR区，将摄像头所获取的图像与雷达所检测的图像进行拼接，得到车辆的全景图像。并且毫米波雷达相比摄像头能够更加清楚的测得障碍物的距离、角度以及障碍物的形状。
参照图3，其所示为本申请实施例提供的一种车辆盲区图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规；或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序，数据处理方法，可以按照实施例或附图所示的方法顺序执行。具体的如图3所示，所述方法可以应用于目标车辆，该方法包括：
S110：检测第一区域与第二区域的区域重合信息；第一区域为目标车辆的前方区域，第二区域为目标车辆的车身侧边区域；
本实施例的执行主体为中央计算单元，当驾驶人转动方向盘，检测到方向盘转动，发送车辆转弯指令至中央计算单元，开始检测第一区域(A区)与第二区域(BR/L区)的区域重合信息，为满足数据计算和拼接准备，也可以在车辆转向灯开启时，向中央计算单元发送车辆转弯指令，第一区域为设在车头的检测装置所检测的区域，第二区域为设在车厢上的摄像头所检测的区域，检测第一区域与第二区域的区域重合信息，判断第一区域与第二区域之间是否存在盲区，一般情况下，为防止拼接断裂现象的风险，车辆在直行时，第一区域与第二区域存在区域重合信息，当中央计算单元接收车辆转弯指令后，检测第一区域与第二区域的区域重合信息。
S120：在区域重合信息指示第一区域与第二区域不重合的情况下，获取目标区域的雷达点云信息；目标区域为第一区域与第二区域之间的区域，目标区域的部分区域与第一区域重合，目标区域的部分区域与第二区域重合；雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；
在区域重合信息指示第一区域与第二区域不重合的情况下，表明车身存在检测盲区，则通过安装在分体式货车车厢前端的目标雷达获取目标区域的雷达点云信息，目标区域分别与第一区域重合以及第二区域有部分区域重合，为了防止图像拼接时存在断裂现象；若区域重合信息指示第一区域与第二区域存在区域重合信息，表明此时车辆转动较小，没有检测盲区，此时不需要获取雷达点云信息，不需要基于摄像头检测的图像与雷达点云信息进行拼接，可以减少数据处理，提高盲区检测效率。
S130：基于目标图像与目标区域的雷达点云信息进行数据拼接，得到车辆全景图像；目标图像包括第一区域中的图像与第二区域中的图像；
在大型车辆转弯时，因为车头转动造成的局部360°拼接图像缺失，通过毫米波雷达采集的目标区域的雷达点云信息进行车辆盲区的补足，毫米波雷达相比于摄像头更容易判定凸起的障碍物、移动的人、车辆以及独立于景物的物体，提高障碍物的检测精度。
在一种实施方式中，步骤S130，包括：
S131：对目标区域的雷达点云信息进行数据处理，得到原始雷达图像；
毫米波雷达以点的形式进行检测，将采集到的点云信息映射到图像坐标系下，通过中央计算单元计算出图像信息，即原始雷达图像。
S132：对原始雷达图像进行视觉角度转换，得到目标雷达图像；目标雷达图像的视觉角度与目标图像的视觉角度相匹配；
在将原始雷达图像与目标图像进行拼接之前，需要将原始雷达图像的角度以及方向调整与目标图像一致，目标雷达图像为虚拟图像信号。
S133：基于目标图像以及目标雷达图像进行图像拼接，得到车辆全景图像；
将虚拟图像信号进行视角角度转换，生成虚拟俯视图像，基于目标图像以及虚拟俯视图像进行360°拼接，得到车辆全景图像，能够保证车辆全景图像的完整性。
在一种实施方式中，步骤S133包括：
S1331：对目标雷达图像在第一重合区域以及第二重合区域的图像分别进行裁剪，得到目标裁剪图像；第一重合区域为目标区域与第一区域的重合区域，第二重合区域为目标区域与第二区域的重合区域；
参照图4(a)，当车辆直行时，车头摄像头检测角度为α，车身侧边摄像头检测角度为β，第一区域与第二区域没有重合区域，即没有检测盲区，由于设置在车厢两侧的摄像头在转弯时所检测的区域不变，在车辆直行时，第一区域与第二区域的区域重合信息也是不变的，参照图4(b)，当车辆转弯时，第一区域随车头转动而转动，车辆转弯可以知道车辆的转弯角度，从而可以确定盲区的角度，即γ角度，在车辆转弯时，安装在车辆两侧的毫米波雷达所检测的区域是固定的，因此在目标图像与目标雷达图像进行拼接时，将目标雷达图像按照盲区的γ角度剪裁，基于盲区的γ角度确定目标雷达图像的第一重合区域与第二重合区域，对第一重合区域与第二重合区域进行裁剪，得到目标裁剪图像。
S1332：将目标图像与目标裁剪图像进行拼接，得到车辆全景图像；
将目标裁剪图像拼接到目标图像中，通过视角角度进行裁剪拼接的方案，不需要视频实时进行像素对比，拼接速度更快、效率更高。
在一种实施方式中，对目标雷达图像在第一重合区域以及第二重合区域的图像分别进行裁剪，得到目标裁剪图像之前，方法还包括：
S210基于目标车辆的转弯角度，确定第一区域与目标区域的第一重合角度；
S220：基于第一重合角度确定第一重合区域；
S230：基于第二重合角度确定第二重合区域；第二重合角度为第二区域与目标区域的重合角度。
获取车辆的转弯角度，确定目标裁剪图像的角度，当车辆转弯时，第二区域不变，因此第二重合区域是固定的，由于第一区域随车头转动而变化，基于车辆转弯角度，确定第一区域与目标区域的第一重合角度，基于第一重合角度确定第一重合区域，将目标雷达图像裁剪掉第一重合区域与第二重合区域，得到目标裁剪图像，提高图像剪裁效率。
在一种实施方式中，方法还包括：
S310：基于车辆全景图像确定目标危险类型；
中央计算单元根据车辆全景图像，判断车身是否存在危险，并确定目标危险类型，中央计算单元基于目标危险类型对处理该目标危险类型的目标执行模块发送危险处理指令。
S320：确定与目标危险类型对应的目标执行模块；
为实现自动驾驶，确定与危险类型对应的目标执行模块，中央计算单元关联有多个预设执行模块，在多个预设执行模块中确定与危险类型相匹配的目标执行模块。
S330：向目标执行模块发送危险处理指令，以使得所述目标执行模块执行所述危险处理指令；
基于危险处理指令，目标执行模块对危险进行危险处理，实现自动驾驶，无需人工参与，提高驾驶的安全性以及便捷性；提高危险处理的处理准确性。
在一种实施方式中，车辆全景图像包括多个图像区域；方法还包括：
S410：基于目标危险类型，对车辆全景图像的多个图像区域进行危险标记；危险标记与目标危险类型相对应；
具体地，危险标记可以是着色标记，不同的危险类型采用不同的颜色标记，还可以通过不同的图案代表该区域的危险类型，并通过不同颜色来代表危险程度，比如，车辆转弯时，车头与车厢连接处旁边有一障碍物，障碍物用三角形表示，若障碍物与车辆有一定的距离，通过绿色对三角形进行填充，并将绿色的三角形放置在车辆全景图像中的该区域，若障碍物与车辆的距离较为接近，将三角形填充为橙色，若障碍物与车辆的距离接近，将三角形填充为红色，需要驾驶人立刻处理。
S420：向显示装置发送图像显示指令，以使得显示装置显示带有危险标记的车辆全景图像。
毫米波雷达识别到的点云信息在中央计算单元进行数据计算，以及根据物体的，类型，可选进行3D视觉还原或者3D虚拟图像叠加，传输至座舱显示屏进行人机交互显示，当存在危险情况时，将带有危险标记的车辆全景图像通过显示装置显示，驾驶人可以看到车辆行驶时的危险情况，能够针对危险类型以及危险紧急情况做出应对策略，提高驾驶的安全性。
在一种实施方式中，在步骤S320之前，方法还包括：
S510：确定与多个预设危险类型各自对应的预设执行模块；
S520：建立多个预设危险类型，以及多个危险类型各自对应的预设执行模块的对应关系；
多个预设危险类型对应有多个预设执行模块，建立多个预设危险类型，以及多个危险类型各自对应的预设执行模块的对应关系；例如，当检测到车辆高度超过前方的道路的能够允许通行的最高高度，或者行驶路上遇到高出底盘的障碍物，此时目标执行模块为导航模块，导航模块为车辆重新规划行驶路线；若检测到前方车辆紧急刹车，此时目标执行模块为底盘控制单元，针对前方紧急刹车的车辆进行减速、刹车或者相应的规避动作，提升自动驾驶路径规划判定的准确率，提高驾驶安全性。
在一种实施方式中，当车头同时安装摄像头与毫米波雷达时，参照图5，A区为车头摄像头所检测的区域，A’为车头毫米波雷达所检测区域，车头摄像头与车头毫米波雷达均能监测到障碍物(图5中实线三角形所示)，摄像头与毫米波雷达的检测机理不同，通过摄像头检测，根据神经网络深度学习算法能够清楚的识别到障碍物的类别，虽然能够检测出障碍物的具体方位、但是其距离、形状以及高度难以为识别，毫米波雷达结合雷达点云信息，能够准确的识别出障碍物的高度、形状、距离以及角度，进一步的将车头摄像头采集的图像信息与车头毫米波雷达采集的雷达点云信息进行数据融合，对需要特殊标注的物体的类别、距离、角度以及高度进行对比，生成3D物体图像(图5中虚线三角形所示)，在360°环视视频上进行虚拟叠加显示，作为视觉转换图像在高度、距离以及角度存在的偏差进行弥补，上述虚拟叠加显示可选通过3D成像进行虚拟叠加，可以选用色块着色，以及等高线着色的方式，进行可视化标注与修正。
在一中实施方式中，中央计算单元可通过高速总线，如以太网等，将自动驾驶域、座舱域和底盘控制域进行融合；还能通过5G的V2X车路协同技术与路侧设备以及云服务器进行通信，进行训练模型交互，重要指令及数据交互等从操作，具体地，如图6所示，中央计算单元包括第一主控单元、第一计算单元、第二主控单元以及第二计算单元，第一主控单元与第二主控单元为设备管理、数据通信管理计算结果的决策处理；计算单元内置NPU与CPU等，将识别到的视频图像类型进行识别、图像拼接以及俯视图转换，其中，主控单元与计算单元之间进行数据及功能冗余备份，以提升功能安全等级与可靠性。
本实施例还提供一种车辆盲区图像处理装置，该装置能够实现上述所有方法步骤，参照图7，该装置包括：
检测模块610，用于响应于车辆转弯指令，检测第一区域与第二区域的区域重合信息；第一区域为目标车辆的前方区域，第二区域为目标车辆的车身侧边区域；
获取模块620，用于在区域重合信息指示第一区域与第二区域不重合的情况下，获取目标区域的雷达点云信息；目标区域为第一区域与第二区域之间的区域，目标区域的部分区域与第一区域重合，目标区域的部分区域与第二区域重合；所述雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；
数据拼接模块630，用于基于目标图像与目标区域的点云信息进行数据拼接，得到车辆全景图像；目标图像包括第一区域中的图像与第二区域中的图像。
实施本实施例，具有如下效果：
1.在车辆转弯时检测第一区域与第二区域的区域重合信息，用于判断在车辆转弯时，是否存在检测盲区，若存在检测盲区，则获取目标区域的雷达点云信息，目标区域包括盲区以及部分区域分别与第一区域以及第二区域重合，防止图像拼接断裂，基于目标图像与目标区域的雷达点云信息进行数据拼接，得到车辆全景图像，解决了因车头转动而造成局部拼接图像缺失而与引起的盲区，由于雷达的检测特性，能够更清楚的检测到障碍物的距离、角度。
2.通过视角角度，将目标雷达图像与目标图像进行拼接，不需要视频实时进行像素比对，拼接速度快，效率高。
3.中央计算单元用过高速总线，将自动驾驶域、座舱域和底盘控制域进行融合，能够针对危险类型以及紧急情况，自动作出应对策略；同时通过4D成像雷达对待识别物体距离、角度、高度的更为精准判断，对视觉的判定提供了精准补偿，并通过虚拟成像及视觉叠加，有效应对360°俯视图中，视觉对于距离、高度和形状判定不足的问题，可选通过视觉着色、虚拟图像叠加，更加精准的对周边物体、来车、行人，以及超过车辆底盘高度障碍物、小于车辆高度的限高杆等，进行风险识别。配合中央计算单元对上述风险进行预警及车控决策，下发到底盘控制执行单元进行规避动作的执行，有效降低行车风险。
本发明的实施例还提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如方法实施例中的一种车辆盲区图像处理方法。
本发明的实施例还提供了一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种车辆盲区图像处理方法的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的一种车辆盲区图像处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、方法、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种车辆盲区图像处理方法，其特征在于，包括步骤：
检测第一区域与第二区域的区域重合信息；所述第一区域为目标车辆的前方区域，所述第二区域为所述目标车辆的车身侧边区域；
在所述区域重合信息指示所述第一区域与所述第二区域不重合的情况下，获取目标区域的雷达点云信息；所述目标区域为所述第一区域与所述第二区域之间的区域，所述目标区域的部分区域与所述第一区域重合，所述目标区域的部分区域与所述第二区域重合；所述雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；
基于目标图像与所述目标区域的雷达点云信息进行数据拼接，得到车辆全景图像；所述目标图像包括所述第一区域中的图像与所述第二区域中的图像。
2.根据权利要求1所述的一种车辆盲区图像处理方法，其特征在于，所述基于所述目标图像与所述目标区域的雷达点云信息进行数据拼接，生成车辆全景图像，包括：
对所述目标区域的雷达点云信息进行数据处理，得到原始雷达图像；
对所述原始雷达图像进行视觉角度转换，得到目标雷达图像；所述目标雷达图像的视觉角度与所述目标图像的视觉角度相匹配；
基于所述目标图像以及所述目标雷达图像进行图像拼接，得到所述车辆全景图像。
3.根据权利要求2所述的一种车辆盲区图像处理方法，其特征在于，所述基于所述目标图像以及所述目标雷达图像进行图像拼接，得到所述车辆全景图像，包括：
对所述目标雷达图像在第一重合区域以及第二重合区域的图像分别进行裁剪，得到目标裁剪图像；所述第一重合区域为所述目标区域与所述第一区域的重合区域，所述第二重合区域为所述目标区域与所述第二区域的重合区域；
将所述目标图像与所述目标裁剪图像进行拼接，得到所述车辆全景图像。
4.根据权利要求3所述的一种车辆盲区图像处理方法，其特征在于，所述对所述目标雷达图像在第一重合区域以及第二重合区域的图像分别进行裁剪，得到目标裁剪图像之前，所述方法还包括：
基于目标车辆的转弯角度，确定所述第一区域与所述目标区域的第一重合角度；
基于所述第一重合角度确定所述第一重合区域；
基于第二重合角度确定所述第二重合区域；所述第二重合角度为所述第二区域与所述目标区域的重合角度。
5.根据权利要求1所述的一种车辆盲区图像处理方法，其特征在于，所述方法还包括：
基于所述车辆全景图像确定目标危险类型；
确定与所述目标危险类型对应的目标执行模块；
向所述目标执行模块发送危险处理指令；以使得所述目标执行模块执行所述危险处理指令。
6.根据权利要求5所述的一种车辆盲区图像处理方法，其特征在于，
所述车辆全景图像包括多个图像区域；
所述方法还包括：
基于目标危险类型，对所述车辆全景图像的所述多个图像区域进行危险标记；所述危险标记与所述目标危险类型相对应；
向显示装置发送图像显示指令，以使得所述显示装置显示带有所述危险标记的所述车辆全景图像。
7.根据权利要求5所述的一种车辆盲区图像处理方法，其特征在于，
所述确定与所述目标危险类型对应的目标执行模块之前，所述方法还包括：
确定与多个预设危险类型各自对应的预设执行模块；
建立所述多个预设危险类型，以及所述多个危险类型各自对应的所述预设执行模块的对应关系。
8.一种车辆盲区图像处理装置，其特征在于，包括：
检测模块，用于响应于车辆转弯指令，检测第一区域与第二区域的区域重合信息；所述第一区域为目标车辆的前方区域，所述第二区域为所述目标车辆的车身侧边区域；
获取模块，用于在所述区域重合信息指示所述第一区域与所述第二区域不重合的情况下，获取目标区域的雷达点云信息；所述目标区域为所述第一区域与所述第二区域之间的区域，所述目标区域的部分区域与所述第一区域重合，所述目标区域的部分区域与所述第二区域重合；所述雷达点云信息基于安装在分体式货车车厢前端的目标雷达获取到；
数据拼接模块，用于基于目标图像与所述目标区域的点云信息进行数据拼接，得到车辆全景图像；所述目标图像包括所述第一区域中的图像与所述第二区域中的图像。
9.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的一种车辆盲区图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1至7任一所述的一种车辆盲区图像处理方法。
CN202210528822.1A 2022-05-16 2022-05-16 一种车辆盲区图像处理方法、装置、设备及存储介质 Pending CN115063773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528822.1A CN115063773A (zh) 2022-05-16 2022-05-16 一种车辆盲区图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528822.1A CN115063773A (zh) 2022-05-16 2022-05-16 一种车辆盲区图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115063773A true CN115063773A (zh) 2022-09-16

Family

ID=83199009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528822.1A Pending CN115063773A (zh) 2022-05-16 2022-05-16 一种车辆盲区图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115063773A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115691222A (zh) * 2022-12-29 2023-02-03 深圳市美通视讯科技有限公司 一种基于模拟uart串口通信的盲区监测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115691222A (zh) * 2022-12-29 2023-02-03 深圳市美通视讯科技有限公司 一种基于模拟uart串口通信的盲区监测方法及系统

Similar Documents

Publication Publication Date Title
CN112965504B (zh) 基于自动驾驶的远程确认方法、装置、设备及存储介质
US20220157068A1 (en) System and Method of Determining a Curve
JP3592043B2 (ja) 交差点警報装置
CN111736604B (zh) 一种远程驾驶控制方法、装置、设备及存储介质
CN111915915A (zh) 驾驶场景重构方法、装置、系统、车辆、设备及存储介质
CN106064587B (zh) 一种基于车牌识别的多车道车间距识别方法及装置
CN109733283B (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
CN112084232B (zh) 基于目标他车视野信息的车辆行驶风险评估方法及装置
US11987239B2 (en) Driving assistance device
CN107798306A (zh) 一种智能驾驶和远程可视化智能定损系统及方法
CN111409455A (zh) 车辆的速度控制方法及装置、电子设备、存储介质
CN115063773A (zh) 一种车辆盲区图像处理方法、装置、设备及存储介质
CN114290990A (zh) 车辆a柱盲区的障碍物预警系统、方法和信号处理装置
CN110969843A (zh) 一种具抑制策略的交通标志识别报警方法
CN114298908A (zh) 一种障碍物展示方法、装置、电子设备及存储介质
JP2023528940A (ja) 自律車両のセンサの位置または向きを検証するための装置
CN113071500A (zh) 车道线的获取方法、装置、计算机设备和存储介质
CN114822083B (zh) 智慧车辆编队辅助控制系统
US20230314157A1 (en) Parking assist in augmented reality head-up display system
JP7484848B2 (ja) 遠隔運転者の支援方法、支援システム、及びプログラム
Bauchwitz et al. Evaluating the reliability of tesla model 3 driver assist functions
US20220024503A1 (en) Vehicle monitoring system
CN115082894A (zh) 距离检测方法、车辆远光灯控制方法、设备、介质及车辆
JP2017140889A (ja) 走行支援装置
CN113609945B (zh) 一种图像检测方法和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination