CN116824536A - 一种基于车载环视的障碍物识别方法、装置及设备 - Google Patents
一种基于车载环视的障碍物识别方法、装置及设备 Download PDFInfo
- Publication number
- CN116824536A CN116824536A CN202210277160.5A CN202210277160A CN116824536A CN 116824536 A CN116824536 A CN 116824536A CN 202210277160 A CN202210277160 A CN 202210277160A CN 116824536 A CN116824536 A CN 116824536A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- point cloud
- target object
- around
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000002592 echocardiography Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种基于车载环视的障碍物识别方法、装置及设备，尤其涉及计算机视觉技术领域。其中，该方法包括：基于车辆的环视数据进行三维重建，获取第一点云；对第一点云进行物体识别，得到针对至少一个物体的第二点云；若确定目标物体为障碍物，则建立目标物体的第二点云的外接立方体模型；将外接立方体模型渲染叠加至车辆的原始环视图像上，以得到目标环视图像。本公开实施例用于解决超声波雷达检测障碍物精确度不高的问题。
Description
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种基于车载环视的障碍物识别方法、装置及设备。
背景技术
随着人们日常出行的需求呈现多元化趋势，越来越多的人选择驾车出行，为保障人们的出行安全，在驾驶过程中针对障碍物的检测显得尤为重要。目前超声波雷达对障碍物的定位方法是通过一个超声波雷达发射超声波，一个或多个雷达接收该超声波雷达的回波，根据两个或多个超声波雷达接收到的回波距离及超声波雷达的安装位置，计算障碍物距车辆的距离及障碍物所在的方位。但是，上述定位方法只能确定车辆周围的一部分障碍物，障碍物检测的精确度不高，使得驾驶员无法针对车辆周围的所有障碍物做出准确的判断，从而对驾驶安全性有一定的影响。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于车载环视的障碍物识别方法、装置及设备，可以确定车辆周围的障碍物并进行准确提示。
为了实现上述目的，本公开实施例提供的技术方案如下：
第一方面，提供一种基于车载环视的障碍物识别方法，包括：
基于车辆的环视数据进行三维重建，获取第一点云；
对第一点云进行物体识别，得到针对至少一个物体的第二点云；
若确定目标物体为障碍物，则建立目标物体的第二点云的外接立方体模型，目标物体为至少一个物体中的任一物体；
将外接立方体模型渲染叠加至车辆的原始环视图像上，以得到目标环视图像。
作为本公开实施例一种可选的实施方式，基于车辆的环视数据进行三维重建，获取第一点云，包括：
当车辆处于驻车状态时，通过相邻两个环视相机分别获取第一图像和第二图像；
基于第一图像与第二图像的重叠区图像，以及相邻两个环视相机的相机外参进行三维重建，获取第一点云，重叠区图像为相邻两个环视相机所拍摄的视场范围重叠的图像。
作为本公开实施例一种可选的实施方式，基于车辆的环视数据进行三维重建，获取第一点云，包括：
当车辆处于行驶状态时，通过同一个环视相机获取不同时刻的第三图像和第四图像；
根据第三图像、第四图像，以及车辆的运动信息，确定第三图像和第四图像的同名点；
基于同名点，进行三维重建，获取第一点云。
作为本公开实施例一种可选的实施方式，确定目标物体为障碍物，包括：
获取目标物体的第二点云距离地面的最大距离；
若目标物体的第二点云距离地面的最大距离大于或等于第一预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，确定目标物体为障碍物，包括：
获取目标物体的第二点云距离车辆的最小距离；
若目标物体的第二点云距离车辆的最小距离小于或等于第二预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，确定目标物体为障碍物，包括：
获取目标物体的第二点云距离地面的最大距离，以及目标物体的第二点云距离车辆的最小距离；
若目标物体的第二点云距离地面的最大距离大于第一预设距离，且目标物体的第二点云距离车辆的最小距离小于第二预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，确定目标物体为障碍物，包括：
计算目标物体的第二点云的体积；
若目标物体的第二点云的体积大于预设体积，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
第二方面，提供一种基于车载环视的障碍物识别装置，包括：
点云获取模块，用于基于车辆的环视数据进行三维重建，获取第一点云；
物体识别模块，用于对第一点云进行物体识别，得到针对至少一个物体的第二点云；
模型建立模块，用于若确定目标物体为障碍物，则建立目标物体的第二点云的外接立方体模型，目标物体为至少一个物体中的任一物体；
显示模块，用于将外接立方体模型渲染叠加至车辆的原始环视图像上，以得到目标环视图像。
作为本公开实施例一种可选的实施方式，点云获取模块，具体用于当车辆处于驻车状态时，通过相邻两个环视相机分别获取第一图像和第二图像；
基于第一图像与第二图像的重叠区图像，以及相邻两个环视相机的相机外参进行三维重建，获取第一点云，重叠区图像为相邻两个环视相机所拍摄的视场范围重叠的图像。
作为本公开实施例一种可选的实施方式，作为本公开实施例一种可选的实施方式，点云获取模块，具体用于当车辆处于行驶状态时，通过同一个环视相机获取不同时刻的第三图像和第四图像；
根据第三图像、第四图像，以及车辆的运动信息，确定第三图像和第四图像的同名点；
基于同名点，进行三维重建，获取第一点云。
作为本公开实施例一种可选的实施方式，模型建立模块，具体用于获取目标物体的第二点云距离地面的最大距离；
若目标物体的第二点云距离地面的最大距离大于或等于第一预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，模型建立模块，具体用于获取目标物体的第二点云距离车辆的最小距离；
若目标物体的第二点云距离车辆的最小距离小于或等于第二预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，模型建立模块，具体用于获取目标物体的第二点云距离地面的最大距离，以及目标物体的第二点云距离车辆的最小距离；
若目标物体的第二点云距离地面的最大距离大于第一预设距离，且目标物体的第二点云距离车辆的最小距离小于第二预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，模型建立模块，具体用于计算目标物体的第二点云的体积；
若目标物体的第二点云的体积大于预设体积，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
第三方面，提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或其任意一种可选的实施方式所述的基于车载环视的障碍物识别方法。
第四方面，提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或其任意一种可选的实施方式所述的基于车载环视的障碍物识别方法。
第五方面，提供一种计算机程序产品，其特征在于，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现如第一方面或其任意一种可选的实施方式所述的基于车载环视的障碍物识别方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开通过在获取到车辆的环视数据的基础上进行三维重建，将图像数据转化为数学模型以得到第一点云，然后对第一点云进行物体识别，得到第一点云中包括的至少一个物体所对应的第二点云，再从中确定是否存在满足障碍物条件的目标物体，在确定目标物体为障碍物的情况下，建立障碍物所对应的点云的外接立方体模型，进一步对该外接立方体模型进行渲染叠加，以在环视图像上用外接立方体的形式显示障碍物。实现了准确识别车辆周围的所有障碍物，并进行醒目的标记，从而方便驾驶员对车辆周围的环境做出准确判断，提升了驾驶的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例所述一种基于车载环视的障碍物识别方法的实现场景示意图；
图2为本公开实施例所述一种基于车载环视的障碍物识别方法的的流程示意图；
图3为本公开实施例所述环视相机与车辆位置关系的示意图；
图4为本公开实施例所述摄像头坐标系、图像坐标系、世界坐标系的转换关系示意图；
图5为本公开实施例所述同一环视相机不同时刻的同名点示意图；
图6为本公开实施例所述一种车载环视的障碍物识别装置的结构图；
图7为本公开实施例所述一种电子设备的结构图。
具体实施方式
本公开公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，在本公开的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的技术名词作简单地介绍：
点云(Point Cloud)：在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云。
目前，超声波雷达对障碍物的定位方法是通过一个超声波雷达发射超声波，一个或多个雷达接收该超声波雷达的回波，根据两个或多个超声波雷达接收到的回波距离及超声波雷达的安装位置，计算障碍物距车辆的距离及障碍物所在的方位。但是超声波雷达并不能定位障碍物的具体方位，即距离超声波雷达距离一定的障碍物可能出现在超声波雷达探测范围内任何区域。因此，超声波雷达对障碍物的定位方法只能确定车辆周围的一部分障碍物，障碍物检测的精确度不高，使得驾驶员无法针对车辆周围的所有障碍物做出准确的判断，从而对驾驶安全性有一定的影响。
为了解决上述问题，本公开实施例提供了一种基于车载环视的障碍物识别方法、装置、电子设备及存储介质。其中，该方法包括：在获取到车辆的环视数据的基础上进行三维重建，将图像数据转化为数学模型以得到第一点云，然后对第一点云进行物体识别，得到第一点云中包括的至少一个物体所对应的第二点云，再从至少一个物体所对应的第二点云中确定是否存在满足障碍物条件的目标物体，在确定目标物体为障碍物的情况下，建立障碍物所对应的点云的外接立方体模型，进一步对该外接立方体模型进行渲染叠加，以在环视图像上用外接立方体的形式显示障碍物。实现了准确识别车辆周围的所有障碍物，并进行醒目的标记，从而方便驾驶员对车辆周围的环境做出准确判断，提升了驾驶的安全性。
本公开实施例中提供的一种基于车载环视的障碍物识别方法，可应用于终端设备、服务器或其他电子设备。其中，终端设备可以为车载设备。在一些可能的实现方式中，该处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示，图1为本公开实施例所述一种基于车载环视的障碍物识别方法的实现场景示意图，图1中包括车辆101，障碍物102。车载设备根据车辆101设置的环视相机获取车身周边物体的图像，然后进行三维重建，获取到图像中所有物体的点云，之后进行物体识别，以得到每个物体所对应的点云，再根据每个物体所对应的点云判断该物体是否为障碍物，在确定是障碍物102的情况下，建立该物体的外接立方体模型，并进行渲染叠加至图像中，从而在环视相机所得到的环视图像中标注出障碍物，以提示驾驶员谨慎驾驶，实现了识别并显示车辆周围的所有障碍物，提升了障碍物检测的精确度。
如图2所示，图2为本公开实施例所述一种基于车载环视的障碍物识别方法的的流程示意图，该方法包括：
S201、基于车辆的环视数据进行三维重建，获取第一点云。
其中，第一点云是车身周围环境中所有物体的表面特性的点的集合，包括三维坐标和颜色信息(RGB颜色通道)。环视是指汽车周围架设能覆盖车辆周边所有视场范围的3到8个广角鱼眼摄像头(环视相机)，采集到的车周影像数据再经畸变校正-无缝拼接-亮度均衡-视角转换等一系列智能算法处理，最终形成一幅车辆四周的全景鸟瞰图。车辆的环视数据是该全景鸟瞰图中包括的图像数据。
示例性的，图3为本公开实施例所述环视相机(环视摄像头)与车辆位置关系的示意图，如图3所示，图中包括：车辆301，环视相机302，以及环视相机的视场范围303。表示了环视相机和车辆的位置关系，图3中包括4个环视相机(并未全部标注)，其中1个环视相机安装在车辆的前端，1个环视相机安装在车辆的后端，1个环视相机安装在车辆的左侧，1个环视相机安装在车辆的右侧。环视相机的安装位置仅为示例性展示，对此不做限定。
其中，三维重建(3D Reconstruction)的原理是指基于线性相机模型，先通过摄像头坐标系与图像坐标系的转换关系，确定图像中各个点坐标，然后依次经图像坐标系与像素坐标系的转换关系、像素坐标系与世界坐标系的转换关系，得到图像中各个点坐标投射到世界坐标系中对应的坐标，其中，世界坐标系即为车辆坐标系。通过上述转换过程完成车辆坐标系与摄像机坐标系的转换，以实现平面图像中的点坐标的三维重建。
其中，图像坐标系XOY：相机将三维真实环境中的物体通过透视投影后的成像平面的坐标系。定义光轴与成像平面的交点为坐标原点O，成像平面为坐标系平面。计算机存储的图像信息是基于像素坐标系的，其定义图像左上角顶点为像素坐标系uO0v的原点。
图4为本公开实施例所述摄像头坐标系、图像坐标系、世界坐标系的转换关系示意图。如图4所示。图像坐标系的原点O位于像素坐标系下的像素点(u0,v0)处，则图像坐标系与像素坐标系的转换关系为：
其中，dx和dy分别表示每个像素点在图像坐标系的x和y方向上的物理尺寸。
相机坐标系XcYcZc-Oc：以相机光学镜头的中心为原点Oc，以相机的光轴作为Zc轴建立的坐标系。其坐标轴与图像坐标轴平行，则相机坐标系与图像坐标系的转换关系(f为相机的焦距)为：
世界坐标系(XwYwZw)：作为基准坐标系，用于描述相机(即本公开中的环视相机)的安装位置，以及空间中其他物体的位置。世界坐标系与相机坐标系的转换关系为：
其中，旋转矩阵R为3×3的单位正交矩阵，表示相机坐标系相对于世界坐标系的旋转关系。平移向量Tc适用于描述相机坐标系相对于世界坐标系平移关系的向量。
最终，得到世界坐标系与像素坐标系的转换关系为：
式中，M1为相机内参数矩阵，M2为相机外参数矩阵。
在一些实施例中，三维重建的过程中基于上述说明的三维重建的原理，首先对环视相机进行标定,即计算出环视相机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的数据重建出三维数据。
下述将根据车的运动情况将分为当车辆处于驻车状态时和当车辆处于行驶状态时这两种情况来分别介绍三维重建过程：
(1)当车辆处于驻车状态时
在一些实施例中，当车辆处于驻车状态时，通过相邻两个环视相机分别获取第一图像和第二图像；可以理解的是，第一图像和第二图像的数量并不做具体限制。
以图3为例，图3所示车辆前后左右分别设置有环视相机：前环视相机、后环视相机、左环视相机、右环视相机。其中，前环视相机和左环视相机为相邻相机，前环视相机和右环视相机为相邻相机，后环视相机和左环视相机为相邻相机，后环视相机和右环视相机为相邻相机。下述将以前环视相机和左环视相机为例对三维重建过程进行说明，其他环视相机的进行三维重建的实施方式与前环视相机和左环视相机的进行三维重建的实施方式相同或相似，在此不做赘述。
在相邻两个相机为前环视相机和左环视相机的情况下，获取车辆周围环境的第一图像和第二图像，然后进行相机标定，通过相机标定来建立有效的成像模型，求解出相机的内外参数，再对获取到的第一图像和第二图像进行特征提取，可以是特征点的提取，也可以是特征线或特征区域的提取。本公开实施例提供一种实施方式，基于特征点提取算法对第一图像和第二图像进行特征提取。其中特征点提取算法包括但不限于：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法。
由于相邻的前环视相机和左环视相机所拍摄的范围存在重叠，所以前环视相机拍摄的第一图像和左环视相机拍摄的第二图像存在重叠区图像，在对第一图像和第二图像进行特征点提取之后，结合重叠区图像进行立体匹配，根据所提取的特征来建立第一图像和第二图像之间的一种对应关系，将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。
进一步的，根据立体匹配的结果，以及相机标定的内外参数，进行三维重建，从而恢复车辆周围环境的三维场景数据。
在进行三维重建，恢复车辆周围环境的三维场景数据之后，可得到第一点云，从而获得车辆周围环境的三维场景数据中所有物体表面特性的三维坐标。
(2)当车辆处于行驶状态时
在一些实施例中，当车辆处于行驶状态时，车辆周围的环境发生变化，因此需要通过环视相机获取不同时刻的图像来进行准确判断。通过同一个环视相机分别获取不同时刻的第三图像和第四图像，可以理解是同一环视相机在车辆行驶过程中拍摄的多帧图像。
车辆处于行驶状态时，车辆周围的物体相对于车辆是变化的，在同一环视相机获取到的不同时刻图像中，相同物体处于图像中的不同位置，需要结合车辆的运动信息，对相同物体的位置变化进行确定。本公开实施例提供一种实施方式，根据同一环视相机获取到的不同时刻的第三图像和第四图像，以及车辆的运动信息，确定第三图像和第四图像的同名点。其中，车辆的运动信息包括但不限于车速、转向角；同名点是第三图像和第四图像中利用特征点匹配算法得到的相互匹配的特征点，同名点成对出现在不同的图像中，同名点的数量为多个。图5为本公开实施例所述同一环视相机不同时刻的同名点示意图；如图5所示，图5中的(a)、图5中的(b)是同一环视相机拍摄到的不同时刻的图像，A1、A2为一对同名点。
其中，本公开实施例中车辆的行驶状态包括：直线行驶状态和非直线行驶状态。基于不同的行驶状态，当前的车辆运动信息的表征方式不同，本公开在此不做限定。
在得到第三图像和第四图像的同名点之后，进行相机标定，通过相机标定来建立有效的成像模型，求解出相机的内外参数。进一步的基于同名点和相机的内外参数进行三维重建，从而恢复车辆处于行驶状态时周围环境的三维场景数据，以得到车辆周围所有物体的点云。
在进行三维重建，恢复车辆周围环境的三维场景数据之后，可得到第一点云，从而获得车辆周围环境的三维场景数据中所有物体表面特性的三维坐标。
上述实施例，在车辆处于驻车状态时确定相邻环视相机同一时刻所对应的不同图像，进行三维重建，从而得到车辆周围所有物体的点云；或者在车辆处于行驶状态时，分别确定同一环视相机不同时刻所对应的不同图像，结合车辆的运动信息，进行三维重建，从而得到车辆行驶过程中周围所有物体的点云。
进一步的，将获取到的点云加载至全景鸟瞰图所处的坐标系中，从而以车辆作为参考中心，提高了后续障碍物识别的针对性。
S202、对第一点云进行物体识别，得到针对至少一个物体的第二点云。
在一些实施例中，由于第一点云只是一些独立的散点，这些散点通常用三维空间坐标表示，此时的第一点云不含有结构化信息如相对的位置信息，因此，在本公开中，在对第一点云进行物体识别之前，对第一点云进行处理，减少了在识别过程中点云的稀疏性和点云中的噪音所带来的影响。
在一些实施例中，对第一点云进行物体识别，首先通过深度学习或者图像处理算法从第一点云所对应的图像中识别出物体，根据识别出的物体所对应的三维坐标，从第一点云中确定该物体所对应的点云。直至得到第一点云中所有物体所对应的点云。
在另一些实施例中，构建常见物体的点云模板，提高针对点云进行物体识别的效率。本公开提供一种实施方式，常见物体包括：行人、车辆、建筑物或者其它类别，可以预先对各类别的物体的点云信息进行统计，例如，将采集到的所有属于行人的物体的点云信息归为一类作为行人的物体信息库；将采集到的所有属于车辆的物体的点云信息归为一类作为车辆的物体信息库；将采集到的所有属于建筑物的物体的点云信息归为一类作为建筑物的物体信息库；将采集到的所有不属于上述任一类的物体的点云信息归为一类作为其他一类的物体信息库。
然后在每一类别的物体信息库中，取各方向上使用频率最高的前N个数值，例如在行人对应的障碍物信息库中，可以包括各种尺寸的行人的点云信息，可以从行人对应的物体信息库中获取各方向上使用频率最高的前N个数值，生成行人对应的多个物体点云模板。本实施例中所有物体的点云都是按照长、宽和高存储，那么从行人对应的物体信息库中分别获取长、宽和高三个方向上数量最多的前N个数值。同理，还可以从车辆、建筑物或者其它类别对应的物体信息库中获取各方向上使用频率最高的前N个数值，分别获取车辆、建筑物或者其它类别对应的多个物体点云模板，最终将各个类别对应的物体点云模板集合在一起，作为预先生成的多个物体点云模板。
在得到车辆周围所有物体的第一点云之后，可以每个物体的点云中每一个点的坐标。根据每个物体的点云中所有点的坐标，可以确定每个物体对应的长、宽、高。结合预先生成的多个物体点云模板，可得到至少一个物体的第二点云，实现从车辆周围的所有物体中识别出每个物体。
S203、若确定目标物体为障碍物，则建立目标物体的第二点云的外接立方体模型。
其中，目标物体为从第一点云中识别到的至少一个物体中的任一物体。
下述针对障碍物识别的过程将分别从高度、距离、体积这三种情况进行说明：
(1)高度
在一些实施例中，获取目标物体所对应的第二点云中距离地面的最大距离，也是目标物体的最大高度，判断目标物体的最大距离是否大于或等于第一预设距离。在目标物体的最大距离大于或等于第一预设距离的情况下，表示目标物体的高度对车辆的安全行驶会造成一定的影响，因此，将目标物体确定为障碍物。而在目标物体的最大距离小于第一预设距离的情况下，表示目标物体的高度不会对车辆的安全驾驶造成影响。
示例性的，目标物体为减速带，第一预设距离为车辆底盘随对应的高度，则减速带所对应的点云的最大距离小于第一预设距离，表示减速带的高度小于车辆底盘的高度，所以减速带不会对车辆的正常行驶造成影响，因此，确定减速带不是障碍物。
(2)距离
在一些实施例中，获取目标物体所对应的第二点云中距离车辆的最小距离，判断目标物体的最小距离是否小于或等于第二预设距离。在目标物体的最小距离小于或等于第二预设距离的情况下，表示目标物体距离车辆较近，对车辆的安全行驶会造成一定的影响，因此，将目标物体确定为障碍物。而在目标物体的最小距离是否大于第二预设距离的情况下，表示目标物体距离车辆较远，不会对车辆的安全驾驶造成影响。
(3)体积
在一些实施例中，根据目标物体的点云计算目标物体的体积，然后判断目标物体的体积是否大于或等于预设体积，该预设体积根据障碍物体积的经验值进行设置。在目标物体的体积大于或等于预设体积的情况下，确定目标物体为障碍物。在目标物体的体积小于预设体积的情况下，确定目标物体为非障碍物，对车辆的安全驾驶不会造成影响，则不做处理。
可以理解的是，上述三种情况可以进行相应的组合。在一些实施例中获取目标物体的第二点云距离地面的最大距离，以及目标物体的第二点云距离车辆的最小距离；若目标物体的第二点云距离地面的最大距离大于第一预设距离，且目标物体的第二点云距离车辆的最小距离小于第二预设距离，则确定目标物体为障碍物。
在根据目标物体所对应的第二点云中距离地面的最大距离，或者目标物体所对应的第二点云中距离车辆的最小距离，又或者目标物体所对应的体积可以确定目标物体是障碍物的情况下，建立目标物体的第二点云的外接立方体模型。本公开实施例提供一种实施方式，在精确表示目标物体大小的前提下，直接根据目标物体的第二点云建立外接立方体模型，或者，对目标物体的第二点云进行一定比例的膨胀，得到膨胀后对应三维坐标，基于该三维坐标建立外接立方体模型。
上述实施例，通过对目标物体的高度进行判断来确定目标物体是否为障碍物，或者通过目标物体与车辆之间的距离来确定目标物体是否为障碍物，又或者目标物体所对应的体积来确定目标物体是否为障碍物，从而更加准确的根据目标物体的大小和距离来进行障碍物识别，提升了障碍物识别的准确性。进一步的，建立针对障碍物的外接立方体模型，使得障碍物对车辆安全驾驶的影响更加直观，方便用户做出正确判断。
本公开对识别出目标物体不是障碍物的结果不做处理。
S204、将外接立方体模型渲染叠加至车辆的原始环视图像上，以得到目标环视图像。
其中，原始环视图像是由车身周围设置的环视相机所拍摄到的全景俯瞰环视图像。目标环视图像是标注障碍物的环视图像。
在一些实施例中，通过不同大小的三角面片作为最小单位来构成外接立方体模型的表面，将该外接立方体模型设置为透明效果，然后针对障碍物所建立的外接立方体模型进行渲染，叠加至原始图像中，实现在不影响驾驶员正常查看路况的情况下，提示驾驶员注意车辆周围存在的障碍物。另外，可以对不同障碍物的外接立方体模型的边框进行相应颜色的设置，从而更加醒目的标注障碍物与车辆的相对位置。
进一步的，将目标环视图像显示于车辆的显示设备上，通过外接立方体将障碍物醒目标注在环视图像上，方便了用户及时查看车辆周围的环境状况，防止剐蹭等情况的发生，提升了驾驶的安全性。
综上所述，本公开通过在获取到车辆的环视数据的基础上进行三维重建，将图像数据转化为数学模型以得到第一点云，然后对第一点云进行物体识别，得到第一点云中包括的至少一个物体所对应的第二点云，再对确定是否存在障碍物条件的目标物体，在确定目标物体为障碍物的情况下，建立障碍物所对应的点云的外接立方体模型，进一步对该外接立方体模型进行渲染叠加，以在环视图像上用外接立方体的形式显示障碍物。实现了准确识别车辆周围的所有障碍物，并进行醒目的标记，从而方便驾驶员对车辆周围的环境做出准确判断，提升了驾驶的安全性。
图6为本公开实施例所述一种车载环视的障碍物识别装置的结构图，如图6所示，本公开实施例提供一种车载环视的障碍物识别装置，该装置包括：
点云获取模块601，用于基于车辆的环视数据进行三维重建，获取第一点云；
物体识别模块602，用于对第一点云进行物体识别，得到针对至少一个物体的第二点云；
模型建立模块603，用于若确定目标物体为障碍物，则建立目标物体的第二点云的外接立方体模型，目标物体为至少一个物体中的任一物体；
显示模块604，用于将外接立方体模型渲染叠加至车辆的原始环视图像上，以得到目标环视图像。
作为本公开实施例一种可选的实施方式，点云获取模块601，具体用于当车辆处于驻车状态时，通过相邻两个环视相机分别获取第一图像和第二图像；
基于第一图像与第二图像的重叠区图像，以及相邻两个环视相机的相机外参进行三维重建，获取第一点云，重叠区图像为相邻两个环视相机所拍摄的视场范围重叠的图像。
作为本公开实施例一种可选的实施方式，点云获取模块601，具体用于当车辆处于行驶状态时，通过同一个环视相机获取不同时刻的第三图像和第四图像；
根据第三图像、第四图像，以及车辆的运动信息，确定第三图像和第四图像的同名点；
基于同名点，进行三维重建，获取第一点云。
作为本公开实施例一种可选的实施方式，模型建立模块603，具体用于获取目标物体的第二点云距离地面的最大距离；
若目标物体的第二点云距离地面的最大距离大于或等于第一预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，模型建立模块603，具体用于获取目标物体的第二点云距离车辆的最小距离；
若目标物体的第二点云距离车辆的最小距离小于或等于第二预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，模型建立模块603，具体用于获取目标物体的第二点云距离地面的最大距离，以及目标物体的第二点云距离车辆的最小距离；
若目标物体的第二点云距离地面的最大距离大于第一预设距离，且目标物体的第二点云距离车辆的最小距离小于第二预设距离，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
作为本公开实施例一种可选的实施方式，模型建立模块603，具体用于计算目标物体的第二点云的体积；
若目标物体的第二点云的体积大于预设体积，则确定目标物体为障碍物，建立目标物体的第二点云的外接立方体模型。
综上所述，本公开通过在获取到车辆的环视数据的基础上进行三维重建，将图像数据转化为数学模型以得到第一点云，然后对第一点云进行物体识别，得到第一点云中包括的至少一个物体所对应的第二点云，再对确定是否存在障碍物条件的目标物体，在确定目标物体为障碍物的情况下，建立障碍物所对应的点云的外接立方体模型，进一步对该外接立方体模型进行渲染叠加，以在环视图像上用外接立方体的形式显示障碍物。实现了准确识别车辆周围的所有障碍物，并进行醒目的标记，从而方便驾驶员对车辆周围的环境做出准确判断，提升了驾驶的安全性。
图7为本公开实施例所述一种电子设备的结构图。如图7所示，本公开实施例提供一种电子设备，该电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法实施例中的一种基于车载环视的障碍物识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例提供一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述方法实施例中基于车载环视的障碍物识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例提供一种车辆，该车辆包括：如上述的一种基于车载环视的障碍物识别装置，或者，如上述一种电子设备。该车辆用于执行本公开任意实施例所提供的基于车载环视的障碍物识别方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本发明实施例提供一种计算程序产品，该计算机程序产品存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中基于车载环视的障碍物识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本公开中，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开中，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
本公开中，计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种基于车载环视的障碍物识别方法，其特征在于，包括：
基于车辆的环视数据进行三维重建，获取第一点云；
对所述第一点云进行物体识别，得到针对至少一个物体的第二点云；
若确定目标物体为障碍物，则建立所述目标物体的第二点云的外接立方体模型，所述目标物体为所述至少一个物体中的任一物体；
将所述外接立方体模型渲染叠加至所述车辆的原始环视图像上，以得到目标环视图像。
2.根据权利要求1所述的方法，其特征在于，所述基于车辆的环视数据进行三维重建，获取第一点云，包括：
当所述车辆处于驻车状态时，通过相邻两个环视相机分别获取第一图像和第二图像；
基于第一图像与所述第二图像的重叠区图像，以及所述相邻两个环视相机的相机外参进行三维重建，获取所述第一点云，所述重叠区图像为所述相邻两个环视相机所拍摄的视场范围重叠的图像。
3.根据权利要求1所述的方法，其特征在于，所述基于车辆的环视数据进行三维重建，获取第一点云，包括：
当所述车辆处于行驶状态时，通过同一个环视相机获取不同时刻的第三图像和第四图像；
根据所述第三图像、所述第四图像，以及所述车辆的运动信息，确定所述第三图像和所述第四图像的同名点；
基于所述同名点，进行三维重建，获取所述第一点云。
4.根据权利要求1所述的方法，其特征在于，所述确定所述目标物体为障碍物，包括：获取所述目标物体的所述第二点云距离地面的最大距离；
若所述目标物体的第二点云距离地面的最大距离大于或等于第一预设距离，则确定所述目标物体为障碍物。
5.根据权利要求1所述的方法，其特征在于，所述确定所述目标物体为障碍物，包括：
获取所述目标物体的所述第二点云距离车辆的最小距离；
若所述目标物体的所述第二点云距离车辆的最小距离小于或等于第二预设距离，则确定所述目标物体为障碍物。
6.根据权利要求1所述的方法，其特征在于，所述确定所述目标物体为障碍物，包括：
获取所述目标物体的所述第二点云距离地面的最大距离，以及所述目标物体的第二点云距离车辆的最小距离；
若所述目标物体的所述第二点云距离地面的最大距离大于第一预设距离，且所述目标物体的第二点云距离所述车辆的最小距离小于第二预设距离，则确定所述目标物体为障碍物。
7.根据权利要求1所述的方法，其特征在于，所述确定所述目标物体为障碍物，包括：
计算所述目标物体的所述第二点云的体积；
若所述目标物体的所述第二点云的体积大于预设体积，则确定所述目标物体为障碍物。
8.一种基于车载环视的障碍物识别装置，其特征在于，包括：
点云获取模块，用于基于车辆的环视数据进行三维重建，获取第一点云；
物体识别模块，用于对所述第一点云进行物体识别，得到针对至少一个物体的第二点云；
模型建立模块，用于若确定目标物体为障碍物，则建立所述目标物体的第二点云的外接立方体模型，所述目标物体为所述至少一个物体中的任一物体；
显示模块，用于将所述外接立方体模型渲染叠加至所述车辆的原始环视图像上，以得到目标环视图像。
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于车载环视的障碍物识别方法。
10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于车载环视的障碍物识别方法。
11.一种车辆，其特征在于，包括：
如权利要求8所述的一种基于车载环视的障碍物识别装置，或者，如权利要求9所述的一种电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210277160.5A CN116824536A (zh) | 2022-03-21 | 2022-03-21 | 一种基于车载环视的障碍物识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210277160.5A CN116824536A (zh) | 2022-03-21 | 2022-03-21 | 一种基于车载环视的障碍物识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116824536A true CN116824536A (zh) | 2023-09-29 |
Family
ID=88126260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210277160.5A Pending CN116824536A (zh) | 2022-03-21 | 2022-03-21 | 一种基于车载环视的障碍物识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824536A (zh) |
-
2022
- 2022-03-21 CN CN202210277160.5A patent/CN116824536A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| US10580164B2 (en) | Automatic camera calibration | |
| CN113554698B (zh) | 车辆位姿信息生成方法、装置及电子设备、存储介质 | |
| US10430968B2 (en) | Vehicle localization using cameras | |
| CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
| Li et al. | Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space | |
| EP4016457A1 (en) | Positioning method and apparatus | |
| CN109657638B (zh) | 障碍物定位方法、装置和终端 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| KR101163042B1 (ko) | 차량 검출 장치 및 방법 | |
| CN114913506A (zh) | 一种基于多视角融合的3d目标检测方法及装置 | |
| CN110926408A (zh) | 基于特征物的近距离测距方法、装置、系统和存储介质 | |
| CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
| CN113492829B (zh) | 数据处理的方法和装置 | |
| CN114792416A (zh) | 一种目标检测方法及装置 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| CN116343165A (zh) | 一种3d目标检测系统、方法、终端设备及存储介质 | |
| CN116824536A (zh) | 一种基于车载环视的障碍物识别方法、装置及设备 | |
| CN112912895B (zh) | 一种检测方法、装置和车辆 | |
| CN111986248B (zh) | 多目视觉感知方法、装置及自动驾驶汽车 | |
| CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| Klappstein | Optical-flow based detection of moving objects in traffic scenes | |
| Jaspers et al. | Fast and robust b-spline terrain estimation for off-road navigation with stereo vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |