CN115205365A - 车辆距离检测方法、装置、车辆、可读存储介质及芯片 - Google Patents
车辆距离检测方法、装置、车辆、可读存储介质及芯片 Download PDFInfo
- Publication number
- CN115205365A CN115205365A CN202210833994.XA CN202210833994A CN115205365A CN 115205365 A CN115205365 A CN 115205365A CN 202210833994 A CN202210833994 A CN 202210833994A CN 115205365 A CN115205365 A CN 115205365A
- Authority
- CN
- China
- Prior art keywords
- license plate
- vehicle
- camera
- distance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 123
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 12
- 238000002372 labelling Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000010267 cellular communication Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种车辆距离检测方法、装置、车辆、可读存储介质及芯片，包括通过相机获取待检测图像，通过车牌检测神经网络识别待检测图像中的车牌，确定车牌检测框信息，基于透视几何原理，根据车牌检测框信息、车牌实际尺寸及相机的相机内参确定自车与车牌所在车辆之间的距离；通过车牌检测神经网络识别待检测图像中的车牌，通过识别到的车牌信息及相机内参估算得到自车与前车之间的距离，训练数据容易标注，且标注成本低，而且这种估算前车距离的方式比较稳定、准确度高。
Description
技术领域
本公开涉及自动驾驶领域，尤其涉及一种车辆距离检测方法、装置、车辆、可读存储介质及芯片。
背景技术
相关技术中，检测自车与前车(前方车辆)之间的距离，是基于3D目标检测方法直接给出前车的距离。但相关技术方案存在估算近处的前车距离不够准确的问题，且3D目标检测需要大量3D标注数据，而3D标注成本非常高，标注难度高。因此，亟需一种容易标注，且标注成本低，估算前车距离比较稳定且准确度高的前车距离估算方法。
发明内容
为克服相关技术中存在的问题，本公开提供一种车辆距离检测方法、装置、车辆、可读存储介质及芯片，以解决上述3D标注成本非常高，标注难度高的问题。
根据本公开实施例的第一方面，提供一种车辆距离检测方法，包括：通过相机获取待检测图像；通过车牌检测神经网络识别所述待检测图像中的车牌，确定车牌检测框信息；基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及所述相机的相机内参确定自车与车牌所在车辆之间的距离。
可选的，所述基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及相机内参确定自车与车牌所在车辆之间的距离包括：根据所述车牌检测框信息确定所述车牌检测框的像素坐标；根据所述透视几何原理确定相机坐标系下车牌四个顶点坐标；根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参确定自车与车牌所在车辆之间的距离。
可选的，所述根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参确定自车与车牌所在车辆之间的距离包括：根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参，利用如下公式确定自车与车牌所在车辆之间的距离：
其中，(x1，y1)和(x2，y2)分别为所述车牌检测框在所述待检测图像中任意两个对角点的像素坐标，(x11，y11，z)和(x22,y22,z)分别为相机坐标系下车牌任意两个对角点的坐标，z为所述待检测图像的深度，cx和cy分别为相机光轴对于投影平面坐标中心在x方向和y方向偏移量，fx和fy分别为所述相机在x方向和y方向的焦距，zc是像素坐标(x1，y1)和(x2，y2)的实际深度，所述实际深度用于表征自车与车牌所在车辆之间的距离。
可选的，所述车牌实际尺寸包括车牌实际宽度和车牌实际高度，所述根据所述车牌检测框的像素坐标、相机坐标系下车牌两个对角点的坐标、及相机内参确定自车与车牌所在车辆之间的距离包括：根据所述车牌检测框的像素坐标确定所述车牌检测框的图像框宽度和图像框高度；根据所述车牌实际宽度、所述图像框宽度和所述相机在x方向的焦距确定所述自车与所述车牌所在车辆之间的距离；或根据所述车牌实际高度、所述图像框高度和所述相机在y方向的焦距确定所述自车与所述车牌所在车辆之间的距离。
可选的，所述自车与所述车牌所在车辆之间的距离的计算公式包括：
z＝w/w_img*fx
其中，w为所述车牌实际宽度，w_img为所述图像框宽度。
可选的，所述自车与所述车牌所在车辆之间的距离的计算公式包括：
z＝h/h_img*fy
其中，h为所述车牌实际高度，h_img为所述图像框高度。
根据本公开实施例的第二方面，提供一种车辆距离检测装置，包括：获取模块，被配置为通过相机获取待检测图像；识别模块，被配置为通过车牌检测神经网络识别所述待检测图像中的车牌，确定车牌检测框信息；处理模块，被配置为基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及所述相机的相机内参确定自车与车牌所在车辆之间的距离。
根据本公开实施例的第三方面，提供一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令实现前述的车辆距离检测方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现本公开第一方面所提供的车辆距离检测方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行前述的车辆距离检测方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过相机获取待检测图像，通过车牌检测神经网络识别待检测图像中的车牌，确定车牌检测框信息，基于透视几何原理，根据车牌检测框信息、车牌实际尺寸及相机的相机内参确定自车与车牌所在车辆之间的距离；通过车牌检测神经网络识别待检测图像中的车牌，通过识别到的车牌信息及相机内参估算得到自车与前车之间的距离，训练数据容易标注，且标注成本低，而且这种估算前车距离的方式比较稳定、准确度高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种车辆距离检测方法的流程图。
图2是根据一示例性实施例示出的另一种车辆距离检测方法的流程图。
图3是根据一示例性实施例示出的一种车辆距离检测装置的框图。
图4是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种车辆距离检测方法的流程图，如图1所示，车辆距离检测方法应用于一电子设备，如集成在车辆上的电子设备，该车辆距离检测方法包括以下步骤：
在步骤S11中，通过相机获取待检测图像。
可以在车辆上安装一些感知设备，如相机，当车辆在规划的路径上行驶并感知到前方路径上有车辆时，可以通过感知设备获取到包括该车辆的待检测图像。
在步骤S12中，通过车牌检测神经网络识别待检测图像中的车牌，确定车牌检测框信息。
通过预先训练好的车牌检测神经网络识别出待检测图像中的车辆，及车辆的车牌，并确定车牌检测框信息，车牌检测框信息包括车牌检测框四个顶点的像素坐标，车牌检测框的宽度和高度，需要说明的是，车牌检测框是二维框。
在步骤S13中，基于透视几何原理，根据车牌检测框信息、车牌实际尺寸及相机的相机内参确定自车与车牌所在车辆之间的距离。
车牌检测框信息包括车牌检测框四个顶点的像素坐标，车牌检测框的宽度和高度，车牌实际尺寸包括宽度和高度，为已知常量，相机的相机内参包括相机光轴对于投影平面坐标中心在x方向和y方向偏移量，相机在x方向和y方向的焦距，为相机的出厂参数。
可以根据车牌检测框信息确定车牌检测框四个顶点的像素坐标，根据透视几何原理确定相机坐标系下车牌四个顶点坐标，然后根据车牌检测框的像素坐标、相机坐标系下车牌任意两个对角点的坐标、及相机内参确定自车与车牌所在车辆之间的距离。
通过车牌检测神经网络识别待检测图像中的车牌，通过识别到的车牌信息及相机内参估算得到自车与前车之间的距离，训练数据容易标注，且标注成本低，而且这种估算前车距离的方式比较稳定、准确度高。
请参阅图2，图2为本公开示例性实施例示出的另一种车辆距离检测方法的流程图。
需要说明的是，图2所示的车辆距离检测方法与图1所示的车辆距离检测方法的实施方式内容一致，图2中未提及之处可以参考图1的描述，在此不再赘述。图2所示的车辆距离检测方法包括以下步骤：
在步骤S21中，通过相机获取待检测图像。
示例性的，可以在车辆上安装一些感知设备，当车辆在规划的路径上行驶并感知到前方路径上有车辆时，可以通过感知设备获取到包括该车辆的待检测图像，感知设备可以是但不限于车载端的相机、摄像头、毫米波雷达、激光雷达、V2X设备、路侧端的摄像头、毫米波雷达、激光雷达等。在本实施例中，以相机为例来进行说明。
在步骤S22中，通过车牌检测神经网络识别待检测图像中的车牌，确定车牌检测框信息。
通过预先训练好的车牌检测神经网络识别出待检测图像中的车辆，及车辆的车牌，并确定车牌检测框信息，车牌检测框信息包括车牌检测框四个顶点的像素坐标，车牌检测框的宽度和高度，需要说明的是，车牌检测框是二维框。
需要说明的是，车牌检测神经网络是通过对多个样本图像进行训练得到的，样本图像包括正样本图像和负样本图像，其中，正样本图像中包括待检测的车辆，负样本图像中没有待检测的车辆。在对样本图像进行训练之前，首先对样本图像进行标注，标注出样本图像中的车牌所在区域、车牌的四个顶点的像素坐标、车牌的高度和宽度及样本图像的深度信息，深度信息表征了样本图像中自车与车牌所在车辆的距离。样本图像的获取方式可以是：选择多位经验丰富的司机，驾驶车辆的过程中针对多种场景进行采样，如前方有一个车辆、有不止一个车辆的场景，及针对不同距离的前车分别进行采样，每间隔m米进行一次采样，例如m＝0.05m，从而得到包括不同距离的前车的样本图像。
在步骤S23中，基于透视几何原理，根据车牌检测框信息、车牌实际尺寸及相机的相机内参确定自车与车牌所在车辆之间的距离。
车牌检测框信息包括车牌检测框四个顶点的像素坐标，车牌检测框的宽度w_img和高度h_img，假设任意两个车牌检测框的对角顶点的像素坐标为(x1，y1)和(x2，y2)，那么w_img＝x2-x1，h_img＝y2-y1，车牌实际尺寸包括宽度w和高度h，为已知常量，相机的相机内参包括相机光轴对于投影平面坐标中心在x方向和y方向偏移量cx和cy，相机在x方向和y方向的焦距fx和fy，为相机的出厂参数。
透视几何原理借助于近大远小的透视现象来表现图像中各种目标物体的立体感，其中最明显的现象就是图像中平行线的会聚，类似于公路或铁路伸向远方那样，越远越小，而越近就越大。利用这个透视几何原理，可以画出任何目标物体(如待检测图像中的车辆)的空间距离。目标物体形体有的时候在视觉上也会出现这种近的大、远的小的现象。同样大小的图形感觉上远近相同，不同大小的图形感觉上大的近些、小的远些。同样，任何一个目标物体，由于它们在空间中所在的位置与观者的位置不同，因而在图像中，也会有高低位置的区别，从而出现空间感觉。
示例性的，可以根据车牌检测框信息确定车牌检测框四个顶点的像素坐标，根据透视几何原理确定相机坐标系下车牌四个顶点坐标，然后根据车牌检测框的像素坐标、相机坐标系下车牌任意两个对角点的坐标、及相机内参确定自车与车牌所在车辆之间的距离。
在一种实施方式中，根据车牌检测框的像素坐标、相机坐标系下车牌任意两个对角点的坐标、及相机内参，利用如下公式确定自车与车牌所在车辆之间的距离：
其中，(x1，y1)和(x2，y2)分别为车牌检测框在待检测图像中任意两个对角点的像素坐标，(x11，y11，z)和(x22,y22,z)分别为相机坐标系下车牌任意两个对角点的坐标，z为待检测图像的深度，待检测图像的深度表征自车与车牌所在车辆之间的距离，cx和cy分别为相机光轴对于投影平面坐标中心在x方向和y方向偏移量，fx和fy分别为相机在x方向和y方向的焦距，zc是像素坐标(x1，y1)和(x2，y2)的实际深度，实际深度用于表征自车与车牌所在车辆之间的距离。
根据公式(0)和公式(1)可以得到：
x11*fx+z*cx＝zc*x1 (2)
y11*fy+z*cy＝zc*y1 (3)
z＝zc (4)
x22*fx+z*cx＝zc*x2 (5)
y22*fy+z*cy＝zc*y2 (6)
由公式(2)(3)(4)(5)(6)可以得到自车与车牌所在车辆之间的距离z＝w/w_img*fx或z＝h/h_img*fy；其中，w为车牌实际宽度，w_img为图像框宽度，h为车牌实际高度，h_img为图像框高度。
综上所述，本公开提供的车辆距离检测方法，包括：通过相机获取待检测图像，通过车牌检测神经网络识别待检测图像中的车牌，确定车牌检测框信息，基于透视几何原理，根据车牌检测框信息、车牌实际尺寸及相机的相机内参确定自车与车牌所在车辆之间的距离；通过车牌检测神经网络识别待检测图像中的车牌，通过识别到的车牌信息及相机内参估算得到自车与前车之间的距离，训练数据容易标注，且标注成本低，而且这种估算前车距离的方式比较稳定、准确度高。
图3是根据一示例性实施例示出的一种车辆距离检测装置框图。参照图3，该车辆距离检测装置20包括获取模块201、识别模块203和处理模块205。
该获取模块201，被配置为通过相机获取待检测图像；
识别模块203，被配置为通过车牌检测神经网络识别所述待检测图像中的车牌，确定车牌检测框信息；
处理模块205，被配置为基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及所述相机的相机内参确定自车与车牌所在车辆之间的距离。
可选的，所述处理模块205，还被配置为根据所述车牌检测框信息确定所述车牌检测框的像素坐标；
根据所述透视几何原理确定相机坐标系下车牌四个顶点坐标；
根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参确定自车与车牌所在车辆之间的距离。
可选的，所述处理模块205，还被配置为根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参，利用如下公式确定自车与车牌所在车辆之间的距离：
其中，(x1，y1)和(x2，y2)分别为所述车牌检测框在所述待检测图像中任意两个对角点的像素坐标，(x11，y11，z)和(x22,y22,z)分别为相机坐标系下车牌任意两个对角点的坐标，z为所述待检测图像的深度，cx和cy分别为相机光轴对于投影平面坐标中心在x方向和y方向偏移量，fx和fy分别为所述相机在x方向和y方向的焦距，zc是像素坐标(x1，y1)和(x2，y2)的实际深度，所述实际深度用于表征自车与车牌所在车辆之间的距离。
可选的，所述处理模块205，还被配置为根据所述车牌检测框的像素坐标确定所述车牌检测框的图像框宽度和图像框高度；
根据所述车牌实际宽度、所述图像框宽度和所述相机在x方向的焦距确定所述自车与所述车牌所在车辆之间的距离；
或根据所述车牌实际高度、所述图像框高度和所述相机在y方向的焦距确定所述自车与所述车牌所在车辆之间的距离。
可选的，所述自车与所述车牌所在车辆之间的距离的计算公式包括：
z＝w/w_img*fx
其中，w为所述车牌实际宽度，w_img为所述图像框宽度。
可选的，所述自车与所述车牌所在车辆之间的距离的计算公式包括：
z＝h/h_img*fy
其中，h为所述车牌实际高度，h_img为所述图像框高度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的车辆距离检测方法的步骤。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(Integrated Circuit，IC)或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU(GraphicsProcessing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，可编程逻辑阵列)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、SOC(System on Chip，SoC，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的车辆距离检测方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、第一存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该第一存储器中，当该可执行指令被处理器执行时实现上述的车辆距离检测方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的车辆距离检测方法。
参阅图4，图4是一示例性实施例示出的一种车辆600的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如，车辆600可以通过感知系统620获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。可选的，车辆600可包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统611，娱乐系统612以及导航系统613。
通信系统611可以包括无线通信系统，无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统612可以包括显示设备，麦克风和音响，用户可以基于娱乐系统在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆600的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航系统613可以包括由地图供应商所提供的地图服务，从而为车辆600提供行驶路线的导航，导航系统613可以和车辆的全球定位系统621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知系统620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如，感知系统620可包括全球定位系统621(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知系统620还可包括被监视车辆600的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
全球定位系统621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中，惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中，激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置626获取的图像信息可以包括静态图像，也可以包括视频流信息。
决策控制系统630包括基于感知系统620所获取的信息进行分析决策的计算系统631，决策控制系统630还包括对车辆600的动力系统进行控制的整车控制器632，以及用于控制车辆600的转向系统633、油门634和制动系统635。
计算系统631可以操作来处理和分析由感知系统620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算系统631可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪等技术。在一些实施例中，计算系统631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制，以提升车辆600的动力性能。
转向系统633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘系统。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动系统635用于控制车辆600减速。制动系统635可使用摩擦力来减慢车轮644。在一些实施例中，制动系统635可将车轮644的动能转换为电流。制动系统635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动系统640可包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可包括引擎641、能量源642、传动系统643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他系统提供能量。
传动系统643可以将来自引擎641的机械动力传送到车轮644。传动系统643可包括变速箱、差速器和驱动轴。在一个实施例中，传动系统643还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651，处理器651可以执行存储在例如第二存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中，计算平台650还可以是采用分布式方式控制车辆600的个体组件或子系统的多个计算设备。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。可替换地，处理器651还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、片上系统(Sysem on Chip，SOC)、专用集成芯片(Application Specific Integrated Circuit，ASIC)或它们的组合。尽管图4功能性地图示了处理器、第二存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或第二存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或第二存储器。例如，第二存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或第二存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中，处理器651可以执行上述的车辆距离检测方法。
在此处所描述的各个方面中，处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，第二存储器652可包含指令653(例如，程序逻辑)，指令653可被处理器651执行来执行车辆600的各种功能。第二存储器652也可包含额外的指令，包括向信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外，第二存储器652还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子系统(例如，驱动系统640、感知系统620和决策控制系统630)接收的输入来控制车辆600的功能。例如，计算平台650可利用来自决策控制系统630的输入以便控制转向系统633来避免由感知系统620检测到的障碍物。在一些实施例中，计算平台650可操作来对车辆600及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆600分开安装或关联。例如，第二存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图4不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车，如上面的车辆600，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，车辆600或者与车辆600相关联的感知和计算设备(例如计算系统631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)何种稳定状态。在这个过程中，也可以考虑其它因素来确定车辆600的速度，诸如，车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆600的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的车辆距离检测方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种车辆距离检测方法，其特征在于，其特征在于，包括：
通过相机获取待检测图像；
通过车牌检测神经网络识别所述待检测图像中的车牌，确定车牌检测框信息；
基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及所述相机的相机内参确定自车与车牌所在车辆之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及相机内参确定自车与车牌所在车辆之间的距离包括：
根据所述车牌检测框信息确定所述车牌检测框的像素坐标；
根据所述透视几何原理确定相机坐标系下车牌四个顶点坐标；
根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参确定自车与车牌所在车辆之间的距离。
3.根据权利要求2所述的方法，其特征在于，所述根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参确定自车与车牌所在车辆之间的距离包括：
根据所述车牌检测框的像素坐标、所述相机坐标系下车牌任意两个对角点的坐标、及所述相机内参，利用如下公式确定自车与车牌所在车辆之间的距离：
其中，(x1，y1)和(x2，y2)分别为所述车牌检测框在所述待检测图像中任意两个对角点的像素坐标，(x11，y11，z)和(x22,y22,z)分别为相机坐标系下车牌任意两个对角点的坐标，z为所述待检测图像的深度，cx和cy分别为相机光轴对于投影平面坐标中心在x方向和y方向偏移量，fx和fy分别为所述相机在x方向和y方向的焦距，zc是像素坐标(x1，y1)和(x2，y2)的实际深度，所述实际深度用于表征自车与车牌所在车辆之间的距离。
4.根据权利要求3所述的方法，其特征在于，所述车牌实际尺寸包括车牌实际宽度和车牌实际高度，所述根据所述车牌检测框的像素坐标、相机坐标系下车牌两个对角点的坐标、及相机内参确定自车与车牌所在车辆之间的距离包括：
根据所述车牌检测框的像素坐标确定所述车牌检测框的图像框宽度和图像框高度；
根据所述车牌实际宽度、所述图像框宽度和所述相机在x方向的焦距确定所述自车与所述车牌所在车辆之间的距离；
或根据所述车牌实际高度、所述图像框高度和所述相机在y方向的焦距确定所述自车与所述车牌所在车辆之间的距离。
5.根据权利要求4所述的方法，其特征在于，所述自车与所述车牌所在车辆之间的距离的计算公式包括：
z＝w/w_img*fx
其中，w为所述车牌实际宽度，w_img为所述图像框宽度。
6.根据权利要求4所述的方法，其特征在于，所述自车与所述车牌所在车辆之间的距离的计算公式包括：
z＝h/h_img*fy
其中，h为所述车牌实际高度，h_img为所述图像框高度。
7.一种车辆距离检测装置，其特征在于，包括：
获取模块，被配置为通过相机获取待检测图像；
识别模块，被配置为通过车牌检测神经网络识别所述待检测图像中的车牌，确定车牌检测框信息；
处理模块，被配置为基于透视几何原理，根据所述车牌检测框信息、车牌实际尺寸及所述相机的相机内参确定自车与车牌所在车辆之间的距离。
8.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令实现权利要求1～6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1～6中任一项所述方法的步骤。
10.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1～6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210833994.XA CN115205365A (zh) | 2022-07-14 | 2022-07-14 | 车辆距离检测方法、装置、车辆、可读存储介质及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210833994.XA CN115205365A (zh) | 2022-07-14 | 2022-07-14 | 车辆距离检测方法、装置、车辆、可读存储介质及芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205365A true CN115205365A (zh) | 2022-10-18 |
Family
ID=83581251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210833994.XA Pending CN115205365A (zh) | 2022-07-14 | 2022-07-14 | 车辆距离检测方法、装置、车辆、可读存储介质及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205365A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115713736A (zh) * | 2023-01-10 | 2023-02-24 | 四川大学 | 一种基于仿射变换的全天候车牌单目测距方法及装置 |
| CN116704472A (zh) * | 2023-05-15 | 2023-09-05 | 小米汽车科技有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281022A (zh) * | 2008-04-08 | 2008-10-08 | 上海世科嘉车辆技术研发有限公司 | 基于单目机器视觉的车辆距离测量方法 |
| CN104903677A (zh) * | 2012-12-17 | 2015-09-09 | Lsi公司 | 用于将使用不同深度成像技术生成的深度图像合并的方法和装置 |
| CN106802144A (zh) * | 2016-12-28 | 2017-06-06 | 深圳市美好幸福生活安全系统有限公司 | 一种基于单目视觉和车牌的车距测量方法 |
| CN112419385A (zh) * | 2021-01-25 | 2021-02-26 | 国汽智控(北京)科技有限公司 | 一种3d深度信息估计方法、装置及计算机设备 |
| CN114419143A (zh) * | 2022-01-18 | 2022-04-29 | 浙江吉利控股集团有限公司 | 深度测量方法、深度测量设备及存储介质 |
| CN114659489A (zh) * | 2022-03-11 | 2022-06-24 | 苏州清研微视电子科技有限公司 | 一种基于凸透镜成像原理的前车距离检测方法和装置 |
-
2022
- 2022-07-14 CN CN202210833994.XA patent/CN115205365A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281022A (zh) * | 2008-04-08 | 2008-10-08 | 上海世科嘉车辆技术研发有限公司 | 基于单目机器视觉的车辆距离测量方法 |
| CN104903677A (zh) * | 2012-12-17 | 2015-09-09 | Lsi公司 | 用于将使用不同深度成像技术生成的深度图像合并的方法和装置 |
| US20160005179A1 (en) * | 2012-12-17 | 2016-01-07 | Lsi Corporation | Methods and apparatus for merging depth images generated using distinct depth imaging techniques |
| CN106802144A (zh) * | 2016-12-28 | 2017-06-06 | 深圳市美好幸福生活安全系统有限公司 | 一种基于单目视觉和车牌的车距测量方法 |
| CN112419385A (zh) * | 2021-01-25 | 2021-02-26 | 国汽智控(北京)科技有限公司 | 一种3d深度信息估计方法、装置及计算机设备 |
| CN114419143A (zh) * | 2022-01-18 | 2022-04-29 | 浙江吉利控股集团有限公司 | 深度测量方法、深度测量设备及存储介质 |
| CN114659489A (zh) * | 2022-03-11 | 2022-06-24 | 苏州清研微视电子科技有限公司 | 一种基于凸透镜成像原理的前车距离检测方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115713736A (zh) * | 2023-01-10 | 2023-02-24 | 四川大学 | 一种基于仿射变换的全天候车牌单目测距方法及装置 |
| CN116704472A (zh) * | 2023-05-15 | 2023-09-05 | 小米汽车科技有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
| CN116704472B (zh) * | 2023-05-15 | 2024-04-02 | 小米汽车科技有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115205365A (zh) | 车辆距离检测方法、装置、车辆、可读存储介质及芯片 | |
| CN114842075B (zh) | 数据标注方法、装置、存储介质及车辆 | |
| CN115042821B (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| CN115330923B (zh) | 点云数据渲染方法、装置、车辆、可读存储介质及芯片 | |
| CN115100377B (zh) | 地图构建方法、装置、车辆、可读存储介质及芯片 | |
| CN115123257A (zh) | 路面减速带位置识别方法、装置、车辆、存储介质及芯片 | |
| CN115220449A (zh) | 路径规划的方法、装置、存储介质、芯片及车辆 | |
| CN115265561A (zh) | 车辆定位方法、装置、车辆及介质 | |
| CN114782638B (zh) | 生成车道线的方法、装置、车辆、存储介质及芯片 | |
| CN115164910B (zh) | 行驶路径生成方法、装置、车辆、存储介质及芯片 | |
| CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
| CN115205311B (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
| CN115222791B (zh) | 目标关联方法、装置、可读存储介质及芯片 | |
| CN115100630B (zh) | 障碍物检测方法、装置、车辆、介质及芯片 | |
| CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
| CN115205179A (zh) | 图像融合的方法、装置、车辆及存储介质 | |
| CN115170630A (zh) | 地图生成方法、装置、电子设备、车辆和存储介质 | |
| CN115221151A (zh) | 车辆数据的传输方法、装置、车辆、存储介质及芯片 | |
| CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
| CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
| CN115082573B (zh) | 参数标定方法、装置、车辆及存储介质 | |
| CN114877911B (zh) | 路径规划方法、装置、车辆及存储介质 | |
| CN114842454B (zh) | 障碍物检测方法、装置、设备、存储介质、芯片及车辆 | |
| CN115205461B (zh) | 场景重建方法、装置、可读存储介质及车辆 | |
| CN115063639B (zh) | 生成模型的方法、图像语义分割方法、装置、车辆及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |