CN115601435B - 车辆姿态检测方法、装置、车辆及存储介质 - Google Patents

车辆姿态检测方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115601435B
CN115601435B CN202211597841.6A CN202211597841A CN115601435B CN 115601435 B CN115601435 B CN 115601435B CN 202211597841 A CN202211597841 A CN 202211597841A CN 115601435 B CN115601435 B CN 115601435B
Authority
CN
China
Prior art keywords
vehicle
target vehicle
line
target
lower boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211597841.6A
Other languages
English (en)
Other versions
CN115601435A (zh
Inventor
徐显杰
马玉珍
窦汝振
包永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Soterea Automotive Technology Co Ltd
Original Assignee
Tianjin Soterea Automotive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Soterea Automotive Technology Co Ltd filed Critical Tianjin Soterea Automotive Technology Co Ltd
Priority to CN202211597841.6A priority Critical patent/CN115601435B/zh
Publication of CN115601435A publication Critical patent/CN115601435A/zh
Application granted granted Critical
Publication of CN115601435B publication Critical patent/CN115601435B/zh
Priority to PCT/CN2023/103787 priority patent/WO2024124865A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明适用于车辆安全防护技术领域，提供了一种车辆姿态检测方法、装置、车辆及存储介质，该方法包括：获取语义分割网络输出的包含目标车辆的分割图，所述分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到；将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，得到由多个线段连接的目标车辆的下边界；从下边界中确定目标车辆的侧线；基于侧线确定目标车辆的姿态。本发明能够解决现有技术中基于视觉的目标检测技术难以确定目标车辆姿态的问题。

Description

车辆姿态检测方法、装置、车辆及存储介质
技术领域
本发明属于车辆安全防护技术领域，尤其涉及一种车辆姿态检测方法、装置、车辆及存储介质。
背景技术
语义分割作为比较典型的AI（Artificial Intelligence，人工智能）网络，广泛应用于无人驾驶等领域。语义分割网络可以对图像中的每一个像素进行分类，分割出行人、车辆等，进而根据这些信息进行避障或危险报警。
然而，车辆的姿态检测是目前基于视觉的目标检测领域需要面对的一个难题。其原因在于，语义分割网络输出的分割图，是标记了每个像素类型的二维灰度图，没有立体信息，在进行实例分析的时候，往往需要通过其他手段获取目标车辆的姿态，才能判断目标车辆与自车之间的相对位置关系。
发明内容
有鉴于此，本发明提供了一种车辆姿态检测方法、装置、车辆及存储介质，以解决现有技术中基于视觉的目标检测技术难以确定目标车辆姿态的问题。
本发明实施例的第一方面提供了一种车辆姿态检测方法，包括：
获取语义分割网络输出的包含目标车辆的分割图，所述分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到；
将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的目标车辆的下边界；
从下边界中确定目标车辆的侧线；
基于侧线确定目标车辆的姿态。
可选的，从下边界中确定目标车辆的侧线，包括：
对下边界进行预处理，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线；
预处理包括：
对于下边界中凹进去的部分，使用直线连接该部分的两端并取代该部分；
删除下边界中距离下半部分目标框的第一侧边预设距离内的线段，第一侧边为距离拍摄目标车辆的摄像头较远的竖直侧边。
可选的，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线，包括：
确定斜率相差最大的两个相邻线段；
以该两个相邻线段的交点为分界点，将下边界划分为两部分，并将每部分下边界包含的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为目标车辆的侧线。
可选的，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线，包括：
根据下边界中各个线段的斜率，将各个线段聚类为两类，并将每类中的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为目标车辆的侧线。
可选的，基于侧线确定目标车辆的姿态，包括：
将侧线从分割图所在的二维图像坐标系投影到世界坐标系；
根据侧线在世界坐标系中的方向，确定目标车辆的姿态。
可选的，在确定目标车辆的姿态之后，还包括：
获取本车辆的行驶方向，本车辆为安装拍摄目标车辆的设备的车辆；
根据本车辆的行驶方向和侧线的方向，判断本车辆与目标车辆是否平行行驶，若本车辆与目标车辆没有平行行驶，则分别计算侧线的两个端点与本车辆行驶方向所在直线的距离，并将距离较近的端点作为碰撞点；
建立碰撞点的轨迹以进行碰撞检测预警。
可选的，若本车辆与目标车辆平行行驶，则：
从侧线的两个端点中任意选择一个端点作为碰撞点；
建立碰撞点的轨迹以进行碰撞检测预警。
本发明实施例的第二方面提供了一种车辆姿态检测装置，包括：
获取模块，用于获取语义分割网络输出的包含目标车辆的分割图，所述分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到；
处理模块，用于将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的目标车辆的下边界；以及，从下边界中确定目标车辆的侧线；
确定模块，用于基于侧线确定目标车辆的姿态。
本发明实施例的第三方面提供了一种车辆，包括电子设备，电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的车辆姿态检测方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的车辆姿态检测方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：
本发明实施例通过获取语义分割网络输出的包含目标车辆的分割图，将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，从而得到目标车辆的下边界，进而从下边界中能够确定目标车辆的侧线，基于侧线确定目标车辆的姿态。本发明实施例能够直接根据语义分割网络输出的二维分割图，分析确定车辆的姿态，不需要借助其他观测设备，解决了基于视觉的目标检测技术难以确定目标车辆姿态的难题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车辆姿态检测方法的流程示意图一；
图2是本发明实施例提供的分割图的处理示意图一；
图3是本发明实施例提供的分割图的处理示意图二；
图4是本发明实施例提供的分割图的处理示意图三；
图5是本发明实施例提供的分割图的处理示意图四；
图6是本发明实施例提供的车辆姿态检测方法的流程示意图二；
图7是本发明实施例提供的车辆姿态检测装置的结构示意图；
图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
语义分割是无人驾驶的核心算法技术，车载摄像头或者激光雷达探查到图像后输入到神经网络中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。但是语义分割网络输出的分割图为二维图，没有立体信息，在进行实例分析的时候，特别是较大目标（车辆）的处理，需要已知目标的姿态，进而判断目标与自车之间的相对位置关系。本发明旨在根据语义分割网络输出的分割图，确定目标车辆的姿态，从而进行更准确的碰撞检测和预警。
参见图1所示，本发明实施例提供的车辆姿态检测方法，具体可以包括以下步骤：
步骤S101，获取语义分割网络输出的包含目标车辆的分割图，分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到。
在本实施例中，可以先获取拍摄的目标车辆的侧前方或侧后方图像，对图像进行语义分割处理，得到包含目标车辆的分割图。其中，获取拍摄的目标车辆的侧前方或侧后方图像，包括但不限于以下方式：（1）直接从图像库中提取；（2）通过设置在路边的相机拍摄；（3）通过安装在车辆上的摄像头拍摄。
在一个实施例中，为了实现车辆行驶中碰撞监测的目的，可以在本车辆的左右侧位置安装摄像头，从而拍摄本车辆左右侧包含目标车辆的图像，更具体的，是车辆侧前方（左侧前方和右侧前方）或侧后方（左侧后方和右侧后方）的图像。该图像经过语义分割网络处理后，输出包含目标车辆的分割图。示例性的，一种由车辆左侧后方图像处理得到的分割图可以参见图2所示，可以理解的是，将图2中的车头和车尾对调，就是目标车辆右侧前方的分割图。分割图中依据图像的像素类型进行分类，例如汽车类目标均标记为一个灰度值，基于语义分割结果进行轮廓查找，可得到如图2所示的目标框区域。
步骤S102，将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的目标车辆的下边界。
在本实施例中，图像处理中的目标框即目标的边界框，边界框是一个矩形框，可以由矩形左上角的x和y轴坐标与右下角的x和y轴坐标确定，例如图2所示的包围车辆的整个目标框10。由于本实施例主要根据车辆的侧线来分辨车辆姿态，因此需要提取车辆轮廓的侧线进行处理，如图2所示，通过中间的分割线11将分割图中目标车辆的目标框10分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的下边界，进而从下边界中提取车辆的侧线。在本实施例中，侧线指的是平行于车辆X轴的任意一条线，在车辆坐标系中X轴平行于地面且指向车辆正后方。
其中，目标框上下分割比例可以设置，在一个实施例中，可以采取如图2所示的上下等分方式，在绝大多数情况下均能提取到车辆的侧线。
在一个实施例中，可设置分段间隔为20个像素（横纵满20像素都可），对下半部分中目标车辆的边缘进行分段，每20个像素进行直线拟合。
例如对图2所示分割图进行分段直线拟合，结果可以参见图3所示。下边界中线段AB、BC、CD、DE依次连接形成的部分为凹边界，需要在后续的预处理过程中替换掉。
步骤S103，从下边界中确定目标车辆的侧线。
在本实施例中，参见步骤S102中的描述，侧线指的是平行于车辆X轴的任意一条线，在车辆坐标系中X轴平行于地面且指向车辆正后方。
步骤S104，基于侧线确定目标车辆的姿态。
在本实施例中，根据下边界中的各个线段，可以找出目标车辆的侧线，由于侧线方向就是目标车辆的车身方向，因此可以确定目标车辆的姿态。例如，根据目标车辆的侧线与道路中的车道线是否平行，可以确定目标车辆的车身是左偏、右偏还是沿车道直行。或根据侧线判断目标车辆与本车辆是否平行。
可见，本发明实施例通过获取语义分割网络输出的包含目标车辆的分割图，将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，从而得到目标车辆的下边界，进而从下边界中能够确定目标车辆的侧线，基于侧线确定目标车辆的姿态。本发明实施例能够直接根据语义分割网络输出的二维分割图，分析确定车辆的姿态，不需要借助其他观测设备，解决了基于视觉的目标检测技术难以确定目标车辆姿态的难题。
作为一种可能的实现方式，步骤S103中，从下边界中确定目标车辆的侧线，可以详述为：
对下边界进行预处理，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线。
预处理包括：
对于下边界中凹进去的部分，使用直线连接该部分的两端并取代该部分；
删除下边界中距离下半部分目标框的第一侧边预设距离内的线段，第一侧边为距离拍摄目标车辆的摄像头较远的竖直侧边。
在本实施例中，参见图4所示，对于下边界中的线段AB、BC、CD、DE部分，直接连接两端A和E，取代凹进去的线段。同时，需要删除距离目标框右侧边预设距离（该值自行设置）内的线段，即删除车辆尾部右边产生的竖直方向线段，从而防止其对车辆侧边的确定产生不利影响。可以理解的是，当拍摄的图像为车辆右侧时，则需要删除的是距离目标框左侧边预设距离内的线段。
具体的，可以通过下述方式确定凹边界：当连续多个线段中，任意两个相邻线段相对于车辆轮廓的外侧夹角小于180度时，这几个线段形成凹边界。
预处理后，根据线段的斜率差异可以拟合找到车辆的侧线，例如图5所示，拟合得到的线段GE即为车辆的侧线，根据侧线可确定车辆姿态。
作为一种可能的实现方式，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线，可以详述为：
确定斜率相差最大（或者夹角最小）的两个相邻线段；
以该两个相邻线段的交点为分界点，将下边界划分为两部分，并将每部分下边界包含的各个线段拟合为一个线段，得到两个目标线段；具体的，由于每部分下边界中的各个线段是依次连接的，对每部分下边界的两端进行连接即可得到目标线段，例如图4中的GA和AE，连接G和E，得到GE；
将与竖直方向夹角较小的目标线段确定为目标车辆的侧线。
在本实施例中，斜率相差最大的两个相邻线段的交点为车辆侧线与车辆前后水平线的分界点，参见图4所示，假设AE和EF为斜率相差最大的两个相邻线段，则E点为该交点，对E点左右两侧的线段分别进行拟合，可得到如图5所示的车辆的侧线GE和后水平线EK。其中，与竖直方向夹角较小的线段GE为侧线，或者也可以将距离拍摄目标车辆的摄像头较近的线段确定为侧线。
作为一种可能的实现方式，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线，可以详述为：
根据下边界中各个线段的斜率，将各个线段聚类为两类，并将每类中的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为目标车辆的侧线。
在本实施例中，也可以对各个线段的斜率进行聚类，从而将斜率相近的线段聚类到一起进行拟合，同理，由于每个聚类簇中的各个斜率相近的线段是依次连接的，例如图4中的GA和AE，连接G和E，得到GE。
最终得到如图5所示的车辆的侧线GE和后水平线EK。
作为一种可能的实现方式，步骤S104中，基于侧线确定目标车辆的姿态，可以详述为：
将侧线从分割图所在的二维图像坐标系投影到世界坐标系；
根据侧线在世界坐标系中的方向，确定目标车辆的姿态。
在本实施例中，通过透视变化，也就是把线段AE的端点由图像坐标系投影到世界坐标系，可以较准确地估计出目标车辆的姿态与位置。
作为一种可能的实现方式，参见图6所示，在步骤S104确定目标车辆的姿态之后，还可以包括步骤S105：
获取本车辆的行驶方向，本车辆为安装拍摄目标车辆的设备的车辆；
根据本车辆的行驶方向和侧线的方向，判断本车辆与目标车辆是否平行行驶，若本车辆与目标车辆没有平行行驶，则分别计算侧线的两个端点与本车辆行驶方向所在直线的距离，并将距离较近的端点作为碰撞点；
建立碰撞点的轨迹以进行碰撞检测预警。
进一步的，若本车辆与目标车辆平行行驶，则：
从侧线的两个端点中任意选择一个端点作为碰撞点；
建立碰撞点的轨迹以进行碰撞检测预警。
在本实施例中，根据目标车辆的姿态，选择可能的碰撞点进行监测。
例如在世界坐标系中，可以计算出图5中G、E两点与本车辆的距离，进而确定目标车辆的车头距离本车辆更近还是车尾距离本车辆更近。
假设图5中车辆与本车辆不平行且G点距离本车辆较近，则G即为可能的碰撞点，建立G点的轨迹监测碰撞风险、碰撞时间等。
假设图5中车辆与本车辆不平行且E点距离本车辆较近，则E即为可能的碰撞点，建立E点的轨迹监测碰撞风险、碰撞时间等。
通过对可能的碰撞点进行监测，能够更准确地对碰撞进行预警。
当图5中车辆与本车辆平行时，虽然本车辆与目标车辆平行行驶，但也需要建立目标车辆的轨迹进行碰撞监测，由于侧线的两个端点是最可能与本车辆发生碰撞的位置，因此任意选择G点或E点进行轨迹监测。
结合以上内容，本发明通过分割图和目标检测的结果，可知目标轮廓，通过目标轮廓识别目标车辆相对于自车的姿态信息，找到最近的碰撞点，可根据碰撞点对目标进行轨迹分析，进而精确确认目标的碰撞点和碰撞时间。
相对于现有技术，本发明主要包括以下优点：
（1）基于分割图（二维）即可进行目标姿态（三维）识别。
（2）目标碰撞位置的确定是基于目标的轮廓分析。
（3）对于凹轮廓边缘的处理，可简便运算，去除干扰点。
（4）基于目标车辆与本车辆的姿态可确定碰撞点，对碰撞点进行监测能够更准确地计算碰撞风险和碰撞时间，提高车辆行驶的安全性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参见图7所示，本发明实施例提供了一种车辆姿态检测装置，该车辆姿态检测装置70包括：
获取模块71，用于获取语义分割网络输出的包含目标车辆的分割图，所述分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到.
处理模块72，用于将分割图中目标车辆的目标框分割为上下两部分，并对下半部分中目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的目标车辆的下边界；以及，从下边界中确定目标车辆的侧线。
确定模块73，用于基于侧线确定目标车辆的姿态。
作为一种可能的实现方式，处理模块72具体用于：
对下边界进行预处理，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线；
预处理包括：
对于下边界中凹进去的部分，使用直线连接该部分的两端并取代该部分；
删除下边界中距离下半部分目标框的第一侧边预设距离内的线段，第一侧边为距离拍摄目标车辆的摄像头较远的竖直侧边。
作为一种可能的实现方式，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线，包括：
确定斜率相差最大的两个相邻线段；
以该两个相邻线段的交点为分界点，将下边界划分为两部分，并将每部分下边界包含的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为目标车辆的侧线。
作为一种可能的实现方式，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定目标车辆的侧线，包括：
根据下边界中各个线段的斜率，将各个线段聚类为两类，并将每类中的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为目标车辆的侧线。
作为一种可能的实现方式，确定模块73具体用于：
将侧线从分割图所在的二维图像坐标系投影到世界坐标系；
根据侧线在世界坐标系中的方向，确定目标车辆的姿态。
作为一种可能的实现方式，在确定目标车辆的姿态之后，确定模块73还可以用于：
获取本车辆的行驶方向，本车辆为安装拍摄目标车辆的设备的车辆；
根据本车辆的行驶方向和侧线的方向，判断本车辆与目标车辆是否平行行驶，若本车辆与目标车辆没有平行行驶，则分别计算侧线的两个端点与本车辆行驶方向所在直线的距离，并将距离较近的端点作为碰撞点；
建立碰撞点的轨迹以进行碰撞检测预警。
进一步的，若本车辆与目标车辆平行行驶，则：
从侧线的两个端点中任意选择一个端点作为碰撞点；
建立碰撞点的轨迹以进行碰撞检测预警。
本发明实施例提供了一种车辆，包括电子设备，电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的车辆姿态检测方法的步骤。
图8是本发明实施例提供的电子设备80的示意图。如图8所示，该实施例的电子设备80包括：处理器81、存储器82以及存储在存储器82中并可在处理器81上运行的计算机程序83，例如车辆姿态检测程序。处理器81执行计算机程序83时实现上述各个车辆姿态检测方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器81执行计算机程序83时实现上述各装置实施例中各模块的功能，例如图7中所示的获取模块71、处理模块72、确定模块73的功能。
示例性的，计算机程序83可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器82中，并由处理器81执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序83在电子设备80中的执行过程。
电子设备80可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备80可包括，但不仅限于，处理器81、存储器82。本领域技术人员可以理解，图8仅仅是电子设备80的示例，并不构成对电子设备80的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备80还可以包括输入输出设备、网络接入设备、总线等。
所称处理器81可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器82可以是电子设备80的内部存储单元，例如电子设备80的硬盘或内存。存储器82也可以是电子设备80的外部存储设备，例如电子设备80上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器82还可以既包括电子设备80的内部存储单元也包括外部存储设备。存储器82用于存储计算机程序以及电子设备80所需的其他程序和数据。存储器82还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束个件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种车辆姿态检测方法，其特征在于，包括：
获取语义分割网络输出的包含目标车辆的分割图，所述分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到；
将分割图中所述目标车辆的目标框分割为上下两部分，并对下半部分中所述目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的所述目标车辆的下边界；
对下边界进行预处理，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定所述目标车辆的侧线；所述预处理包括：对于下边界中凹进去的部分，使用直线连接该部分的两端并取代该部分；删除下边界中距离下半部分目标框的第一侧边预设距离内的线段，所述第一侧边为距离拍摄所述目标车辆的摄像头较远的竖直侧边；
基于所述侧线确定所述目标车辆的姿态。
2.如权利要求1所述的车辆姿态检测方法，其特征在于，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定所述目标车辆的侧线，包括：
确定斜率相差最大的两个相邻线段；
以该两个相邻线段的交点为分界点，将下边界划分为两部分，并将每部分下边界包含的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为所述目标车辆的侧线。
3.如权利要求1所述的车辆姿态检测方法，其特征在于，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定所述目标车辆的侧线，包括：
根据下边界中各个线段的斜率，将各个线段聚类为两类，并将每类中的各个线段拟合为一个线段，得到两个目标线段；
将与竖直方向夹角较小的目标线段确定为所述目标车辆的侧线。
4.如权利要求1所述的车辆姿态检测方法，其特征在于，基于所述侧线确定所述目标车辆的姿态，包括：
将所述侧线从分割图所在的二维图像坐标系投影到世界坐标系；
根据所述侧线在所述世界坐标系中的方向，确定所述目标车辆的姿态。
5.如权利要求1-4任一项所述的车辆姿态检测方法，其特征在于，在确定所述目标车辆的姿态之后，还包括：
获取本车辆的行驶方向，本车辆为安装拍摄目标车辆的设备的车辆；
根据本车辆的行驶方向和所述侧线的方向，判断本车辆与目标车辆是否平行行驶，若本车辆与目标车辆没有平行行驶，则分别计算所述侧线的两个端点与本车辆行驶方向所在直线的距离，并将距离较近的端点作为碰撞点；
建立所述碰撞点的轨迹以进行碰撞检测预警。
6.如权利要求5所述的车辆姿态检测方法，其特征在于，若本车辆与目标车辆平行行驶，则：
从所述侧线的两个端点中任意选择一个端点作为碰撞点；
建立所述碰撞点的轨迹以进行碰撞检测预警。
7.一种车辆姿态检测装置，其特征在于，包括：
获取模块，用于获取语义分割网络输出的包含目标车辆的分割图，所述分割图为语义分割网络对拍摄的目标车辆的侧前方或侧后方图像处理后得到；
处理模块，用于将分割图中所述目标车辆的目标框分割为上下两部分，并对下半部分中所述目标车辆的边缘进行分段直线拟合，得到由多个线段连接构成的所述目标车辆的下边界；以及，对下边界进行预处理，根据预处理后下边界中各个线段的斜率对各个线段进行拟合，并从拟合结果中确定所述目标车辆的侧线；所述预处理包括：对于下边界中凹进去的部分，使用直线连接该部分的两端并取代该部分；删除下边界中距离下半部分目标框的第一侧边预设距离内的线段，所述第一侧边为距离拍摄所述目标车辆的摄像头较远的竖直侧边；
确定模块，用于基于所述侧线确定所述目标车辆的姿态。
8.一种车辆，包括电子设备，电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202211597841.6A 2022-12-14 2022-12-14 车辆姿态检测方法、装置、车辆及存储介质 Active CN115601435B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211597841.6A CN115601435B (zh) 2022-12-14 2022-12-14 车辆姿态检测方法、装置、车辆及存储介质
PCT/CN2023/103787 WO2024124865A1 (zh) 2022-12-14 2023-06-29 车辆姿态检测方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211597841.6A CN115601435B (zh) 2022-12-14 2022-12-14 车辆姿态检测方法、装置、车辆及存储介质

Publications (2)

Publication Number Publication Date
CN115601435A CN115601435A (zh) 2023-01-13
CN115601435B true CN115601435B (zh) 2023-03-14

Family

ID=84854170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211597841.6A Active CN115601435B (zh) 2022-12-14 2022-12-14 车辆姿态检测方法、装置、车辆及存储介质

Country Status (2)

Country Link
CN (1) CN115601435B (zh)
WO (1) WO2024124865A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601435B (zh) * 2022-12-14 2023-03-14 天津所托瑞安汽车科技有限公司 车辆姿态检测方法、装置、车辆及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065151A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆识别方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
CN110065494A (zh) * 2019-04-09 2019-07-30 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN110077399A (zh) * 2019-04-09 2019-08-02 魔视智能科技(上海)有限公司 一种基于道路标线、车轮检测融合的车辆防碰撞方法
CN111814765A (zh) * 2020-08-31 2020-10-23 蔻斯科技(上海)有限公司 车辆压线的确定方法、装置、设备和存储介质
CN113239912A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质
CN113240756A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 车载bsd摄像头的位姿变动检测方法、设备和存储介质
CN113256739A (zh) * 2021-06-28 2021-08-13 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质
CN113673438A (zh) * 2021-08-23 2021-11-19 上海商汤临港智能科技有限公司 一种碰撞预警的方法、装置、电子设备及存储介质
WO2022062377A1 (zh) * 2020-09-22 2022-03-31 深圳市锐明技术股份有限公司 一种相机的标定方法、标定装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102270677B1 (ko) * 2015-01-13 2021-06-29 현대모비스 주식회사 차량 안전 주행 장치
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
US20200020117A1 (en) * 2018-07-16 2020-01-16 Ford Global Technologies, Llc Pose estimation
WO2022160232A1 (zh) * 2021-01-29 2022-08-04 华为技术有限公司 一种检测方法、装置和车辆
CN115601435B (zh) * 2022-12-14 2023-03-14 天津所托瑞安汽车科技有限公司 车辆姿态检测方法、装置、车辆及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065151A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆识别方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
CN110065494A (zh) * 2019-04-09 2019-07-30 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN110077399A (zh) * 2019-04-09 2019-08-02 魔视智能科技(上海)有限公司 一种基于道路标线、车轮检测融合的车辆防碰撞方法
CN111814765A (zh) * 2020-08-31 2020-10-23 蔻斯科技(上海)有限公司 车辆压线的确定方法、装置、设备和存储介质
WO2022062377A1 (zh) * 2020-09-22 2022-03-31 深圳市锐明技术股份有限公司 一种相机的标定方法、标定装置及电子设备
CN113256739A (zh) * 2021-06-28 2021-08-13 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质
CN113239912A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质
CN113240756A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 车载bsd摄像头的位姿变动检测方法、设备和存储介质
CN113673438A (zh) * 2021-08-23 2021-11-19 上海商汤临港智能科技有限公司 一种碰撞预警的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115601435A (zh) 2023-01-13
WO2024124865A1 (zh) 2024-06-20

Similar Documents

Publication Publication Date Title
US11320833B2 (en) Data processing method, apparatus and terminal
CN108845574B (zh) 目标识别与追踪方法、装置、设备及介质
EP2243125B1 (en) Vision based real time traffic monitoring
Hadi et al. Vehicle detection and tracking techniques: a concise review
Yan et al. A method of lane edge detection based on Canny algorithm
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US10867403B2 (en) Vehicle external recognition apparatus
CN115049700A (zh) 一种目标检测方法及装置
Kortli et al. A novel illumination-invariant lane detection system
CN110008891B (zh) 一种行人检测定位方法、装置、车载计算设备及存储介质
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
Sehestedt et al. Robust lane detection in urban environments
CN112683228A (zh) 单目相机测距方法及装置
Ponsa et al. On-board image-based vehicle detection and tracking
CN115601435B (zh) 车辆姿态检测方法、装置、车辆及存储介质
CN112528807A (zh) 行驶轨迹的预测方法、装置、电子设备及存储介质
Fu et al. Camera-based semantic enhanced vehicle segmentation for planar lidar
Fries et al. Monocular template-based vehicle tracking for autonomous convoy driving
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration
Oniga et al. A fast ransac based approach for computing the orientation of obstacles in traffic scenes
Fries et al. Real-time unsupervised feature model generation for a vehicle following system
CN114724119A (zh) 车道线提取方法、检测设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant