CN115063772B - 一种车辆编队后车检测方法、终端设备及存储介质 - Google Patents

一种车辆编队后车检测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN115063772B
CN115063772B CN202210498619.4A CN202210498619A CN115063772B CN 115063772 B CN115063772 B CN 115063772B CN 202210498619 A CN202210498619 A CN 202210498619A CN 115063772 B CN115063772 B CN 115063772B
Authority
CN
China
Prior art keywords
target
camera
vehicle
distance
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210498619.4A
Other languages
English (en)
Other versions
CN115063772A (zh
Inventor
陈祥勇
柯英杰
邹雪滢
刘强生
陈卫强
苏亮
蒋金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen King Long United Automotive Industry Co Ltd
Original Assignee
Xiamen King Long United Automotive Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen King Long United Automotive Industry Co Ltd filed Critical Xiamen King Long United Automotive Industry Co Ltd
Priority to CN202210498619.4A priority Critical patent/CN115063772B/zh
Publication of CN115063772A publication Critical patent/CN115063772A/zh
Application granted granted Critical
Publication of CN115063772B publication Critical patent/CN115063772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种车辆编队后车检测方法、终端设备及存储介质，该方法中包括：接收三目摄像头采集的视频帧图像；对位于中间的第一摄像头采集的图像进行目标检测，获得图像中的目标的边界框；获取第一摄像头采集的图像中感兴趣区域的边界框；基于位于左右两侧的第二摄像头和第三摄像头采集的图像进行左右视图视差值计算；计算目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离；计算目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标；根据目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标，输出目标与本车的距离。本发明通过目标检测和感兴趣区域两种方式来计算障碍物目标与本车之间的距离，大大提升了检测的准确率。

Description

一种车辆编队后车检测方法、终端设备及存储介质
技术领域
本发明涉及车辆检测领域，尤其涉及一种车辆编队后车检测方法、终端设备及存储介质。
背景技术
车辆编队是汽车工业的创新之一，旨在提高汽车的安全性、效率、行驶里程和行驶时间，同时缓解交通拥堵，减少污染，减轻乘客的压力。在车辆编队技术，前后车按一定距离跟车行驶，因此需要后车具备稳定的检测系统，能够检测前车及闯入的其他车辆、行人，并准确的输出目标距离信息，但现有技术中并不存在针对该技术问题的解决方案。
发明内容
为了解决上述问题，本发明提出了一种车辆编队后车检测方法、终端设备及存储介质。
具体方案如下：
一种车辆编队后车检测方法，包括以下步骤：
S1：接收安装于车辆上的三目摄像头实时采集的车辆周围的视频帧图像；
S2：对三目摄像头中位于中间的第一摄像头采集的图像进行目标检测，获得图像中的目标的边界框；
S3：根据基于车辆编队中前后车的跟车距离设定的感兴趣区域的大小，并获取第一摄像头采集的图像中感兴趣区域的边界框；
S4：基于三目摄像头中位于左右两侧的第二摄像头和第三摄像头采集的图像进行左右视图视差值计算；
S5：基于目标检测获得的边界框、感兴趣区域的边界框和左右视图视差值，计算目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离；
S6：基于第一摄像头采集的图像中目标检测获得的边界框和感兴趣区域的边界框，和计算得到的目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离，计算目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标；
S7：根据目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标，输出目标与本车的距离。
进一步的，目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离的计算公式均为：
其中，d表示深度距离，n表示边界框内包含的像素点总数，i表示边界框内像素点的序号，f表示第二摄像头或第三摄像头的焦距，b表示第二摄像头与第三摄像头的基线之间的距离，xi表示边界框内第i个像素点的左右视图视差值。
进一步的，还包括在步骤S2中对目标的类别进行识别，在步骤S7输出目标与本车的距离的同时，输出目标的类别。
进一步的，目标的类别包括车辆、行人和其他。
进一步的，目标与本车的距离为计算的深度距离，当计算的目标检测获得的目标的深度距离与感兴趣区域中目标的深度距离不同时，取两者中的较小值作为目标与本车的距离。
进一步的，还包括根据目标与本车的距离与预设的车辆编队中前后车的跟车距离阈值的大小关系发出预警信息。
一种车辆编队后车检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，通过目标检测和感兴趣区域两种方式来计算障碍物目标与本车之间的距离，即可以避免单独采用目标检测而造成的有时无法识别到障碍物的情况，又可以避免单独采用感兴趣区域而造成的无法对感兴趣区域之外的车辆驶入情况无法识别的情况，大大提升了检测的准确率。
附图说明
图1所示为本发明实施例一的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种车辆编队后车检测方法，如图1所示，所述方法包括以下步骤：
S1：接收安装于车辆上的三目摄像头实时采集的车辆周围的视频帧图像。
三目摄像头包括位于中间的第一摄像头和位于左右两侧的第二摄像头和第三摄像头。由于第一摄像头用于进行目标识别，因此，而第二摄像头和第三摄像头仅用于左右视图视差的计算，因此，第一摄像头相对于第二摄像头和第三摄像头应有较高的分辨率(如RGB摄像头)，以确保目标检测的准确性。由于第二摄像头和第三摄像头用于左右视图视差值的计算，因此，第二摄像头和第三摄像头应具有相同的焦距。
S2：对三目摄像头中位于中间的第一摄像头采集的图像进行目标检测，获得图像中的目标的边界框。
目标检测算法可以采用常用算法(如基于深度学习的神经网络模型)即可，在此不做限定。
进一步的，为了方便用户对目标类型的区分，该实施例中还包括获得图像中目标的类别，具体类别包括车辆、行人和其他。
S3：根据基于车辆编队中前后车的跟车距离设定的感兴趣区域(ROI)的大小，并获取第一摄像头采集的图像中感兴趣区域的边界框。
S4：基于三目摄像头中位于左右两侧的第二摄像头和第三摄像头采集的图像进行左右视图视差值计算。
左右视图视差值的计算中采用现有的双目立体匹配算法即可，在此不做限定。
S5：基于目标检测获得的边界框、感兴趣区域的边界框和左右视图视差值，计算目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离。
深度距离即为目标与本车之间的距离。目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离的计算中采用相同的计算公式，即：
其中，d表示深度距离，n表示边界框内包含的像素点总数，i表示边界框内像素点的序号，f表示第二摄像头或第三摄像头的焦距，b表示第二摄像头与第三摄像头的基线之间的距离，xi表示边界框内第i个像素点的左右视图视差值。
S6：基于第一摄像头采集的图像中目标检测获得的边界框和感兴趣区域的边界框，和计算得到的目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离，计算目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标。
空间坐标的计算可以基于第一摄像头的相机内外参数，通过坐标系转换方式计算获得，具体计算公式为：
其中，K表示内参矩阵，P表示外参矩阵，R和T分别表示世界坐标系到相机坐标系的旋转矩阵和平移矩阵，fx和fy分别表示相机水平方向和垂直方向相对单位像素的焦距，(u0,v0)表示相机光学中心坐标，(u,v)表示目标点在图像上的像素坐标，Zc表示目标点到相机的深度距离，Xw、Yw、Zw分别为目标点在世界坐标系下的X,Y,Z三个方向的距离。
已知目标点在图像上的像素坐标(u,v)及深度距离Zc＝Zw，通过相机标定得到内参矩阵K和外参矩阵P，即可求解得到目标检测获得的目标和感兴趣区域中目标的空间位置Xw、Yw，Zw。
S7：根据目标的空间坐标和感兴趣区域的空间坐标输出目标与本车的距离。
目标与本车的距离为计算的深度距离(Zc)，当计算的目标检测获得的目标的深度距离与感兴趣区域中目标的深度距离不同时，取两者中的较小值作为目标与本车的距离。
进一步的，该实施例中还包括根据目标与本车的距离与预设的车辆编队中前后车的跟车距离阈值的大小关系发出预警信息。
本发明实施例通过目标检测和感兴趣区域两种方式来计算障碍物目标与本车之间的距离，即可以避免单独采用目标检测而造成的有时无法识别到障碍物的情况，又可以避免单独采用感兴趣区域而造成的无法对感兴趣区域之外的车辆驶入情况无法识别的情况，大大提升了检测的准确率。
实施例二：
本发明还提供一种车辆编队后车检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述车辆编队后车检测终端设备可以是车载电脑、云端服务器等计算设备。所述车辆编队后车检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述车辆编队后车检测终端设备的组成结构仅仅是车辆编队后车检测终端设备的示例，并不构成对车辆编队后车检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车辆编队后车检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车辆编队后车检测终端设备的控制中心，利用各种接口和线路连接整个车辆编队后车检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车辆编队后车检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述车辆编队后车检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (8)

1.一种车辆编队后车检测方法，其特征在于，包括以下步骤：
S1：接收安装于车辆上的三目摄像头实时采集的车辆周围的视频帧图像；
S2：对三目摄像头中位于中间的第一摄像头采集的图像进行目标检测，获得图像中的目标的边界框；
S3：根据基于车辆编队中前后车的跟车距离设定的感兴趣区域的大小，并获取第一摄像头采集的图像中感兴趣区域的边界框；
S4：基于三目摄像头中位于左右两侧的第二摄像头和第三摄像头采集的图像进行左右视图视差值计算；
S5：基于目标检测获得的边界框、感兴趣区域的边界框和左右视图视差值，计算目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离；
S6：基于第一摄像头采集的图像中目标检测获得的边界框和感兴趣区域的边界框，和计算得到的目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离，计算目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标；
S7：根据目标检测获得的目标的空间坐标和感兴趣区域中目标的空间坐标，输出目标与本车的距离。
2.根据权利要求1所述的车辆编队后车检测方法，其特征在于：目标检测获得的目标的深度距离和感兴趣区域中目标的深度距离的计算公式均为：
其中，d表示深度距离，n表示边界框内包含的像素点总数，i表示边界框内像素点的序号，f表示第二摄像头或第三摄像头的焦距，b表示第二摄像头与第三摄像头的基线之间的距离，xi表示边界框内第i个像素点的左右视图视差值。
3.根据权利要求1所述的车辆编队后车检测方法，其特征在于：还包括在步骤S2中对目标的类别进行识别，在步骤S7输出目标与本车的距离的同时，输出目标的类别。
4.根据权利要求3所述的车辆编队后车检测方法，其特征在于：目标的类别包括车辆、行人和其他。
5.根据权利要求1所述的车辆编队后车检测方法，其特征在于：目标与本车的距离为计算的深度距离，当计算的目标检测获得的目标的深度距离与感兴趣区域中目标的深度距离不同时，取两者中的较小值作为目标与本车的距离。
6.根据权利要求1所述的车辆编队后车检测方法，其特征在于：还包括根据目标与本车的距离与预设的车辆编队中前后车的跟车距离阈值的大小关系发出预警信息。
7.一种车辆编队后车检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～6中任一所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～6中任一所述方法的步骤。
CN202210498619.4A 2022-05-09 2022-05-09 一种车辆编队后车检测方法、终端设备及存储介质 Active CN115063772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210498619.4A CN115063772B (zh) 2022-05-09 2022-05-09 一种车辆编队后车检测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210498619.4A CN115063772B (zh) 2022-05-09 2022-05-09 一种车辆编队后车检测方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN115063772A CN115063772A (zh) 2022-09-16
CN115063772B true CN115063772B (zh) 2024-04-16

Family

ID=83198836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210498619.4A Active CN115063772B (zh) 2022-05-09 2022-05-09 一种车辆编队后车检测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115063772B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537047A (zh) * 2021-07-14 2021-10-22 广东汇天航空航天科技有限公司 障碍物检测方法、装置、交通工具及存储介质
WO2021259344A1 (zh) * 2020-06-24 2021-12-30 中国第一汽车股份有限公司 车辆检测方法、装置、车辆和存储介质
WO2022017320A1 (zh) * 2020-07-21 2022-01-27 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259344A1 (zh) * 2020-06-24 2021-12-30 中国第一汽车股份有限公司 车辆检测方法、装置、车辆和存储介质
WO2022017320A1 (zh) * 2020-07-21 2022-01-27 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质
CN113537047A (zh) * 2021-07-14 2021-10-22 广东汇天航空航天科技有限公司 障碍物检测方法、装置、交通工具及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双动态条件下多传感器融合的车辆检测方法研究;刘志强;张中昀;倪捷;张腾;;机械设计与制造;20180908(第S2期);全文 *

Also Published As

Publication number Publication date
CN115063772A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110443225B (zh) 一种基于特征像素统计的虚实车道线识别方法及其装置
US20190188541A1 (en) Joint 3d object detection and orientation estimation via multimodal fusion
US20190205668A1 (en) Object detecting apparatus, object detecting method, and computer program product
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN104835136B (zh) 通过迭代插值和扭曲生成深度图的系统和方法
US9665782B2 (en) Obstacle detecting apparatus and obstacle detecting method
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN110069990B (zh) 一种限高杆检测方法、装置以及自动驾驶系统
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN111462096A (zh) 三维目标检测方法及装置
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
WO2017115732A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
KR20110058262A (ko) 차량 검출 장치 및 방법
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
EP3082069A1 (en) Stereoscopic object detection device and stereoscopic object detection method
CN114119955A (zh) 一种潜在危险目标检测方法及装置
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN114550142A (zh) 基于4d毫米波雷达和图像识别融合的车位检测方法
CN112417976B (zh) 一种路面检测识别方法、装置、智能终端及存储介质
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
CN115063772B (zh) 一种车辆编队后车检测方法、终端设备及存储介质
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant