CN116968638B - 一种车辆行驶预警方法、系统、介质及计算机 - Google Patents

一种车辆行驶预警方法、系统、介质及计算机 Download PDF

Info

Publication number
CN116968638B
CN116968638B CN202310949630.2A CN202310949630A CN116968638B CN 116968638 B CN116968638 B CN 116968638B CN 202310949630 A CN202310949630 A CN 202310949630A CN 116968638 B CN116968638 B CN 116968638B
Authority
CN
China
Prior art keywords
picture
vehicle
obstacle
tensor
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310949630.2A
Other languages
English (en)
Other versions
CN116968638A (zh
Inventor
邓求志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Botai Electronic Co ltd
Original Assignee
Guangzhou Botai Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Botai Electronic Co ltd filed Critical Guangzhou Botai Electronic Co ltd
Priority to CN202310949630.2A priority Critical patent/CN116968638B/zh
Publication of CN116968638A publication Critical patent/CN116968638A/zh
Application granted granted Critical
Publication of CN116968638B publication Critical patent/CN116968638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种车辆行驶预警方法、系统、介质及计算机，本申请公开了一种能够在车辆行驶的时候，对车辆的周围障碍物进行观察和检测的方法，通过在车辆的两侧分别安装向前以及向后的摄像头，能够拍摄到车辆两侧以及前后两个方向上的路况，通过深度学习模型对拍摄到的视频画面进行提取和识别，能够确定车辆的行进路线上是否设置有障碍物，以及该障碍物与车辆之间的距离，在发现危险的情况下，及时发出警报，避免在车辆行驶过程中车辆与障碍物发生剐蹭，或者车辆撞伤行人发生危险。

Description

一种车辆行驶预警方法、系统、介质及计算机
技术领域
本发明涉及辅助驾驶技术领域，更具体地说，它涉及一种车辆行驶预警方法、系统、介质及计算机。
背景技术
现有技术中，使用摄像头拍摄车辆后方的视频情况，进而辅助驾驶员进行倒车，已经是比较常见的技术手段，但是现有的倒车摄像头通常都仅安装在车辆的尾部，并且在倒车过程中采用方框对车辆的倒车路径进行预估标记，这样在实际倒车过程中，驾驶员就没有办法对车辆两侧的障碍物进行观察，安装在尾部的摄像头也不能够对车辆前方的景象进行拍摄，难以判断车辆两侧的障碍物是否能够影响车辆的行驶，对经验不足的驾驶员十分不友好，且容易对周围的行人造成伤害。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种车辆行驶预警方法、系统、介质及计算机，以克服现有的技术中存在的倒车影像仅能够观察车辆的后方位置，不能观察到车辆的两侧位置的障碍物情况且难以及时发出预警的缺点。
本发明的上述技术目的是通过以下技术方案得以实现的：一种车辆行驶预警方法，包括：
S1、判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；
S2、提取所述实时视频中的关键帧画面；
S3、判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；
S4、判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5；
S5、确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
S6、根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
可选的，所述获取车辆前方以及后方路况的实时视频，包括：
在车辆的两侧分别设置一个能够转动和伸缩的支撑架，两个所述支撑架上均固定设置有两个摄像头，两个摄像头分别朝向车辆的前方和后方，在车辆的内部设置显示器；
在车辆行驶过程中，控制两个所述摄像头拍摄车辆前方和后方的实时视频，并且将拍摄到的实时视频存储到预先设定的存储器中；利用所述显示器播放两个所述摄像头拍摄到的实时视频。
可选的，所述提取所述实时视频中的关键帧画面，包括：
获取车辆的行驶速度；
根据所述行驶速度，计算车辆行驶单位距离所需要的行驶时间；
判断所述行驶时间是否大于预定的时间阈值，若否，则每经过第一预定时间间隔提取视频中的一幅帧画面作为关键帧画面；若否，则每经过第二预定时间间隔提取视频中的一幅帧画面作为关键帧画面。
可选的，所述判断所述关键帧画面中是否存在障碍物，包括：
将所述关键帧画面进行预处理，得到对应的增强画面；
将所述增强画面输入到预先训练好的目标检测模型中，判断是否存在障碍物。
可选的，所述将所述关键帧画面进行预处理，包括：
利用图像金字塔算法，调整所述关键帧画面的尺寸，得到小尺寸画面；
对所述小尺寸画面进行灰度处理，得到灰度画面；
对所述灰度画面进行均一化处理，得到增强画面。
可选的，所述判断所述障碍物是否会对驾驶产生影响，包括：
获取实时视频，在所述实时视频中标记特定物；
确定所述障碍物与所述特定物之间的相对位置；
获取车辆的方向盘的转动角度，根据方向盘的转动角度，判断车辆的行驶方向；
根据车辆的行驶方向，判断障碍物是否位于车辆的前进路径上，若是，则该障碍物会对驾驶产生影响，若否，则该障碍物不会对驾驶产生影响。
可选的，所述确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物，包括：
获取所述障碍物与车辆之间的距离；
判断该距离是否小于等于第一距离阈值，若是，则使用红颜色边界框框选所述障碍物；
若否，则判断该距离是否大于第一距离阈值且小于等于第二距离阈值，若是，则使用黄颜色边界框框选所述障碍物；
若否，则使用绿色边界框框选所述障碍物。
一种车辆行驶预警方系统，包括：
实时视频拍摄模块：用于判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；
关键帧画面提取模块：用于提取所述实时视频中的关键帧画面；
障碍物识别模块：判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；
障碍物判断模块：判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5；
障碍物标定模块：用于确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
行驶影像编辑模块：用于根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
综上所述，本发明具有以下有益效果：本申请公开了一种能够在车辆行驶的时候，对车辆的周围障碍物进行观察和检测的方法，通过在车辆的两侧分别安装摄像头，能够拍摄到车辆两侧的路况，通过深度学习模型对拍摄到的视频画面进行提取和识别，能够确定车辆的行进路线上是否设置有障碍物，以及该障碍物与车辆之间的距离，避免在行驶过程中车辆与障碍物发生剐蹭，或者车辆撞伤行人发生危险。
附图说明
图1为本发明的一种车辆行驶预警方法流程图；
图2为本发明的一种车辆行驶预警系统结构图；
图3为本发明实施例中计算机设备的内部结构图。
图中：1、实时视频拍摄模块；2、关键帧画面提取模块；3、障碍物识别模块；4、障碍物判断模块；5、障碍物标定模块；6、行驶影像编辑模块。
具体实施方式
为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
下面结合附图和实施例，对本发明进行详细描述。
本发明提供了一种车辆行驶预警方法,如图1所示，包括：
S1、判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；
S2、提取所述实时视频中的关键帧画面；
S3、判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；
S4、判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5；
S5、确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
S6、根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
在实际应用中，车辆的行驶过程中，除了路面上的建筑物，包括路基、立柱、栏杆等，还可能存在行人、动物或者其他车辆等情况，为了保证车辆在行驶过程的安全，本申请提出一种行驶预警方法，首先在车辆的两侧分别安装一个摄像头，以拍摄车辆两侧以及部分车辆后方的路况信息，然后从拍摄到的视频中按照预定的规则，持续提取视频中的关键帧画面，通过对关键帧画面进行识别，可以判断画面中是否存在能够影响车辆行驶的障碍物，如果是，则需要确定画面中的障碍物的位置，并且利用边界框，在画面上将障碍物进行框选和标定，以提醒司机注意该目标，避免发生危险，然后在播放行驶影像的时候，插入该边界框，以实现对驾驶员的警告。具体来说，由于行驶影像是实时的监控视频，因此为了提高行驶影像的画面效果，避免在画面处理过程中延迟过大，影响驾驶员的判断进而造成危险，我们不能够针对每一个视频画面都进行目标识别，因为视频画面是连续的，因此为了提高处理效率，可以每隔预定时间，提取一次视频画面，比如，拍摄到的视频为30fps，那么就是每秒钟有30帧画面，我们将其中的第一帧、第十一帧以及第二十一帧作为关键帧画面来识别障碍物，由于画面是连续渐变的，那么边界框也是可以逐渐变化的，而不会发生突变，那么第一帧画面上的边界框，可以近似地对后面的视频中的障碍物进行框选，这样的计算方式，能够有效地降低处理关键帧画面所需要的计算量，避免过多的计算影响视频传输的及时性。
进一步的，所述获取车辆前方以及后方路况的实时视频，包括：
在车辆的两侧分别设置一个能够转动和伸缩的支撑架，两个所述支撑架上均固定设置有两个摄像头，两个摄像头分别朝向车辆的前方和后方，在车辆的内部设置显示器；
在车辆行驶过程中，控制两个所述摄像头拍摄车辆前方和后方的实时视频，并且将拍摄到的实时视频存储到预先设定的存储器中；利用所述显示器播放两个所述摄像头拍摄到的实时视频。
在实际应用中，具体来说，为了提高摄像头覆盖的范围，本申请在车辆的两侧分别架设一个摄像头，两个支撑架能够在行驶的时候向外延伸，以提高视频的拍摄范围，两个支撑架还能够在不使用的时候向内回缩，避免发生碰撞而损坏。
进一步的，所述提取所述实时视频中的关键帧画面，包括：
获取车辆的行驶速度；
根据所述行驶速度，计算车辆行驶单位距离所需要的行驶时间；
判断所述行驶时间是否大于预定的时间阈值，若否，则每经过第一预定时间间隔提取视频中的一幅帧画面作为关键帧画面；若否，则每经过第二预定时间间隔提取视频中的一幅帧画面作为关键帧画面。
在实际应用中，由于每秒钟拍摄帧画面的数量是一致的，比如每秒拍摄30帧画面，由于车速的不同，会导致场景变化的速度不同，那么当车速较快的时候，需要更加频繁地提取关键帧画面，避免边界框变化的不及时，导致发生错误提示。在倒车过程中，车速通常为5-10千米每小时，那么可以在车速大于7km/h的时候，每隔10ms提取一帧关键帧画面，在车速小于等于7km/h的时候，每隔20ms提取一帧关键帧画面，这样根据车速调整关键帧画面的提取数量，能够平衡安全性以及对视频处理的计算设备性能的要求。同样的在正向行驶过程中，也可以适应性地提高设备的处理画面的频率。
进一步的，所述判断所述关键帧画面中是否存在障碍物，包括：
将所述关键帧画面进行预处理，得到对应的增强画面；
将所述增强画面输入到预先训练好的目标检测模型中，判断是否存在障碍物。
在实际应用中，预先训练好的目标检测模型采用transformer模型进行检测，Transformer是由论文《Attention is All You Need》提出，Transformer由Encoder和Decoder两个部分组成，也就是首先利用Encoder(编码器)对输入的张量进行编码，然后再利用Decoder(解码器)对编码器输出的结果进行解码，以得到最终的输出的结果,其中Transformer模型的重点是Self-Attention(自注意力机制),在利用自注意力机制进行计算的过程中,需要利用到Query(查询张量),Key(被查询张量),Value(内容张量),这三个矩阵都是利用同一个输入的值与不同的变换矩阵WQ、WK以及WV相乘,得到对应的张量，将预处理过后的增强画面，可以看做是一个特定的张量，由于增强画面为灰度图，仅有一个通道，因此将该张量在最后一个维度进行展平，能够到一个一维向量，将该一维向量输入到编码其中进行编码，由于编码器采用自注意力机制，在自注意力机制中，被查询张量Key与内容张量Value的取值相同，因此根据第一查询张量Query对被查询张量Key与内容张量Value进行初始化，即可得到编码器对应的Q/K/V三个值。然后将query、key和value和位置编码embedding喂入transformer子层进行self-attention变换，最终输出维度和原query相同的张量，作为输出最终的编码特征向量，解码部分接受的key和value即为上述编码器输出的编码特征向量(或者说张量)。在解码器中，query为一种参数可以学习的，shape为(50,256)的权重参数，50代表每张图片最多会生成50个框，此外，解码器的位置编码向量的生成方式同编码器的方式。将query、key和value和位置编码embedding送入包含5层transformer子层的解码层，内部执行cross-attention变换、线性变化、层标准化等操作，最终输出维度和原query相同的张量。该张量就是在关键帧画面上的障碍物所在位置对应的特征张量。在得到该特征张量之后，将该特征张量输入到对应的检测头中进行检测和框选，即可得到带有边界框的关键帧画面。在实际生成边界框，通常提供边界框的左上角坐标以及边界框的两个相邻的边的长度，这样就能够确定边界框在关键帧画面上的具体位置。
进一步的，所述将所述关键帧画面进行预处理，包括：
利用图像金字塔算法，调整所述关键帧画面的尺寸，得到小尺寸画面；
对所述小尺寸画面进行灰度处理，得到灰度画面；
对所述灰度画面进行均一化处理，得到增强画面。
在实际应用中，对于关键帧画面进行预处理，主要是为了使关键帧画面能够符合模型的识别要求，在实际的使用过程中，采集得到的图片尺寸为640*535,其中640为图片的高度，535为图片宽度。为满足特征提取器32倍的最大下采样需求，需要将基准尺寸缩放至640*544。为了提升模型对实际使用过程中摄像头存在抖动，影像图片的实际形状的问题，还对每份图片做了608*512和672*576这额外两个尺度的缩放。在实际应用中，对于关键帧画面尺寸的调整，会影响关键帧画面上障碍物的实际坐标，也就是影响关键帧画面边界框bounding-box的具体位置，因此需要根据实际的关键帧画面的尺寸变换，给边界框的参数进行反计算，以确定原本的关键帧画面上的边界框的位置，进而在视频中准确地使用边界框框选障碍物。
进一步的，所述判断所述障碍物是否会对驾驶产生影响，包括：
获取实时视频，在所述实时视频中标记特定物；
确定所述障碍物与所述特定物之间的相对位置；
获取车辆的方向盘的转动角度，根据方向盘的转动角度，判断车辆的行驶方向；
根据车辆的行驶方向，判断障碍物是否位于车辆的前进路径上，若是，则该障碍物会对驾驶产生影响，若否，则该障碍物不会对驾驶产生影响。
进一步的，所述在所述实时视频中利用边界框框选所述障碍物，包括：
获取所述障碍物与车辆之间的距离；
判断该距离是否小于等于第一距离阈值，若是，则使用红颜色边界框框选所述障碍物；
若否，则判断该距离是否大于第一距离阈值且小于等于第二距离阈值，若是，则使用黄颜色边界框框选所述障碍物；
若否，则使用绿色边界框框选所述障碍物。
如图2所示，本发明还提供了一种车辆行驶预警系统，包括：
实时视频拍摄模块：用于判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；
关键帧画面提取模块：用于提取所述实时视频中的关键帧画面；
障碍物识别模块：判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；
障碍物判断模块：判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5；
障碍物标定模块：用于确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
行驶影像编辑模块：用于根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
关于一种车辆行驶预警系统的具体限定可以参见上文中对于一种车辆行驶预警方法的限定，在此不再赘述。上述一种车辆行驶预警系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种车辆行驶预警方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：包括：
S1、判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；
S2、提取所述实时视频中的关键帧画面；
S3、判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；
S4、判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5；
S5、确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
S6、根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
在一个实施例中，所述则获取车辆前方以及后方路况的实时视频，包括：
在车辆的两侧分别设置一个能够转动和伸缩的支撑架，两个所述支撑架上均固定设置有两个摄像头，两个摄像头分别朝向车辆的前方和后方，在车辆的内部设置显示器；
在车辆行驶过程中，控制两个所述摄像头拍摄车辆前方和后方的实时视频，并且将拍摄到的实时视频存储到预先设定的存储器中；利用所述显示器播放两个所述摄像头拍摄到的实时视频。
在一个实施例中，所述提取所述实时视频中的关键帧画面，包括：
获取车辆的行驶速度；
根据所述行驶速度，计算车辆行驶单位距离所需要的行驶时间；
判断所述行驶时间是否大于预定的时间阈值，若否，则每经过第一预定时间间隔提取视频中的一幅帧画面作为关键帧画面；若否，则每经过第二预定时间间隔提取视频中的一幅帧画面作为关键帧画面。
在一个实施例中，所述判断所述关键帧画面中是否存在障碍物，包括：
将所述关键帧画面进行预处理，得到对应的增强画面；
将所述增强画面输入到预先训练好的目标检测模型中，判断是否存在障碍物。
在一个实施例中，所述将所述关键帧画面进行预处理，包括：
利用图像金字塔算法，调整所述关键帧画面的尺寸，得到小尺寸画面；
对所述小尺寸画面进行灰度处理，得到灰度画面；
对所述灰度画面进行均一化处理，得到增强画面。
在一个实施例中，所述判断所述障碍物是否会对驾驶产生影响，包括：
获取实时视频，在所述实时视频中标记特定物；
确定所述障碍物与所述特定物之间的相对位置；
获取车辆的方向盘的转动角度，根据方向盘的转动角度，判断车辆的行驶方向；
根据车辆的行驶方向，判断障碍物是否位于车辆的前进路径上，若是，则该障碍物会对驾驶产生影响，若否，则该障碍物不会对驾驶产生影响。
在一个实施例中，所述确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物，包括：
获取所述障碍物与车辆之间的距离；
判断该距离是否小于等于第一距离阈值，若是，则使用红颜色边界框框选所述障碍物；
若否，则判断该距离是否大于第一距离阈值且小于等于第二距离阈值，若是，则使用黄颜色边界框框选所述障碍物；
若否，则使用绿色边界框框选所述障碍物。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种车辆行驶预警方法，其特征在于，包括：
S1、判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；所述获取车辆前方以及后方路况的实时视频，包括：
在车辆的两侧分别设置一个能够转动和伸缩的支撑架，两个所述支撑架上均固定设置有两个摄像头，两个摄像头分别朝向车辆的前方和后方，在车辆的内部设置显示器；
在车辆行驶过程中，控制两个所述摄像头拍摄车辆前方和后方的实时视频，并且将拍摄到的实时视频存储到预先设定的存储器中；利用所述显示器播放两个所述摄像头拍摄到的实时视频；
S2、提取所述实时视频中的关键帧画面；所述提取所述实时视频中的关键帧画面，包括：
获取车辆的行驶速度；
根据所述行驶速度，计算车辆行驶单位距离所需要的行驶时间；
判断所述行驶时间是否大于预定的时间阈值，若否，则每经过第一预定时间间隔提取视频中的一幅帧画面作为关键帧画面；若否，则每经过第二预定时间间隔提取视频中的一幅帧画面作为关键帧画面；
S3、判断所述关键帧画面中是否存在障碍物，若是，则执行步骤S4；所述判断所述关键帧画面中是否存在障碍物，包括：
将所述关键帧画面进行预处理，得到对应的增强画面；
将所述增强画面输入到预先训练好的目标检测模型中，判断是否存在障碍物；所述将所述关键帧画面进行预处理，包括：
利用图像金字塔算法，调整所述关键帧画面的尺寸，得到小尺寸画面；
对所述小尺寸画面进行灰度处理，得到灰度画面；
对所述灰度画面进行均一化处理，得到增强画面；
预先训练好的目标检测模型采用transformer模型进行检测，首先利用编码器对输入的张量进行编码，然后再利用解码器对编码器输出的结果进行解码，其中Transformer模型在利用自注意力机制进行计算的过程中,需要利用到查询张量、被查询张量以及内容张量,这三个张量都是利用同一个输入的值与不同的变换矩阵WQ、WK以及WV相乘,得到对应的张量，将预处理过后的增强画面，可以看做是一个特定的张量，由于增强画面为灰度图，仅有一个通道，因此将该张量在最后一个维度进行展平，能够到一个一维向量，将该一维向量输入到编码其中进行编码，由于编码器采用自注意力机制，在自注意力机制中，被查询张量Key与内容张量Value的取值相同，因此根据第一查询张量Query对被查询张量Key与内容张量Value进行初始化，即可得到编码器对应的Q/K/V三个值，然后将query、key和value和位置编码embedding喂入transformer子层进行self-attention变换，最终输出维度和原query相同的张量，作为输出最终的编码特征向量，解码部分接受的key和value即为上述编码器输出的编码特征向量；在解码器中，query为一种参数可以学习的，shape为(50, 256)的权重参数，50代表每张图片最多会生成50个框，此外，解码器的位置编码向量的生成方式同编码器的方式，将query、key和value和位置编码embedding送入包含5层transformer子层的解码层，内部执行cross-attention变换、线性变化、层标准化等操作，最终输出维度和原query相同的张量；该张量就是在关键帧画面上的障碍物所在位置对应的特征张量；在得到该特征张量之后，将该特征张量输入到对应的检测头中进行检测和框选，即可得到带有边界框的关键帧画面；在实际生成边界框，提供边界框的左上角坐标以及边界框的两个相邻的边的长度，这样就能够确定边界框在关键帧画面上的具体位置；
对于关键帧画面进行预处理，包括：将基准尺寸缩放至640*544，为了提升模型对实际使用过程中摄像头存在抖动，影像图片的实际形状的问题，还对每份图片做了608*512和672*576这额外两个尺度的缩放；
S4、判断所述障碍物是否会对驾驶产生影响，若是，则执行步骤S5;
S5、确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
S6、根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
2.根据权利要求1所述的一种车辆行驶预警方法，其特征在于，所述判断所述障碍物是否会对驾驶产生影响，包括：
获取实时视频，在所述实时视频中标记特定物；
确定所述障碍物与所述特定物之间的相对位置；
获取车辆的方向盘的转动角度，根据方向盘的转动角度，判断车辆的行驶方向；
根据车辆的行驶方向，判断障碍物是否位于车辆的前进路径上，若是，则该障碍物会对驾驶产生影响，若否，则该障碍物不会对驾驶产生影响。
3.根据权利要求1所述的一种车辆行驶预警方法，其特征在于，所述确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物，包括：
获取所述障碍物与车辆之间的距离；
判断该距离是否小于等于第一距离阈值，若是，则使用红颜色边界框框选所述障碍物；
若否，则判断该距离是否大于第一距离阈值且小于等于第二距离阈值，若是，则使用黄颜色边界框框选所述障碍物；
若否，则使用绿色边界框框选所述障碍物。
4.一种车辆行驶预警系统，其特征在于，包括：
实时视频拍摄模块：用于判断车辆是否处于行驶状态，若是，则获取车辆前方以及后方路况的实时视频；所述获取车辆前方以及后方路况的实时视频，包括：在车辆的两侧分别设置一个能够转动和伸缩的支撑架，两个所述支撑架上均固定设置有两个摄像头，两个摄像头分别朝向车辆的前方和后方，在车辆的内部设置显示器；
在车辆行驶过程中，控制两个所述摄像头拍摄车辆前方和后方的实时视频，并且将拍摄到的实时视频存储到预先设定的存储器中；利用所述显示器播放两个所述摄像头拍摄到的实时视频；
关键帧画面提取模块：用于提取所述实时视频中的关键帧画面；所述提取所述实时视频中的关键帧画面，包括：获取车辆的行驶速度；根据所述行驶速度，计算车辆行驶单位距离所需要的行驶时间；判断所述行驶时间是否大于预定的时间阈值，若否，则每经过第一预定时间间隔提取视频中的一幅帧画面作为关键帧画面；若否，则每经过第二预定时间间隔提取视频中的一幅帧画面作为关键帧画面；
障碍物识别模块：判断所述关键帧画面中是否存在障碍物，包括：将所述关键帧画面进行预处理，得到对应的增强画面；将所述增强画面输入到预先训练好的目标检测模型中，判断是否存在障碍物；所述将所述关键帧画面进行预处理，包括：利用图像金字塔算法，调整所述关键帧画面的尺寸，得到小尺寸画面；对所述小尺寸画面进行灰度处理，得到灰度画面；对所述灰度画面进行均一化处理，得到增强画面；预先训练好的目标检测模型采用transformer模型进行检测，首先利用编码器对输入的张量进行编码，然后再利用解码器对编码器输出的结果进行解码，其中Transformer模型在利用自注意力机制进行计算的过程中,需要利用到查询张量、被查询张量以及内容张量,这三个张量都是利用同一个输入的值与不同的变换矩阵WQ、WK以及WV相乘,得到对应的张量，将预处理过后的增强画面，可以看做是一个特定的张量，由于增强画面为灰度图，仅有一个通道，因此将该张量在最后一个维度进行展平，能够到一个一维向量，将该一维向量输入到编码其中进行编码，由于编码器采用自注意力机制，在自注意力机制中，被查询张量Key与内容张量Value的取值相同，因此根据第一查询张量Query对被查询张量Key与内容张量Value进行初始化，即可得到编码器对应的Q/K/V三个值，然后将query、key和value和位置编码embedding喂入transformer子层进行self-attention变换，最终输出维度和原query相同的张量，作为输出最终的编码特征向量，解码部分接受的key和value即为上述编码器输出的编码特征向量；在解码器中，query为一种参数可以学习的，shape为(50, 256)的权重参数，50代表每张图片最多会生成50个框，此外，解码器的位置编码向量的生成方式同编码器的方式，将query、key和value和位置编码embedding送入包含5层transformer子层的解码层，内部执行cross-attention变换、线性变化、层标准化等操作，最终输出维度和原query相同的张量；该张量就是在关键帧画面上的障碍物所在位置对应的特征张量；在得到该特征张量之后，将该特征张量输入到对应的检测头中进行检测和框选，即可得到带有边界框的关键帧画面；在实际生成边界框，提供边界框的左上角坐标以及边界框的两个相邻的边的长度，这样就能够确定边界框在关键帧画面上的具体位置；对于关键帧画面进行预处理，包括：将基准尺寸缩放至640*544，为了提升模型对实际使用过程中摄像头存在抖动，影像图片的实际形状的问题，还对每份图片做了608*512和672*576这额外两个尺度的缩放;
障碍物判断模块：判断所述障碍物是否会对驾驶产生影响;
障碍物标定模块：用于确定所述障碍物在所述关键帧画面中的位置，并使用边界框框选关键帧画面中的障碍物；
行驶影像编辑模块：用于根据边界框的坐标和尺寸，在所述实时视频中使用边界框对应框选该障碍物，得到对应的实时行驶影像。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。
CN202310949630.2A 2023-07-31 2023-07-31 一种车辆行驶预警方法、系统、介质及计算机 Active CN116968638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310949630.2A CN116968638B (zh) 2023-07-31 2023-07-31 一种车辆行驶预警方法、系统、介质及计算机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310949630.2A CN116968638B (zh) 2023-07-31 2023-07-31 一种车辆行驶预警方法、系统、介质及计算机

Publications (2)

Publication Number Publication Date
CN116968638A CN116968638A (zh) 2023-10-31
CN116968638B true CN116968638B (zh) 2024-04-09

Family

ID=88474429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310949630.2A Active CN116968638B (zh) 2023-07-31 2023-07-31 一种车辆行驶预警方法、系统、介质及计算机

Country Status (1)

Country Link
CN (1) CN116968638B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065341A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
CN111563474A (zh) * 2020-05-18 2020-08-21 北京茵沃汽车科技有限公司 运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统
CN114530057A (zh) * 2022-02-28 2022-05-24 中国第一汽车股份有限公司 一种车辆预警方法、装置、车辆及存储介质
CN115320584A (zh) * 2022-10-13 2022-11-11 之江实验室 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统
CN115690741A (zh) * 2022-11-02 2023-02-03 柳州市东科智慧城市投资开发有限公司 无人驾驶的自动跟踪方法、装置和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272946B (zh) * 2018-06-14 2023-06-09 日立安斯泰莫株式会社 车辆控制装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065341A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
CN111563474A (zh) * 2020-05-18 2020-08-21 北京茵沃汽车科技有限公司 运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统
CN114530057A (zh) * 2022-02-28 2022-05-24 中国第一汽车股份有限公司 一种车辆预警方法、装置、车辆及存储介质
CN115320584A (zh) * 2022-10-13 2022-11-11 之江实验室 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统
CN115690741A (zh) * 2022-11-02 2023-02-03 柳州市东科智慧城市投资开发有限公司 无人驾驶的自动跟踪方法、装置和计算机设备

Also Published As

Publication number Publication date
CN116968638A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112329552A (zh) 基于汽车的障碍物检测方法及装置
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN109886131B (zh) 一种道路弯道识别方法及其装置
CN105047019B (zh) 一种客运车辆防止后车超车后突然变道判断方法及装置
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
US9747507B2 (en) Ground plane detection
CN107273788A (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
CN106919895B (zh) 用于运动目标的跟踪方法和系统
JP2010218226A (ja) 計測マップ生成装置及び走行環境確認装置
CN112652190B (zh) 自动泊车的车位识别方法及其系统
CN111009011B (zh) 车辆方向角的预测方法、装置、系统以及存储介质
CN116968638B (zh) 一种车辆行驶预警方法、系统、介质及计算机
CN111191482A (zh) 一种刹车灯识别方法、装置及电子设备
CN105574511B (zh) 具平行架构的适应性物体分类装置及其方法
JP5996421B2 (ja) 障害物検出装置及びそれを用いた車両
KR101738425B1 (ko) 다차선 검출을 위한 관심 영역 설정 장치 및 방법
US9633283B1 (en) Adaptive device and adaptive method for classifying objects with parallel architecture
CN111301407B (zh) 一种危险车辆确定方法、装置、电子设备及可读存储介质
CN113044023A (zh) 一种停车位积水识别方法及装置
Onkarappa et al. On-board monocular vision system pose estimation through a dense optical flow
CN111160224B (zh) 一种基于fpga和地平线分割的高铁接触网异物检测系统及方法
CN114245102A (zh) 车载摄像头抖动识别方法、装置及计算机可读存储介质
CN114299300A (zh) 一种车道线检测方法、装置、计算机设备和存储介质
DE102020213799A1 (de) Hindernisdetektionsvorrichtung und Hindernisdetektionsverfahren

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant