CN114973055A - 车辆运动状态检测方法、装置、设备及存储介质 - Google Patents
车辆运动状态检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114973055A CN114973055A CN202210309667.4A CN202210309667A CN114973055A CN 114973055 A CN114973055 A CN 114973055A CN 202210309667 A CN202210309667 A CN 202210309667A CN 114973055 A CN114973055 A CN 114973055A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- vehicle motion
- motion state
- image
- state detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 171
- 238000001514 detection method Methods 0.000 title claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000015654 memory Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆运动状态检测方法、装置、设备及存储介质，该方法包括对有效训练图像进行标注，将连续N张有效训练图像拼接为待训练图像，构建输入通道数为3N输出通道数为车辆运动状态类别数的分类神经网络模型，利用待训练图像对模型进行训练，获得车辆运动状态检测模型，在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，利用车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。本发明通过获取车载相机的视频图像序列，即可利用车辆运动状态检测模型输出车载车辆的运动状态，无需根据传统视觉算法获取特征，再由人工设计逻辑判断车辆状态，提高了车辆运动状态检测的效率和准确性。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及到一种车辆运动状态检测方法、装置、设备及存储介质。
背景技术
近些年，车联网、自动驾驶等技术的使用成为汽车行业的热门话题，未来汽车也会朝着安全可靠和舒适的方向发展。而这一切背后的发展其中很重要的一部分是各类传感器的使用。其中之一就是用于检测和测量车辆运动状态的传感器。
惯性传感器(IMU:Inertial Measurement Unit)，又叫惯性测量单元，主要用来检测和测量加速度与旋转运动的传感器，其原理是采用惯性定律实现的。使用其传回的数据经处理可以知道驾驶车辆的运动状态，如当前在加速行驶、停止，或在转弯等。摄像头对于自动驾驶车辆是一个很重要的传感器，是车辆的眼睛，考虑人类可以根据车辆摄像头采集到的视频信息，可以很轻易的分辨车辆的运动状态，所以就设计一种方法代替惯性传感器，减少传感器的使用。使用图像处理等算法在一定程度上能达到判断车辆运动状态，但由于相机视野中其他物体的运动对传统视觉算法的干扰较大，稳定性较差，需要设计一种方案能对视野中移动的目标也有很好的兼容。因此，如何提高通过图像处理技术对车辆运动状态进行检测的效率和准确性，是一个亟需解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种车辆运动状态检测方法、装置、设备及存储介质，旨在解决目前车辆的安全监测装置对即时的车辆运动状态检测的效率和准确性不高的技术问题。
为实现上述目的，本发明提供一种车辆运动状态检测方法，所述方法包括以下步骤：
获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像，并对所述有效训练图像进行标注；
将连续N张有效训练图像拼接为待训练图像；
构建分类神经网络模型；其中，所述分类神经网络模型的输入通道数为3N，输出通道数为预设的车辆运动状态的类别数；
利用所述待训练图像对所述分类神经网络模型进行训练，获得车辆运动状态检测模型；
在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。
可选的，所述获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像步骤，具体包括：
获取车载相机采集的不同场景的视频，提取所述视频的图像序列；
按固定帧率提取所述图像序列的视频图像，以获得车载相机采集的有效训练图像。
可选的，所述对所述有效训练图像进行标注步骤，具体包括：
从每个视频对应的有效训练图像的第N张图像开始，根据当前图像和前N-1张图像，对图像中的车辆运动状态进行标注。
可选的，所述车辆运动状态包括：停止、运动、左转和右转。
可选的，所述将连续N张有效训练图像拼接为待训练图像步骤，具体包括：
将标注的连续N张有效训练图像，按输入通道的方向进行拼接，获得待训练图像；
将第N张有效训练图像的标注设置为所述待训练图像的标注。
可选的，所述分类神经网络模型采用基于RepVGG-A0网络的分类模型。
可选的，所述利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态步骤，具体包括：
利用所述车辆运动状态检测模型对待检测图像进行检测，获得每个输出通道的分类得分；
将分类得分最高的输出通道对应的车辆运动状态作为车辆运动状态检测的检测结果。
此外，为了实现上述目的，本发明还提供了一种车辆运动状态检测装置，所述车辆运动状态检测装置包括：
提取模块，用于获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像，并对所述有效训练图像进行标注；
拼接模块，用于将连续N张有效训练图像拼接为待训练图像；
构建模块，用于构建分类神经网络模型；其中，所述分类神经网络模型的输入通道数为3N，输出通道数为预设的车辆运动状态的类别数；
训练模块，用于利用所述待训练图像对所述分类神经网络模型进行训练，获得车辆运动状态检测模型；
检测模块，用于在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。
此外，为了实现上述目的，本发明还提供了一种车辆运动状态检测设备，所述车辆运动状态检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆运动状态检测程序，所述车辆运动状态检测程序被所述处理器执行时实现如上所述的车辆运动状态检测方法的步骤。
此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有车辆运动状态检测程序，所述车辆运动状态检测程序被处理器执行时实现如上所述的车辆运动状态检测方法的步骤。
本发明实施例提出的一种车辆运动状态检测方法、装置、设备及存储介质，该方法包括对有效训练图像进行标注，将连续N张有效训练图像拼接为待训练图像，构建输入通道数为3N输出通道数为车辆运动状态类别数的分类神经网络模型，利用待训练图像对模型进行训练，获得车辆运动状态检测模型，在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。本发明通过获取车载相机的视频图像序列，即可利用车辆运动状态检测模型输出车载车辆的运动状态，无需根据传统视觉算法获取特征，再由人工设计逻辑判断车辆状态，提高了车辆运动状态检测的效率和准确性。
附图说明
图1为本发明实施例中车辆运动状态检测设备的结构示意图；
图2为本发明车辆运动状态检测方法的实施例的流程示意图；
图3为本发明实施例中车辆运动状态检测装置的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
近些年，车联网、自动驾驶等技术的使用成为汽车行业的热门话题，未来汽车也会朝着安全可靠和舒适的方向发展。而这一切背后的发展其中很重要的一部分是各类传感器的使用。其中之一就是用于检测和测量车辆运动状态的传感器。
惯性传感器(IMU:Inertial Measurement Unit)，又叫惯性测量单元，主要用来检测和测量加速度与旋转运动的传感器，其原理是采用惯性定律实现的。使用其传回的数据经处理可以知道驾驶车辆的运动状态，如当前在加速行驶、停止，或在转弯等。摄像头对于自动驾驶车辆是一个很重要的传感器，是车辆的眼睛，考虑人类可以根据车辆摄像头采集到的视频信息，可以很轻易的分辨车辆的运动状态，所以就设计一种方法代替惯性传感器，减少传感器的使用。使用图像处理等算法在一定程度上能达到判断车辆运动状态，但由于相机视野中其他物体的运动对传统视觉算法的干扰较大，稳定性较差，需要设计一种方案能对视野中移动的目标也有很好的兼容。因此，如何提高通过图像处理技术对车辆运动状态进行检测的效率和准确性，是一个亟需解决的技术问题。
神经网络在很多方面都是主流的解决方案，目标检测、分割等都在自动驾驶中得到大量的应用，其中基于视频序列图像的检测主要是在行为检测中，其中用到的神经网络中很重要的一项是使用3D卷积，而这个目前在嵌入式芯片中的部署还存在问题，所以这类技术目前一般在云端服务器上运行。考虑项目实际需要，视频图像要在车载相机内嵌的芯片中运行，所以需要重新设计网络，使其可以部署到嵌入式芯片中。
为了解决这一问题，提出本发明的车辆运动状态检测方法的各个实施例。本发明提供的车辆运动状态检测方法通过获取车载相机的视频图像序列，即可利用车辆运动状态检测模型输出车载车辆的运动状态，无需根据传统视觉算法获取特征，再由人工设计逻辑判断车辆状态，提高了车辆运动状态检测的效率和准确性。
参照图1，图1为本发明实施例方案涉及的车辆运动状态检测设备的结构示意图。
设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。设备可能被称为用户终端、便携式终端、台式终端等。
通常，设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的车辆运动状态检测程序，所述车辆运动状态检测程序配置为实现如前所述的车辆运动状态检测方法的步骤。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关车辆运动状态检测操作，使得车辆运动状态检测模型可以自主训练学习，提高效率和准确度。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的车辆运动状态检测方法。
在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。通信接口303通过外围设备用于接收用户上传的多个移动终端的移动轨迹以及其他数据。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信，从而可获取多个移动终端的移动轨迹以及其他数据。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(WirelessFidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near FieldCommunication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图1中示出的结构并不构成对车辆运动状态检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例提供了一种车辆运动状态检测方法，参照图2，图2为本发明车辆运动状态检测方法的实施例的流程示意图。
本实施例中，所述车辆运动状态检测方法包括以下步骤：
步骤S100，获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像，并对所述有效训练图像进行标注。
具体而言，为了实现对车辆运动状态检测，本实施例在获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像时，可先获取车载相机采集的不同场景的视频，提取所述视频的图像序列，再按固定帧率提取所述图像序列的视频图像，以获得车载相机采集的有效训练图像。
需要说明的是，从车载相机中按固定帧率获取视频图像，固定帧率的目的是当检测状态的实时性要求不高的情况下，可以过滤相似的图像高算法效率，降低抖动误检，进而提高车辆运动状态的检测效率。
在本实施例中，在对有效训练图像进行标注时，首先假设后续神经网络会使用N张图像用于判断车辆的当前状态。收集车载相机采集的各类场景的视频，将各个视频文件转换为视频图像序列，然后每个视频图像的前N-1张不用标注，在第N张开始的每张图像根据N-1张图像和当前图像标注当前图像的车载车辆的运动状态。根据项目，N的取值会有不同，本实施例取值为5。
进一步的，在本实施例中，车辆运动状态包括：停止、运动、左转和右转。
步骤S200，将连续N张有效训练图像拼接为待训练图像。
具体而言，在将有效训练图像拼接为待训练图像时，可将标注的连续N张有效训练图像，按输入通道的方向进行拼接，获得待训练图像；将第N张有效训练图像的标注设置为所述待训练图像的标注。
步骤S300，构建分类神经网络模型；其中，所述分类神经网络模型的输入通道数为3N，输出通道数为预设的车辆运动状态的类别数。
具体而言，本实施例中的分类神经网络模型采用基于RepVGG-A0网络为基础网络。同时，修改网络的输入通道为3N，即15；输出通道为待检测的车辆运动状态类别数，即4。
步骤S400，利用所述待训练图像对所述分类神经网络模型进行训练，获得车辆运动状态检测模型。
具体而言，在对分类神经网络模型进行训练时，可将拼接好的待训练图像传入网络中开始训练，直至训练完成。
容易理解的，训练中将标注的连续N张图像按通道方向拼接在一起。假设单张彩色图像经预处理后图像的宽为W，长为H，通道为3，则N张图像拼接后的数据尺寸为WxHx3N，拼接后的数据类别为最后一张图像的标签，然后传入网络中开始训练。
步骤S500，在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。
具体而言，在获得车辆运动状态检测模型后，对连续N张车辆运动图像进行拼接，获得待检测图像。在此之后，利用所述车辆运动状态检测模型对待检测图像进行检测，获得每个输出通道的分类得分；将分类得分最高的输出通道对应的车辆运动状态作为车辆运动状态检测的检测结果。
本实施例中，在前向推理时，首先将N张图像预处理，然后再按通道方向拼接再一起，经模型处理后，最后输出得分最大的通道数即为车辆状态的索引。
在本实施例中，通过基于神经网络的车辆运动状态检测，针对根据车载相机的视频图像序列，然后输出车载车辆的运动状态，包括停止，运动，左转，右转等。无需再加入IMU等传感器，只需要根据车载相机的视频序列即可知道车辆的运动状态，也无需根据传统视觉算法获取特征，然后人工设计逻辑判断车辆状态，对于相机视野中运动的目标有很好的兼容性，且可将模型部署到嵌入式平台。
参照图3，图3为本发明车辆运动状态检测装置的实施例的结构框图。
如图3所示，本发明实施例提出的车辆运动状态检测装置包括：
提取模块10，用于获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像，并对所述有效训练图像进行标注；
拼接模块20，用于将连续N张有效训练图像拼接为待训练图像；
构建模块30，用于构建分类神经网络模型；其中，所述分类神经网络模型的输入通道数为3N，输出通道数为预设的车辆运动状态的类别数；
训练模块40，用于利用所述待训练图像对所述分类神经网络模型进行训练，获得车辆运动状态检测模型；
检测模块50，用于在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。
作为一种实施方式，提取模块10还用于获取车载相机采集的不同场景的视频，提取所述视频的图像序列；按固定帧率提取所述图像序列的视频图像，以获得车载相机采集的有效训练图像。
作为一种实施方式，提取模块10还用于从每个视频对应的有效训练图像的第N张图像开始，根据当前图像和前N-1张图像，对图像中的车辆运动状态进行标注。
作为一种实施方式，提取模块10中，所述车辆运动状态包括：停止、运动、左转和右转。
作为一种实施方式，拼接模块20还用于将标注的连续N张有效训练图像，按输入通道的方向进行拼接，获得待训练图像；将第N张有效训练图像的标注设置为所述待训练图像的标注。
作为一种实施方式，构建模块30中，所述分类神经网络模型采用基于RepVGG-A0网络的分类模型。
作为一种实施方式，检测模块50还用于利用所述车辆运动状态检测模型对待检测图像进行检测，获得每个输出通道的分类得分；将分类得分最高的输出通道对应的车辆运动状态作为车辆运动状态检测的检测结果。
本实施例提供的车辆运动状态检测装置，通过获取车载相机的视频图像序列，即可利用车辆运动状态检测模型输出车载车辆的运动状态，无需根据传统视觉算法获取特征，再由人工设计逻辑判断车辆状态，提高了车辆运动状态检测的效率和准确性。
本发明车辆运动状态检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有车辆运动状态检测程序，所述车辆运动状态检测程序被处理器执行时实现如上文所述的车辆运动状态检测方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
Claims (10)
1.一种车辆运动状态检测方法，其特征在于，所述方法包括以下步骤：
获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像，并对所述有效训练图像进行标注；
将连续N张有效训练图像拼接为待训练图像；
构建分类神经网络模型；其中，所述分类神经网络模型的输入通道数为3N，输出通道数为预设的车辆运动状态的类别数；
利用所述待训练图像对所述分类神经网络模型进行训练，获得车辆运动状态检测模型；
在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。
2.如权利要求1所述的车辆运动状态检测方法，其特征在于，所述获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像步骤，具体包括：
获取车载相机采集的不同场景的视频，提取所述视频的图像序列；
按固定帧率提取所述图像序列的视频图像，以获得车载相机采集的有效训练图像。
3.如权利要求2所述的车辆运动状态检测方法，其特征在于，所述对所述有效训练图像进行标注步骤，具体包括：
从每个视频对应的有效训练图像的第N张图像开始，根据当前图像和前N-1张图像，对图像中的车辆运动状态进行标注。
4.如权利要求3所述的车辆运动状态检测方法，其特征在于，所述车辆运动状态包括：停止、运动、左转和右转。
5.如权利要求1所述的车辆运动状态检测方法，其特征在于，所述将连续N张有效训练图像拼接为待训练图像步骤，具体包括：
将标注的连续N张有效训练图像，按输入通道的方向进行拼接，获得待训练图像；
将第N张有效训练图像的标注设置为所述待训练图像的标注。
6.如权利要求5所述的车辆运动状态检测方法，其特征在于，所述分类神经网络模型采用基于RepVGG-A0网络的分类模型。
7.如权利要求6所述的车辆运动状态检测方法，其特征在于，所述利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态步骤，具体包括：
利用所述车辆运动状态检测模型对待检测图像进行检测，获得每个输出通道的分类得分；
将分类得分最高的输出通道对应的车辆运动状态作为车辆运动状态检测的检测结果。
8.一种车辆运动状态检测装置，其特征在于，所述车辆运动状态检测装置包括：
提取模块，用于获取车辆运动训练图像，提取所述车辆运动训练图像中的有效训练图像，并对所述有效训练图像进行标注；
拼接模块，用于将连续N张有效训练图像拼接为待训练图像；
构建模块，用于构建分类神经网络模型；其中，所述分类神经网络模型的输入通道数为3N，输出通道数为预设的车辆运动状态的类别数；
训练模块，用于利用所述待训练图像对所述分类神经网络模型进行训练，获得车辆运动状态检测模型；
检测模块，用于在接收到车载相机采集的车辆运动图像时，对连续N张车辆运动图像进行拼接，获得待检测图像，并利用所述车辆运动状态检测模型对待检测图像进行检测，以获得车辆的运动状态。
9.一种车辆运动状态检测设备，其特征在于，所述车辆运动状态检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆运动状态检测程序，所述车辆运动状态检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的车辆运动状态检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有车辆运动状态检测程序，所述车辆运动状态检测程序被处理器执行时实现如权利要求1至7中任一项所述的车辆运动状态检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210309667.4A CN114973055A (zh) | 2022-03-25 | 2022-03-25 | 车辆运动状态检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210309667.4A CN114973055A (zh) | 2022-03-25 | 2022-03-25 | 车辆运动状态检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114973055A true CN114973055A (zh) | 2022-08-30 |
Family
ID=82976286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210309667.4A Pending CN114973055A (zh) | 2022-03-25 | 2022-03-25 | 车辆运动状态检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973055A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107576960A (zh) * | 2017-09-04 | 2018-01-12 | 苏州驾驶宝智能科技有限公司 | 视觉雷达时空信息融合的目标检测方法及系统 |
| CN107818685A (zh) * | 2017-10-25 | 2018-03-20 | 司法部司法鉴定科学技术研究所 | 一种基于车载视频获取车辆运动状态的方法 |
| CN108376235A (zh) * | 2018-01-15 | 2018-08-07 | 深圳市易成自动驾驶技术有限公司 | 图像检测方法、装置及计算机可读存储介质 |
| WO2019095588A1 (zh) * | 2017-11-16 | 2019-05-23 | 智慧互通科技有限公司 | 基于多摄像机的路侧停车管理方法、装置和系统 |
| CN110532990A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
| CN110705370A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
| CN112380918A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种道路车辆状态识别方法、装置、电子设备及存储介质 |
| CN113033604A (zh) * | 2021-02-03 | 2021-06-25 | 淮阴工学院 | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 |
| WO2021175006A1 (zh) * | 2020-03-04 | 2021-09-10 | 深圳壹账通智能科技有限公司 | 车辆图像检测方法、装置、计算机设备及存储介质 |
| CN113771867A (zh) * | 2020-06-10 | 2021-12-10 | 华为技术有限公司 | 一种行驶状态的预测方法、装置和终端设备 |
| CN113807470A (zh) * | 2021-11-17 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 一种车辆行驶状态确定方法和相关装置 |
| US20220080884A1 (en) * | 2020-09-15 | 2022-03-17 | Hyundai Motor Company | Device and method for controlling emotional lighting of vehicle |
-
2022
- 2022-03-25 CN CN202210309667.4A patent/CN114973055A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107576960A (zh) * | 2017-09-04 | 2018-01-12 | 苏州驾驶宝智能科技有限公司 | 视觉雷达时空信息融合的目标检测方法及系统 |
| CN107818685A (zh) * | 2017-10-25 | 2018-03-20 | 司法部司法鉴定科学技术研究所 | 一种基于车载视频获取车辆运动状态的方法 |
| WO2019095588A1 (zh) * | 2017-11-16 | 2019-05-23 | 智慧互通科技有限公司 | 基于多摄像机的路侧停车管理方法、装置和系统 |
| CN108376235A (zh) * | 2018-01-15 | 2018-08-07 | 深圳市易成自动驾驶技术有限公司 | 图像检测方法、装置及计算机可读存储介质 |
| CN110532990A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
| CN110705370A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
| WO2021175006A1 (zh) * | 2020-03-04 | 2021-09-10 | 深圳壹账通智能科技有限公司 | 车辆图像检测方法、装置、计算机设备及存储介质 |
| CN113771867A (zh) * | 2020-06-10 | 2021-12-10 | 华为技术有限公司 | 一种行驶状态的预测方法、装置和终端设备 |
| US20220080884A1 (en) * | 2020-09-15 | 2022-03-17 | Hyundai Motor Company | Device and method for controlling emotional lighting of vehicle |
| CN112380918A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种道路车辆状态识别方法、装置、电子设备及存储介质 |
| CN113033604A (zh) * | 2021-02-03 | 2021-06-25 | 淮阴工学院 | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 |
| CN113807470A (zh) * | 2021-11-17 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 一种车辆行驶状态确定方法和相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张新钰等: "面向自动驾驶目标检测的深度多模态融合技术", 智能系统学报, 31 July 2020 (2020-07-31) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108632530B (zh) | 一种车辆定损的数据处理方法、装置、设备及客户端、电子设备 | |
| CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN109492566B (zh) | 车道位置信息获取方法、装置及存储介质 | |
| CN110490179B (zh) | 车牌识别方法、装置及存储介质 | |
| CN109977845B (zh) | 一种可行驶区域检测方法及车载终端 | |
| CN109532845B (zh) | 智能汽车的控制方法、装置及存储介质 | |
| CN109581358B (zh) | 障碍物的识别方法、装置及存储介质 | |
| CN107807772A (zh) | 图像数据处理方法、装置及移动终端 | |
| CN110044638B (zh) | 车道保持功能的测试方法、装置及存储介质 | |
| CN110490186B (zh) | 车牌识别方法、装置及存储介质 | |
| CN112215227B (zh) | 图像目标检测模型攻击方法、装置、终端设备及存储介质 | |
| CN106470277A (zh) | 一种安全提示方法及装置 | |
| CN114332821A (zh) | 决策信息获取方法、装置、终端及存储介质 | |
| CN113014830A (zh) | 视频虚化方法、装置、设备及存储介质 | |
| CN105807888A (zh) | 一种电子设备及信息处理方法 | |
| CN114973055A (zh) | 车辆运动状态检测方法、装置、设备及存储介质 | |
| CN111914671A (zh) | 一种安全带检测方法、装置、电子设备及存储介质 | |
| CN114494795A (zh) | 基于底盘检测的停车检测方法、装置、设备及存储介质 | |
| CN110163862B (zh) | 图像语义分割方法、装置及计算机设备 | |
| EP3627382A1 (en) | Method for iris liveness detection and related product | |
| CN114926807A (zh) | 车辆事件识别方法、装置、设备及存储介质 | |
| CN111741266B (zh) | 图像显示方法、装置、车载设备及存储介质 | |
| CN109685850B (zh) | 一种横向定位方法及车载设备 | |
| CN113824929B (zh) | 停车场异常行为监控方法、装置及停车场监控系统 | |
| CN110728275B (zh) | 车牌识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |