CN116798015A - 交通信息提取方法、装置、终端设备及存储介质 - Google Patents

交通信息提取方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN116798015A
CN116798015A CN202310354031.6A CN202310354031A CN116798015A CN 116798015 A CN116798015 A CN 116798015A CN 202310354031 A CN202310354031 A CN 202310354031A CN 116798015 A CN116798015 A CN 116798015A
Authority
CN
China
Prior art keywords
processed
target detection
video
traffic
detection object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310354031.6A
Other languages
English (en)
Inventor
吴光
王建华
张宏彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yantiangang Real Estate Co ltd
Southwest University of Science and Technology
Original Assignee
Shenzhen Yantiangang Real Estate Co ltd
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yantiangang Real Estate Co ltd, Southwest University of Science and Technology filed Critical Shenzhen Yantiangang Real Estate Co ltd
Priority to CN202310354031.6A priority Critical patent/CN116798015A/zh
Publication of CN116798015A publication Critical patent/CN116798015A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例适用于计算机技术领域，提供了一种交通信息提取方法、装置、终端设备及存储介质，所述方法包括：获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。采用上述方法可以从交通视频中快速准确地提取出有效的交通信息。

Description

交通信息提取方法、装置、终端设备及存储介质
技术领域
本申请实施例属于计算机技术领域，特别是涉及一种交通信息提取方法、装置、终端设备及存储介质。
背景技术
随着港口和城市的发展，城市道路的交通流量迅速增加，由于港口城市道路上不仅承担着城市居民日常的交通流量，还需要承担港口城市特有的大量货运流量，因此大型港口城市常存在道路拥堵问题。智慧交通控制系统可以根据城市道路上的交通状况实时调整交通信号灯的时长，通过公平分配绿灯时间智慧交通控制系统可以创建更顺畅的交通流以达到减少道路拥堵的目的。在智慧交通控制系统中，快速准确地采集路面上的交通流信息是创建顺畅的交通流的关键。
在现有技术中，采集交通信息流的方法主要有环形线圈提取法、红外提取法和视频提取法。环形线圈提取法存在需要破坏路面安装感应线圈和对变道车辆和密集车流检测精度不高的问题。红外提取法的准确性手天气条件的影响较大且对驾驶员的健康存在一定影响。因此，设备简单且能提取出多样化交通信息的视频提取法是最佳选择。然而现有技术中，在车辆遮挡度搞、密度大的密集交通场景仍然难以通过视频图像快速准确地提取出有效的交通信息。
发明内容
有鉴于此，本申请实施例提供了一种交通信息提取方法，用以从交通视频中快速准确地提取出有效的交通信息。
本申请实施例的第一方面提供了一种交通信息提取方法，包括：
获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
本申请实施例的第二方面提供了一种交通信息提取装置，包括：
待处理视频帧提取模块，用于获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
位置检测结果确定模块，用于分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
移动轨迹信息生成模块，用于根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的交通信息提取方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的交通信息提取方法。
本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面所述的交通信息提取方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例，通过交通视频获取多个待处理视频帧，将获取到的多个待处理视频帧导入预先设定的目标检测网络中，目标检测网络自动可以对待处理视频帧中的目标检测对象进行多目标检测并生成每个目标检测对象相应的位置检测结果。根据任一目标检测对象在多个待处理视频帧中的位置检测结果，本申请实施例提供的交通信息提取方法可以生成该目标检测对象的移动轨迹信息。由于本申请实施例提供的目标检测网络属于轻量级网络，因此本申请实施例提供的车辆信息提取方法可以在车辆被遮挡、车辆密度大的密集交通场景中快速、准确地提取出目标检测对象的位置检测结果，并根据位置检测结果生成该目标检测结果的轨迹信息。因此本申请实施例提供的交通信息提取方法可以帮助智慧交通系统快速准确地采集路面上的交通流信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种交通信息提取方法的示意图；
图2是本申请实施例提供的一种空间采样单元的第一基本单元的示意图；
图3是本申请实施例提供的一种空间采样单元的第二基本单元的示意图；
图4是本申请实施例提供的一种车辆检测模型的示意图；
图5是本申请实施例提供的一种相关坐标体系的关系示意图；
图6是本申请实施例提供的一种交通信息提取方法的流程示意图
图7是本申请实施例提供的一种交通信息提取装置的示意图；
图8是本申请实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
随着港口及城市建设的不断发展，城市道路的交通流量也在迅速增加。大型港口巨大的公路疏港需求容易造成港区及港口周边陆域严重的交通拥堵和客货混行现象。大型城市的港口区域，例如深圳盐田港地区，存在的巨大公路疏港需求给港口区域居民的生活和港口区域的城市管理造成了很多不便。对于港口区域，现有技术中可选的解决办法主要有四种。第一，有设计更加合理的交通道路规划；第二，建设专用的货运通道；第三，降低公路货运疏港的比例；第四，通过智慧交通控制系统进行实时的交通疏导。但是前面三种解决方法都存在明显的局限性，如需要较长的建设时间、花费高昂、短时间难以改变道路拥堵的现状等。因此，智慧交通控制系统是解决大型城市港口区域交通拥堵问题的最佳解决方案。
智慧交通控制系统中包括自适应交通控制系统，不同于传统预先设定的交通信号时序表，自适应交通控制系统可根据当前交通状况实时调整交通信号灯的时长，因此自适应交通控制系统可以适应不断变化的交通模式。与传统交通信号系统相比，自适应交通控制系统的主要优势主要有三点。第一，自适应交通控制系统能持续为所有交通活动公平地分配绿灯时间；第二，自适应交通控制系统通过创建更顺畅的交通流可以有效减少道路拥堵；第三，自适应交通控制系统更快地响应路面的突发情况。在现有技术中，影响自适应交通控制系统交通优化能力的重要因素之一是能否获取准确的、多维度描述交通信息的数据输入。当交通信息提取方法能快速、准确地采集并传输交通流信息时，自适应交通控制系统才能及时了解道路交通情况，相应地采取特定的措施保障道路交通平稳运行。
现有技术中，常见的交通流信息提取方法有环形线圈提取法、红外提取法和视频提取法。环形线圈提取法是应用最广泛的交通流信息提取方法之一。该方法基于电磁感应原理，当车辆行驶经过预先埋设在路面下的感应线圈上方时，金属制的车身会引起线圈内部电感量发生变化，检测器可以通过电感量的变化感应出线圈上方车辆的存在，从而计算出车流量和车道占有率。环形线圈检测法技术较为成熟，但同时局限性较大，例如，环形线圈只能在单一位置对车辆进行测量，每次安装或者维护线圈时都需要破坏路面，占据通行车道，面对变道的车辆或密集的车流时测量精度不高等。红外提取法通过主动式红外探测器发射一束红外光束，射出的红外光束与车辆接触后会被红外接收器进行接收，通过计算变化的红外光束的传输时间来对提取车辆信息。主动式红外探测系统的准确性受雾和雨等天气条件的影响较大，且对驾驶员的健康有一定影响。视频提取法是指利用图像处理、人工智能等技术对交通视频切分得到的图像进行分析处理，得到车辆相对位置、交通流量等交通数据的方法。该方法不需要对路面进行破坏，且所需设备简单，可以从交通视频中能提取出多样的交通信息。然而目前使用基于视频图像的交通流信息提取方法在车辆被遮挡、车辆密度大的密集交通场景中快速、准确地提取交通信息仍是具有挑战性的难题。
下面通过具体实施例来说明本申请的技术方案。参照图1，示出了本申请实施例提供的一种交通信息提取方法的示意图，该交通信息提取方法可以应用于安装有智慧交通控制系统或交通信息提取系统的终端设备上。其中，终端设备可以为计算机电脑、平板电脑、智能手机、大型计算机等可以安装智慧交通控制系统或交通信息提取系统的电子设备。上述交通信息提取方法具体可以包括如下步骤：
S101、获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
在本申请实施例中，安装有智慧交通控制系统或交通信息提取系统可以定期通过交通路口的摄像头实时采集多段关于城市道路的交通视频，也可以在检测到道路上出现车辆拥堵的情况时，从交通路口的摄像头采集多段关于城市道路的交通视频。其中获取到的交通视频的分辨率可以为1920x1080像素，每秒传输的帧数可以为25。根据获取到的交通视频，可以对获取到的交通视频进行切分，将交通视频切分为多个帧，优选地，可以每隔5帧选取一帧视频作为待处理视频帧。根据切分得到的多个视频帧，可以提取出多个待处理视频帧，提取到的任一待处理视频帧中可以至少包括一个目标检测对象，待处理视频帧中的目标检测对象可以是任何类型的车辆，如大货车、小客车、巴士、面包车等类型的车辆。
在本申请实施例的另外一种可能实现方式中，在获取多个待处理视频帧之前，可以先通过交通路口的摄像头实时采集多段关于城市道路的训练视频，训练视频的采集地点可以和交通视频的采集地点相同。其中获取到的训练视频的分辨率可以为1920x1080像素，帧率可以为25fps。根据获取到的训练视频，可以对获取到的训练视频进行切分，将训练视频切分为多个帧。根据切分得到的多个视频帧，提取出多个训练帧，优选地，可以每隔5帧选取一帧视频作为训练帧。获取到多个训练帧后，用户可以对多个训练帧进行旋转、翻转、改变色调和调整饱和度、曝光量等多种图片处理。通过对各个训练帧进行图片处理，可以在数量有限的原始训练帧的基础上生成大量训练帧。
示例性地，原始训练帧的数量可以为39100张。提取到的任一训练帧中可以至少包括一个训练对象，训练帧中的训练对象可以是和目标检测对象的类型相同，即训练对象可以是任何类型的车辆，如大货车、小客车、巴士、面包车等类型的车辆。在获取到多个训练帧后，可以使用Mosaic数据增强算法对训练帧进行处理。通过Mosaic数据增强算法可以对任意四张训练帧进行随机平移、随机缩放、随机排列等多种图片处理操作，经过多种图片处理操作后的任意四张训练帧可以被拼接在一起，成为一张训练帧。得到多张训练帧后，可以通过预设的标注应用(如DarkLabel标注软件)对训练帧中的训练对象进行标注。预设的标注应用可以通过对象边界框标注出任意训练帧中的所有训练对象，并通过对对象边界框添加类型标签的方式，对训练帧中的多种训练对象进行分类。优选地，训练对象的标签可以为大货车、汽车、巴士、面包车和其他。
在一种可能实现方式中，在获取到多个训练帧并对训练帧中的训练对象进行分类标注后，可以对多个标注好的训练帧进行向量化，并生成多个检测数据，检测数据中可以包括训练对象的对象边界框和类型标签。根据多个向量化的检测数据可以生成训练集。基于训练集，可以随机选取检测数据的对象边界框作为第一聚类核，多个第一聚类核可以生成第一聚类中心。生成第一聚类中心后，可以根据公式1分别计算训练集中其他对象边界框与第一聚类中心中的多个第一聚类核的距离值。其中公式1如下所示：
在本申请实施例中，d可以为其他对象边界框与第一聚类中心中的多个第一聚类核的距离值，ui为第i个对象边界框，cj为第j个聚类中心。
根据计算出的多个距离值可以确定对象边界框的与第一聚类中心的最短距离值。确定多个最短距离值后，可以将对象边界框对应的最短距离值作为对象边界框对应的概率值。根据预先设定的概率值阈限，可以选取多个对象边界框成为第一聚类核。
在本申请实施例中，可以判断多个对象边界框对应的概率值是否大于预先设定的概率值阈限。若任意对象边界框对应的概率值大于预先设定的概率值阈限，则该对象边界框成为第一聚类核，并被写入第一聚类中心。若任意对象边界框对应的概率值小于预先设定的概率值阈限，则重新计算该对象边界框与第一聚类中心中的多个第一聚类核的距离，并重新确定该对象边界框的最短距离值。重复计算对象边界框与第一聚类中心中的多个第一聚类核的距离，确定该对象边界框的最短距离值，并根据预先设定的概率值阈限选取第一聚类核的操作，直至第一聚类中心中包含的第一句聚类核的数量大于或等于阈限设定的第一聚类核阈限，并生成第二聚类中心。
在确定了第二聚类中后，电子设备可以再次根据公式1，重新计算剩余的多个对象边界框与第二聚类中心中的多个第二聚类核的多个第二距离值。确定任意对象边界框的最小第二距离值和最小第二距离值对应的第二聚类核。确定多个最小第二距离值对应的第二聚类核相同的对象边界框，并根据多个最小第二距离值对应的第二聚类核相同的对象边界框形成多个第二聚类核对应的数据集。计算每个第二聚类核对应的数据集的平均值，并将获得的平均值赋值给数据集对应的第二聚类核。可以重复确定多个最小第二距离值对应的第二聚类核相同的对象边界框，并根据多个最小第二距离值对应的第二聚类核相同的对象边界框形成多个第二聚类核对应的数据集，以及计算每个第二聚类核对应的数据集的平均值，将获得的平均值赋值给数据集对应的第二聚类核的步骤，直至计算出的所有平均值均等于平均值对应的第二聚类核，以生成多个最佳聚类核。可以确定每个最佳聚类核对应的多个对象边界框，并基于最佳聚类核和每个最佳聚类核对应的多个对象边界框可以形成数据组。根据确定出的多个数据组，可以计算出最佳瞄框参数。
在本申请实施例中，通过Mosaic数据增强算法对训练帧进行随机平移、随机缩放、随机排列等多种图片处理操作，并将增强后的任一四张训练帧拼接在一起成为一张训练帧，可以丰富一张训练帧中包含的目标背景。此外使用增强后的训练帧计算最佳瞄框参数，可以增强最佳瞄框参数批量归一化的效果。通过添加由增强后的训练帧生成的最佳瞄框参数，目标检测网络的鲁棒性得到显著提升。此外由于增强后的训练帧中是经过多种图片处理操作且由四张训练帧拼接而成的。因此由增强后的训练帧生成的最佳瞄框参数添加到目标检测网络中，可以提高目标检测网络检测被遮挡的目标检测对象的性能。
在本申请实施例中，对增强后的训练帧通过循环多次聚类计算，确定每一个对象边界框对应的最佳聚类核，并根据最佳聚类核和每个最佳聚类核对应的多个对象边界框生成的数据组，可以计算出最佳瞄框参数。将生成的最佳瞄框参数和目标检测网络相结合，可以提高目标检测网络对目标检测对象的检测准确性。在本申请实施例的实验数据中，仅通过目标检测网络对待处理视频帧中的多个目标检测对象生成的初始瞄框为(12,16)、(19,36)、(40,28)、(36,75)、(76,55)、(72,146)、(142,110)、(192,243)、(459,401)。和最佳瞄框参数相结合后后，目标检测网络对同一待处理视频帧中的多个目标检测对象生成的最佳瞄框为(11,15)、(19,24)、(35,15)、(30,42)、(48,35)、(40,65)、(61,81)、(84,104)、(152,65)。可以看出将生成的最佳瞄框参数和目标检测网络相结合，目标检测网络对同一批目标检测对象生成的最佳瞄框明显小于未添加最佳瞄框参数前生成的初始瞄框，因此添加最佳瞄框参数可以显著提高目标检测网络对目标检测对象的检测准确性。
S102、分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
在本申请实施例中，获取到包含至少一个目标检测对象的待处理视频帧后，可以分别将获取到的各个待处理视频帧导入到预先设定好的目标检测网络中。预先设定好的目标检测网络中可以包含最佳瞄框参数。目标检测网络接收到导入的多个待处理视频帧后，可以对待处理视频帧中的目标检测对象进行多目标检测。目标检测网络可以基于最佳瞄框参数生成目标检测对象相应的检测瞄框，根据检测瞄框目标检测网络可以生成每个目标检测对象对应的位置检测结果。
在本申请实施例的一种可能实现方式中，目标检测网络可以包括第一卷积层、最大化池、空间采样单元和第二卷积层。目标检测网络可以由多个第一基本单元和多个第二基本单元构成，其中第一基本单元为步长为1的基本单元，第二基本单元为步长为2的基本单元，第二基本单元多用于空间下采样。第一基本单元和第二基本单元的结构图分别如图2和图3所示。
图2为第一基本单元的结构图，使用第一基本单元进行多目标检测时，可以先对导入的待处理视频帧进行通道分割。被分割到右通道的部分特征图可以依次经过1*1的卷积处理、3*3的逐深度卷积处理和1*1的卷积处理。每次卷积处理后的特征图可以先通过BatchNormalization层进行拟归一化再输入到下一卷积核中开始下一次的卷积处理，其中每次1*1的卷积处理后输出的特征图在经过拟归一化处理后，还可以通过ReLU激活函数进行激活处理。被分割到左通道的特征图无需进行卷积处理，可以直接与右通道输出的特征图进行拼接。经过三次卷积处理后的右通道特征图可以与另一通道的特征图进行拼接并进行通道混洗。
示例性地，图3示出了本申请实施例提供的第二基本单元的结构示意图。参见图3所示，使用第二基本单元进行多目标检测时，可以先对导入的待处理视频帧进行通道分割。被分割到左通道的特征图可以先被3*3且步长为2的DW卷积模块进行卷积处理，DW卷积模块处理后输出的特征图可以通过BatchNormalization层进行拟归一化。BatchNormalization层拟归一化完成后的左通道特征图可以被1*1的卷积模块进行第二次卷积处理。第二次卷积处理完成后的左通道特征图可以再次通过BatchNormalization层进行拟归一化，并通过ReLU激活函数进行激活处理。激活处理完成后的特征图可以作为左通道特征图被输出到拼接层。被分割到右通道的特征图可以先被1*1的卷积模块进行第一次卷积处理，第一次卷积处理完成的特征图可以输入到BatchNormalization层进行拟归一化，并通过ReLU激活函数进行激活处理。激活处理完成后的特征图可以输入到3*3且步长为2的逐深度卷积模块进行卷积处理。可以将第二次卷积处理完成后的特征图再次输出到BatchNormalization层进行拟归一化。拟归一化完成后的特征图可以被输入到1*1的卷积模块进行第三次卷积处理，第三次卷积处理完成的特征图可以输入到BatchNormalization层进行拟归一化，并通过ReLU激活函数进行激活处理。激活处理完成后的特征图可以作为右通道特征图可以被输出到拼接层与左通道图进行拼接并进行通道混洗。
在本申请实施例中，目标检测网络的网络层可以包括第一卷积层、最大化池、空间采样单元和第二卷积层。其中，目标检测网络的整体结构如下表1所示。
表1
在表1中，目标检测网络的第一卷积层可以由一个步长为2的第二基本单元构成。第一卷积层内可以包括第一卷积核，优选地，第一卷积核的大小为3*3的卷积核大小。被导入目标检测网络的多个待处理视频帧可以先通过第一卷积层进行卷积处理。卷积处理完成后，第一卷积层可以基于被导入的待处理视频帧生成大小为112x112x24的第一向量。第一卷积层生成第一向量后，可以将生成的第一向量导入到最大化池中进行降维，并由最大化池基于第一向量生成第二向量。
如表1所示，最大化池可以由1个步长为2的第二基本单元构成，最大化池中可以包含大小为3*3的最大化卷积核。最大化池可以输出大小为56x56x24的第二向量。最大化池生成第二向量后，可以将生成的第二向量导入到空间采样单元中进行循环卷积处理。
其中，空间采样单元可以包括二阶段层、三阶段层和四阶段层。二阶段层中可以包括第一二阶段子网络和第二二阶段子网络。其中第一二阶段子网络可以由1个步长为2的第二基本单元构成，并且包含一个大小为3*3的卷积核。第一二阶段子网络可以根据输入的第二向量输出大小为28x28x116的向量。其中第二二阶段子网络可以由3个步长为1的第一基本单元构成。第二二阶段子网络可以根据输入的向量输出大小为28x28x116的向量。三阶段层中可以包括第一三阶段子网络和第二三阶段子网络。其中第一三阶段子网络可以由1个步长为2的第二基本单元构成。第一三阶段子网络可以根据输入的向量输出大小为14x14x232的向量。其中第二三阶段子网络可以由7个步长为1的第一基本单元构成。第二三阶段子网络可以根据输入的向量输出大小为14x14x232的向量。四阶段层中可以包括第一四阶段子网络和第二四阶段子网络。其中第一四阶段子网络可以由1个步长为2的第二基本单元构成。第一四阶段子网络可以根据输入的向量输出大小为7x7x464的向量。其中第二四阶段子网络可以由3个步长为1的第一基本单元构成。第二四阶段子网络可以根据输入的向量输出大小为7x7x464的向量。
在表1中，目标检测网络的第二卷积层可以由一个步长为1的第一基本单元构成。第二卷积层内可以包括第二卷积核，优选地，第一卷积核的大小为1*1的卷积核大小。在接收到空间采样单元输入的第三向量后，第二卷积层可以对接收到的第三向量进行卷积处理。卷积处理完成后，第二卷积层可以生成关于目标检测对象的大小为7x7x1024的特征值。
在本申请实施例的另外一种可能实现方式中，可以通过图像识别算法，对第二卷积层输出的特征值和最佳瞄框参数进行图像识别。图像识别算法可以基于目标检测网络输出的特征值和最佳瞄框参数对待处理视频帧中的多个目标检测对象生成各个目标检测对象相应的位置检测结果。在本方案中，图像识别算法可以为YOLOv4算法，可以理解，图像识别算法也可以为其他能够实现图像识别功能的算法，在本申请实施例中，不对图像识别算法做具体限定。
图4为本申请实施例提供的目标检测算法和图像识别算法的整体网络结构图。如图4所示，待处理视频帧被输入到目标检测网络后，可以通过预先设定的第一卷积层内的第一卷积核进行卷积处理，并生成关于待处理视频帧的第一向量。第一卷积层可以将生成的第一向量输入到最大化池中，最大化池在接收到第一卷积层输入的第一向量后，可以对第一向量进行降维并生成第二向量。而后，最大化池可以将降维后的第二向量依次输入到空间采样单元的二阶段层、三阶段层和四阶段层中进行循环卷积处理并生成第三向量。空间采样单元可以将生成的第三向量输入到第二卷积层中，通过第二卷积层内的第二卷积核对第三向量进行特征提取，并生成关于所述目标检测对象的特征值。生成特征值后，目标检测网络可以将特征值输入到图像识别算法中，根据特诊值对待处理视频帧进行图像识别并输出待处理视频帧相应的位置检测结果。
在另一种可能实现方式中，还可以通过训练帧对搭建好的目标检测网络和图像识别算法进行再次训练。可以将多张训练帧输入到搭建好的目标检测网络和图像识别算法中，并获取目标检测网络和图像识别算法基于训练帧输出的检测瞄框。通过计算同一训练对象的检测瞄框和对象边界框之间的损失值，可以确定目标检测网络和图像识别算法中需要更新的参数。确定需要更新的参数后，可以通过梯度下降法对目标检测网络和图像识别算法中的各种参数进行更新。更新完成后，再次输入训练帧并获取检测瞄框，重复计算检测瞄框和对象边界框的损失值和基于损失值对目标检测网络和图像识别算法中的各种参数进行更新的步骤，直至目标检测网络和图像识别算法达到收敛，损失值趋于稳定。在本申请实施例的某次实验中，使用了N张训练帧对目标检测网络和图像识别算法进行训练。该次训练总共进行了300个周期，初始学习率可以被设置为0.01。学习率随着训练周期的增加而改变，在循环次数为指定次数。
的循环前可以采用一维线性插值更新学习率，用以减少早期训练的不稳定性。其中，上述指定次数的确定可以通过以下算法确定：
其中，N为输入的训练帧的总数量，batch_size为某次训练中抓取的训练帧的数量。
电子设备可以在指定次数的循环后可以采用余弦退火算法更新学习率。
在本申请实施例中，由于目标检测网络只包括第一卷积层、最大化池、空间采样单元和第二卷积层这四层结构，因此本申请实施例提供的目标检测网络相比于现有技术中的其他目标检测网络更为轻量化。通过本申请实施例提供的目标检测网络计算待处理数据帧的特征值，能保证检测精度高的同时具有较快的检测速率。
在另一种可能实现方式中，由于图像识别算法可能基于第二卷积层输出的特征值和最佳瞄框参数对同一目标检测对象输出重叠的位置检测结果，因此在获取到图像识别算法输出的位置检测结果后还可以通过筛选算法对位置检测结果进行进一步筛选。由于图像识别算法基于任一待处理视频帧输出的位置检测结果中，可以包括该位置检测结果的置信度，因此在接收到图像识别算法基于任一待处理视频帧输出的位置检测结果后可以通过该位置检测结果对应的置信度对位置检测结果进行筛选。当获取到多个位置检测结果后，可以按照每个位置检测结果对应的第一置信度对多个位置检测结果按照置信度从高到低进行降序排列，并得到位置结果序列。根据得到的位置结果序列，确定置信度最高的位置检测结果，即确定位置结果序列中首个第一置信度对应的所述位置检测结果。被选出的置信度最高的位置检测结果可以成为最佳位置检测结果。根据最佳位置检测结果，确定剩余的未被选择的多个其他位置检测结果，并计算每一其他位置检测结果与最佳位置检测结果的交并比。计算出多个交并比后，可以判断计算出的交并比是否大于预先设定的交并比阈值。若任一其他位置检测结果对应的交并比大于预设的交并比阈值，则可以根据置信度计算公式重新计算交并比大于预设的交并比阈值的位置检测结果的第二置信度。其中，置信度计算公式可以如下所示：
bi＝sj*[1-IoU(Bs,Bi)]
其中，bi可以表述第i个交并比大于预设的交并比阈值的位置检测结果的第二置信度，sj可以表示第i个交并比大于预设的交并比阈值的位置检测结果的第一置信度，Bs可以表示最佳位置检测结果，Bi可以表示第i个交并比大于预设的交并比阈值的位置检测结果。
计算得到多个第二置信度后，可以根据第二置信度更新第二置信度对应的位置检测结果的第一置信度，并返回执行所述按照第一置信度对待处理视频帧的多个位置检测结果进行降序排序的步骤，直至所有位置检测结果的交并比均小于或等于交并比阈值。
本实施例在实验过程中利用相同的待处理视频帧测试了不同算法的性能，本申请实施例的实验结果，如下表2所示：
表2
表2为本申请提供的不同目标检测算法检测单张待处理视频帧所需时间对比表。如表2所示，仅通过现有技术中的图像识别算法对单张待处理视频帧进行多目标检测需要耗费20.6毫秒的GPU检测时间和5477.0毫秒的CPU检测时间。而使用本申请实施例提供的目标检测网络和图像识别算法相结合对单张待处理视频帧进行多目标检测仅需耗费16.9毫秒的GPU检测时间和4241.5毫秒的CPU检测时间。由此，可以看出本申请实施例提供的目标检测网络可以在保证检测精度的同时，提高检测效率。表2表示了使用不同方法检测单张待处理视频帧所需时间的对比。仅通过在图像识别算法前添加本申请实施例提高的目标检测网络，单张待处理视频帧检测时间缩短最多，仅需要16.9ms，较现有技术的图像识别算法降低18.0％。算法在使用最佳瞄框参数和筛选算法之后，计算量增加，单张待处理视频检测时间变长。最终的算法检测单张待处理视频帧需要17.7ms，较现有技术的图像识别算法降低14.1％。
本实施例在实验过程中利用相同的待处理视频帧测试了不同算法的检测精度，本申请实施例的实验结果，如下表3所示：
表3
表3为本申请提供的使用不同的算法对同一批待处理视频帧进行多目标检测得到的多类别平均检测精度对比情况。如表3所示，将本申请实施例提供的目标检测网络和图像识别算法相结合之后，多类别平均检测精度从0.983下降到0.976。在将本申请实施例提供的目标检测网络和图像识别算法相结合的基础上通过添加最佳瞄框参数和筛选算法，可以使多类别平均检测精度得到提高，不同IoU阈值设置下的多类别平均检测精度现有的图像识别算法分别高出了0.06和0.32。
在本申请实施例中，由于筛选算法对图像识别算法输出的位置检测结果进行进一步的筛选时，并不直接删除重叠且置信度较低的位置检测结果，而是通过降低置信度的方法对位置检测结果进行筛选。因此通过本申请实施例提高的筛选算法对位置检测结果进行筛选，可以使位置检测结果尽可能不被过滤。因此本申请实施例提供的筛选算法，可以提高目标检测网络和图像识别算法对于稠密物体的检测效果，提高了图像识别算法的目标召回率，有助于在大量车辆的情况下实现对车辆的精准检测。
S103、根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
在本申请实施例中，在获得多个待处理视频帧的位置检测结果后，可以对任一目标检测对象在多个待处理视频帧中的位置检测结果进行轨迹计算，并生成该目标检测对象相应的移动轨迹信息。
在本申请实施例的一种可能实现方式中，在通过多个位置检测结果计算目标检测对象的移动轨迹信息之前，可以先通过卡曼滤波根据多个位置检测结果对移动轨迹信息进行预测。根据输入的多个位置检测结果，卡曼滤波可以基于目标检测对象在t时刻的位置对该目标检测对象在时刻t+1的位置进行预测，并生成预测结果。
在本申请实施例的一种可能实现方式中，通过卡曼滤波生成预测结果后，可以将预测结果与DEEPSORT算法相结合生成目标检测对象的移动轨迹信息。DEEPSORT算法可以用于根据多个位置检测结果计算目标检测对象的移动轨迹信息。在DEEPSORT算法中可以通过计算同一目标检测对象在多个不同的待处理视频帧中的马氏距离的方式，确定该目标检测对象的运动信息。因此，在本申请实施例中，可以将同一目标检测对象对应的多个位置检测结果导入到预先设定的距离计算公式中，并根据预先设定的距离计算公式计算该目标检测对象在多个待处理视频帧中的运动信息。其中，本申请实施例中预先距离计算公式如下所述：
d(1)(i,j)＝(dj-yi)TSi -1(dj-yi)
其中，在本申请实施例中，d(1)(i,j)可以为某一目标检测对象的马氏距离的平方，dj可以为该目标检测对象的第j给位置检测结果，yi可以为卡曼滤波对该目标检测对象输出的预测结果，Si(di-yi)可以为该目标检测对象的第j给位置检测结果和卡曼滤波对该目标检测对象输出的预测结果的协方差矩阵。
在本申请实施例中，通过先使用卡曼滤波基于目标检测对象在t时刻的位置对该目标检测对象在t+1时刻的位置进行预测，并生成目标检测对象在t+1时刻预测结果。再基于卡曼滤波的预测结果生成目标检测对象的运动信息。由于在待处理视频帧中，可能出现不同的目标检测对象相互重叠的情况，因此先使用卡曼滤波基于输入的某个待处理视频帧预测下一帧中的每个目标处理对象可能出现的位置，并生成预测结果。使得目标检测对象即使在某一帧中被重叠了，也能根据卡曼滤波生成的预测结果，更好地生成被重叠的目标检测对象的运动信息。
在本申请实施例中，某一目标检测对象在多个待处理视频帧中的外观信息可以由该目标检测对象的多个图像特征向量的余弦距离表示。可以通过将包含同一目标检测对象的多个待处理视频帧输入到外观特征提取网络的方式，对该目标检测对象的多个待处理视频帧进行图像特征卷积处理，并生成该目标检测对象的多个图像特征向量。
在本申请实施例中，DEEPSORT算法还可以通过计算多个图像特征向量的余弦距离的方式，确定同一目标检测对象在不同待处理视频帧中的图像特征向量，从而确定同一目标检测对象在不同待处理视频帧中的外观信息。因此在获取同一目标检测对象在不同待处理视频帧中的外观信息时，需要先将多个待处理视频帧输入到外观特征提取网络中，提取出每个待处理视频帧中包含的多个图像特征向量。在本申请实施例提供的外观特征提取网络中，可以根据输入的待处理视频帧，输出该待处理视频帧中包含的多个待检测目标的图像特征向量，输出的图像特征向量的大小可以为128维。其中，外观特征提取网络的整体网络结构可以如下表4所示：
表4
在本申请实施例中的另外一种可能实现方式中，卡曼滤波生成的预测结果可以包括该预测结果的特征向量。在通过外观特征提取网络获取到某一待处理视频帧包含的多个图像特征向量后，可以计算当前待处理视频帧中的某一个图像特征向量计与卡曼滤波生成的预测结果对应的特征向量之间的最小余弦距离。其中，最小余弦距离的计算公式如下所示。
其中，d(2)(i,j)可以为某一位置检测结果对应的特征向量与卡曼滤波生成的预测结果对应的特征向量之间的最小余弦距离，rj可以为外观特征提取网络输出的第j个位置检测结果对应的图像特征向量，r(i) k可以为卡曼滤波基于第i个位置检测结果输出的的前第k个特征向量，Ri可以为卡曼滤波基于第i个位置检测结果输出的特征向量集合。
根据计算出的余弦距离，可以通过多个待处理视频帧对某一目标检测对象进行轨迹匹配。确定当前待处理视频帧中的某个图像特征向量和上一待处理视频帧中的某个图像特征向量之间的余弦距离为最小余弦距离。根据多个最小余弦距离，可以将多个待处理视频帧中的目标检测对象识别为同一个目标检测对象，并根据多个待处理视频帧生成该目标检测对象的外观信息。
最终，可以根据关联公式计算出同一目标检测对象根据多个不同的待处理视频帧生成的运动信息和外观信息的关联程度。其中，关联公式如下所示：
ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
其中，ci,j可以为某一目标检测对象根据多个不同的待处理视频帧生成的运动信息和外观信息的关联程度，d(2)(i,j)可以为某一位置检测结果对应的特征向量与卡曼滤波生成的预测结果对应的特征向量之间的最小余弦距离，d(1)(i,j)可以为某一目标检测对象的马氏距离的平方，λ可以为加权参数。
在本申请实施例的另外一种可能实现方式中，在生成某一目标检测对象的运动信息和外观信息之后，可以通过计算运动信息和外观信息之间的代价矩阵的方式对同一目标检测对象的运动信息和外观信息进行匹配计算。计算出同一目标检测对象的运动信息和外观信息的代价矩阵后，可以通过匈牙利算法对卡曼滤波生成的预测结果和运动信息以及外观信息进行再次匹配以生成该目标检测对象的移动轨迹信息。在本申请实施例中，最近匹配成功的预测结果再次匹配成功的概率更大。未成功匹配的预测结果可以对其失败次数进行累加计算，若计算发现某一预测结果的失败次数超过预先设定的失败阈限时，则可以删除该预测结果。对每个匹配成功的移动轨迹信息，用其在当前帧的位置检测结果的对卡尔曼滤波参数进行更新。
在本申请实施例的另外一种可能实现方式中，生成的移动轨迹信息可以输入到交通信息统计模型中，并通过交通信息统计模型生成该移动轨迹信息对应的速度信息。其中交通信息统计模型可以包括流向统计子模型、和坐标转换子模型。生成根据多个待处理视频帧生成某一目标检测对象相应的移动轨迹信息后，可以根据某一目标检测对象在多个待处理视频帧中的移动轨迹信息计算该目标检测对象的速度信息。在本申请实施例中，某一目标检测对象在某一待处理视频帧中的位置检测结果可以包括该位置检测结果的置信度、该目标检测对象在该待处理视频帧中的边界图像坐标和该位置检测结果对应的检测瞄框的长、宽。某一目标检测对象在多个待处理视频帧中的移动轨迹信息可以包括该目标检测对象在某一待处理视频帧中的车辆目标信息(x1,y1,x2,y2,id,class)。其中，(x1,y1)可以为该目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的左上角坐标，(x2,y2)可以为目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的右下角坐标，id可以为该目标检测对象被分配的目标标识符，class可以为该目标检测对象的车辆类别。
在本申请实施例的另外一种可能实现方式中，在计算目标检测对象的速度信息之前，可以先获取任意一帧待处理视频帧，并在该待处理视频帧上为每个方向的车道标注虚拟线圈和虚拟线圈相应的方位。需要说明的是，标注出的虚拟线圈需要垂直于车流方向并且跨越该方向上的所有车道。而后，可以将标注好的待处理视频帧输入到交通信息统计模型的流向统计子模型中。流向统计子模型在接受到标注好的待处理视频帧后，可以根据标注好的待处理视频帧，对剩余的其他待处理视频帧进行流向判断。在本申请实施例中，流向统计子模型可以根据标注好的待处理视频帧，判断其他待处理视频帧中的各个位置检测结果对应的检测瞄框角点是否位于虚拟线圈中。若某一位置检测结果对应的检测瞄框位于某一虚拟线圈中，则流向统计子模型可以记录该检测瞄框和该虚拟线圈之间的对应关系。如果同一目标检测对象的多个位置检测结果和两个不同虚拟线圈的都存在对应关系，则流向统计子模型可以保存一条流向信息。该流向信息可以记录目标检测对象从前一待处理视频帧对应的虚拟线圈到后一待处理视频帧对应的虚拟线圈的车辆流向记录。
在本申请实施例的另外一种可能实现方式中，交通信息统计模型中的坐标转换子模型可以根据目标检测对象的移动轨迹信息，计算该目标检测对象的速度信息。其中，某一目标检测对象在多个待处理视频帧中的移动轨迹信息可以包括该目标检测对象在某一待处理视频帧中的车辆目标信息(x1,y1,x2,y2,id,class)。其中，(x1,y1)可以为该目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的左上角坐标，(x2,y2)可以为目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的右下角坐标，id可以为该目标检测对象被分配的目标标识符，class可以为该目标检测对象的车辆类别。在本申请实施例中，由于交通视频多通过路面上的交通摄像头采集获得，而交通摄像头拍摄角度多为俯视角度，因此选用检测瞄框的中心点作为车辆位置会造成较大误差。因此，在本申请实施例中，目标检测对象在世界坐标系下的坐标由检测瞄框的底边中点确定。其中，检测瞄框的底边中点可以由中点公式计算获得。中点公式如下所示：
ybotcenter＝y2
其中，xbotcenter可以表示检测瞄框的底边中点的x坐标，ybotcenter可以表示检测瞄框的底边中点的y坐标，x1可以为该目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的左上角的x坐标，x2可以为目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的右下角的x坐标，y2可以为目标检测对象在某一待处理视频帧中的位置检测结果对应的检测瞄框的右下角的y坐标。
通过中点公式计算出任一目标检测对象对应的多个底边中点图像坐标后，可以根据坐标参数矩阵对底边中点图像坐标进行坐标转换。坐标参数矩阵可以包括图像坐标体系和世界坐标体系的转换关系。根据坐标参数矩阵可以将多个底边中点图像坐标转换为世界坐标。其中，坐标转换公式可以如下所示：
其中，xpred可以为世界坐标的x坐标，ypred可以为世界坐标的y坐标，m1～m12可以由坐标参数矩阵确定，u可以表示目标检测对象在图像坐标体系中的x坐标值，v可以表示目标检测对象在图像坐标体系中的y坐标值。
在确定目标检测对象的多个世界坐标后，可以根据获取待处理视频帧时交通视频的帧率。并根据帧率和该目标检测对象在当前待处理视频帧和过往待处理视频帧的车辆目标信息，确定当前待处理视频帧和过往待处理视频帧之前的时间差。根据多个世界坐标可以计算任一目标检测对象在多个待处理视频帧中的欧式距离。通过计算欧氏距离和时间差的比值，可以确定任一目标检测对象的速度信息。其中，速度信息的计算公式可以如下所示：
/>
其中，v可以表示该目标检测对象的速度，(xstart,ystart)可以为在较前的待处理视频帧中目标检测对象的世界坐标，(xend,yend)可以为在较后的待处理视频帧中目标检测对象的世界坐标，fps可以为交通视频的帧率，nend和nstart可以为用于计算车速的两帧的序号，Δl可以表示任一目标检测对象在多个待处理视频帧中的欧式距离，Δt可以表示时间差。
在本申请实施例的另一种可能实现方式中，在进行坐标转换之前，可以先确定坐标参数矩阵。
在本申请实施例中，在确定坐标参数矩阵之前，可以先获取任意一帧待处理视频帧。获取到待处理视频帧后，可以使用OpenCV的cvSetMouseCallback()函数绑定鼠标回调函数，并通过鼠标点击待处理视频帧中任意地面交通标线的多个角的方式，生成该待处理视频帧中N个地面交通标线的角点信息。其中，N大于或等于四。生成到角点信息可以包括地面交通标线的多个角在图像坐标体系中的多个角点图像坐标和多个角在世界坐标体系的距离信息。各个角在世界坐标体系中的距离信息可以通过国家标准《道路交通标志和标线》获取。为了计算其余角点在世界坐标体系中的坐标，可以先设其中的一个角点为原点，其坐标为(0,0,0)。其余角点的坐标可以通过距离关系和原点推算出。获取到多个角点的世界坐标后，可以将每个角点的图像坐标和世界坐标系中的坐标进行匹配。
在本申请实施例中，可以基于摄像机的线性成像模型使用直接线性变换方法获得世界坐标系和图像坐标系之间的转换关系。线性成像模型的描述涉及到了四种坐标系。如图5所示，为四种坐标系之间的关系示意图。其中，四种坐标系分别为，目标检测对象在世界坐标系中的坐标(xw,yw,zw)，目标检测对象在摄像机坐标系中的坐标(xc,yc,zc)。目标检测对象对应的点在成像平面坐标系中的坐标(x2,y2)，目标检测对象在图像像素坐标系中的坐标(u,v)。其中，四种坐标系在线性成像模型中关系的坐标矩阵，可以如以下公式所示：
上述公式描述了从图像坐标系直接转换到世界坐标系的关系。这个关系实际是由图像坐标系和成像平面坐标系、成像平面坐标系和摄像机坐标系、摄像机坐标系和世界坐标系之间坐标转换关系推导得到的。
其中，dx和dy为每个像素在X轴或Y轴方向上所占的长度，s'可以为由于摄像机坐标体系和成像平面坐标系互不正交而引出的倾斜因子,(u0,v0)可以为摄像机坐标系原点在图像像素坐标系下的坐标，f可以为摄像机的焦距，R可以为旋转向量为3*3的正交单位矩阵，T可以是1*3的平移向量，M可以为大小为3*4的参数矩阵。
由于本申请实施例主要面向道路交通场景，用于检测在地面道路行驶的车辆的交通信息，因此待处理视频帧中的所有目标检测对象都位于地面且高度不定。因此，可以设zw＝0。并为了让参数M唯一可以设m12＝1，则预先设定的坐标矩阵可以表示为：
将多个坐标对代入预先设定的坐标矩阵中，可以获得坐标参数矩阵。其中，坐标参数矩阵可以如下所示：
其中，(xwn,ywn,0)为第n个目标检测对象在世界坐标系中的坐标，(un,vn)为第n个目标检测对象在图像像素坐标系中的坐标。其中，当AM＝B时，采用最小二乘法求解M可以得到：M＝(ATA)ATB。
如图6所示，为本申请实施例提供的一种交通信息提取方法的流程示意图。在本申请实施例提供的交通信息提取方法中，主要包括交通视频采集步骤、摄像头标定步骤、车辆目标检测步骤、车辆跟踪步骤和交通信息统计步骤。在本申请实施例提供的交通信息提取方法中，我们可以首先通过交通视频采集步骤获得多个待处理视频帧，而后可以将多个待处理视频帧分别输入到车辆目标检测步骤和摄像头标定步骤中。其中，车辆目标检测步骤可以根据输入的待处理视频帧生成每个待处理视频帧相应的位置检测结果，并将生成的位置检测结果导入到车辆目标跟踪步骤中。在车辆目标跟踪步骤中，可以基于同一目标检测对象在多个待处理视频帧中的位置检测结果，生成该目标检测对象相应的移动轨迹信息。在摄像头标定步骤中，可以基于导入的待处理视频帧确定坐标参数矩阵。而后，在交通信息统计步骤中，可以基于坐标参数矩阵和位置检测结果确定目标检测对象的速度信息。其中，交通视频采集步骤可以用于通过交通路口的摄像头实时采集多段关于城市道路的交通视频。根据获取到的交通视频，可以对获取到的交通视频进行切分，将交通视频切分为多个帧，生成待处理视频帧。摄像头标定步骤可以用于获取多个角点的图像坐标和世界坐标的坐标对，通过直接线性变换计算出图像坐标系到世界坐标系的坐标参数矩阵。车辆目标检测步骤可以，根据目标检测网络、最佳瞄框参数、图像识别算法以及筛选算法，对交通路口视频中视频帧进行多目标检测，并生成多个位置检测结果。交通信息统计步骤可以，根据待处理视频帧中标注出车道、虚拟检测线圈的位置，计算目标检测对象的运动信息和道路交通流信息。
在本申请实施例中，通过目标检测网络和最佳瞄框参数，可以基于待处理视频帧生成多个位置检测结果，并通过筛选算法重新计算各个位置检测结果相应的置信度，是通过降低置信度的方法对位置检测结果进行筛选。在本申请实施例中，由于本申请实施例提供的目标检测网络属于轻量级网络，且筛选算法可以对重叠的位置检测结果进行进一步筛选，因此本申请实施例提供的车辆信息提取方法可以在车辆被遮挡、车辆密度大的密集交通场景中快速、准确地提取交通信息。通过目标检测网络与最佳瞄框参数和筛选算法的结果，本申请实施例提供的交通信息提取方法可以在保证检测精度的同时加快检测速率。
此外，在本申请实施例提供的交通信息提取方法中，由于仅需对任意一帧待处理视频帧设置虚拟线圈，而后流向统计子模型可以根据标注好的待处理视频帧对剩余的其他待处理视频帧进行流向判断。流向统计子模型通过判断其他待处理视频帧中的各个位置检测结果对应的检测瞄框角点是否位于虚拟线圈中，可以记录各个检测瞄框和虚拟线圈之间的对应关系。因此，本申请实施例提供的交通信息提取方法在计算目标检测对象的速度信息时，可以不需要重复设置虚拟线圈，因此可以提高获取目标检测对象的速度信息的效率。安装有交通信息提取系统的终端设备在生成目标检测对象的位置检测结果和速度信息后，可以将生成的位置检测结果和速度信息反馈给用户。用户在接收到终端设备反馈的多个目标检测对象的位置检测结果和速度信息后可以根据上述交通信息调整道路规划。而安装有智慧交通控制系统或自适应交通控制系统的终端设备，则可以根据生成的多种交通信息实时调整交通信号灯的时长。参照图7，示出了本申请实施例提供的一种交通信息提取装置的示意图，具体可以包括待处理视频帧提取模块701、位置检测结果确定模块702和移动轨迹信息生成模块703，其中：
待处理视频帧提取模块701，用于获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
位置检测结果确定模块702，用于分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
移动轨迹信息生成模块703，用于根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
其中，待处理视频帧提取模块701还可以用于，获取训练视频，并从所述训练视频中提取多个训练帧；所述训练视频的采集地点与所述交通视频的所述采集地点相同；所述训练帧中包括至少一个与所述目标检测对象类型相同的训练对象；根据对所述训练对象标注后的多个所述训练帧，生成关于各个所述训练帧对应的检测数据；基于所有所述检测数据确定至少两个最佳聚类核；根据各个所述检测数据所属的最佳聚类核，划分多个数据组，并基于所有所述数据组确定最佳瞄框参数。
位置检测结果确定模块702还可以用于，根据预先设定的第一卷积层内的第一卷积核对任一所述待处理视频帧进行卷积处理，生成关于所述待处理视频帧的第一向量；根据预先设定的最大化池对所述第一向量进行降维，生成第二向量；通过预先设定的空间采样单元对所述第二向量进行循环卷积处理，生成第三向量；通过第二卷积层内的第二卷积核对所述第三向量进行特征提取，生成关于所述目标检测对象的特征值；根据所述特征值和所述最佳瞄框参数生成所述位置检测结果。
位置检测结果确定模块702还可以用于，对于任一所述待处理视频帧，按照所述第一置信度对所述待处理视频帧的多个所述位置检测结果进行降序排序，得到位置结果序列；将所述位置结果序列中首个第一置信度对应的所述位置检测结果，作为所述目标检测对象的最佳位置检测结果；根据所述第一置信度确定除所述最佳位置检测结果外的任一其他位置检测结果与所述最佳位置检测结果的交并比；若所述任一其他位置检测结果对应的交并比大于预设的交并比阈值，则基于预设的置信度计算公式所述交并比对应的所述任一其他位置检测结果的第二置信度；根据所述第二置信度更新所述第一置信度，并返回执行所述按照所述第一置信度对所述待处理视频帧的多个所述位置检测结果进行降序排序的步骤，直至所有所述位置检测结果的交并比均小于或等于所述交并比阈值。
移动轨迹信息生成模块703还可以用于，将所述目标检测对象对应的多个所述位置检测结果导入预先设定的距离计算公式，生成所述目标检测对象在多个所述待处理视频帧中的运动信息；对多个所述待处理视频帧进行图像特征卷积处理，生成多个图像特征向量；分别计算各个图像特征向量对应的余弦距离，以生成所述外观信息；计算任一所述目标检测对象对应的所述运动信息和所述外观信息的代价矩阵；根据所述代价矩阵对任一所述目标检测对象的所述运动信息和所述外观信息进行匹配计算，生成所述移动轨迹信息。
移动轨迹信息生成模块703还可以用于，根据任一所述目标检测对象在多个所述待处理视频帧中的边界图像坐标，计算所述目标检测对象对应的多个底边中点图像坐标；根据坐标参数矩阵，将多个所述底边中点图像坐标转换为世界坐标；所述坐标参数矩阵包括图像坐标体系和世界坐标体系的转换关系；根据多个所述底边中点图像坐标对应的世界坐标计算任一所述目标检测对象在多个所述待处理视频帧中的欧式距离；根据所述欧式距离和所述交通视频的帧率，确定所述目标检测对象的速度信息。
移动轨迹信息生成模块703还可以用于，生成任一所述待处理视频帧中N个地面交通标线的角点信息；所述角点信息包括所述地面交通标线的多个角在所述图像坐标体系中的多个角点图像坐标和多个所述角在所述世界坐标体系的距离信息；所述N大于或等于四；根据预先设定的坐标矩阵，计算多个所述角点信息的线性成像关系，生成所述坐标参数矩阵。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
参照图8，示出了本申请实施例提供的一种终端设备的示意图。如图8所示，本申请实施例中的终端设备800包括：处理器810、存储器820以及存储在所述存储器820中并可在所述处理器810上运行的计算机程序821。所述处理器810执行所述计算机程序821时实现上述交通信息提取方法各个实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器810执行所述计算机程序821时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至703的功能。
示例性的，所述计算机程序821可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器820中，并由所述处理器810执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序821在所述终端设备800中的执行过程。例如，所述计算机程序821可以被分割成处理视频帧提取模块、位置检测结果确定模块和移动轨迹信息生成模块，各模块具体功能如下：
待处理视频帧提取模块，用于获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
位置检测结果确定模块，用于分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
移动轨迹信息生成模块，用于根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
所述终端设备800可以是桌上型计算机、云端服务器等计算设备。所述终端设备800可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅仅是终端设备800的一种示例，并不构成对终端设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备800还可以包括输入输出设备、网络接入设备、总线等。
所述处理器810可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器820可以是所述终端设备800的内部存储单元，例如终端设备800的硬盘或内存。所述存储器820也可以是所述终端设备800的外部存储设备，例如所述终端设备800上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器820还可以既包括所述终端设备800的内部存储单元也包括外部存储设备。所述存储器820用于存储所述计算机程序821以及所述终端设备800所需的其他程序和数据。所述存储器820还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还公开了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述各个实施例所述的交通信息提取方法。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述各个实施例所述的交通信息提取方法。
本申请实施例还公开了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述各个实施例所述的交通信息提取方法。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种交通信息提取方法，其特征在于，包括：
获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
2.根据权利要求1所述的方法，其特征在于，所述获取交通视频，并从所述交通视频中提取多个待处理视频帧之前，包括：
获取训练视频，并从所述训练视频中提取多个训练帧；所述训练视频的采集地点与所述交通视频的所述采集地点相同；所述训练帧中包括至少一个与所述目标检测对象类型相同的训练对象；
根据对所述训练对象标注后的多个所述训练帧，生成关于各个所述训练帧对应的检测数据；
基于所有所述检测数据确定至少两个最佳聚类核；
根据各个所述检测数据所属的最佳聚类核，划分多个数据组，并基于所有所述数据组确定最佳瞄框参数。
3.根据权利要求2所述的方法，其特征在于，所述分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果，包括：
根据预先设定的第一卷积层内的第一卷积核对任一所述待处理视频帧进行卷积处理，生成关于所述待处理视频帧的第一向量；
根据预先设定的最大化池对所述第一向量进行降维，生成第二向量；
通过预先设定的空间采样单元对所述第二向量进行循环卷积处理，生成第三向量；
通过第二卷积层内的第二卷积核对所述第三向量进行特征提取，生成关于所述目标检测对象的特征值；
根据所述特征值和所述最佳瞄框参数生成所述位置检测结果。
4.根据权利要求3所述的方法，其特征在于，所述位置检测结果包括所述目标检测对象的第一置信度，所述根据所述特征值和所述最佳瞄框参数生成所述位置检测结果之后，包括：
对于任一所述待处理视频帧，按照所述第一置信度对所述待处理视频帧的多个所述位置检测结果进行降序排序，得到位置结果序列；
将所述位置结果序列中首个第一置信度对应的所述位置检测结果，作为所述目标检测对象的最佳位置检测结果；
根据所述第一置信度确定除所述最佳位置检测结果外的任一其他位置检测结果与所述最佳位置检测结果的交并比；
若所述任一其他位置检测结果对应的交并比大于预设的交并比阈值，则基于预设的置信度计算公式所述交并比对应的所述任一其他位置检测结果的第二置信度；
根据所述第二置信度更新所述第一置信度，并返回执行所述按照所述第一置信度对所述待处理视频帧的多个所述位置检测结果进行降序排序的步骤，直至所有所述位置检测结果的交并比均小于或等于所述交并比阈值。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述位置检测结果包括，所述移动轨迹信息包括运动信息和外观信息，所述根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息，包括：
将所述目标检测对象对应的多个所述位置检测结果导入预先设定的距离计算公式，生成所述目标检测对象在多个所述待处理视频帧中的运动信息；
对多个所述待处理视频帧进行图像特征卷积处理，生成多个图像特征向量；
分别计算各个图像特征向量对应的余弦距离，以生成所述外观信息；
计算任一所述目标检测对象对应的所述运动信息和所述外观信息的代价矩阵；
根据所述代价矩阵对任一所述目标检测对象的所述运动信息和所述外观信息进行匹配计算，生成所述移动轨迹信息。
6.根据权利要求5所述的方法，其特征在于，所述移动轨迹信息包括所述目标检测对象在任一所述待处理视频帧的边界图像坐标，所述根据所述代价矩阵对任一所述目标检测对象的所述运动信息和所述外观信息进行匹配计算，生成所述移动轨迹信息之后，包括：
根据任一所述目标检测对象在多个所述待处理视频帧中的边界图像坐标，计算所述目标检测对象对应的多个底边中点图像坐标；
根据坐标参数矩阵，将多个所述底边中点图像坐标转换为世界坐标；所述坐标参数矩阵包括图像坐标体系和世界坐标体系的转换关系；
根据多个所述底边中点图像坐标对应的世界坐标计算任一所述目标检测对象在多个所述待处理视频帧中的欧式距离；
根据所述欧式距离和所述交通视频的帧率，确定所述目标检测对象的速度信息。
7.根据权利要求6所述的方法，其特征在于，所述根据坐标参数矩阵，将多个所述底边中点图像坐标转换为世界坐标之前，包括：
生成任一所述待处理视频帧中N个地面交通标线的角点信息；所述角点信息包括所述地面交通标线的多个角在所述图像坐标体系中的多个角点图像坐标和多个所述角在所述世界坐标体系的距离信息；所述N大于或等于四；
根据预先设定的坐标矩阵，计算多个所述角点信息的线性成像关系，生成所述坐标参数矩阵。
8.一种交通信息提取装置，其特征在于，包括：
待处理视频帧提取模块，用于获取交通视频，并从所述交通视频中提取多个待处理视频帧；所述待处理视频帧中包括至少一个目标检测对象；
位置检测结果确定模块，用于分别将各个所述待处理视频帧导入预设的目标检测网络，确定所述目标检测对象在每个所述待处理视频帧中的位置检测结果；
移动轨迹信息生成模块，用于根据所述目标检测对象在多个所述待处理视频帧中的所述位置检测结果，生成所述目标检测对象的移动轨迹信息。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的交通信息提取方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的交通信息提取方法。
CN202310354031.6A 2023-03-21 2023-03-21 交通信息提取方法、装置、终端设备及存储介质 Pending CN116798015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310354031.6A CN116798015A (zh) 2023-03-21 2023-03-21 交通信息提取方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310354031.6A CN116798015A (zh) 2023-03-21 2023-03-21 交通信息提取方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN116798015A true CN116798015A (zh) 2023-09-22

Family

ID=88045309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310354031.6A Pending CN116798015A (zh) 2023-03-21 2023-03-21 交通信息提取方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN116798015A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117516485A (zh) * 2024-01-04 2024-02-06 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117516485A (zh) * 2024-01-04 2024-02-06 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法
CN117516485B (zh) * 2024-01-04 2024-03-22 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法

Similar Documents

Publication Publication Date Title
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
US20130258107A1 (en) Method of determining parking lot occupancy from digital camera images
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
US8599261B1 (en) Vision-based car counting for multi-story carparks
CN109543641A (zh) 一种实时视频的多目标去重方法、终端设备及存储介质
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
Xiang et al. Lightweight fully convolutional network for license plate detection
Tian et al. Vehicle detection grammars with partial occlusion handling for traffic surveillance
CN116798015A (zh) 交通信息提取方法、装置、终端设备及存储介质
Prasad et al. HOG, LBP and SVM based traffic density estimation at intersection
CN113257003A (zh) 交通道路车道级车流计数系统及其方法、设备、介质
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
Zhang et al. Image-based approach for parking-spot detection with occlusion handling
CN110188607A (zh) 一种多线程并行计算的交通视频目标检测方法及装置
CN112700472A (zh) 目标跟踪方法及相关设备
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
Yang et al. SPDNet: A Real‐Time Passenger Detection Method Based on Attention Mechanism in Subway Station Scenes
WO2022205018A1 (zh) 车牌字符识别方法、装置、设备及存储介质
Yang et al. [Retracted] A Way to Automatically Generate Lane Level Traffic Data from Video in the Intersections
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备
Singh et al. Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes
Kan et al. Enhancing Urban Traffic Management through YOLOv5 and DeepSORT Algorithms within Digital Twin Frameworks
Majin et al. a Novel Deep Learning Based Method for Detection and Counting of Vehicles in Urban Traffic Surveillance Systems
Liu et al. Research on lane detection method with shadow interference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination