CN114842643B - 视频车辆检测模型在线更新方法、装置及雷视融合系统 - Google Patents

视频车辆检测模型在线更新方法、装置及雷视融合系统 Download PDF

Info

Publication number
CN114842643B
CN114842643B CN202210420941.5A CN202210420941A CN114842643B CN 114842643 B CN114842643 B CN 114842643B CN 202210420941 A CN202210420941 A CN 202210420941A CN 114842643 B CN114842643 B CN 114842643B
Authority
CN
China
Prior art keywords
vehicle
video
weight
radar
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210420941.5A
Other languages
English (en)
Other versions
CN114842643A (zh
Inventor
黄金叶
陈磊
陈予涵
陈予琦
吴维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Original Assignee
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyang Special Equipment Technology Engineering Co ltd filed Critical Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority to CN202210420941.5A priority Critical patent/CN114842643B/zh
Publication of CN114842643A publication Critical patent/CN114842643A/zh
Application granted granted Critical
Publication of CN114842643B publication Critical patent/CN114842643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及雷达视觉融合技术领域，公开了一种视频车辆检测模型在线更新方法、装置及雷视融合系统，其方法是一方面通过更新前的视频车辆检测模型，输出得到检测所得车辆在视频图像中的车辆图像坐标，另一方面根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，然后根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度，再然后根据所述坐标偏差程度得到损失函数对深度学习网络中各个权重的偏导数，最后基于FTRL算法对所述各个权重的权重值进行迭代更新，由此可根据来自所述雷达检测器的线上实时反馈，实现对所述视频车辆检测模型的在线学习目的。

Description

视频车辆检测模型在线更新方法、装置及雷视融合系统
技术领域
本发明属于雷达视觉融合技术领域，具体地涉及一种视频车辆检测模型在线更新方法、装置及雷视融合系统。
背景技术
及时有效的交通异常事件及违法驾驶行为的上报和应急处置尤为重要。
交通事件是指道路上偶然发生的且非规律性的事件，比如说车辆碰撞、车辆刹车失灵以及各种违规现象，比如超速或违规变道等。现有技术中主要是通过视频监控的方式进行监控，但是对于交通事件的发生与否无法自动判断，通常需要人工监视，或者在事故发生之后被人所知需要查询的时候才会通过人工查阅的方式进行查看，这样使得交通的监控十分的困难并且不及时，难以在交通事件发生的时候迅速的做出反应，容易错失处理交通事件的最佳时机。因此仅仅依靠人工报告/电视监视等非自动检测方法来发现交通事件，不但浪费大量的资源，且不够全面及时，给交通安全带来了二次隐患。
为了解决传统通过视频监控或人工浏览判断交通事件的方式，所存在效率极低和无法满足现代化智能时代需求的问题。现有智能交通技术提出了一种基于雷达探测技术和视频车辆检测技术的融合型交通事件检测系统，即通过在道路上方的横杆上布置雷达检测器(即一种通过向路面发射微波和接受反射波来识别车辆的装置，具体是根据多普勒效应原理工作，由悬挂在车道上方一定距离的检测器，向下方的车道发射已知频率的微波波束和接受反射波，通过发射波和反射波的频率差来识别车辆)和视频车辆检测器(即一种采用视频图像处理技术实现某项交通流参数检测或者某项交通事件检测的设备，主要由外场摄像头、数据传输设备和视频处理器组成，具有多种功能以及多种功能的组合能力，最显著的是图像捕获与存储能力，常应用于感应式十字路口信号灯控制系统或电子警察抓拍系统，还能对道路交通流量等数据进行采集并上传至城市交通监控中心)，并采用“广域雷达+视频联动”的检测方式，形成了一套劣势互补和优势互融的新型感知系统。例如为了实现实时交通事件检测功能，可通过广域的雷达检测器全天候地对大区域内的车辆进行实时跟踪和精确定位，并通过内置算法与车道进行匹配计算，实现对异常停车、异常变道、缓行拥堵和安全车距等多种交通事件的检测，然后根据交通事件检测结果联动触发视频车辆检测器进行视频拍照截图，再然后通过视频车辆检测器的内部智能AI(Artificial Intel ligence)算法在抓拍图像中标注异常目标，最后将处理得到的报警信息和图像上传至城市交通监控中心，为交通管理部门提供准确的事件预警信息以及违法交通行为视频图像依据，既保证了事件的准确性，又提高了事件的可信性。
但是对于部署在所述视频车辆检测器中的视频车辆检测模型，其传统训练方法是在线下进行训练，然后再上线部署在所述视频车辆检测器中，因此模型更新的周期会比较长(一般是一天，效率高的时候为1小时)，并且在模型上线后，一般是静态的(即一段时间内不会改变)，不会与线上的实际状况有任何互动，如果预测错了(即由于在实际环境中存在光照变化、目标运动复杂性、遮挡、目标与背景颜色相似、杂乱背景和/或恶劣环境等情况，会造成在视频图像分析中出现大量的误报或漏报，导致检测识别精度不够高)，也只能在下一次更新时完成修正。
发明内容
为了解决现有视频车辆检测模型在上线后存在更新周期长、因静态而不与线上实际状况互动和无法及时自动进行修正的问题，本发明目的在于提供一种视频车辆检测模型在线更新方法、装置、雷视融合系统及计算机设备及计算机可读存储介质。
第一方面，本发明提供了一种视频车辆检测模型在线更新方法，在基于深度学习网络建模而得的视频车辆检测模型上线后执行，包括：
将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型，输出得到视频车辆检测结果，其中，所述视频车辆检测结果包含有检测所得车辆在所述视频图像中的车辆图像坐标；
根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，其中，所述雷达检测器中的雷达与所述摄像头分别朝同一方向设置；
根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度；
针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆检测模型在对应时刻的预测结果与真实结果的不一致程度，得到所述视频车辆检测模型在对应时刻的损失函数值，然后计算出在对应时刻损失函数对所述深度学习网络中各个权重的偏导数；
针对所述各个权重，按照如下公式迭代更新对应的权重值：
Figure GDA0004055410780000021
式中，i、j和t分别表示自然数，ωt+1,i表示第i个权重在t+1时刻的权重值，zt,i表示所述第i个权重在t时刻的第一中间量，+＝表示复合赋值运算符，gt,i表示在t时刻损失函数对所述第i个权重的偏导数，α和λ1分别表示预设的超参数，ni表示所述第i个权重在t时刻的第二中间量，ωt,i表示所述第i个权重在t时刻的权重值，ηt表示所述第i个权重在t时刻的第三中间量，gj,i表示在j时刻损失函数对所述第i个权重的偏导数，sgn()表示符号函数；
将所述各个权重的最新权重值传入所述深度学习网络中，得到完成在线更新的视频车辆检测模型。
基于上述发明内容，提供了一种在传统雷视融合项目上对视频车辆检测模型进行在线更新的优化方案，即一方面通过更新前的视频车辆检测模型，输出得到检测所得车辆在视频图像中的车辆图像坐标，另一方面根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，然后根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度，再然后根据所述坐标偏差程度得到在所述视频车辆检测模型上线后的各个时刻损失函数对深度学习网络中各个权重的偏导数，最后基于FTRL算法对所述各个权重的权重值进行迭代更新，由此可根据来自所述雷达检测器的线上实时反馈，持续不断地迭代更新所述各个权重的权重值，进而使得如果模型预测错误，可以及时修正所述深度学习网络中的权重，使之自适应线上的实际情况，有效缩短更新周期，实现对所述视频车辆检测模型的在线学习目的，便于实际应用和推广。
在一个可能的设计中，所述深度学习网络包括卷积神经网络。
在一个可能的设计中，所述检测所得车辆包括机动车或非机动车。
在一个可能的设计中，所述车辆图像坐标包含有所述检测所得车辆在所述视频图像中的车辆图像左上角坐标和车辆图像右下角坐标。
在一个可能的设计中，根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度，包括：
根据所述车辆图像坐标，确定所述检测所得车辆在所述摄像头的相机坐标系下的车辆估算坐标；
根据所述雷达坐标系与所述相机坐标系的已知坐标变换关系，将所述车辆真实坐标变换为在所述相机坐标系下的车辆实际坐标；
计算所述车辆实际坐标与所述车辆估算坐标的差的平方，得到所述检测所得车辆的坐标偏差程度。
第二方面，本发明提供了一种视频车辆检测模型在线更新装置，用于在基于深度学习网络建模而得的视频车辆检测模型上线后启用，包括有视频车辆检测单元、真实坐标确定单元、坐标偏差获取单元、权重偏导数获取单元、权重值更新单元和权重值传入单元；
所述视频车辆检测单元，用于将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型，输出得到视频车辆检测结果，其中，所述视频车辆检测结果包含有检测所得车辆在所述视频图像中的车辆图像坐标；
所述真实坐标确定单元，通信连接所述视频车辆检测单元，用于根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，其中，所述雷达检测器中的雷达与所述摄像头分别朝同一方向设置；
所述坐标偏差获取单元，分别通信连接所述视频车辆检测单元和所述真实坐标确定单元，用于根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度；
所述权重偏导数获取单元，通信连接所述坐标偏差获取单元，用于针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆检测模型在对应时刻的预测结果与真实结果的不一致程度，得到所述视频车辆检测模型在对应时刻的损失函数值，然后计算出在对应时刻损失函数对所述深度学习网络中各个权重的偏导数；
所述权重值更新单元，通信连接所述权重偏导数获取单元，用于针对所述各个权重，按照如下公式迭代更新对应的权重值：
Figure GDA0004055410780000041
式中，i、j和t分别表示自然数，ωt+1,i表示第i个权重在t+1时刻的权重值，zt,i表示所述第i个权重在t时刻的第一中间量，+＝表示复合赋值运算符，gt,i表示在t时刻损失函数对所述第i个权重的偏导数，α和λ1分别表示预设的超参数，ni表示所述第i个权重在t时刻的第二中间量，ωt,i表示所述第i个权重在t时刻的权重值，ηt表示所述第i个权重在t时刻的第三中间量，gj,i表示在j时刻损失函数对所述第i个权重的偏导数，sgn()表示符号函数；
所述权重值传入单元，通信连接所述权重值更新单元，用于将所述各个权重的最新权重值传入所述深度学习网络中，得到完成在线更新的视频车辆检测模型。
第三方面，本发明提供了一种雷视融合系统，包括有在道路上方的横杆上布置的雷达检测器和视频车辆检测器，其中，所述雷达检测器中的雷达与所述视频车辆检测器中的摄像头分别朝同一方向设置；
所述视频车辆检测器通信连接所述雷达检测器，用于执行如第一方面或第一方面中任意可能设计所述的视频车辆检测模型在线更新方法。
在一种可能设计中，所述雷达采用毫米波雷达。
第四方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的视频车辆检测模型在线更新方法。
第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的视频车辆检测模型在线更新方法。
第六方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的视频车辆检测模型在线更新方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的视频车辆检测模型在线更新方法的流程示意图。
图2是本发明提供的视频车辆检测模型在线更新装置的结构示意图。
图3是本发明提供的在雷视融合系统中雷达检测器和视频车辆检测器的布置示意图。
图4是本发明提供的计算机设备的结构示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
如图1所示，本实施例第一方面提供的所述视频车辆检测模型在线更新方法，可以但不限于由具有一定计算资源的且分别通信连接有摄像头和雷达检测器的计算机设备执行，例如由视频车辆检测器、个人计算机(Persona l Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Persona l d igita l ass istant，PAD)或可穿戴设备等电子设备执行，以便根据来自所述雷达检测器的线上实时反馈，持续不断地迭代更新深度学习网络中各个权重的权重值，进而使得如果模型预测错误，可以及时修正所述深度学习网络中的权重，使之自适应线上的实际情况，有效缩短更新周期，实现对视频车辆检测模型的在线学习目的，便于实际应用和推广。如图1所示，所述视频车辆检测模型在线更新方法，需在基于深度学习网络建模而得的视频车辆检测模型上线后执行，并可以但不限于包括有如下步骤S1～S6。
S1.将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型，输出得到视频车辆检测结果，其中，所述视频车辆检测结果包含但不限于有检测所得车辆在所述视频图像中的车辆图像坐标。
在所述步骤S1中，所述视频车辆检测模型为基于计算机视觉技术在所述视频图像中标注出目标车辆的人工智能模型，其可以但不限于采用诸如卷积神经网络等深度学习网络建模而得。前述诸如卷积神经网络(例如YOLO网络)等深度学习网络为现有人工智能方法中的常见方案，即可通过常规的率定验证建模方式(其具体过程包括有模型的率定过程和校核过程，即是先通过对比模型模拟结果与实测数据，然后根据对比结果调整模型参数，使得模拟结果与实际吻合的过程)，得到所述视频车辆检测模型。所述检测所得车辆即为标注出的目标车辆，包括但不限于为机动车或非机动车。由于通过所述视频车辆检测模型能够在所述视频图像中标注出目标车辆，因此可以基于标注结果得到所述检测所得车辆在所述视频图像中的车辆图像坐标，具体的，所述车辆图像坐标包含但不限于有所述检测所得车辆在所述视频图像中的车辆图像左上角坐标和车辆图像右下角坐标。
S2.根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，其中，所述雷达检测器中的雷达与所述摄像头分别朝同一方向设置。
在所述步骤S2中，由于所述雷达检测器中的雷达与所述摄像头是分别朝同一方向(例如与车辆行驶方向相反的方向)设置，因此在所述雷达数据中必然也包含有针对所述检测所得车辆的雷达探测结果，即包含但不限于有所述检测所得车辆在所述雷达坐标系中的车辆真实坐标(其具体可为包含有方位角、俯仰角和距离等的极坐标)。具体的，根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，包括但不限于有：当所述视频车辆检测结果包含有唯一检测所得车辆在所述视频图像中的车辆图像坐标时，可将所述雷达数据中唯一车辆在所述雷达坐标系中的车辆真实坐标，作为所述唯一检测所得车辆在所述雷达坐标系中的车辆真实坐标。此外，当所述视频车辆检测结果包含有M(M表示大于1的自然数)个检测所得车辆在所述视频图像中的车辆图像坐标，以及所述雷达数据包含有N(N表示大于1的自然数)个车辆在所述雷达坐标系中的车辆真实坐标时，可先将所述M个检测所得车辆在所述视频图像中的车辆图像坐标和所述N个车辆在所述雷达坐标系中的车辆真实坐标，分别通过常规的坐标变换方式转换为在同一坐标系(例如大地坐标系)下的坐标，然后针对所述M个检测所得车辆中的某个检测所得车辆，将在所述N个车辆中的且在所述同一坐标系下距离最近的某个车辆作为与其对应的同一车辆，最后将所述某个车辆在所述雷达坐标系中的车辆真实坐标，确定为所述某个检测所得车辆在所述雷达坐标系中的车辆真实坐标。
在所述步骤S2中，考虑毫米波的波长介于厘米波和光波之间，使得毫米波兼有微波制导和光电制导的优点，进而使得毫米波雷达能精确检测运动目标的运动方向、距离、速度和角度；同时与红外、激光或视频等光学导引头相比，毫米波导引头穿透雾、烟或灰尘的能力强，具有全天候全天时(大雨天除外)的特点，且毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远。由此在选择以雷达检测器的输出来作为所述视频车辆检测模型的线上预测反馈，进而发现模型预测错误并及时修正时，所述雷达优选采用毫米波雷达。
S3.根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度。
在所述步骤S3中，具体的，包括但不限于有如下步骤S31～S33:S31.根据所述车辆图像坐标，确定所述检测所得车辆在所述摄像头的相机坐标系下的车辆估算坐标；S32.根据所述雷达坐标系与所述相机坐标系的已知坐标变换关系，将所述车辆真实坐标变换为在所述相机坐标系下的车辆实际坐标；S33.计算所述车辆实际坐标与所述车辆估算坐标的差的平方，得到所述检测所得车辆的坐标偏差程度。在前述步骤S31中，由于所述车辆图像坐标包含有所述检测所得车辆在所述视频图像中的车辆图像左上角坐标和车辆图像右下角坐标，因此车辆图像大小可知，进而可以基于车辆图像大小与车辆至摄像头的距离的负相关特点(即车辆至摄像头的距离越大，车辆图像越小)，确定车辆至摄像头的距离，如此可将该距离和所述车辆图像左上角坐标与所述车辆图像右下角坐标的中点坐标，作为所述检测所得车辆在所述摄像头的相机坐标系下的车辆估算坐标。此外，由于所述雷达和所述摄像头的安装位置及朝向是可以提前已知的，因此所述雷达坐标系与所述相机坐标系的坐标变换关系也可以提前已知，实现前述坐标变换目的。
S4.针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆检测模型在对应时刻的预测结果与真实结果的不一致程度，得到所述视频车辆检测模型在对应时刻的损失函数值，然后计算出在对应时刻损失函数对所述深度学习网络中各个权重的偏导数。
在所述步骤S4中，根据预测结果与真实结果的不一致程度，得到所述视频车辆检测模型的损失函数值，为现有深度学习技术的常规手段。此外，可以但不限于按照如下公式计算出在所述视频车辆检测模型上线后的t时刻损失函数对第i个权重的偏导数gt , i：
Figure GDA0004055410780000081
式中，fi(ωt-1)表示损失函数，ωt-1,i表示所述第i个权重在t-1时刻的权重变量。
S5.针对所述各个权重，按照如下公式迭代更新对应的权重值：
Figure GDA0004055410780000082
式中，i、j和t分别表示自然数，ωt+1,i表示第i个权重在t+1时刻的权重值，zt,i表示所述第i个权重在t时刻的第一中间量，+＝表示复合赋值运算符，gt,i表示在t时刻损失函数对所述第i个权重的偏导数，α和λ1分别表示预设的超参数，ni表示所述第i个权重在t时刻的第二中间量，ωt,i表示所述第i个权重在t时刻的权重值，ηt表示所述第i个权重在t时刻的第三中间量，gj,i表示在j时刻损失函数对所述第i个权重的偏导数，sgn()表示符号函数。
在所述步骤S5中，前述公式的推导过程可基于FTRL(Fol lowthe Regular izedLeader)算法(具体可参见论文《Ad Cl ick Prediction:a View from the Trenches》，是一种现有的在线学习算法)推导得到。如此可在存储上一次迭代所得的三个量：wt,i、zt,i和nt，并在本轮迭代中计算得到gt,i，就可以根据来自所述雷达检测器的线上实时反馈，持续不断地迭代更新所述各个权重的权重值，进而使得如果模型预测错误，可以及时修正所述深度学习网络中的权重，使之自适应线上的实际情况，实现对所述视频车辆检测模型的在线学习目的。此外，在迭代更新前，wt,i、zt,i和nt可分别初始化为零。
S6.将所述各个权重的最新权重值传入所述深度学习网络中，得到完成在线更新的视频车辆检测模型。
由此基于前述步骤S1～S6所描述的视频车辆检测模型在线更新方法，提供了一种在传统雷视融合项目上对视频车辆检测模型进行在线更新的优化方案，即一方面通过更新前的视频车辆检测模型，输出得到检测所得车辆在视频图像中的车辆图像坐标，另一方面根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，然后根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度，再然后根据所述坐标偏差程度得到在所述视频车辆检测模型上线后的各个时刻损失函数对深度学习网络中各个权重的偏导数，最后基于FTRL算法对所述各个权重的权重值进行迭代更新，由此可根据来自所述雷达检测器的线上实时反馈，持续不断地迭代更新所述各个权重的权重值，进而使得如果模型预测错误，可以及时修正所述深度学习网络中的权重，使之自适应线上的实际情况，有效缩短更新周期，实现对所述视频车辆检测模型的在线学习目的，便于实际应用和推广。
如图2所示，本实施例第二方面提供了一种实现第一方面所述的视频车辆检测模型在线更新方法的虚拟装置，用于在基于深度学习网络建模而得的视频车辆检测模型上线后启用，包括有视频车辆检测单元、真实坐标确定单元、坐标偏差获取单元、权重偏导数获取单元、权重值更新单元和权重值传入单元；
所述视频车辆检测单元，用于将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型，输出得到视频车辆检测结果，其中，所述视频车辆检测结果包含有检测所得车辆在所述视频图像中的车辆图像坐标；
所述真实坐标确定单元，通信连接所述视频车辆检测单元，用于根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，其中，所述雷达检测器中的雷达与所述摄像头分别朝同一方向设置；
所述坐标偏差获取单元，分别通信连接所述视频车辆检测单元和所述真实坐标确定单元，用于根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度；
所述权重偏导数获取单元，通信连接所述坐标偏差获取单元，用于针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆检测模型在对应时刻的预测结果与真实结果的不一致程度，得到所述视频车辆检测模型在对应时刻的损失函数值，然后计算出在对应时刻损失函数对所述深度学习网络中各个权重的偏导数；
所述权重值更新单元，通信连接所述权重偏导数获取单元，用于针对所述各个权重，按照如下公式迭代更新对应的权重值：
Figure GDA0004055410780000101
式中，i、j和t分别表示自然数，ωt+1,i表示第i个权重在t+1时刻的权重值，zt,i表示所述第i个权重在t时刻的第一中间量，+＝表示复合赋值运算符，gt,i表示在t时刻损失函数对所述第i个权重的偏导数，α和λ1分别表示预设的超参数，ni表示所述第i个权重在t时刻的第二中间量，ωt,i表示所述第i个权重在t时刻的权重值，ηt表示所述第i个权重在t时刻的第三中间量，gj,i表示在j时刻损失函数对所述第i个权重的偏导数，sgn()表示符号函数；
所述权重值传入单元，通信连接所述权重值更新单元，用于将所述各个权重的最新权重值传入所述深度学习网络中，得到完成在线更新的视频车辆检测模型。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面所述的视频车辆检测模型在线更新方法，于此不再赘述。
如图3所示，本实施例第三方面提供了一种应用第一方面所述的视频车辆检测模型在线更新方法的雷视融合系统，包括但不限于有在道路100上方的横杆1上布置的雷达检测器2和视频车辆检测器3，其中，所述雷达检测器2中的雷达与所述视频车辆检测器3中的摄像头分别朝同一方向设置；所述视频车辆检测器3通信连接所述雷达检测器2，用于执行如第一方面所述的视频车辆检测模型在线更新方法。优选的，所述雷达采用毫米波雷达。
本实施例第三方面提供的前述系统的工作过程、工作细节和技术效果，可以参见第一方面所述的视频车辆检测模型在线更新方法，于此不再赘述。
如图4所示，本实施例第四方面提供了一种执行如第一方面所述的视频车辆检测模型在线更新方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面所述的视频车辆检测模型在线更新方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(Fi rst Input Fi rstOutput，FIFO)和/或先进后出存储器(Fi rst Input Last Output，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第四方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面所述的视频车辆检测模型在线更新方法，于此不再赘述。
本实施例第五方面提供了一种存储包含如第一方面所述的视频车辆检测模型在线更新方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的视频车辆检测模型在线更新方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory St ick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面所述的视频车辆检测模型在线更新方法，于此不再赘述。
本实施例第六方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的视频车辆检测模型在线更新方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (9)

1.一种视频车辆检测模型在线更新方法，其特征在于，在基于深度学习网络建模而得的视频车辆检测模型上线后执行，包括：
将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型，输出得到视频车辆检测结果，其中，所述视频车辆检测结果包含有检测所得车辆在所述视频图像中的车辆图像坐标；
根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，其中，所述雷达检测器中的雷达与所述摄像头分别朝同一方向设置；
根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度，具体包括：根据所述车辆图像坐标，确定所述检测所得车辆在所述摄像头的相机坐标系下的车辆估算坐标；根据所述雷达坐标系与所述相机坐标系的已知坐标变换关系，将所述车辆真实坐标变换为在所述相机坐标系下的车辆实际坐标；计算所述车辆实际坐标与所述车辆估算坐标的差的平方，得到所述检测所得车辆的坐标偏差程度；
针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆检测模型在对应时刻的预测结果与真实结果的不一致程度，得到所述视频车辆检测模型在对应时刻的损失函数值，然后计算出在对应时刻损失函数对所述深度学习网络中各个权重的偏导数，具体按照如下公式计算出在所述视频车辆检测模型上线后的t时刻损失函数对第i个权重的偏导数
Figure FDA0004036521910000011
式中，fi(ωt-1)表示损失函数，ωt-1,i表示所述第i个权重在t-1时刻的权重变量；
针对所述各个权重，按照如下公式迭代更新对应的权重值：
Figure FDA0004036521910000012
式中，i、j和t分别表示自然数，ωt+1,i表示第i个权重在t+1时刻的权重值，zt,i表示所述第i个权重在t时刻的第一中间量，+＝表示复合赋值运算符，gt,i表示在t时刻损失函数对所述第i个权重的偏导数，α和λ1分别表示预设的超参数，ni表示所述第i个权重在t时刻的第二中间量，ωt,i表示所述第i个权重在t时刻的权重值，ηt表示所述第i个权重在t时刻的第三中间量，gj,i表示在j时刻损失函数对所述第i个权重的偏导数，sgn()表示符号函数；
将所述各个权重的最新权重值传入所述深度学习网络中，得到完成在线更新的视频车辆检测模型。
2.如权利要求1所述的视频车辆检测模型在线更新方法，其特征在于，所述深度学习网络包括卷积神经网络。
3.如权利要求1所述的视频车辆检测模型在线更新方法，其特征在于，所述检测所得车辆包括机动车或非机动车。
4.如权利要求1所述的视频车辆检测模型在线更新方法，其特征在于，所述车辆图像坐标包含有所述检测所得车辆在所述视频图像中的车辆图像左上角坐标和车辆图像右下角坐标。
5.一种视频车辆检测模型在线更新装置，其特征在于，用于在基于深度学习网络建模而得的视频车辆检测模型上线后启用，包括有视频车辆检测单元、真实坐标确定单元、坐标偏差获取单元、权重偏导数获取单元、权重值更新单元和权重值传入单元；
所述视频车辆检测单元，用于将由摄像头采集的视频图像作为待检测图像输入所述视频车辆检测模型，输出得到视频车辆检测结果，其中，所述视频车辆检测结果包含有检测所得车辆在所述视频图像中的车辆图像坐标；
所述真实坐标确定单元，通信连接所述视频车辆检测单元，用于根据由雷达检测器输出的且与所述视频图像同期采集的雷达数据，确定出所述检测所得车辆在雷达坐标系中的车辆真实坐标，其中，所述雷达检测器中的雷达与所述摄像头分别朝同一方向设置；
所述坐标偏差获取单元，分别通信连接所述视频车辆检测单元和所述真实坐标确定单元，用于根据所述车辆图像坐标和所述车辆真实坐标，得到所述检测所得车辆的坐标偏差程度，具体包括：根据所述车辆图像坐标，确定所述检测所得车辆在所述摄像头的相机坐标系下的车辆估算坐标；根据所述雷达坐标系与所述相机坐标系的已知坐标变换关系，将所述车辆真实坐标变换为在所述相机坐标系下的车辆实际坐标；计算所述车辆实际坐标与所述车辆估算坐标的差的平方，得到所述检测所得车辆的坐标偏差程度；
所述权重偏导数获取单元，通信连接所述坐标偏差获取单元，用于针对在所述视频车辆检测模型上线后的各个时刻,将在对应时刻的坐标偏差程度作为用于估量所述视频车辆检测模型在对应时刻的预测结果与真实结果的不一致程度，得到所述视频车辆检测模型在对应时刻的损失函数值，然后计算出在对应时刻损失函数对所述深度学习网络中各个权重的偏导数，具体按照如下公式计算出在所述视频车辆检测模型上线后的t时刻损失函数对第i个权重的偏导数
Figure FDA0004036521910000021
式中，fi(ωt-1)表示损失函数，ωt-1,i表示所述第i个权重在t-1时刻的权重变量；
所述权重值更新单元，通信连接所述权重偏导数获取单元，用于针对所述各个权重，按照如下公式迭代更新对应的权重值：
Figure FDA0004036521910000031
式中，i、j和t分别表示自然数，ωt+1,i表示第i个权重在t+1时刻的权重值，zt,i表示所述第i个权重在t时刻的第一中间量，+＝表示复合赋值运算符，gt,i表示在t时刻损失函数对所述第i个权重的偏导数，α和λ1分别表示预设的超参数，ni表示所述第i个权重在t时刻的第二中间量，ωt,i表示所述第i个权重在t时刻的权重值，ηt表示所述第i个权重在t时刻的第三中间量，gj,i表示在j时刻损失函数对所述第i个权重的偏导数，sgn()表示符号函数；
所述权重值传入单元，通信连接所述权重值更新单元，用于将所述各个权重的最新权重值传入所述深度学习网络中，得到完成在线更新的视频车辆检测模型。
6.一种雷视融合系统，其特征在于，包括有在道路上方的横杆上布置的雷达检测器和视频车辆检测器，其中，所述雷达检测器中的雷达与所述视频车辆检测器中的摄像头分别朝同一方向设置；
所述视频车辆检测器通信连接所述雷达检测器，用于执行如权利要求1～4中任意一项所述的视频车辆检测模型在线更新方法。
7.如权利要求6所述的雷视融合系统，其特征在于，所述雷达采用毫米波雷达。
8.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～4中任意一项所述的视频车辆检测模型在线更新方法。
9.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～4中任意一项所述的视频车辆检测模型在线更新方法。
CN202210420941.5A 2022-04-20 2022-04-20 视频车辆检测模型在线更新方法、装置及雷视融合系统 Active CN114842643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210420941.5A CN114842643B (zh) 2022-04-20 2022-04-20 视频车辆检测模型在线更新方法、装置及雷视融合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210420941.5A CN114842643B (zh) 2022-04-20 2022-04-20 视频车辆检测模型在线更新方法、装置及雷视融合系统

Publications (2)

Publication Number Publication Date
CN114842643A CN114842643A (zh) 2022-08-02
CN114842643B true CN114842643B (zh) 2023-03-28

Family

ID=82565911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210420941.5A Active CN114842643B (zh) 2022-04-20 2022-04-20 视频车辆检测模型在线更新方法、装置及雷视融合系统

Country Status (1)

Country Link
CN (1) CN114842643B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN117970318B (zh) * 2024-04-02 2024-07-16 所托(杭州)汽车智能设备有限公司 目标融合方法、电子设备及存储介质
CN118409308B (zh) * 2024-07-03 2024-09-20 陕西省水利电力勘测设计研究院 一种作业车辆定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532896B (zh) * 2019-08-06 2022-04-08 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN112836737A (zh) * 2021-01-29 2021-05-25 同济大学 一种基于车路数据融合的路侧组合感知设备在线标定方法
CN112946628A (zh) * 2021-02-08 2021-06-11 江苏中路工程技术研究院有限公司 一种基于雷达与视频融合的道路运行状态检测方法及系统
CN112991391A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN114280599A (zh) * 2021-11-15 2022-04-05 江苏金晓电子信息股份有限公司 基于毫米波雷达与视频数据的坐标转换匹配车辆检测方法
CN113807471B (zh) * 2021-11-18 2022-03-15 浙江宇视科技有限公司 雷达与视觉融合的车辆识别方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114842643A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN114842643B (zh) 视频车辆检测模型在线更新方法、装置及雷视融合系统
CN108955702B (zh) 基于三维激光和gps惯性导航系统的车道级地图创建系统
WO2023124383A1 (zh) 一种车辆速度检测、撞车预警方法及电子设备
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN104050818B (zh) 基于目标跟踪和特征点匹配的运动车辆测速方法
CN111458721B (zh) 一种暴露垃圾的识别定位方法、装置及系统
CN112149550A (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
Wang et al. Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN110910440B (zh) 一种基于电力影像数据的输电线路长度确定方法和系统
US20220234588A1 (en) Data Recording for Advanced Driving Assistance System Testing and Validation
CN115527364B (zh) 一种基于雷视数据融合的交通事故溯源方法及系统
CN117672007B (zh) 一种基于雷视融合的道路施工区域安全预警系统
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN103149603A (zh) 一种基于视频的道路气象检测方法
CN117215316B (zh) 基于协同控制与深度学习的驾驶环境感知的方法和系统
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117373285A (zh) 风险预警模型训练方法、风险预警方法及自动驾驶车辆
Wang et al. An end-to-end auto-driving method based on 3D LiDAR
CN106874928A (zh) 跟踪目标突发关键事件自动判决方法及系统
CN115116034A (zh) 一种夜间行人检测方法、装置及系统
CN114581863A (zh) 车辆危险状态识别方法及系统
CN117590863B (zh) 一种5g安防救援网联的无人机云边端协同控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant