CN113658427A - 基于视觉与雷达的路况监控方法及系统、设备 - Google Patents

基于视觉与雷达的路况监控方法及系统、设备 Download PDF

Info

Publication number
CN113658427A
CN113658427A CN202110905378.6A CN202110905378A CN113658427A CN 113658427 A CN113658427 A CN 113658427A CN 202110905378 A CN202110905378 A CN 202110905378A CN 113658427 A CN113658427 A CN 113658427A
Authority
CN
China
Prior art keywords
vehicles
vehicle
condition information
road
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110905378.6A
Other languages
English (en)
Inventor
张芳健
刘军
魏园波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Intelligent Technology Co Ltd
Original Assignee
Shenzhen Infinova Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Intelligent Technology Co Ltd filed Critical Shenzhen Infinova Intelligent Technology Co Ltd
Priority to CN202110905378.6A priority Critical patent/CN113658427A/zh
Publication of CN113658427A publication Critical patent/CN113658427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于视觉与雷达的路况监控方法及系统、设备，包括：实时获取路面的监控视频，通过预设模型获取监控视频中的车辆在图像坐标系中的位置；通过雷达扫描路面，得到路面的车辆在极坐标系中的位置；将车辆在极坐标系中的位置转换为图像坐标系中的位置，得到车辆在监控视频与雷达之间的对应关系；根据对应关系将车辆的第一属性和第二属性融合，得到车辆的车况信息；根据车况信息判断路况信息，根据路况信息进行预警。通过本发明提供的方法，通过监控视频和雷达的标定与融合，整合每一辆车的特征信息，可为监管部门和出行人员提供有效的道路信息；且可获取路面车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度。

Description

基于视觉与雷达的路况监控方法及系统、设备
技术领域
本发明涉及路况监控技术领域，尤其涉及一种基于视觉与雷达的路况监控方法及系统、设备及存储介质。
背景技术
道路是城市的一个重要部分，随着社会的发展和监管部门对道路交通数据实时化采集需求的提升，新型的道路智慧化监控建设是目前智能化趋势的重要方向。目前道路监控设备主要是监控相机、道路结构化相机等。
目前用于道路交通监控的设备，存在着信息采集覆盖不足、数据整合难的问题；缺乏智能化监控、智慧化调度的能力；对于道路实时的智能识别还不足；道路信息实时融合，道路险情、交通拥堵的预判和预警能力需要进一步提升。
发明内容
为此，本发明目的在于至少一定程度上解决现有技术中的不足，从而提出一种基于视觉与雷达的路况监控方法及系统、设备及存储介质。
第一方面，本发明提供了一种基于视觉与雷达的路况监控方法，所述方法包括：
实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
第二方面，本发明提供了一种基于视觉与雷达的路况监控方法，所述系统包括：
视觉模块：用于实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
雷达模块：用于通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
转换模块：用于根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
融合模块：用于根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
预警模块：用于根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
第三方面，本发明还提供了一种基于视觉与雷达的路况监控设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面所述的基于视觉与雷达的路况监控方法中的各个步骤。
第四方面，本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的基于视觉与雷达的路宽监控方法中的各个步骤。
本发明提供了一种基于视觉与雷达的路况监控方法，该方法包括：实时获取路面的监控视频，通过预设的模型获取监控视频中的所有车辆的第一属性，第一属性至少包括所有车辆在图像坐标系中的位置坐标；通过毫米波雷达扫描路面，得到路面的所有车辆的第二属性，所述第二属性至少包括所有车辆在极坐标系中的位置坐标；根据标定关系将所有车辆在极坐标系中的位置坐标转换为图像坐标系中的位置坐标，得到所有车辆在监控视频与所述毫米波雷达之间的对应关系；根据对应关系将所有车辆的第一属性和第二属性进行融合，得到所有车辆的车况信息；根据车况信息判断相应的路况信息，根据路况信息进行相应的预警措施。通过本发明提供的方法，通过监控视频和毫米波雷达的标定与匹配，整合每一辆车的特征信息，可及时发现路上的各种违规行为，为监管部门和出行人员提供有效的道路信息；且可以获取路面过往车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度，更好的实现交通险情、拥堵等方面的预警效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明的基于视觉与雷达的路况监控方法的流程示意图；
图2为本发明的基于视觉与雷达的路况监控方法的子流程示意图；
图3为本发明的基于视觉与雷达的路况监控方法的另一子流程示意图；
图4为本发明的基于视觉与雷达的路况监控方法的程序模块示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本申请实施例中基于视觉与雷达的路况监控方法，在本实施例中，上述基于视觉与雷达的路况监控方法包括：
步骤101、实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标。
在本实施例中，实时获取某一段路面的监控视频，且获取监控视频中的每一帧图像，通过预先的训练的模型获取当前的监控视频中所有的车辆的第一属性，通过模型在监控视频中的每一帧图像识别出每一车辆的第一属性，第一属性中至少包括每一车辆在图像坐标系中的位置坐标。
步骤102、通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标。
在本实施例中，在通过预设的模型获取监控视频中的所有车辆的第一属性时，毫米波雷达同时在对受监控的路面进行扫描，检测出当前时刻路面上的所有车辆，并获取所有车辆的第二属性，第二属性至少包括每一车辆在极坐标系中的位置坐标。其中，路面的监控视频中所获取到的所有车辆与毫米波雷达在受监控的路面中所扫描到的所有车辆是相同的。
步骤103、根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系。
在本实施例中，在步骤101和步骤102中分别通过监控视频和毫米波雷达获取了所有车辆的图像坐标系下的位置坐标和极坐标系下的位置坐标后，通过标定关系，将所有车辆在极坐标系下的位置坐标转换为图像坐标系下的位置坐标，使得同一车辆在图像坐标系和极坐标系同步，可得到毫米波雷达检测的车辆，在监控视频中的具体位置，即得到了所有车辆在监控视频中与毫米波雷达之间的对应关系。
在本实施例中，具体的标定方法为：选用单点雷达与单点监控设备的联合标定。通过射影变换，将极坐标系中的(u1,v1)变换到图像坐标系中相应的坐标(u2,v2)。其中变换过程用到的是3*3的单应性矩阵H，因此标定的工作主要是计算该矩阵，其变换算法如下。
Figure BDA0003199948880000051
标定时，为抑制噪声提高计算准确性，选用多个点(例如10个)对来计算单应性矩阵H，同时使用RANSAC方法，来求解出该矩阵最优解，就可通过一车辆在极坐标系中的位置坐标，从而得到该车辆在图像坐标系中的位置坐标。
步骤104、根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息。
在本实施例中，根据步骤103所得到的所有车辆在监控视频与毫米波雷达之间的对应关系，通过监控视频获取到了所有车辆的第一属性，通过毫米波雷达获取到了所有车辆的第二属性，根据所有车辆在监控视频与毫米波雷达之间的对应关系，对应的将所有车辆的第一属性和第二属性进行融合，融合之后，就可得到所有车辆的车况信息。例如，监控视频中获取到了A车是红色的，B车是黄色的，毫米波雷达获取到了A’车的速度是60Km/h，B’车的速度是70Km/h，根据步骤103中的对应关系，可知毫米波雷达中的A’车实际上是监控视频中的A车，毫米波雷达中的B’车实际上是监控视频中的B车，对A车、B车的第一属性、第二属性进行融合之后，可得到A车是红色的，运行速度为60Km/h，B车是黄色的，运行速度为70Km/h，车辆的外观以及运行速度等组成了车辆的车况信息。
在本实施例中，通过匈牙利匹配算法将所有车辆的第一属性、第二属性进行匹配，被检测路面上的的所有车辆的图像坐标位置与每辆车相对应的第一属性、第二属性均显示在监控视频中；通过毫米波雷达和监控视频的分析，选用各自擅长的检测分析方向，并通过所有车辆信息在不同坐标系中的整合，实现更准确的实时检测结果，可及时发现被检测路面上的各种违规行为。
步骤105、根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
在本实施例中，根据所有车辆的车况信息就可得到被检测的路面的路况信息，根据被检测的路面上的车辆的数量、速度等信息，可知被检测的路面是否存在堵车或车祸等路况信息，根据被检测的路面的路况信息进行相应的预警措施，例如进行交通调度。
本申请实施例提供了一种基于视觉与雷达的路况监控方法，该方法包括：实时获取路面的监控视频，通过预设的模型获取监控视频中的所有车辆的第一属性，第一属性至少包括所有车辆在图像坐标系中的位置坐标；通过毫米波雷达扫描路面，得到路面的所有车辆的第二属性，所述第二属性至少包括所有车辆在极坐标系中的位置坐标；根据标定关系将所有车辆在极坐标系中的位置坐标转换为图像坐标系中的位置坐标，得到所有车辆在监控视频与所述毫米波雷达之间的对应关系；根据对应关系将所有车辆的第一属性和第二属性进行融合，得到所有车辆的车况信息；根据车况信息判断相应的路况信息，根据路况信息进行相应的预警措施。通过本发明提供的方法，通过监控视频和毫米波雷达的标定与匹配，整合每一辆车的特征信息，可及时发现路上的各种违规行为，为监管部门和出行人员提供有效的道路信息；且可以获取路面过往车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度，更好的实现交通险情、拥堵等方面的预警效果。
进一步地，所述第一属性至少包括所述所有车辆的ID；所述第二属性至少包括所述所有车辆相应的速度和所述所有车辆之间的车距。
在本实施例中，通过监控视频获取的第一属性不仅仅只包括所有车辆在图像坐标系中的位置坐标、所有车辆的ID(即车辆的车牌)，还包括所有车辆的颜色、行车方向、品牌等多个所有车辆的第一属性；由于毫米波雷达对纵深方向的敏感度远高于对视频检测，所以通过毫米波雷达用于检测所有车辆的速度和所有车辆之间的车距。
进一步地，参照图2，图2为本申请实施例的子流程示意图，在本实施例中，根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息包括：
步骤201、根据所述所有车辆的ID以及所述所有车辆的速度进行融合；
步骤202、得到所述所有车辆的车况信息，所述车况信息至少包括车流量和平均车速。
在本实施例中，将通过监控视频获取得到的所有车辆的ID和通过毫米波雷达获取到的所有车辆的速度融合之后，就可知道被检测的路面上的每一辆车对应的速度，就可获取被检测的路面上的所有车辆的行驶状态，在固定的时间间隔内，还可计算出被检测路面的车流量和平均速度，得到被检测路面在一段时间内的车流量和平均速度后，就可判断被检测路面的路况情况，并可根据被检测路面的路况情况进行相应的预警，分析同一路段，一定时间内的车辆ID、速度等信息，可实时获取当前道路情况。
进一步地，根据所述路况信息进行相应的预警措施之后包括：
上传所述路况信息。
在本实施例中，获取了被检测路面的路况情况之后，将路况情况上传至大数据平台，及时发布路面情况，实现高效的路况信息反馈，为监管部门和出行人员提供有效的道路信息。
进一步地，参照图3，图3为本申请实施例的另一子流程示意图，在本实施中，通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性还包括：
步骤301、通过所述毫米波雷达实时探测所述毫米波雷达的检测范围内是否存在异物；
步骤302、若所述异物距离所述毫米波雷达的距离小于预设距离时，则计算所述异物的面积与所述毫米波雷达的检测范围的面积比；
步骤303、若所述面积比大于预设遮挡面积比，则判定所述毫米波雷达被遮挡并进行警报。
在本实施例中，毫米波雷达在检测被检测路面的情况时，实时探测被检测路面是否存在异物，先检测异物离毫米波雷达的距离是否小于预设距离，若是，再计算异物的面积与毫米波雷达可检测范围的面积比，若面积比大于预设遮挡面积比，则说明毫米波雷达被异物遮挡，则会发出相应的警报，提示工作人员进行遮挡物的清理。
进一步地，预设模型至少包括机动车与非机动车检测深度学习模型、神经网络非机动车属性分类模型、神经网络机动车属性分类模型和车牌文字识别模型。
在本实施例中，机动车与非机动车检测深度学习模型可检测监控视频中的每一帧图像中所有车辆在图像坐标系中的位置坐标，其中，机动车与非机动车检测深度学习模型可为YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector，通用物体检测算法)，对此不作限定。神经网络非机动车属性分类模型可识别出每一非机动车的颜色、人员佩戴安全帽、速度等信息；神经网络机动车属性分类模型可识别出每一机动车的颜色、行车方向、品牌等信息；车牌文字识别模型可识别出所有车辆的车牌ID。
在本实施例中，预设的模型可检测出车辆的各种违规行为，例如被检测路面上的所有车辆是否超速、逆行，或非机动车辆的人员是否未佩戴安全帽等违规行为。
在本实施例中，通过使用预先训练的模型来检测出道路上各种车辆的位置信息，以及机动车与非机动车的多个第一属性。
进一步地，根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息之后包括：
存储所述所有车辆的车况信息。
在本实施例中，存储所有车辆的车况信息用于今后的信息调用，及当前路况的分析，且联合监控车辆的实时情况，实现更广和更准确的监控覆盖。
进一步地，本申请实施例还提供了一种基于视觉与雷达的路况监控系统400，图4为本申请实施例中基于视觉与雷达的路况监控的程序模块示意图，在本实施例中，上述基于视觉与雷达的路况监控系统400包括：
视觉模块401：用于实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
雷达模块402：用于通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
转换模块403：用于根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
融合模块404：用于根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
预警模块405：用于根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
本申请实施例提供了一种基于视觉与雷达的路况监控系统400，可以实现：实时获取路面的监控视频，通过预设的模型获取监控视频中的所有车辆的第一属性，第一属性至少包括所有车辆在图像坐标系中的位置坐标；通过毫米波雷达扫描路面，得到路面的所有车辆的第二属性，所述第二属性至少包括所有车辆在极坐标系中的位置坐标；根据标定关系将所有车辆在极坐标系中的位置坐标转换为图像坐标系中的位置坐标，得到所有车辆在监控视频与所述毫米波雷达之间的对应关系；根据对应关系将所有车辆的第一属性和第二属性进行融合，得到所有车辆的车况信息；根据车况信息判断相应的路况信息，根据路况信息进行相应的预警措施。通过本发明提供的方法，通过监控视频和毫米波雷达的标定与匹配，整合每一辆车的特征信息，可及时发现路上的各种违规行为，为监管部门和出行人员提供有效的道路信息；且可以获取路面过往车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度，更好的实现交通险情、拥堵等方面的预警效果。
进一步地，本申请还提供一种基于视觉与雷达的路况监控设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于视觉与雷达的路况监控方法中的各个步骤。
进一步地，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的基于视觉与雷达的路况监控方法中的各个步骤。
在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明的说明书技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视觉与雷达的路况监控方法，其特征在于，所述方法包括：
实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
2.根据权利要求1所述的方法，其特征在于，所述第一属性至少包括所述所有车辆的ID；所述第二属性至少包括所述所有车辆相应的速度和所述所有车辆之间的车距。
3.根据权利要求2所述的方法，其特征在于，所述根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息包括：
根据所述所有车辆的ID以及所述所有车辆的速度进行融合；
得到所述所有车辆的车况信息，所述车况信息至少包括车流量和平均车速。
4.根据权利要求1所述的方法，其特征在于，所述根据所述路况信息进行相应的预警措施之后包括：
上传所述路况信息。
5.根据权利要求1所述的方法，其特征在于，所述通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性还包括：
通过所述毫米波雷达实时探测所述毫米波雷达的检测范围内是否存在异物；
若所述异物距离所述毫米波雷达的距离小于预设距离时，则计算所述异物的面积与所述毫米波雷达的检测范围的面积比；
若所述面积比大于预设遮挡面积比，则判定所述毫米波雷达被遮挡并进行警报。
6.根据权利要求1所述的方法，其特征在于，所述预设模型至少包括机动车与非机动车检测深度学习模型、神经网络非机动车属性分类模型、神经网络机动车属性分类模型和车牌文字识别模型。
7.根据权利要求1所述的方法，其特征在于，所述根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息之后包括：
存储所述所有车辆的车况信息。
8.一种基于视觉与雷达的路况监控系统，其特征在于，所述系统包括：
视觉模块：用于实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
雷达模块：用于通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
转换模块：用于根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
融合模块：用于根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
预警模块：用于根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
9.一种基于视觉与雷达的路况监控设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的基于视觉与雷达的路况监控方法中的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于视觉与雷达的路况监控方法中的各个步骤。
CN202110905378.6A 2021-08-06 2021-08-06 基于视觉与雷达的路况监控方法及系统、设备 Pending CN113658427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110905378.6A CN113658427A (zh) 2021-08-06 2021-08-06 基于视觉与雷达的路况监控方法及系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110905378.6A CN113658427A (zh) 2021-08-06 2021-08-06 基于视觉与雷达的路况监控方法及系统、设备

Publications (1)

Publication Number Publication Date
CN113658427A true CN113658427A (zh) 2021-11-16

Family

ID=78490977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110905378.6A Pending CN113658427A (zh) 2021-08-06 2021-08-06 基于视觉与雷达的路况监控方法及系统、设备

Country Status (1)

Country Link
CN (1) CN113658427A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882702A (zh) * 2022-05-10 2022-08-09 苏州思卡智能科技有限公司 一种基于光视融合的公路拥堵移动检测预警系统及方法
CN115376312A (zh) * 2022-07-22 2022-11-22 交通运输部路网监测与应急处置中心 一种基于雷达和视频融合的公路监控方法及系统
CN116721552A (zh) * 2023-06-12 2023-09-08 北京博宏科元信息科技有限公司 一种非机动车超速识别记录方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110007293A (zh) * 2019-04-24 2019-07-12 禾多科技（北京）有限公司 场端多线束激光雷达的在线标定方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN111899514A (zh) * 2020-08-19 2020-11-06 陇东学院 一种人工智能的拥堵检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110007293A (zh) * 2019-04-24 2019-07-12 禾多科技（北京）有限公司 场端多线束激光雷达的在线标定方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN111899514A (zh) * 2020-08-19 2020-11-06 陇东学院 一种人工智能的拥堵检测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882702A (zh) * 2022-05-10 2022-08-09 苏州思卡智能科技有限公司 一种基于光视融合的公路拥堵移动检测预警系统及方法
CN115376312A (zh) * 2022-07-22 2022-11-22 交通运输部路网监测与应急处置中心 一种基于雷达和视频融合的公路监控方法及系统
CN116721552A (zh) * 2023-06-12 2023-09-08 北京博宏科元信息科技有限公司 一种非机动车超速识别记录方法、装置、设备及存储介质
CN116721552B (zh) * 2023-06-12 2024-05-14 北京博宏科元信息科技有限公司 一种非机动车超速识别记录方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11840239B2 (en) Multiple exposure event determination
US11380105B2 (en) Identification and classification of traffic conflicts
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN102792314B (zh) 交叉通行碰撞警报系统
CN113658427A (zh) 基于视觉与雷达的路况监控方法及系统、设备
Battiato et al. On-board monitoring system for road traffic safety analysis
KR102453627B1 (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
Chang et al. Onboard measurement and warning module for irregular vehicle behavior
CN110895662A (zh) 车辆超载报警方法、装置、电子设备及存储介质
Mithun et al. Video-based tracking of vehicles using multiple time-spatial images
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
CN109900494B (zh) 一种测试用例的生成方法
CN113674523A (zh) 交通事故分析方法、装置及设备
Detzer et al. Analysis of traffic safety for cyclists: The automatic detection of critical traffic situations for cyclists
Patel et al. A framework for proactive safety evaluation of intersection using surrogate safety measures and non-compliance behavior
Maity et al. Maximising highway safety through ai-enabled detection of pedestrians and animals in v2x environments
Foresti et al. Vehicle detection and tracking for traffic monitoring
Hnoohom et al. The video-based safety methodology for pedestrian crosswalk safety measured: The case of Thammasat University, Thailand
Srinivasan et al. Advanced Driver Assistance System (ADAS) in Autonomous Vehicles: A Complete Analysis
CN117590863B (zh) 一种5g安防救援网联的无人机云边端协同控制系统
Borhade et al. A Heuristic Approach Using Intelligent Transportation System for the Detection of Vehicles for Effectively Road Traffic Management
Li et al. Automated region-based vehicle conflict detection using computer vision techniques
Gomes et al. Computer vision system to aid drivers of vehicles through vertical signaling traffic
Sairung et al. Vehicle Collision Prediction from Visual Sizes of Objects via Car Dash Camera
Chuan-Hsian et al. Highway Surveillance System Using Deep Learning Artificial Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211116