CN111583661A - 基于枪球联动与dnn的车辆闯红灯检测方法 - Google Patents

基于枪球联动与dnn的车辆闯红灯检测方法 Download PDF

Info

Publication number
CN111583661A
CN111583661A CN202010458811.1A CN202010458811A CN111583661A CN 111583661 A CN111583661 A CN 111583661A CN 202010458811 A CN202010458811 A CN 202010458811A CN 111583661 A CN111583661 A CN 111583661A
Authority
CN
China
Prior art keywords
vehicle
ball machine
red light
wheel
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010458811.1A
Other languages
English (en)
Other versions
CN111583661B (zh
Inventor
魏保安
徐晴晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bi Shengyun Wuhan Information Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010458811.1A priority Critical patent/CN111583661B/zh
Publication of CN111583661A publication Critical patent/CN111583661A/zh
Application granted granted Critical
Publication of CN111583661B publication Critical patent/CN111583661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)

Abstract

本发明公开了一种基于枪球联动与DNN的车辆闯红灯检测方法。该方法包括：对枪机采集到的图像进行车辆关键点检测；利用车辆标签图对每一辆车的关键点进行关键点匹配，得到车辆朝向信息；将与限制通行方向一致朝向的车辆关键点热力图传输至球机；根据信号灯信息进行球机位姿初步调整；根据车辆前轮坐标信息，调整球机位姿，使旋转后球机光心对应像平面中心为车前轮间的中心点；根据与CIM中安全停止线位置的关系，得到闯红灯行为检测的结果，并进行闯红灯车辆的图像采集。利用本发明，在车辆闯红灯检测中，不仅提高了车辆闯红灯检测精度、检测过程的智能化程度、闯红灯图像的清晰度，而且提高了数据处理以及传输过程的安全性能。

Description

基于枪球联动与DNN的车辆闯红灯检测方法
技术领域
本发明涉及人工智能、智慧城市、CIM、区块链技术领域，具体涉及一种基于枪球联动与DNN的车辆闯红灯检测方法。
背景技术
随着我国社会经济和科学技术的迅捷发展，以人力资源为主的交通监管方法已经出现很大的局限性，例如：使用人员进行实时监管的工作成本过高；监管的工作效率低；监管的准确性不高易受到主观因素的影响；人力资源的缺乏导致对监管的不力等问题。
2010年，IBM正式提出了“智慧城市”这一概念，智慧城市经历了十年时间的探索，目前已经初具成效，但对于一些传统部门智慧城市的思想还没有完全应用在日常的工作中。
交通管理部门对于闯红灯行为的监管办法目前为：对采集视频进行分析，对每辆车截取车过线前、车过线后以及车驶入路口三张图像由监管者进行判断。这样的方法导致监管者工作量大且耗时很长。
目前交通部门使用的路况图像采集摄像头只能采集指定一小块区域内的车辆经过情况，且对采集的图像通过人员进行分析，导致工作效率低，也可能有误判或错判的情况发生。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于枪球联动与DNN的车辆闯红灯检测方法，不仅提高了车辆闯红灯检测精度、检测过程的智能化程度、闯红灯图像的清晰度，而且提高了数据处理以及传输过程的安全性能。
一种基于枪球联动与DNN的车辆闯红灯检测方法，该方法包括：
步骤1，基于深度神经网络对枪机采集的图像进行车轮关键点检测，输出车轮关键点热力图以及车辆标签图；
步骤2，根据车辆标签图，对拥有相同车辆标签的车轮关键点，为每个关键点寻找距离最近的点，得到车辆前桥、后桥位置信息，进而得到车辆朝向；
步骤3，根据路口信号灯信息确定限制通行方向，将车辆朝向为限制通行方向的车轮关键点热力图传输至球机；
步骤4，根据信号灯信息进行球机位姿初步调整，使城市信息模型地面坐标系中限制通行方向的安全停止线中心点投影到球机像平面中心点；
步骤5，根据车辆前轮坐标信息，调整球机位姿，使旋转后球机光心对应像平面中心为车前轮间的中心点：
步骤5a，对接收的车轮关键点热力图进行峰值点回归，得到车轮关键点位置；
步骤5b，将车轮关键点位置投影到城市信息模型地面坐标系，并计算车前轮间的中心点位置；
步骤5c，以旋转前相机光心到对应相机像平面中心的带方向的距离作为向量
Figure BDA0002510223000000011
旋转后相机光心到对应像平面中心的带方向的距离作为向量
Figure BDA0002510223000000021
旋转后球机光心对应像平面中心为车前轮间的中心点，计算球机旋转角θ：
Figure BDA0002510223000000022
步骤5d，令
Figure BDA0002510223000000023
Figure BDA0002510223000000024
为旋转轴，球机旋转向量的方向为旋转轴，球机旋转向量的模为θ，得到球机旋转向量
Figure BDA0002510223000000025
步骤5e，计算旋转矩阵：设球机旋转向量的单位向量为r＝[rx ry rz]T，角度为θ，对应球机旋转矩阵为R：
Figure BDA0002510223000000026
其中I为三阶单位矩阵；
步骤5f，在世界坐标系选择一个点，通过外参矩阵求得其对应相机坐标系的点，结合其像平面坐标系中对应的点坐标，根据三角形相似计算焦距；
步骤5g，球机根据球机旋转矩阵调整位姿，根据焦距调焦；
步骤6，球机根据CIM中前车轮位置与安全线位置的距离，得到闯红灯行为检测的结果，并进行闯红灯车辆的图像采集；
步骤7，将闯红灯行为检测结果以及采集的图像上传到城市信息模型，通过WebGIS技术对城市信息模型进行可视化。
步骤1包括：
步骤1a，配置深度神经网络以及关键点匹配单元，深度神经网络包括车轮检测编码器、车轮检测解码器；
步骤1b，将深度神经网络推理任务拆分为车轮检测编码器推理任务、车轮检测解码器推理任务；
步骤1c，将车轮检测编码器推理任务、车轮检测解码器推理任务、关键点匹配单元任务分别分配至随机选取的不同的计算机节点；
步骤1d，计算机节点中各任务所需参数作为区块主体数据，按照深度神经网络以及深度神经网络与关键点匹配单元之间的运算顺序，将各计算机节点中的区块连接，生成区块链私链；
步骤1e，在相应的计算机节点上，对枪机采集的图像进行车轮检测编码器推理任务，输出特征图；
步骤1f，对特征图执行车轮检测解码器推理任务，输出车轮关键点热力图以及车辆标签图。
步骤2包括：
在相应的计算机节点上，所述关键点匹配单元根据车辆标签图，对拥有相同车辆标签的车轮关键点，为每个关键点寻找距离最近的点，得到车辆前桥、后桥位置信息，进而得到车辆朝向。
步骤3包括：
步骤3a，获取城市信息模型中路口信号灯的限制限制通行方向信息、通行起止时间信息；
步骤3b，根据步骤2得到的车辆朝向信息，将限制通行方向的车轮关键点热力图传输至球机。
步骤6包括：
步骤6a，球机将接收到的车轮关键点热力图中前车轮关键点通过softargmax得到二维坐标，投影到城市信息模型地面坐标系；
步骤6b，计算前车轮坐标与安全线之间的距离，并设定一个阈值，车前轮越过安全线距离超过设定阈值判定为闯红灯行为，触发球机采集闯红灯车辆图像。
随机选取的不同的计算机节点的选择方法为：
根据随机数种子利用逆同余法生成随机数序列，排序生成随机数的数值大小索引，得到数值大小索引序列，依次取数值大小索引序列中对应索引的计算机节点作为执行任务的节点。
采用RC5加密算法对所述区块链私链之间传输的数据进行加密、解密。
本发明与现有技术相比，具有以下有益效果：
1.本发明采用深度神经网络技术对枪机采集的图像进行分析，检测出车轮关键点，神经网络使用大量样本进行训练，具有更好的泛化性能，相比于传统的车辆检测技术，提高了检测的准确度。
2.本发明对车轮关键点进行自动分析，得到车辆朝向信息，进一步结合路口信号灯信息将限制通行方向的车辆信息传输至球机，整个过程由设备端以及服务器节点完成，无需人工监督和干预，实现了自动化的闯红灯检测，提高了方法的智能化程度。
3.本发明对球机进行两次位姿调整，使球机对准车辆两前轮的中心点，能够获得更加清晰的违章车辆的车牌信息。
4.本发明采用集群技术，对深度神经网络的不同模块进行分布式计算，提高了本发明方法的计算效率。
5.本发明采用区块链技术，对深度神经网络推理请求配置区块链私链，能够有效保护推理任务对应功能单元参数的安全性。
6.本发明对集群节点间传输的数据，也就是区块链私链之间传输的数据进行加密，能够防止数据泄露，进一步提高本发明方法的安全性能。
附图说明
图1为本发明方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于枪球联动与DNN的车辆闯红灯检测方法。首先，利用枪机采集十字路口的车辆图像信息，将图像送入编码器解码器中得到车轮检测的Heatmap，并进行关键点匹配，得到方向信息并区分车辆。结合红灯开启的时间，将不同方向的车辆作为目标送入球机中并调整球机位姿。球机由Heatmap的热斑，得到车轮的坐标点，将前车轮坐标信息结合CIM信息中的安全线位置信息，输出闯红灯行为的检测结果，并调整位姿采集闯红灯车辆图像。采用深度神经网络进行训练，最终能够实现鲁棒性更强、泛化能力更强、无需调参的计算机视觉分类系统。图1为本发明方法的流程图。下面通过具体实施例来进行说明。
实施例1：
首先构建交通道路区域的城市信息模型CIM及其信息交换模块的系统内部关系。城市信息模型以城市信息数据为基础，建立起三维城市空间模型和城市信息的有机综合体。交通道路区域的城市信息模型，包括交通道路场景建模所需的各种信息，例如路口地理位置信息、红绿灯相关信息、相机地理位置信息以及相机位姿。交通道路区域的城市信息模型还可以包括闯红灯检测结果信息。信息交换模块用于完成城市信息模型与闯红灯检测方法之间的信息传输。例如：对于固定位姿的枪机，可以获得包含其相机的内参矩阵与外参矩阵信息；对于相机拍摄区域，可以得到某一位置世界坐标系下的坐标点；对于红绿灯，可以得到红灯开始与结束的时间点等。
本发明的主要目的为实现十字路口闯红灯行为的检测，基于深度神经网络实现，网络输出的结果为对闯红灯行为的检测结果。闯红灯检测深度神经网络的具体工作内容如下。
枪机为固定位姿摄像头，对十字路口的车辆信息进行图像采集。在本实施例中，车辆关键点为车轮位置，具体为车轮的中心在地面上投影点，即车轮与地面接触点。将枪机采集到的图像送入车轮检测编码器与车轮检测解码器中，得到车辆关键点热力图即车轮热力图Heatmap以及车辆标签图，车辆标签图其目的为对不同车辆的关键点进行分组，通过嵌入车辆标签实现。
对每一辆车的关键点进行关键点匹配，得到车辆朝向信息。由于车辆车轮四个关键点一般可形成一个平行四边形形状，对于拥有同组标签的车轮关键点，按照贪婪算法为每个关键点寻找距离最近的点即可。将距离最近的点连接，即可获知汽车前桥、后桥位置，如此可以得到车辆朝向信息。
路口的道路一般为两个方向，在此称为第一方向和第二方向。一般情况下，路口通行方向仅限第一方向或第二方向中的一个方向。在第一方向禁止通行时，将第一方向车轮关键点热力图输送到球机，对球机进行位姿调整，调整到球机第一方向位姿，经过闯红灯判断后，拍摄图像。第二方向禁止通行时，类似。设路口为东西朝向与南北朝向相交的十字路口，结合车辆朝向信息中城市信息模型CIM中红灯亮起与结束时间段信息，将车辆分为东西方向与南北方向，根据红灯信息，选择其中一个方向(限制通行方向)车辆的车轮热力图Heatmap传输至球机。例如，在红灯限制东西方向通行时，枪机对图像处理后得到车辆朝向信息，分为南北方向车辆与东西方向车辆。将东西方向车辆的车轮检测Heatmap送入球机中。红灯限制南北方向通行同理。
球机设置为十字路口对角方向的两个球机，球机根据红灯信息进行车辆采集，位置固定为对角方向但拍摄方位不固定，根据红灯信息调整位姿。该步骤中根据红灯信息球机旋转的角度是固定的，使CIM地面坐标系中对应路口安全停止线中心点投影到相机像平面中心点。在下一步骤中，球机根据车辆位置调整位姿并完成拍摄违章车辆车牌图像后，将球机重新调整到该步骤球机位姿即可，因此，该步骤中球机旋转的角度是固定的。
球机对接收的车轮关键点热力图进行峰值点回归，得到车轮关键点坐标；将车轮关键点坐标投影到城市信息模型地面坐标系，并计算车前轮中心点位置。根据上一步骤，旋转前相机光心对应像平面中心为安全线中心点，旋转球机使旋转后相机光心对应像平面中心为车前轮间的中心点，此中心点坐标可通过枪机输出的Heatmap中车前轮位置经softargmax后再投影到CIM地面坐标系中求得。以旋转前相机光心到对应相机像平面中心的带方向的距离作为向量
Figure BDA0002510223000000041
旋转后相机光心到对应像平面中心的带方向的距离作为向量
Figure BDA0002510223000000042
需要说明的是，相机中心在旋转过程中会有一些位置偏移，但可以忽略不计。得到旋转角θ，其公式为：
Figure BDA0002510223000000051
接着，
Figure BDA0002510223000000052
Figure BDA0002510223000000053
为旋转轴，旋转向量的方向为旋转轴，旋转向量的模为θ，得到旋转向量
Figure BDA0002510223000000054
接着，通过Rodrigues变换得到旋转矩阵R。其变换过程为：设旋转向量的单位向量为r＝[rx ry rz]T，角度为θ，对应旋转矩阵为R。公式为：
Figure BDA0002510223000000055
Figure BDA0002510223000000056
其中I为三阶单位矩阵。
在枪球联动摄像头情况下，平移矩阵是已知量，即枪机位姿的平移矩阵。由旋转矩阵和平移矩阵得到相机的外参数矩阵。内参数矩阵K为
Figure BDA0002510223000000057
其中未知的仅为焦距f，通过在世界坐标系选择一个点M(Xc,Yc,Zc)，结合其相机坐标系中对应的点M′(x,y)，设相机坐标系原点到世界坐标系原点的距离为f，则根据三角形相似可以计算焦距f，其公式为：
Figure BDA0002510223000000058
本发明中选择世界坐标系中目标闯红灯车辆两个车前轮中心点，通过调整焦距使两个点投影到像平面坐标系中的距离合适，即便于球机采集车牌图像信息。确定焦距后，可以得到相机投影矩阵P＝K[R|t]。通过投影矩阵改变球机位姿。
球机将前车轮位置坐标投影到CIM模型中，根据与CIM中安全线位置的关系，得到闯红灯行为检测的结果，并进行闯红灯车辆的图像采集。球机将接收到的车轮热力图Heatmap中前车轮关键点通过softargmax得到二维坐标，投影到CIM地面坐标系中，计算前车轮坐标与安全线之间的距离，并设定一个阈值，优选地，阈值设定为3m，即车前轮越过安全线距离超过3m判定为闯红灯行为并采集闯红灯车辆图像。此时，由于球机已经对准车前轮中心位置，因此可以获得清晰的闯红灯车辆的车牌图像。
闯红灯检测网络中枪机网络的具体训练方法如下：训练数据集的准备，首先以路口采集的车辆图片作为训练数据集，其中包含了东西车头朝向和南北车头朝向的车辆图片，其比例约为1：1。对训练数据集作特征标注，对枪机的车轮关键点检测，将四个车轮的中心在地面上投影为一个点，对关键点位置进行高斯模糊生成的一个热斑进行特征标注，都利用均方差损失函数，随机梯度下降法进行训练。对分组标签的训练标注对不同组别的像素点进行标注，其中同一组别的像素点的标签应该相同。训练过程利用对每个组别的一部分像素，给予一部分随机像素进行分组训练。根据分组损失函数，随机梯度下降法进行训练。分组损失函数计算公式为：
Figure BDA0002510223000000059
为第n个对象的参考嵌入，
Figure BDA00025102230000000510
Figure BDA00025102230000000511
为分组损失函数。其中，k为关键点数量，n为对象数量，hk为标记第k个关键点的预测热图，xnk为第n个对象的第k个关键点的位置。
由于设备端即枪机摄像头与球机摄像头的硬件性能存在限制，如果将本发明方法的计算都置于设备端，计算效率很低，实时性无法满足要求，因此采用云计算的计算机集群执行本实施例的部分计算。而当下使用云计算时存在数据容易泄露，安全性无法保障的问题，因此使用区块链私链的形式，将深度神经网络的模块作为区块，进行分散的推理，从而实现分布式节点、加密、高容灾的优秀性能。
首先，将闯红灯检测深度神经网络进行模块化拆分，按照模块功能将其拆分为车轮检测编码器、车轮检测解码器。然后，将上述功能模块任务以及关键点匹配单元任务分配至计算机节点进行推理计算。计算机集群中所有节点加载闯红灯检测深度神经网络所需参数以及关键点匹配单元任务所需参数。随机选取计算机节点，实施者应当知道，应当拥有足够多的计算节点。节点的选择是随机化的，一种方法是：对可用的节点进行排序，将任务的编号顺序通过随机种子的方法打乱重新排序，最后送入序号相对应的节点进行运算。其具体方法为：首先产生一个新的随机数种子，可利用IP、Global Time等多种方式选择，在此不做赘述。选择好随机数种子后，利用逆同余法进行随机数的产生。将种子设为X0，X(n+1)＝(aX(n)-1+b)mod c，重复即可产生多个随机数。需要说明的是，应当至少生成与可用节点个数相同个数的随机数。然后将随机数序列中的随机数对应到任务，例如，任务1对应X0，任务2对应X1，然后根据排序算法对每一任务生成其对应的随机数数值大小索引，在将任务分配至对应索引的节点即可。将车轮检测编码器推理任务、车轮检测解码器推理任务、关键点匹配单元任务分别分配至随机选取的不同的计算机节点，将节点中的任务参数作为区块主体数据，也就是说将车轮检测编码器、车轮检测解码器、关键点匹配单元所需参数作为区块主体数据，即可得到3个区块，分别标记为第一区块、第二区块、第三区块，按照本发明方法的计算顺序将3个区块连接，即可得到区块链私链。该区块链私链在网络推理过程中，可以保护神经网络参数不被攻击，提高网络的安全性能。需要说明的是，针对每一个请求，也就是每一帧待检测的图像在随机选取的计算机节点上生成一个区块链私链，是动态变化的，进一步提高了抗攻击性能。
在配置完区块链私链之后，按照神经网络的链式推理逻辑进行运算。具体的推理流程可以按照链式逻辑进行，在此简称链式推理：即摄像头采集图像通过区块1所在节点的编码、以及区块2节点的解码操作生成车轮检测的Heatmap和车辆标签图；Heatmap获得的车轮关键点信息与车辆标签图作为输入，送入关键点匹配单元的对应区块3节点，通过关键点匹配获得车辆朝向信息。根据红灯信息选择相对应朝向车轮检测Heatmap送入球机，球机通过车前轮关键点信息结合CIM中安全线位置信息得到闯红灯检测结果并采集违章车辆图像。
节点到节点之间的数据传输是需要加密手段的，在此使用RC5加密算法的机制，具体方法为：创建密钥组：RC5算法加密时使用了2r+2个密钥相关的32位字，这里r表示加密的轮数。创建密钥组，首先将密钥字节拷贝到32位字的数组L中(此时要注意处理器是little-endian顺序还是big-endian顺序)，如果需要，最后一个字可以用零填充。然后利用线性同余发生器初始化数组S，最后将L与S混合。加密处理：在创建完密钥组后开始进行对明文的加密，加密时，首先将明文分组划分为两个32位字：A和B(例如在假设处理器字节顺序是little-endian、w＝32的情况下，第一个明文字节进入A的最低字节，第四个明文字节进入A的最高字节，第五个明文字节进入B的最低字节，以此类推)，循环左移，与密钥进行加运算。输出的密文是在寄存器A和B中的内容。解密处理：把密文分组划分为两个字：A和B(存储方式和加密一样)，这里符合循环右移，与密钥进行减运算。本发明所有节点之间的数据都基于此加密算法进行传输。
实施者应当知道，具体使用何种加密方式，何时更新密钥，可按照实际情况来定，何时更新、如何更新有多种公知方法，例如定时更新、手动更新。
为了直观的呈现出网络输出的信息，本发明结合交通道路区域的CIM通过WebGIS进行可视化处理。通过二维图像处理得到的目标坐标点，通过矩阵投影到CIM的三维建筑模型中，结合摄像头的坐标信息，可以精确的定位到目标所在位置。同时，通过WebGIS的可视化，监管人员可以在Web上进行检索、查询和分析，便于监管人员了解路口区域内车辆闯红灯行为检测的情况以及违章车辆的图片信息并采取相应的措施。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于枪球联动与DNN的车辆闯红灯检测方法，其特征在于，该方法包括：
步骤1，基于深度神经网络对枪机采集的图像进行车轮关键点检测，输出车轮关键点热力图以及车辆标签图；
步骤2，根据车辆标签图，对拥有相同车辆标签的车轮关键点，为每个关键点寻找距离最近的点，得到车辆前桥、后桥位置信息，进而得到车辆朝向；
步骤3，根据路口信号灯信息确定限制通行方向，将车辆朝向为限制通行方向的车轮关键点热力图传输至球机；
步骤4，根据信号灯信息进行球机位姿初步调整，使城市信息模型地面坐标系中限制通行方向的安全停止线中心点投影到球机像平面中心点；
步骤5，根据车辆前轮坐标信息，调整球机位姿，使旋转后球机光心对应像平面中心为车前轮间的中心点：
步骤5a，对接收的车轮关键点热力图进行峰值点回归，得到车轮关键点位置；
步骤5b，将车轮关键点位置投影到城市信息模型地面坐标系，并计算车前轮间的中心点位置；
步骤5c，以旋转前相机光心到对应相机像平面中心的带方向的距离作为向量
Figure FDA0002510222990000011
旋转后相机光心到对应像平面中心的带方向的距离作为向量
Figure FDA0002510222990000012
旋转后球机光心对应像平面中心为车前轮间的中心点，计算球机旋转角θ：
Figure FDA0002510222990000013
步骤5d，令
Figure FDA0002510222990000014
Figure FDA0002510222990000015
为旋转轴，球机旋转向量的方向为旋转轴，球机旋转向量的模为θ，得到球机旋转向量
Figure FDA0002510222990000016
步骤5e，计算旋转矩阵：设球机旋转向量的单位向量为r＝[rx ry rz]T，角度为θ，对应球机旋转矩阵为R：
Figure FDA0002510222990000017
其中I为三阶单位矩阵；
步骤5f，在世界坐标系选择一个点，通过外参矩阵求得其对应相机坐标系的点，结合其像平面坐标系中对应的点坐标，根据三角形相似计算焦距；
步骤5g，球机根据球机旋转矩阵调整位姿，根据焦距调焦；
步骤6，根据CIM中前车轮位置与安全线位置的距离，得到闯红灯行为检测的结果，球机根据结果进行闯红灯车辆的图像采集；
步骤7，将闯红灯行为检测结果以及采集的图像上传到城市信息模型，通过WebGIS技术对城市信息模型进行可视化。
2.如权利要求1所述的方法，其特征在于，步骤1包括：
步骤1a，配置深度神经网络以及关键点匹配单元，深度神经网络包括车轮检测编码器、车轮检测解码器；
步骤1b，将深度神经网络推理任务拆分为车轮检测编码器推理任务、车轮检测解码器推理任务；
步骤1c，将车轮检测编码器推理任务、车轮检测解码器推理任务、关键点匹配单元任务分别分配至随机选取的不同的计算机节点；
步骤1d，计算机节点中各任务所需参数作为区块主体数据，按照深度神经网络以及深度神经网络与关键点匹配单元之间的运算顺序，将各计算机节点中的区块连接，生成区块链私链；
步骤1e，在相应的计算机节点上，对枪机采集的图像进行车轮关键点检测编码器推理任务，输出特征图；
步骤1f，在相应的计算机节点上，对特征图执行车轮检测解码器推理任务，输出车轮关键点热力图以及车辆标签图。
3.如权利要求1所述的方法，其特征在于，步骤2包括：
在相应的计算机节点上，所述关键点匹配单元根据车辆标签图，对拥有相同车辆标签的车轮关键点，为每个关键点寻找距离最近的点，得到车辆前桥、后桥位置信息，进而得到车辆朝向。
4.如权利要求1所述的方法，其特征在于，步骤3包括：
步骤3a，获取城市信息模型中路口信号灯的限制限制通行方向信息、通行起止时间信息；
步骤3b，根据步骤2得到的车辆朝向信息，将限制通行方向的车轮关键点热力图传输至球机。
5.如权利要求1所述的方法，其特征在于，步骤6包括：
步骤6a，球机将接收到的车轮关键点热力图中前车轮关键点通过softargmax得到二维坐标，投影到城市信息模型地面坐标系；
步骤6b，计算前车轮坐标与安全线之间的距离，并设定一个阈值，车前轮越过安全线距离超过设定阈值判定为闯红灯行为，触发球机采集闯红灯车辆图像。
6.如权利要求2所述的方法，其特征在于，所述随机选取的不同的计算机节点的选择方法为：
根据随机数种子利用逆同余法生成随机数序列，排序生成随机数的数值大小索引，得到数值大小索引序列，依次取数值大小索引序列中对应索引的计算机节点作为执行任务的节点。
7.如权利要求2所述的方法，其特征在于，采用RC5加密算法对所述区块链私链之间传输的数据进行加密、解密。
CN202010458811.1A 2020-05-27 2020-05-27 基于枪球联动与dnn的车辆闯红灯检测方法 Active CN111583661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010458811.1A CN111583661B (zh) 2020-05-27 2020-05-27 基于枪球联动与dnn的车辆闯红灯检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010458811.1A CN111583661B (zh) 2020-05-27 2020-05-27 基于枪球联动与dnn的车辆闯红灯检测方法

Publications (2)

Publication Number Publication Date
CN111583661A true CN111583661A (zh) 2020-08-25
CN111583661B CN111583661B (zh) 2023-05-09

Family

ID=72127329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010458811.1A Active CN111583661B (zh) 2020-05-27 2020-05-27 基于枪球联动与dnn的车辆闯红灯检测方法

Country Status (1)

Country Link
CN (1) CN111583661B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184605A (zh) * 2020-09-24 2021-01-05 华人运通(上海)自动驾驶科技有限公司 一种车辆驾驶视野增强方法、设备及系统
CN113538924A (zh) * 2021-05-20 2021-10-22 浙江大华技术股份有限公司 车辆抓拍方法、装置、电子设备、计算机可读存储介质
CN114241051A (zh) * 2021-12-21 2022-03-25 盈嘉互联（北京）科技有限公司 一种室内复杂场景的物体姿态估计方法
CN114782445A (zh) * 2022-06-22 2022-07-22 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809873A (zh) * 2015-04-14 2015-07-29 深圳市润安科技发展有限公司 一种车辆闯红灯检测处罚方法和系统
CN108765945A (zh) * 2018-05-31 2018-11-06 深圳市元征科技股份有限公司 一种车辆违章识别方法及系统
CN109949579A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的闯红灯违法自动审核方法
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110197589A (zh) * 2019-05-29 2019-09-03 杭州诚道科技股份有限公司 一种基于深度学习的闯红灯违法检测方法
CN110490256A (zh) * 2019-08-20 2019-11-22 中国计量大学 一种基于关键点热图的车辆检测方法
CN111046826A (zh) * 2019-12-20 2020-04-21 北京碧拓科技有限公司 一种远红外热成像人脸关键点的定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809873A (zh) * 2015-04-14 2015-07-29 深圳市润安科技发展有限公司 一种车辆闯红灯检测处罚方法和系统
WO2016165150A1 (zh) * 2015-04-14 2016-10-20 深圳市润安科技发展有限公司 一种车辆闯红灯检测处罚方法和系统
CN108765945A (zh) * 2018-05-31 2018-11-06 深圳市元征科技股份有限公司 一种车辆违章识别方法及系统
CN109949579A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的闯红灯违法自动审核方法
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110197589A (zh) * 2019-05-29 2019-09-03 杭州诚道科技股份有限公司 一种基于深度学习的闯红灯违法检测方法
CN110490256A (zh) * 2019-08-20 2019-11-22 中国计量大学 一种基于关键点热图的车辆检测方法
CN111046826A (zh) * 2019-12-20 2020-04-21 北京碧拓科技有限公司 一种远红外热成像人脸关键点的定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨晓钧等: "《工业机器人技术》", 31 August 2015, 哈尔滨工业大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184605A (zh) * 2020-09-24 2021-01-05 华人运通(上海)自动驾驶科技有限公司 一种车辆驾驶视野增强方法、设备及系统
CN113538924A (zh) * 2021-05-20 2021-10-22 浙江大华技术股份有限公司 车辆抓拍方法、装置、电子设备、计算机可读存储介质
CN114241051A (zh) * 2021-12-21 2022-03-25 盈嘉互联（北京）科技有限公司 一种室内复杂场景的物体姿态估计方法
CN114782445A (zh) * 2022-06-22 2022-07-22 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN114782445B (zh) * 2022-06-22 2022-10-11 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111583661B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111583661B (zh) 基于枪球联动与dnn的车辆闯红灯检测方法
Zhang et al. Polarnet: An improved grid representation for online lidar point clouds semantic segmentation
Liu et al. RDS-SLAM: Real-time dynamic SLAM using semantic segmentation methods
Sattler et al. Are large-scale 3d models really necessary for accurate visual localization?
Yu et al. V2x-seq: A large-scale sequential dataset for vehicle-infrastructure cooperative perception and forecasting
WO2018066351A1 (ja) シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
CN111611948A (zh) 基于cim与区块链的城市垃圾桶满溢检测方法
CN111611937A (zh) 基于bim和神经网络的监狱人员异常行为监测方法
Zou et al. Joint headlight pairing and vehicle tracking by weighted set packing in nighttime traffic videos
Par et al. Real-time traffic sign recognition with map fusion on multicore/many-core architectures
Zheng et al. A robust strategy for roadside cooperative perception based on multi-sensor fusion
CN111476208A (zh) 利用区块链的智慧工地施工人员聚集监测系统
CN111553269A (zh) 基于区块链的智慧工地车辆堵塞监测系统
CN106651948A (zh) 一种定位方法及手柄
Gao et al. Vision‐based fatigue crack automatic perception and geometric updating of finite element model for welded joint in steel structures
CN111507270A (zh) 基于区块链与深度学习的车辆违法行为检测系统
Chen et al. A study of parking-slot detection with the aid of pixel-level domain adaptation
US8670621B1 (en) Using invariants of spherical harmonics to rotational and translational transformations for image recognition in industrial and security applications
Chiu et al. Selective communication for cooperative perception in end-to-end autonomous driving
Wang et al. Collaborative 3D object detection for automatic vehicle systems via learnable communications
Pire et al. An experimental evaluation of feature detectors and descriptors for visual SLAM
Hu et al. PC-NeRF: Parent-Child Neural Radiance Fields under Partial Sensor Data Loss in Autonomous Driving Environments
Piano et al. Bent & Broken Bicycles: Leveraging synthetic data for damaged object re-identification
CN111612645A (zh) 基于枪球联动与bim的畜牧动物入栏检测方法
CN111967444A (zh) 基于神经网络和cim的非机动车逆行监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221226

Address after: 276000 Linyi, Shandong, Lanshan District, the northern part of Mengshan Avenue West of the exhibition capital of the 1 home building 414-416.

Applicant after: SHANDONG HUA XIA HIGH TECH. INFORMATION Inc.

Address before: 610000 No. 2006 West Yuan Road, Chengdu high tech Zone (West District), Sichuan

Applicant before: Wei Baoan

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230331

Address after: 430000, No. 666, Wuhuan Avenue, linkonggang economic and Technological Development Zone, Wuhan City, Hubei Province

Applicant after: Bi Shengyun (Wuhan) Information Technology Co.,Ltd.

Address before: 276000 Linyi, Shandong, Lanshan District, the northern part of Mengshan Avenue West of the exhibition capital of the 1 home building 414-416.

Applicant before: SHANDONG HUA XIA HIGH TECH. INFORMATION Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Detecting Vehicles Running Red Lights Based on Gun Ball Linkage and DNN

Effective date of registration: 20230921

Granted publication date: 20230509

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Bi Shengyun (Wuhan) Information Technology Co.,Ltd.

Registration number: Y2023980058040

PE01 Entry into force of the registration of the contract for pledge of patent right