CN111444845A - 一种非机动车辆违停识别方法、装置及系统 - Google Patents

一种非机动车辆违停识别方法、装置及系统 Download PDF

Info

Publication number
CN111444845A
CN111444845A CN202010225452.5A CN202010225452A CN111444845A CN 111444845 A CN111444845 A CN 111444845A CN 202010225452 A CN202010225452 A CN 202010225452A CN 111444845 A CN111444845 A CN 111444845A
Authority
CN
China
Prior art keywords
motor vehicle
coordinate system
latitude
longitude
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010225452.5A
Other languages
English (en)
Other versions
CN111444845B (zh
Inventor
姚想
崔伟
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Digital Design And Manufacturing Innovation Center Co ltd
Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Original Assignee
Wuhan Digital Design And Manufacturing Innovation Center Co ltd
Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Digital Design And Manufacturing Innovation Center Co ltd, Jiangsu Jihui Huake Intelligent Equipment Technology Co ltd filed Critical Wuhan Digital Design And Manufacturing Innovation Center Co ltd
Priority to CN202010225452.5A priority Critical patent/CN111444845B/zh
Publication of CN111444845A publication Critical patent/CN111444845A/zh
Application granted granted Critical
Publication of CN111444845B publication Critical patent/CN111444845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及非机动车违停技术领域，具体公开了一种非机动车辆违停识别方法，其中，包括：获取摄像装置中的目标图像；根据目标检测算法识别出目标图像中的非机动车辆在图像坐标系中的位置；进行数据融合得到非机动车辆在激光雷达坐标系中的三维坐标；获取非机动车辆与巡视车的角度关系；获取巡视车的经纬度；计算非机动车辆的经纬度；将计算得到的非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；根据比较结果判断非机动车辆是否违停。本发明还公开了一种非机动车辆违停识别装置及系统。本发明提供的非机动车辆违停识别方法能够方便快捷的实现对非机动车辆违停的识别。

Description

一种非机动车辆违停识别方法、装置及系统
技术领域
本发明涉及非机动车违停技术领域，尤其涉及一种非机动车辆违停识别方法、非机动车辆违停识别装置及包括该非机动车辆违停识别装置的非机动车辆违停识别系统。
背景技术
近年来，“绿色出行”的环保观念越来越深入人心，骑自行车或者电动车等非机动车出行成为了当今的时尚潮流。据2019年中国自行车产业大会的相关报道，目前我国自行车社会保有量近4亿辆、电动自行车近3亿辆，均位居世界第一。海量的非机动车数量造就了大量的违停行为，这给城市管理带来了巨大的麻烦。
目前解决非机动车违停的方法主要有：兴建大量非机动车停车场、使用各种电子围栏技术对不停在围栏内的共享单车进行罚款、人工一辆辆摆放乱停乱放的车辆、通过人工识别违停车辆，并对车主开罚单等方法。这些方法有多重弊端：建大量停车场耗资巨大；电子围栏技术需要在车辆中和停车点安装感应装置，难以覆盖所有车辆和停车点；人工摆放违停车辆治标不治本；人工巡视违停车辆并开罚单效率低下。
因此，如何能够方便快捷的识别违停非机动车成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种非机动车辆违停识别方法、非机动车辆违停识别装置及包括该非机动车辆违停识别装置的非机动车辆违停识别系统，解决相关技术中存在的缺乏方便快捷的识别违停非机动车的问题。
作为本发明的第一个方面，提供一种非机动车辆违停识别方法，其中，通过巡视车和设置在巡视车上的监控设备实现非机动车辆违停识别，所述监控设备包括摄像装置、激光雷达测距装置、旋转云台和定位装置，所述非机动车辆违停识别方法包括：
获取所述摄像装置中的目标图像；
若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置；
根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标；
根据所述旋转云台获取所述非机动车辆与所述巡视车的角度关系；
根据所述定位装置获取所述巡视车的经纬度；
根据所述非机动车辆在激光雷达坐标系中的三维坐标、所述非机动车辆与所述巡视车的角度关系以及所述巡视车的经纬度计算所述非机动车辆的经纬度；
将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；
根据比较结果判断所述非机动车辆是否违停。
进一步地，所述若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置，包括：
神经网络模型对输入的所述目标图像进行分析；
若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述非机动车辆的最小外接矩形中心点在图像坐标系中的位置。
进一步地，所述根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标系，包括：
标定所述摄像装置的内参数；
标定所述摄像装置和所述激光雷达测距装置的外参数；
根据所述摄像装置与所述激光雷达测距装置的外参数，计算所述非机动车辆的中心点在所述激光雷达坐标系中的三维坐标。
进一步地，所述标定所述摄像装置的内参数，包括：
根据摄像装置的成像原理，求像素坐标系-图像坐标系-相机坐标系-世界坐标系的关系，得到所述摄像装置的内参数。
进一步地，所述像素坐标系-图像坐标系-相机坐标系-世界坐标系的转换公式为：
Figure BDA0002427483410000021
其中，zc表示世界坐标系下三维点(xw,yw,zw)在相机坐标系下的z坐标，(u,v)表示所述三维点的像素坐标，量纲为像素；dx和dy分别表示每个像素物理的宽和高；；fx由f/dx计算得到，表示u轴方向上长度值为f时对应的像素个数；fy由f/dy计算得到，表示v轴方向上长度值为f时对应的像素个数；(u0,v0)表示摄像装置在像素坐标系中的光心坐标；R表示相机坐标系到世界坐标系的旋转矩阵；T表示相机坐标系到世界坐标系的平移矩阵。
进一步地，所述将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果，包括：
计算所述非机动车辆的经纬度与预设停车点的经纬度的差值；
将所述差值与预设阈值范围进行比较，得到比较结果。
进一步地，所述根据比较结果判断所述非机动车辆是否违停，包括：
若所述比较结果为所述差值在所述阈值范围内，则判定所述非机动车辆没有违停；
若所述比较结果为所述差值不在所述阈值范围内，则判定所述非机动车辆违停。
作为本发明的另一个方面，提供一种非机动车辆违停识别装置，其中，通过监控设备实现非机动车辆违停识别，所述监控设备包括巡视车和设置在所述巡视车上的摄像装置、激光雷达测距装置、旋转云台和定位装置，所述非机动车辆违停识别装置包括：
第一获取模块，用于获取所述摄像装置中的目标图像；
识别模块，用于若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置；
数据融合模块，用于根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标；
第二获取模块，用于根据所述旋转云台获取所述非机动车辆与所述巡视车的角度关系；
第三获取模块，用于根据所述定位装置获取所述巡视车的经纬度；
计算模块，用于根据所述非机动车辆在激光雷达坐标系中的三维坐标、所述非机动车辆与所述巡视车的角度关系以及所述巡视车的经纬度计算所述非机动车辆的经纬度；
比较模块，用于将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；
判断模块，用于根据比较结果判断所述非机动车辆是否违停。
作为本发明的另一个方面，提供一种非机动车辆违停识别系统，其中，包括：巡视车和设置在所述巡视车上的监控设备、车载主机和显示器，所述监控设备包括摄像装置、激光雷达测距装置、旋转云台和定位装置，所述激光雷达测距装置和所述摄像装置均位于所述旋转云台上，所述车载主机包括前文所述的非机动车辆违停识别装置，所述显示器和所述监控设备均与所述车载主机通信连接；
所述摄像装置用于拍摄目标图像；
所述激光雷达测距装置用于获取非机动车辆与所述巡视车之间的距离和角度；
所述旋转云台用于实现多角度旋转和俯仰；
所述定位装置用于实时定位所述巡视车的位置信息；
所述非机动车辆违停识别装置用于根据所述监控设备和所述巡视车实现非机动车辆违停识别；
所述显示器用于显示违停的非机动车辆。
进一步地，所述摄像装置包括相机，所述定位装置包括GPS卫星接收机。
本发明提供的非机动车辆违停识别方法，利用深度学习和图像识别和处理技术，识别出自然场景中的非机动车，通过多传感器数据融合的方式计算出非机动车的经纬度，并与事先采集好的停车点经纬度进行比较，如果超过阈值，则说明该车违停，则上传到后台服务系统，通知管理人员进行相应的处罚。这种非机动车辆违停识别方法能够更加方便的识别出违停的非机动车辆，更有利于城市管理部门使用法律手段促使公民养成良好的停车习惯，从根本上解决问题。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的非机动车辆违停识别方法的流程图。
图2为本发明提供的非机动车辆违停识别方法的一种具体实施方式流程图。
图3为本发明提供的非机动车辆违停识别方法的另一种具体实施方式流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种非机动车辆违停识别方法，其中，通过巡视车和设置在巡视车上的监控设备实现非机动车辆违停识别，所述监控设备包括摄像装置、激光雷达测距装置、旋转云台和定位装置，图1是根据本发明实施例提供的非机动车辆违停识别方法的流程图，如图1所示，包括：
S110、获取所述摄像装置中的目标图像；
S120、若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置；
S130、根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标；
S140、根据所述旋转云台获取所述非机动车辆与所述巡视车的角度关系；
S150、根据所述定位装置获取所述巡视车的经纬度；
S160、根据所述非机动车辆在激光雷达坐标系中的三维坐标、所述非机动车辆与所述巡视车的角度关系以及所述巡视车的经纬度计算所述非机动车辆的经纬度；
S170、将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；
S180、根据比较结果判断所述非机动车辆是否违停。
本发明实施例提供的非机动车辆违停识别方法，利用深度学习和图像识别和处理技术，识别出自然场景中的非机动车，通过多传感器数据融合的方式计算出非机动车的经纬度，并与事先采集好的停车点经纬度进行比较，如果超过阈值，则说明该车违停，则上传到后台服务系统，通知管理人员进行相应的处罚。这种非机动车辆违停识别方法能够更加方便的识别出违停的非机动车辆，更有利于城市管理部门使用法律手段促使公民养成良好的停车习惯，从根本上解决问题。
应当理解的是，本发明实施例所述非机动车辆违停识别方法所需的硬件支撑包括巡视车和设置在巡视车上的监控设备，在本发明实施例中，所述巡视车可以具体为轿车。将所述监控设备设置在轿车上，通过轿车在道路上巡视的方式采集数据，并识别是否违停。
下面结合图2和图3对本发明实施例提供的非机动车辆违停识别方法的具体实现过程进行详细说明。
首先，利用深度学习目标检测的方法在图像中识别出非机动车和其在图像坐标系中的位置，然后通过标定好的相机与激光雷达，以及旋转云台当前的角度，获取到非机动车与轿车之间的距离与角度关系，定位装置获取轿车处的经纬度，通过以上这些参数，计算出非机动车处的经纬度。
具体地，所述若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置，包括：
神经网络模型对输入的所述目标图像进行分析；
若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述非机动车辆的最小外接矩形中心点在图像坐标系中的位置。
可以通过相机拍摄一张图片，送入CenterNet神经网络模型中，推理分析出图片中是否包含非机动车，若包含，则输出非机动车最小外接矩形中心点在图像坐标系中的坐标，即利用目标检测CenterNet算法在图像中识别出非机动车最小外接矩形中心点在图像坐标系中的位置。
具体地，所述根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标系，包括：
标定所述摄像装置的内参数；
标定所述摄像装置和所述激光雷达测距装置的外参数；
根据所述摄像装置与所述激光雷达测距装置的外参数，计算所述非机动车辆的中心点在所述激光雷达坐标系中的三维坐标。
进一步具体地，所述标定所述摄像装置的内参数，包括：
根据摄像装置的成像原理，求像素坐标系-图像坐标系-相机坐标系-世界坐标系的关系，得到所述摄像装置的内参数。
进一步具体地，所述像素坐标系-图像坐标系-相机坐标系-世界坐标系的转换公式为：
Figure BDA0002427483410000061
其中，zc表示世界坐标系下三维点(xw,yw,zw)在相机坐标系下的z坐标，(u,v)表示所述三维点的像素坐标，量纲为像素；dx和dy分别表示每个像素物理的宽和高；；fx由f/dx计算得到，表示u轴方向上长度值为f时对应的像素个数，即mm/pixel，也即长度值为f(mm)时，在图像平面的x方向的像素个数；fy由f/dy计算得到，表示v轴方向上长度值为f时对应的像素个数，即mm/pixel，也即长度值为f(mm)时，在图像平面的y方向的像素个数；(u0,v0)表示摄像装置在像素坐标系中的光心坐标；R表示相机坐标系到世界坐标系的旋转矩阵；T表示相机坐标系到世界坐标系的平移矩阵。
在与世界坐标系下的齐次坐标进行计算时进行了归一化处理，整个计算过程如下：
Figure BDA0002427483410000062
x′＝xc/zc，
y′＝yc/zc，
u＝fx*x′+u0，
v＝fy*y′+v0，
以上推导公式都是在不考虑镜头畸变的理想情况，考虑径向畸变和切向畸变后：
x′＝x/z
y″＝y/z
x″＝x′·(1+k1·r2+k2·r4)+2·p1·x′·y′+p2·(r2+2x′2)
y″＝y′·(1+k1·r2+k2·r4)+p1·(r2+2·y′2)+2·p2·x′·y′，
r2＝x2+y2
u＝fx·x″+u0
v＝fy·y″+v0
k1和k2是径向形变系数，p1和p2是切向形变系数。
标定激光雷达测距装置与摄像装置的外参，是为了得到激光雷达坐标系到相机坐标系之间的转换关系，即旋转矩阵R和平移矩阵T，从而可以将激光雷达坐标系下的三维点云与相机坐标系下的图像数据建立起一一对应的关系，得出图像上某个像素点在相机坐标系中的三维点坐标。
由摄像装置捕获的目标图像数据由(u,v)表示，激光雷达捕获的三维点云用(x,y,z)表示，目标是建立一个转化矩阵，将三维点(x,y,z)映射到二维点(u,v)。由相机内参标定可知，可以得到图像点(u,v)与相机坐标系下对应点(xc,yc,zc)的关系，因此，在此基础上，再求出相机坐标系与Lidar坐标系位姿变换关系即可求出(u,v)与激光雷达坐标系下对应点的坐标(xL,yL,zL)，即：
Figure BDA0002427483410000071
其中，M1表示像素坐标到摄像机坐标的变换矩阵，R、T分别是摄像机坐标系与激光雷达坐标系之间的转换关系，也即是待求的未知量。
由PNP算法可知，为了求出图像二维点与激光雷达点云三维点之间的对应关系，需要知道超过3组对应点的二维坐标和三维坐标。激光雷达和相机刚性连接在一起，利用矩形标定板的四个顶点，解算出R、T矩阵。
具体地，可以通过下述计算方式计算非机动车辆的经纬度。
由于传感器可视距离的原因，待识别的非机动车辆等与轿车之间的距离不会超过70米，并且我国的经度范围：73°33′E～135°05′E，纬度范围：3°51′N～53°33′N，经纬度都在东经和北纬区域，所以可以使用简化的模型来求解这一问题，将空间球面坐标系直接转换为二维空间的平面坐标系。设α为轿车前进方向的航向角，从正北顺时针旋转到正东、正南、正西分别为0°，90°，180°，270°，航向角可以从卫星定位仪获取的数据中直接解析出来；θ为非机动车相对于轿车行驶方向的夹角，具体定义为以轿车为中心，从轿车的前进方向顺时针旋转到单车目标框中心点的夹角，由于实际使用时，为了获得更好的视野，摄像头一般斜向轿车右前方观看，故该角度范围可设定为0-90°，该数据可以从旋转云台的朝向和激光雷达获取的非机动车的角度信息中解析出来；d为轿车与非机动车之间的距离，可以从激光雷达中获取的点云数据中解析出来。考虑到非机动车与轿车在地球上经纬度坐标系下相对位置的不固定，需要分解到直角坐标系中四个象限来分类求解。最终，通过三角变换，四个象限的计算公式为同一个，即非机动车辆中心点B的经纬度(jB,wB)分别为：
Figure BDA0002427483410000072
具体地，所述将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果，包括：
计算所述非机动车辆的经纬度与预设停车点的经纬度的差值；
将所述差值与预设阈值范围进行比较，得到比较结果。
所述根据比较结果判断所述非机动车辆是否违停，包括：
若所述比较结果为所述差值在所述阈值范围内，则判定所述非机动车辆没有违停；
若所述比较结果为所述差值不在所述阈值范围内，则判定所述非机动车辆违停。
作为本发明的另一实施例，提供一种非机动车辆违停识别装置，其中，通过监控设备实现非机动车辆违停识别，所述监控设备包括巡视车和设置在所述巡视车上的摄像装置、激光雷达测距装置、旋转云台和定位装置，所述非机动车辆违停识别装置包括：
第一获取模块，用于获取所述摄像装置中的目标图像；
识别模块，用于若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置；
数据融合模块，用于根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标；
第二获取模块，用于根据所述旋转云台获取所述非机动车辆与所述巡视车的角度关系；
第三获取模块，用于根据所述定位装置获取所述巡视车的经纬度；
计算模块，用于根据所述非机动车辆在激光雷达坐标系中的三维坐标、所述非机动车辆与所述巡视车的角度关系以及所述巡视车的经纬度计算所述非机动车辆的经纬度；
比较模块，用于将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；
判断模块，用于根据比较结果判断所述非机动车辆是否违停。
本发明实施例提供的非机动车辆违停识别装置，利用深度学习和图像识别和处理技术，识别出自然场景中的非机动车，通过多传感器数据融合的方式计算出非机动车的经纬度，并与事先采集好的停车点经纬度进行比较，如果超过阈值，则说明该车违停，则上传到后台服务系统，通知管理人员进行相应的处罚。这种非机动车辆违停识别装置能够更加方便的识别出违停的非机动车辆，更有利于城市管理部门使用法律手段促使公民养成良好的停车习惯，从根本上解决问题。
作为本发明的另一实施例，提供一种非机动车辆违停识别系统，其中，包括：巡视车和设置在所述巡视车上的监控设备、车载主机和显示器，所述监控设备包括摄像装置、激光雷达测距装置、旋转云台和定位装置，所述激光雷达测距装置和所述摄像装置均位于所述旋转云台上，所述车载主机包括前文所述的非机动车辆违停识别装置，所述显示器和所述监控设备均与所述车载主机通信连接；
所述摄像装置用于拍摄目标图像；
所述激光雷达测距装置用于获取非机动车辆与所述巡视车之间的距离和角度；
所述旋转云台用于实现多角度旋转和俯仰；
所述定位装置用于实时定位所述巡视车的位置信息；
所述非机动车辆违停识别装置用于根据所述监控设备和所述巡视车实现非机动车辆违停识别；
所述显示器用于显示违停的非机动车辆。
本发明实施例提供的非机动车辆违停识别系统，利用深度学习和图像识别和处理技术，识别出自然场景中的非机动车，通过多传感器数据融合的方式计算出非机动车的经纬度，并与事先采集好的停车点经纬度进行比较，如果超过阈值，则说明该车违停，则上传到后台服务系统，通知管理人员进行相应的处罚。这种非机动车辆违停识别系统能够更加方便的识别出违停的非机动车辆，更有利于城市管理部门使用法律手段促使公民养成良好的停车习惯，从根本上解决问题。
优选地，所述摄像装置包括相机，所述定位装置包括GPS卫星接收机。
本发明实施例的非机动车辆违停识别系统包括的硬件主要有相机、激光雷达测距装置、旋转云台、GPS卫星接收机、车载主机、显示器、供电用铅蓄电池。将这些设备固定在轿车上，通过轿车在道路上巡视的方式采集数据，并识别是否违停。
软件主要包括前文所述的非机动车辆违停识别装置，该非机动车辆违停识别装置存储在车载主机上，并被车载主机调用后识别违停车辆，该车载主机能够与后台服务器通信连接，将识别得到的违停车辆发送至后台服务器，以使得后台服务器显示违停车辆相关的图片、位置信息，方便管理人员进行处理。
具体地，相机具体为彩色相机，是为了拍摄彩色图像，通过深度学习计算机视觉技术识别图像中不同类型的非机动车。为了保证获取清晰的图像，并且在运动过程中拍摄的图片尽量不模糊，本发明实施例的相机可以采用北京大恒图像1200万像素全局曝光的CMOS传感器。
关于激光雷达测距装置，主要作用是获取非机动车与轿车车顶激光雷达的距离与角度信息，用来辅助计算非机动车的经纬度。
激光雷达测距装置的测距原理为“飞行时间测量法”：通过发射器发射红外光，光碰到障碍物后，将发生反射，再通过接收器接收这些反射回来的光线，记录从发射到接收的时间，再根据光传播的速度和角度，即可实现测距测方位角。
本发明实施例中的激光雷达测距装置可以选择16线激光雷达的外壳内，安装有16对固定在轴承上的激光发射与接收装置，通过内部的电机旋转以5Hz(或者10Hz、20Hz)转速下，进行360度的全景扫描。其主要规格参数，如表1所示：
表1 16线激光雷达规格参数
Figure BDA0002427483410000091
Figure BDA0002427483410000101
为了能够实现多角度、大场景范围监控非机动车辆，本发明实施例选择了旋转云台用于安装彩色相机和激光雷达。该旋转云台可支持360°任意旋转和±90°的俯仰，并且支持Pelcod坐标回传协议，可以使用RS485串口通信控制其运动和回传当前的角度值，用于辅助计算轿车与待检测的非机动车之间的角度位置关系。
关于定位装置，本发明实施例采用的是GPS卫星接收机。GPS卫星接收机安装于轿车车顶，是为了获取轿车处的经纬度，然后通过其他传感器数据融合计算出的轿车与待检测非机动车之间的角度和距离等关系，计算出非机动车的经纬度。
本发明实施例选择的卫星接收机为深圳某公司RAC-F1分米级高精度卫星定位接收机。RAC技术主要使用的是多天线矩阵排列校准的技术，它不依赖任何地基、星基增强技术，仅用民用载波信号源就能够获得亚米级定位精度，并且兼容地基增强网系统，在有地基增强网的地方，精度能够再提高十倍。
本发明实施例提供的非机动车辆违停识别系统，利用深度学习和图像识别和处理技术，识别出自然场景中的非机动车，通过多传感器数据融合的方式计算出非机动车的经纬度，并与事先采集好的停车点经纬度进行比较，如果超过阈值，则说明该车违停，则上传到后台服务系统，通知管理人员进行相应的处罚。这种非机动车辆违停识别系统更有利于城市管理部门使用法律手段促使公民养成良好的停车习惯，从根本上解决问题。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种非机动车辆违停识别方法，其特征在于，通过巡视车和设置在巡视车上的监控设备实现非机动车辆违停识别，所述监控设备包括摄像装置、激光雷达测距装置、旋转云台和定位装置，所述非机动车辆违停识别方法包括：
获取所述摄像装置中的目标图像；
若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置；
根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标；
根据所述旋转云台获取所述非机动车辆与所述巡视车的角度关系；
根据所述定位装置获取所述巡视车的经纬度；
根据所述非机动车辆在激光雷达坐标系中的三维坐标、所述非机动车辆与所述巡视车的角度关系以及所述巡视车的经纬度计算所述非机动车辆的经纬度；
将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；
根据比较结果判断所述非机动车辆是否违停。
2.根据权利要求1所述的非机动车辆违停识别方法，其特征在于，所述若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置，包括：
神经网络模型对输入的所述目标图像进行分析；
若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述非机动车辆的最小外接矩形中心点在图像坐标系中的位置。
3.根据权利要求1所述的非机动车辆违停识别方法，其特征在于，所述根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标系，包括：
标定所述摄像装置的内参数；
标定所述摄像装置和所述激光雷达测距装置的外参数；
根据所述摄像装置与所述激光雷达测距装置的外参数，计算所述非机动车辆的中心点在所述激光雷达坐标系中的三维坐标。
4.根据权利要求3所述的非机动车辆违停识别方法，其特征在于，所述标定所述摄像装置的内参数，包括：
根据摄像装置的成像原理，求像素坐标系-图像坐标系-相机坐标系-世界坐标系的关系，得到所述摄像装置的内参数。
5.根据权利要求4所述的非机动车辆违停识别方法，其特征在于，所述像素坐标系-图像坐标系-相机坐标系-世界坐标系的转换公式为：
Figure FDA0002427483400000021
其中，zc表示世界坐标系下三维点(xw,yw,zw)在相机坐标系下的z坐标，(u,v)表示所述三维点的像素坐标，量纲为像素；dx和dy分别表示每个像素物理的宽和高；；fx由f/dx计算得到，表示u轴方向上长度值为f时对应的像素个数；fy由f/dy计算得到，表示v轴方向上长度值为f时对应的像素个数；(u0,v0)表示摄像装置在像素坐标系中的光心坐标；R表示相机坐标系到世界坐标系的旋转矩阵；T表示相机坐标系到世界坐标系的平移矩阵。
6.根据权利要求1所述的非机动车辆违停识别方法，其特征在于，所述将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果，包括：
计算所述非机动车辆的经纬度与预设停车点的经纬度的差值；
将所述差值与预设阈值范围进行比较，得到比较结果。
7.根据权利要求6所述的非机动车辆违停识别方法，其特征在于，所述根据比较结果判断所述非机动车辆是否违停，包括：
若所述比较结果为所述差值在所述阈值范围内，则判定所述非机动车辆没有违停；
若所述比较结果为所述差值不在所述阈值范围内，则判定所述非机动车辆违停。
8.一种非机动车辆违停识别装置，其特征在于，通过监控设备实现非机动车辆违停识别，所述监控设备包括巡视车和设置在所述巡视车上的摄像装置、激光雷达测距装置、旋转云台和定位装置，所述非机动车辆违停识别装置包括：
第一获取模块，用于获取所述摄像装置中的目标图像；
识别模块，用于若所述目标图像中包括非机动车辆，则根据目标检测算法识别出所述目标图像中的所述非机动车辆在图像坐标系中的位置；
数据融合模块，用于根据所述激光雷达测距装置以及所述非机动车辆在图像坐标系中的位置进行数据融合得到所述非机动车辆在激光雷达坐标系中的三维坐标；
第二获取模块，用于根据所述旋转云台获取所述非机动车辆与所述巡视车的角度关系；
第三获取模块，用于根据所述定位装置获取所述巡视车的经纬度；
计算模块，用于根据所述非机动车辆在激光雷达坐标系中的三维坐标、所述非机动车辆与所述巡视车的角度关系以及所述巡视车的经纬度计算所述非机动车辆的经纬度；
比较模块，用于将计算得到的所述非机动车辆的经纬度与预设停车点的经纬度进行比较，得到比较结果；
判断模块，用于根据比较结果判断所述非机动车辆是否违停。
9.一种非机动车辆违停识别系统，其特征在于，包括：巡视车和设置在所述巡视车上的监控设备、车载主机和显示器，所述监控设备包括摄像装置、激光雷达测距装置、旋转云台和定位装置，所述激光雷达测距装置和所述摄像装置均位于所述旋转云台上，所述车载主机包括权利要求8所述的非机动车辆违停识别装置，所述显示器和所述监控设备均与所述车载主机通信连接；
所述摄像装置用于拍摄目标图像；
所述激光雷达测距装置用于获取非机动车辆与所述巡视车之间的距离和角度；
所述旋转云台用于实现多角度旋转和俯仰；
所述定位装置用于实时定位所述巡视车的位置信息；
所述非机动车辆违停识别装置用于根据所述监控设备和所述巡视车实现非机动车辆违停识别；
所述显示器用于显示违停的非机动车辆。
10.根据权利要求9所述的非机动车辆违停识别系统，其特征在于，所述摄像装置包括相机，所述定位装置包括GPS卫星接收机。
CN202010225452.5A 2020-03-26 2020-03-26 一种非机动车辆违停识别方法、装置及系统 Active CN111444845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010225452.5A CN111444845B (zh) 2020-03-26 2020-03-26 一种非机动车辆违停识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225452.5A CN111444845B (zh) 2020-03-26 2020-03-26 一种非机动车辆违停识别方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111444845A true CN111444845A (zh) 2020-07-24
CN111444845B CN111444845B (zh) 2023-05-12

Family

ID=71657445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225452.5A Active CN111444845B (zh) 2020-03-26 2020-03-26 一种非机动车辆违停识别方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111444845B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163544A (zh) * 2020-10-12 2021-01-01 北京易华录信息技术股份有限公司 一种非机动车辆乱摆放的判断方法及系统
CN112396040A (zh) * 2021-01-19 2021-02-23 成都四方伟业软件股份有限公司 一种车辆占道识别方法及装置
CN112906462A (zh) * 2021-01-14 2021-06-04 佳都新太科技股份有限公司 一种车辆违停识别方法、系统及装置
CN113055823A (zh) * 2021-04-01 2021-06-29 超级视线科技有限公司 一种基于路侧停车管理共享单车的方法及装置
CN113298964A (zh) * 2021-05-21 2021-08-24 深圳市大道至简信息技术有限公司 一种基于高位视频路边停车联动管理方法及系统
CN113487759A (zh) * 2021-07-16 2021-10-08 杭州海康汽车软件有限公司 一种停车巡检方法、装置、移动巡逻设备及巡检系统
CN115457776A (zh) * 2021-05-19 2022-12-09 北京骑胜科技有限公司 两轮车辆违停检测方法、装置、搭载摄像头和服务器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464414A (zh) * 2017-07-13 2017-12-12 芜湖泰领信息科技有限公司 公共自行车管理方法及计算机可读存储介质
CN109493606A (zh) * 2017-09-11 2019-03-19 中国移动通信集团浙江有限公司 一种高速公路上违停车辆的识别方法及系统
CN110517530A (zh) * 2019-09-03 2019-11-29 吉林大学 一种基于停车机器人的城市道路路侧停车管控方法
CN110517392A (zh) * 2019-09-02 2019-11-29 东北农业大学 一种基于姿态解算的校园共享单车智能锁控制系统
CN110533923A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464414A (zh) * 2017-07-13 2017-12-12 芜湖泰领信息科技有限公司 公共自行车管理方法及计算机可读存储介质
CN109493606A (zh) * 2017-09-11 2019-03-19 中国移动通信集团浙江有限公司 一种高速公路上违停车辆的识别方法及系统
CN110533923A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN110517392A (zh) * 2019-09-02 2019-11-29 东北农业大学 一种基于姿态解算的校园共享单车智能锁控制系统
CN110517530A (zh) * 2019-09-03 2019-11-29 吉林大学 一种基于停车机器人的城市道路路侧停车管控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟凯;黄义忠;谭荣建;马义超;王恒煊;: "基于GIS的城市违停管理数据库设计与应用" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163544A (zh) * 2020-10-12 2021-01-01 北京易华录信息技术股份有限公司 一种非机动车辆乱摆放的判断方法及系统
CN112163544B (zh) * 2020-10-12 2024-02-20 北京易华录信息技术股份有限公司 一种非机动车辆乱摆放的判断方法及系统
CN112906462A (zh) * 2021-01-14 2021-06-04 佳都新太科技股份有限公司 一种车辆违停识别方法、系统及装置
CN112396040A (zh) * 2021-01-19 2021-02-23 成都四方伟业软件股份有限公司 一种车辆占道识别方法及装置
CN113055823A (zh) * 2021-04-01 2021-06-29 超级视线科技有限公司 一种基于路侧停车管理共享单车的方法及装置
CN115457776A (zh) * 2021-05-19 2022-12-09 北京骑胜科技有限公司 两轮车辆违停检测方法、装置、搭载摄像头和服务器
CN113298964A (zh) * 2021-05-21 2021-08-24 深圳市大道至简信息技术有限公司 一种基于高位视频路边停车联动管理方法及系统
CN113487759A (zh) * 2021-07-16 2021-10-08 杭州海康汽车软件有限公司 一种停车巡检方法、装置、移动巡逻设备及巡检系统

Also Published As

Publication number Publication date
CN111444845B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111444845B (zh) 一种非机动车辆违停识别方法、装置及系统
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航系统及方法
CN110146869A (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
US10817747B2 (en) Homography through satellite image matching
US20130057686A1 (en) Crowd sourcing parking management using vehicles as mobile sensors
WO2020020086A1 (zh) 识别车辆方位与道路的角度和距离是否正确的系统和方法
Li et al. Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space
CN111046762A (zh) 一种对象定位方法、装置电子设备及存储介质
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN104280036A (zh) 一种交通信息的检测与定位方法、装置及电子设备
CN109345599B (zh) 一种地面坐标与ptz摄像机的坐标转换方法及系统
CN109931950B (zh) 一种实景导航方法、系统及终端设备
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和系统
CN115588040A (zh) 一种基于全视图成像点坐标统计定位系统及方法
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN111611884A (zh) 一种道路安全设施巡查系统及方法
CN113296133A (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
CN107607939B (zh) 一种基于真实地图及影像的光学目标跟踪定位雷达装置
CN111243021A (zh) 基于多组合相机的车载视觉定位方法、系统及存储介质
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
CN111899512B (zh) 结合天际线观测的车辆轨迹提取方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant