CN113538892A - 交通违章事件的处理方法、装置、存储介质及ar眼镜 - Google Patents

交通违章事件的处理方法、装置、存储介质及ar眼镜 Download PDF

Info

Publication number
CN113538892A
CN113538892A CN202010314656.6A CN202010314656A CN113538892A CN 113538892 A CN113538892 A CN 113538892A CN 202010314656 A CN202010314656 A CN 202010314656A CN 113538892 A CN113538892 A CN 113538892A
Authority
CN
China
Prior art keywords
traffic
traffic violation
violation
video image
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010314656.6A
Other languages
English (en)
Inventor
汤祖荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Original Assignee
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulong Computer Telecommunication Scientific Shenzhen Co Ltd filed Critical Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority to CN202010314656.6A priority Critical patent/CN113538892A/zh
Publication of CN113538892A publication Critical patent/CN113538892A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种交通违章事件的处理方法、装置、存储介质及AR眼镜，属于交通管理领域。AR眼镜通过摄像头采集道路交通视频图像，在识别出道路交通视频图像存在交通违章事件时，获取交通违章事件的交通违章信息，基于增强现实技术将交通违章信息叠加到道路交通视频图像上生成叠加视频图像，以及通过显示单元显示叠加视频图像，在预设时长内接收到用户对识别到的交通违章事件的确认指令后，将交通违章信息上报至服务器，实现自动识别交通违章事件和自动记录交通违章事件的信息，提高处理交通违章事件的效率。

Description

交通违章事件的处理方法、装置、存储介质及AR眼镜
技术领域
本申请涉及交通控制领域，尤其涉及一种交通违章事件的处理方法、装置、存储介质及AR眼镜。
背景技术
在交通流量大的道路上上，交警通常需要在现场进行执勤，以维护道路的交通秩序。交警通过观察四周的道路交通情况来判别道路上是否存在违章事件，例如：行人闯红灯或车辆闯红灯等违章事件，由此可见目前这种通过人眼来判别道路上是否存在交通违规事件的方法存在不够智能和效率低的问题。
发明内容
本申请实施例提供了一种交通违章事件的处理方法、装置、存储介质及AR眼镜，可以实现自动识别交通违章事件和自动记录交通违章事件的信息，提高处理交通违章事件的效率。所述技术方案如下：
第一方面，本申请实施例提供了一种交通违章事件的处理方法，所述处理方法包括：
通过摄像头采集道路交通视频图像；
识别所述道路交通视频图像是否存在交通违章事件；
若为是，获取所述交通违章事件的交通违章信息；其中，所述交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种；
将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像；
在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
第二方面，本申请实施例提供了一种交通违章事件的处理装置，所述处理装置包括：
获取单元，用于通过摄像头采集道路交通视频图像；
识别单元，用于识别所述道路交通视频图像是否存在交通违章事件；
所述获取单元还用于，若所述识别单元的识别结果为是，获取所述交通违章事件的交通违章信息；其中，所述交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种；
叠加单元，用于将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像；
上报单元，用于在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种AR眼镜，包括：处理器、存储器、显示屏；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
AR眼镜通过摄像头采集道路交通视频图像，在识别出道路交通视频图像存在交通违章事件时，获取交通违章事件的交通违章信息，基于增强现实技术将交通违章信息叠加到道路交通视频图像上生成叠加视频图像，以及通过显示单元显示叠加视频图像，在预设时长内接收到用户对识别到的交通违章事件的确认指令后，将交通违章信息上报至服务器，实现自动识别交通违章事件和自动记录交通违章事件的信息，提高处理交通违章事件的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种通信系统架构示意图；
图2是本申请实施例提供的一种交通违章事件的处理方法的流程示意图；
图3是本申请实施例提供的一种交通违章事件的处理方法的另一流程示意图；
图4是本申请实施例提供的一种交通违章事件的处理装置的结构示意图；
图5是本申请实施例涉及的一种AR眼镜的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
图1为本申请提供的一种通信系统架构示意图。
请参见图1，通信系统包括终端设备10、AR(Augmented Reality，增强现实)眼镜20和服务器30，终端设备10和AR眼镜之间可以通过无线或有线方式进行通信，例如：终端设备10和AR眼镜20之间通过蓝牙连接或WIFI连接来进行通信，或终端设备10和AR眼镜20之间通过USB连接来进行通信，终端设备10和AR眼镜10上设置有USB接口，USB接口的类型可以USB2.0接口、USB3.0接口或TypeC接口。终端设备10具有一块较大面积的触摸显示屏，用户可以通过终端设备10的触摸显示屏对AR眼镜20进行参数设置、信息编辑和数据传输等操作。AR眼镜20和服务器30之间可以通过无线方式来进行通信，例如：AR眼镜和服务器30之间通过蜂窝数据网络来进行通信，蜂窝数据网络的类型不申请实施例不作限制。
其中，终端设备100包括但不限于移动台(MS，Mobile Station)、移动终端设备(Mobile Terminal)、移动电话(Mobile Telephone)、手机(handset)及便携设备(portableequipment)等，该终端设备可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信，例如，终端设备可以是移动电话(或称为“蜂窝”电话)、具有无线通信功能的计算机等，终端设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置或设备。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为AR眼镜进行介绍说明。
下面将结合附图2至图3，对本申请实施例提供的交通违章事件的处理方法进行详细介绍。
请参见图2，为本申请实施例提供了一种交通违章事件的的处理方法的流程示意图。本实施例以一种交通违章事件的处理方法应用于AR眼镜来举例说明，该交通违章事件的处理方法可以包括以下步骤：
S201、通过摄像头采集道路交通视频图像。
其中，AR眼镜上设置有摄像头，摄像头的数量可以是一个或多个，摄像头可以设置在两个镜片的一侧或设置在镜架的中间位置。用户佩戴好AR眼镜且启动AR眼镜后，AR眼镜可以通过摄像头周期性的采集道路交通视频图像，道路交通视频图像包括多个视频帧，采集的周期和道路交通视频图像的持续时长可以根据实际需求来定，本申请不作限制。
S202、识别所述道路交通视频图像是否存在交通违章事件。
其中，交通违章事件可以分为车辆违章事件和行人违章事件两种类型，例如：车辆违章事件包括：车辆闯红灯、车辆压实线、车辆不按路标行驶、驾驶员不系安全带、驾驶员驾车打电话、车辆逆行、遮挡车牌号等；行人违章事件包括行人闯红灯。AR眼镜可以基于机器学习模型或运动目标检测和跟踪算法来识别道路交通视频图像是否存在交通违章事件。
S203、若为是，获取所述交通违章事件的交通违章信息。
其中，交通违章信息用于描述交通违章事件的属性信息，例如：交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种，违章类型包括S202中所示的车辆违章事件和行人违章事件；违章地点表示交通违章事件发生的地点；违章事件表示交通违章事件发生的时间；违章对象身份表示违章对象(车辆或行人)的身份，在违章对象是车辆时，违章对象身份可以是车牌号；在违章对象是行人时，违章对象身份可以是姓名和身份证号等。AR眼镜可以可以利用内置的相关单元自动获取交通违章信息，也可以是用户通过终端设备(例如：手机、执法仪或平板电脑等)编辑和输入交通违章信息。
S204、将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像。
其中，AR眼镜基于增强现实(Augmented Reality，AR)技术将交通违章信息叠加到道路交通视频图像中。例如：检测道路交通视频图像中的违章对象，对违章对象进行标记，然后在违章对象上显示交通违章信息。
S205、在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
其中，由于AR眼镜根据道路交通视频图像识别识别存在交通违章事件的准确率无法达到百分之百，存在较小的误判率，本申请通过用户二次确认的方式来提高识别交通违章事件的准确率。AR眼镜可以在显示单元上显示一个确认对话框，用户可以基于按键操作、隔空手势或触摸操作等方式与对话框进行交互，AR眼镜在预设时长内接收到对交通违章事件的确认指令后，将交通违章信息上报至服务器，预设时长可以根据实际需求而定。AR眼镜可以通过蜂窝网络、WIFI网络或蓝牙网络将交通违章事件上报至服务器。
例如：AR眼镜显示一个对话框，AR眼镜通过摄像头采集用户的隔空手势，在隔空手势为“OK手势”时，表示接收到确认指令；否则未接收到确认指令。
由上述内容可知，AR眼镜通过摄像头采集道路交通视频图像，在识别出道路交通视频图像存在交通违章事件时，获取交通违章事件的交通违章信息，基于增强现实技术将交通违章信息叠加到道路交通视频图像上生成叠加视频图像，以及通过显示单元显示叠加视频图像，在预设时长内接收到用户对识别到的交通违章事件的确认指令后，将交通违章信息上报至服务器，实现自动识别交通违章事件和自动记录交通违章事件的信息，提高处理交通违章事件的效率。
请参见图3，为本申请实施例提供了一种交通违章事件的处理方法的另一流程示意图。本实施例以一种交通违章事件的处理方法应用于AR眼镜中来举例说明。该交通违章事件的处理方法可以包括以下步骤：
S301、通过摄像头采集道路交通视频图像。
其中，AR眼镜上设置有摄像头，摄像头的数量可以是一个或多个，摄像头的位置可以设置在AR眼镜的两个镜片的一侧或设置在AR眼镜的中间，本申请实施例不作限制。AR眼镜对真实世界中的道路交通情况进行采集得到道路交通视频图像，道路交通视频图像包括多个视频帧，AR眼镜可以周期性的采集道路交通视频图像，采集周期和道路交通视频图像的持续时长可以根据实际需求来定。
S302、对道路交通视频图像进行降采样处理。
其中，摄像头采集的道路交通视频图像属于原始视频图像，原始视频图像的数据量较大，为了减少AR眼镜处理的数据量，降低处理开销，AR眼镜对道路交通视频图像进行降采样处理。降采样处理用于将尺寸较大的图像变换成尺寸较小的图像，这样可以在保留图像的有用信息的前提下压缩原始图像的数据量。图像降采样常用的算法包括：最近邻差值法、双线性插值法和双三次插值法。最近邻差值法的主要原理是变换后的像素灰度值等于距离它映射到的位置最近的变换前像素灰度值；双线性差值法的主要原理是利用缩小的图像映射在原始图像的浮点坐标的四个点来计算缩小图像的像素灰度值。
S303、提取降采样处理后的道路交通视频图像的图像特征。
其中，图像特征包括颜色特征、纹理特征、代数特征和变换特征中的一种或多种，颜色特征可以使用颜色直方图、颜色集、颜色矩、颜色聚合向量或颜色相关图来表示，纹理特征可以使用粗糙度、对比度、方向性、相似度、规则性或粗略度来表示，代数特征包括线性特征和非线性特征，变换特征可以使用K-L变换、傅里叶变换、小波变换或小波包变换提取。
S304、将图像特征输入到多个交通违章分类器得到多个分类结果。
其中，交通违章分类器是一种深度学习模型，深度学习模型是根据多个样本训练得到的，比较常见的分类器包括：支持向量机SVM、人工神经网络分类器、基于径向量(RBF)函数网络的分类器等。多个交通违章分类器各自对应一种类型的交通违章事件，分类结果可以使用数值来表示，数值的范围可以为0～1。
例如：AR眼镜预先设置有8个交通违章分类器，8个交通违章分类器分别为：分类器1、分类器2、分类器3、分类器4、分类器5、分类器6、分类器7和分类器8，分类器1用于识别车辆闯红灯，分类器2用于识别车辆压实线、分类器3用于识别车辆不按路标行驶，分类器4用于识别驾驶员不系安全带、分类器5用于识别驾驶员驾车打电话，分类器6用于识别车辆逆行，分类器7用于识别遮挡车牌号，分类器9用于识别行人闯红灯。AR眼镜将提取到的图像特征分别输入到上述8个分类器中得到输出值(分类结果)。
S305、根据多个分类结果识别道路交通视频图像存在交通违章事件。
其中，根据分类器的输出值来识别道路交通视频图像中是否存在交通违章事件，具体包括：在输出值大于阈值时，确定存在交通违章事件；在输出值小于或等于阈值时，确定不存在交通违章事件。阈值的大小可以根据实际需求来定，本申请实施例不作限制。需要说明的是，多个分类器的输出值中大于阈值的输出值的数量可以是一个或多个，换言之，道路交通视频图像中存在多种类型的交通违章事件。
例如：根据S304的例子，阈值为0.5，分类器1和分类器4的输出值为0.8，分类器2、分类器3、分类器5～分类器8的输出值为0.2，那么分类器1和分类器3的输出值大于阈值0.5，分类器1用于识别车辆闯红灯，分类器4用户识别驾驶员不系安全带，那么AR眼镜确定道路交通视频图像中存在两种类型的交通违章事件：车辆闯红灯和驾驶员驾车打电话。
在一个可能的实施方式中，AR眼镜识别出道路交通视频图像中存在交通违章事件时，可以通过提示单元发出提示，例如：通过振动单元进行振动或通过发声单元发出声音，以提示用户尽快处理该交通违章事件。
S306、获取交通违章事件的交通违章信息。
其中，在确定道路交通视频图像中存在一个或多个交通违章事件时，获取一个或多个交通违章事件的交通违章信息，交通违章信息包括：违章类型、违章地点、违章事件、违章对象身份中的一种或多种。违章类型可以根据S305中多个交通违章分类器的分类结果确定；违章地点可以由AR眼镜根据内置的定位单元来获取，违章地点可以精确到街道；违章时间可以由交通违章事件发生的时间确定；在违章对象为车辆时，违章对象身份可以是车牌号，AR眼镜可以提取道路交通视频图像中的车牌号；在违章对象为行人时，AR眼镜可以对提取道路交通视频图像中的人脸图像，然后人脸数据库中查询人脸图像对应的违章对象身份，例如：姓名和身份证号。
S307、接收终端设备发送的对交通违章信息的编辑指令。
其中，AR眼镜自动获取的交通违章信息可能不准确，用户可以通过终端设备对AR眼镜获取的交通违章信息进行编辑，以修正交通违章信息中不准确的内容。终端设备可以通过无线连接于AR眼镜建立连接，终端设备利用触摸屏来对AR眼镜获取的交通违章信息进行编辑。
S308、基于编辑指令对交通违章信息进行编辑，以及将编辑后的交通违章信息存储至存储单元中。
其中，AR眼镜将完成编辑后的交通违章信息存储到存储单元中。
S309、将交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示叠加视频图像。
其中，基于AR技术将交通违章信息叠加到道路交通违章图像上生成叠加视频图像，例如：AR眼镜识别出道路交通视频图像中的违章对象，为违章对象添加一个标记框，然后标记框的上方显示有交通违章信息，便于用户准确和快速识别交通违章事件的违章对象和相关信息。
S310、在预设时长内对交通违章信息的确认指令后，将交通违章信息上报至服务器。
其中，由于AR眼镜根据道路交通视频图像识别识别存在交通违章事件的准确率无法达到百分之百，存在较小的误判率，本申请通过用户二次确认的方式来提高识别交通违章事件的准确率。AR眼镜可以在显示单元上显示一个确认对话框，用户基于按键操作、隔空手势或触摸操作等方式来对确认对话框进行交互，AR眼镜在预设时长内接收到对交通违章事件的确认指令后，将交通违章信息上报至服务器，预设时长可以根据实际需求而定，本申请实施例不作限制，AR眼镜可以通过蜂窝网络、WIFI网络或蓝牙网络将交通违章信息上报至服务器。需要说明的是，交通违章信息还包括从道路交通视频图像中提取的证据图像，证据图像表示违章对象正在进行交通违章事件时的图像，例如：对于车辆闯红灯的交通违章事件来说，证据图像包括车辆在红灯状态下进入路口和离开路口的图片。
S311、根据多个分类结果识别道路交通视频图像不存在交通违章事件。
例如：分类结果使用数值表示，阈值为0.5，在多个交通违章分类器的输出值均小于0.5时，确定道路交通视频图像中不存在交通违章事件。
S312、删除道路交通视频图像。
其中，AR眼镜在满足S311的情况下删除采集到的道路交通视频图像，以提高存储单元中存储空间的利用率。
S313、在预设时长内未接收到对交通违章信息的确认指令后，在存储单元中存储道路交通视频图像和交通违章信息。
其中，如果用户没有空闲时间处理当前识别到的交通违章事件时，AR眼镜在预设时长内不会接收到对交通违章信息的确认指令，AR眼镜将交通违章信息和交通违章信息存储到存储单元中，以便用户后续进行交通违章事件的判别。
实施本申请的实施例，AR眼镜通过摄像头采集道路交通视频图像，在识别出道路交通视频图像存在交通违章事件时，获取交通违章事件的交通违章信息，基于增强现实技术将交通违章信息叠加到道路交通视频图像上生成叠加视频图像，以及通过显示单元显示叠加视频图像，在预设时长内接收到用户对识别到的交通违章事件的确认指令后，将交通违章信息上报至服务器，实现自动识别交通违章事件和自动记录交通违章事件的信息，提高处理交通违章事件的效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图4，其示出了本申请一个示例性实施例提供的交通违章事件的处理装置的结构示意图，以下简称装置4。装置4可以通过软件、硬件或者两者的结合实现成为AR眼镜的全部或一部分。装置4应用于AR眼镜，装置4包括：获取单元401、识别单元402、叠加单元403和上报单元404。
获取单元401，用于通过摄像头采集道路交通视频图像；
识别单元402，用于识别所述道路交通视频图像是否存在交通违章事件；
所述获取单元401还用于，若所述识别单元的识别结果为是，获取所述交通违章事件的交通违章信息；其中，所述交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种；
叠加单元403，用于将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像；
上报单元404，用于在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
在一个或多个实施例中，所述识别所述道路交通视频图像是否存在交通违章事件，包括：
根据多个交通违章事件分类器对所述道路交通视频图像进行识别得到多个分类结果；其中，所述多个交通违章事件分类器各自对应一种交通违章事件；
根据多个分类结果识别所述道路交通视频图像是否存在交通违章事件。
在一个或多个实施例中，所述根据多个交通违章事件分类器对所述道路交通视频图像进行识别得到多个分类结果，包括：
对所述道路交通视频图像进行降采样处理；
提取降采样处理后的道路交通视频图像的图像特征；
将所述图像特征分别输入到所述多个交通违章分类器后得到多个分类结果。
在一个或多个实施例中，所述将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像，包括：
在所述道路交通视频图像中确定违章对象，利用标记框对所述违章对象进行标记；其中，所述标记框关联有所述交通违章信息。
在一个或多个实施例中，获取所述交通违章事件的交通违章信息，包括：
在违章对象为车辆时，检测所述道路交通视频图像中的车牌号图像；
对所述车牌号图像进行字符识别得到车牌号；或
在违章对象为行人时，检测所述道路交通视频图像中的人脸图像；
基于预先配置的人脸数据库查询人脸图像对应的姓名和身份证号。
在一个或多个实施例中，装置4还包括：
编辑单元，用于接收终端设备发送的对所述交通违章信息的编辑指令；
基于编辑指令对所述交通违章信息进行编辑，将编辑后的交通违章信息存储至存储单元中。
在一个或多个实施例中，还包括：
存储单元，用于在预设时长内未接手到针对交通违章信息的确认指令时，存储所述交通视频图像和所述交通违章信息。
需要说明的是，上述实施例提供的交通违章事件的处理装置在执行交通违章事件的处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的交通违章事件的处理装置与交通违章事件的处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述的方法步骤，具体执行过程可以参见图4所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种AR眼镜，包括处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
参见图5，其示出了本发明实施例所涉及的一种AR眼镜的结构示意图，该AR眼镜可以用于实施上述实施例中交通违章事件的处理方法。具体来讲：
存储器503可用于存储软件程序以及模块，处理器500通过运行存储在存储器503的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器503可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据AR眼镜的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器503可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器503还可以包括存储器控制器，以提供处理器500和输入单元505对存储器503的访问。
输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元505可包括触敏表面506(例如：触摸屏、触摸板或触摸框)。触敏表面506，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面506上或在触敏表面506附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面506可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器500，并能接收处理器500发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面506。
显示单元513可用于显示由用户输入的信息或提供给用户的信息以及AR眼镜的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元513可包括显示面板514，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板514。进一步的，触敏表面506可覆盖显示面板514，当触敏表面506检测到在其上或附近的触摸操作后，传送给处理器500以确定触摸事件的类型，随后处理器500根据触摸事件的类型在显示面板514上提供相应的视觉输出。虽然在图5中，触敏表面506与显示面板514是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面506与显示面板514集成而实现输入和输出功能。
处理器500是AR眼镜的控制中心，利用各种接口和线路连接整个AR眼镜的各个部分，通过运行或执行存储在存储器503内的软件程序和/或模块，以及调用存储在存储器503内的数据，执行AR眼镜的各种功能和处理数据，从而对AR眼镜进行整体监控。可选的，处理器500可包括一个或多个处理核心；其中，处理器500可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器500中。
具体在本实施例中，AR眼镜的显示单元是触摸屏显示器，AR眼镜还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含实现上述如下步骤：
通过摄像头采集道路交通视频图像；
识别所述道路交通视频图像是否存在交通违章事件；
若为是，获取所述交通违章事件的交通违章信息；其中，所述交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种；
将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像；
在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
在一个或多个实施例中，处理器500执行所述识别所述道路交通视频图像是否存在交通违章事件，包括：
根据多个交通违章事件分类器对所述道路交通视频图像进行识别得到多个分类结果；其中，所述多个交通违章事件分类器各自对应一种交通违章事件；
根据多个分类结果识别所述道路交通视频图像是否存在交通违章事件。
在一个或多个实施例中，处理器500执行所述根据多个交通违章事件分类器对所述道路交通视频图像进行识别得到多个分类结果，包括：
对所述道路交通视频图像进行降采样处理；
提取降采样处理后的道路交通视频图像的图像特征；
将所述图像特征分别输入到所述多个交通违章分类器后得到多个分类结果。
在一个或多个实施例中，处理器500执行所述将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像，包括：
在所述道路交通视频图像中确定违章对象，利用标记框对所述违章对象进行标记；其中，所述标记框关联有所述交通违章信息。
在一个或多个实施例中，处理器500执行所述获取所述交通违章事件的交通违章信息，包括：
在违章对象为车辆时，检测所述道路交通视频图像中的车牌号图像；
对所述车牌号图像进行字符识别得到车牌号；或
在违章对象为行人时，检测所述道路交通视频图像中的人脸图像；
基于预先配置的人脸数据库查询人脸图像对应的姓名和身份证号。
在一个或多个实施例中，处理器500还用于执行：
接收终端设备发送的对所述交通违章信息的编辑指令；
基于编辑指令对所述交通违章信息进行编辑，将编辑后的交通违章信息存储至存储单元中。
在一个或多个实施例中，处理器500还用于执行：
在预设时长内未接手到针对交通违章信息的确认指令时，在存储单元中存储所述交通视频图像和所述交通违章信息。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上介绍仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交通违章事件的处理方法，其特征在于，包括：
通过摄像头采集道路交通视频图像；
识别所述道路交通视频图像是否存在交通违章事件；
若为是，获取所述交通违章事件的交通违章信息；其中，所述交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种；
将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像；
在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
2.根据权利要求1所述的处理方法，其特征在于，所述识别所述道路交通视频图像是否存在交通违章事件，包括：
根据多个交通违章事件分类器对所述道路交通视频图像进行识别得到多个分类结果；其中，所述多个交通违章事件分类器各自对应一种交通违章事件；
根据多个分类结果识别所述道路交通视频图像是否存在交通违章事件。
3.根据权利要求2所述的处理方法，其特征在于，所述根据多个交通违章事件分类器对所述道路交通视频图像进行识别得到多个分类结果，包括：
对所述道路交通视频图像进行降采样处理；
提取降采样处理后的道路交通视频图像的图像特征；
将所述图像特征分别输入到所述多个交通违章分类器后得到多个分类结果。
4.根据权利要求1所述的处理方法，所述将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像，包括：
在所述道路交通视频图像中确定违章对象，利用标记框对所述违章对象进行标记；其中，所述标记框关联有所述交通违章信息。
5.根据权利要求1所述的处理方法，其特征在于，所述获取所述交通违章事件的交通违章信息，包括：
在违章对象为车辆时，检测所述道路交通视频图像中的车牌号图像；
对所述车牌号图像进行字符识别得到车牌号；或
在违章对象为行人时，检测所述道路交通视频图像中的人脸图像；
基于预先配置的人脸数据库查询人脸图像对应的姓名和身份证号。
6.根据权利要求1所述的处理方法，其特征在于，还包括：
接收终端设备发送的对所述交通违章信息的编辑指令；
基于编辑指令对所述交通违章信息进行编辑，将编辑后的交通违章信息存储至存储单元中。
7.根据权利要求1所述的处理方法，其特征在于，还包括：
在预设时长内未接手到针对交通违章信息的确认指令时，在存储单元中存储所述交通视频图像和所述交通违章信息。
8.一种交通违章事件的处理装置，其特征在于，包括：
获取单元，用于通过摄像头采集道路交通视频图像；
识别单元，用于识别所述道路交通视频图像是否存在交通违章事件；
所述获取单元还用于，若所述识别单元的识别结果为是，获取所述交通违章事件的交通违章信息；其中，所述交通违章信息包括：违章类型、违章地点、违章时间、违章对象身份中的一种或多种；
叠加单元，用于将所述交通违章信息叠加到所述道路交通视频图像生成叠加视频图像，以及通过显示单元显示所述叠加视频图像；
上报单元，用于在预设时长内接收针对所述交通违章事件的确认指令后，将所述交通违章信息上报至服务器。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。
10.一种AR眼镜，其特征在于，包括：处理器、存储器、显示屏；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。
CN202010314656.6A 2020-04-20 2020-04-20 交通违章事件的处理方法、装置、存储介质及ar眼镜 Withdrawn CN113538892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010314656.6A CN113538892A (zh) 2020-04-20 2020-04-20 交通违章事件的处理方法、装置、存储介质及ar眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314656.6A CN113538892A (zh) 2020-04-20 2020-04-20 交通违章事件的处理方法、装置、存储介质及ar眼镜

Publications (1)

Publication Number Publication Date
CN113538892A true CN113538892A (zh) 2021-10-22

Family

ID=78123718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314656.6A Withdrawn CN113538892A (zh) 2020-04-20 2020-04-20 交通违章事件的处理方法、装置、存储介质及ar眼镜

Country Status (1)

Country Link
CN (1) CN113538892A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208184A (zh) * 2013-04-03 2013-07-17 昆明联诚科技有限公司 一种高速公路交通事件视频检测方法
CN104952255A (zh) * 2015-06-25 2015-09-30 上海卓易科技股份有限公司 一种智能终端及其交通违章监督方法、系统
CN106056920A (zh) * 2016-08-08 2016-10-26 新港海岸(北京)科技有限公司 一种交通违章监控系统和方法
CN106982319A (zh) * 2016-01-19 2017-07-25 杭州羊道科技有限公司 一种违规违章违法抓拍举报系统
CN108765935A (zh) * 2018-06-12 2018-11-06 佛山市灏金赢科技有限公司 一种行人闯红灯违章处理系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208184A (zh) * 2013-04-03 2013-07-17 昆明联诚科技有限公司 一种高速公路交通事件视频检测方法
CN104952255A (zh) * 2015-06-25 2015-09-30 上海卓易科技股份有限公司 一种智能终端及其交通违章监督方法、系统
CN106982319A (zh) * 2016-01-19 2017-07-25 杭州羊道科技有限公司 一种违规违章违法抓拍举报系统
CN106056920A (zh) * 2016-08-08 2016-10-26 新港海岸(北京)科技有限公司 一种交通违章监控系统和方法
CN108765935A (zh) * 2018-06-12 2018-11-06 佛山市灏金赢科技有限公司 一种行人闯红灯违章处理系统及其方法

Similar Documents

Publication Publication Date Title
EP3692461B1 (en) Removing personally identifiable data before transmission from a device
CN102843547B (zh) 一种嫌疑目标智能追踪方法和系统
CN110706371B (zh) 基于区块链的行车安全管理方法、系统及存储介质
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
CN109740420A (zh) 车辆违法识别方法及相关产品
CN107529659B (zh) 安全带佩戴检测方法、装置及电子设备
CN112150810A (zh) 一种车辆行为管理方法、系统、设备及介质
CN110348463A (zh) 用于识别车辆的方法和装置
US20230206093A1 (en) Music recommendation method and apparatus
CN112911204A (zh) 监控方法、装置、存储介质和电子设备
CN110147731A (zh) 车辆类型识别方法及相关产品
CN112269939B (zh) 自动驾驶的场景搜索方法、装置、终端、服务器及介质
CN111310595B (zh) 用于生成信息的方法和装置
CN113538892A (zh) 交通违章事件的处理方法、装置、存储介质及ar眼镜
CN112818979A (zh) 文本识别方法、装置、设备及存储介质
CN111147738A (zh) 警用车载全景慧眼系统、装置、电子设备及介质
CN113205069B (zh) 虚假车牌检测方法、装置及计算机存储介质
CN112183284B (zh) 一种安全信息验证、代驾接单控制方法和装置
JP7364365B2 (ja) 車載器及び運転評価システム
CN114118236A (zh) 训练智能模型的方法及装置
CN113920222A (zh) 获取地图建图数据的方法、装置、设备及可读存储介质
CN112199997A (zh) 一种终端及工具处理方法
CN113591958B (zh) 融合物联网数据和信息网数据的方法、装置及设备
CN113128294A (zh) 一种道路事件取证方法、装置、电子设备及存储介质
CN111797659A (zh) 辅助驾驶方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211022