CN107220633A - 一种智能移动执法系统及方法 - Google Patents

一种智能移动执法系统及方法 Download PDF

Info

Publication number
CN107220633A
CN107220633A CN201710452805.3A CN201710452805A CN107220633A CN 107220633 A CN107220633 A CN 107220633A CN 201710452805 A CN201710452805 A CN 201710452805A CN 107220633 A CN107220633 A CN 107220633A
Authority
CN
China
Prior art keywords
information
face
image
mrow
enforcement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710452805.3A
Other languages
English (en)
Inventor
晋兆龙
王炜
程峰
丁美玉
朱军伟
陈卫东
刘纯
邢钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PUBLIC TRANSPORT BUREAU WUHAN PUBLIC SECURITY BUREAU
Suzhou Keda Technology Co Ltd
Original Assignee
PUBLIC TRANSPORT BUREAU WUHAN PUBLIC SECURITY BUREAU
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PUBLIC TRANSPORT BUREAU WUHAN PUBLIC SECURITY BUREAU, Suzhou Keda Technology Co Ltd filed Critical PUBLIC TRANSPORT BUREAU WUHAN PUBLIC SECURITY BUREAU
Priority to CN201710452805.3A priority Critical patent/CN107220633A/zh
Publication of CN107220633A publication Critical patent/CN107220633A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种智能移动执法系统及方法，所述智能移动执法系统包括前端采集单元，用于采集执法数据，所述执法数据包括对执法对象拍摄的视频；分析管理单元，用于接收并存储所述执法数据，根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息，并向所述前端采集单元推送所述推送信息。有效提升了民警执法的便携性和智能化，通过视频全程记录执法过程，分析并识别视频中的人员信息，实现目标信息的自动化查询，缩短了民警执法盘查的时间，确保了移动执法的公正性和高效性。

Description

一种智能移动执法系统及方法
技术领域
本发明涉及执法技术领域，具体涉及一种智能移动执法系统及方法。
背景技术
近年来，随着计算机网络技术和人工智能技术的高速发展，利用人工智能技术来分析图片和视频内容，实现对目标的识别和视频内容的理解，在各行各业都有广泛的应用。随着经济的飞速发展，人口流动越来越频繁，对社会治安的管理提出了更高的要求，与警力不足的矛盾也日趋激烈，因此科技助力警力刻不容缓。
目前，传统的移动执法系统很大程度上还依靠人工操作，难以满足实际需求。传统的移动警务系统在追查嫌疑人或嫌疑车辆的过程中完全依靠民警的个人素质，导致工作效率不高，查处力度不大。例如，民警在对人员进行盘查时，需首先询问盘查人员的身份证号码，接着将盘查人员的身份证号码输入到移动执法终端进行查询，最后再确认查询结果，这种传统的移动执法系统及方法费时费力，在实际实施时操作较繁琐而且收效甚微，很难保证盘查的有效性。
发明内容
本发明要解决的技术问题在于克服现有的移动执法系统在人员盘查过程中很大程度上依靠人工操作导致移动执法费时费力、操作繁琐、有效性低的缺陷。
本发明提供一种智能移动执法系统，包括：
前端采集单元，用于采集执法数据，所述执法数据包括对执法对象拍摄的视频；
分析管理单元，用于接收并存储所述执法数据，根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息，并向所述前端采集单元推送所述推送信息。
优选地，所述前端采集单元包括执法记录仪、移动警务终端和车载摄像机中的至少一种。
优选地，所述分析管理单元包括：
设备管理单元，用于选择接入所述前端采集单元；
数据分析单元，用于根据所述执法数据确定人员的图像信息和属性信息，并根据所述人员的图像信息和属性信息确定推送信息；
数据存储单元，用于存储人员的图像信息和属性信息。
优选地，所述数据存储单元包括云存储系统和数据库设备。
本发明还提供一种智能移动执法方法，包括：
根据执法数据确定目标信息，所述执法数据包括对执法对象拍摄的视频；
将所述目标信息与数据库预存的信息进行比对；
当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息。
优选地，所述目标信息包括人脸图像和人脸属性信息。
优选地，所述人脸属性信息包括置信度、位置、姿态、特征点、特征点可见度和人脸清晰度。
优选地，所述根据执法数据确定目标信息，包括：
对所述包括人员的视频进行解码得到多帧图像；
从所述多帧图像中筛选出带有人脸的图像；
从所述带有人脸的图像中选择一个具有最优视觉效果的图像；
获取所述具有最优视觉效果的图像中的人脸属性信息；
其中，具有最优视觉效果的图像满足的条件如式(1)所示：
式(1)中，w和h分别为检测到的人脸宽度和人脸高度；yaw、pitch和roll分别为人脸姿态中的偏航角、俯仰角和旋转角，abs(*)为求绝对值函数；Li(x,y)为人脸的特征点，分别为左眼、右眼、鼻子、左嘴角和右嘴角处5个特征点，x和y表示特征点的位置，visibility(*)为特征点的可见度；sharpness为人脸清晰度指标，blur表示清晰度为模糊。
优选地，所述从所述带有人脸的图像中选择一个具有最优视觉效果的图像，包括：
分别确定所述带有人脸的图像中的人脸姿态信息；
根据所述人脸姿态信息确定具有最优视觉效果的图像。
优选地，所述将所述目标信息与数据库预存的信息进行比对，包括：
将所述人脸图像中的人脸与预存的信息中的人脸对齐；
提取所述人脸图像中的人脸特征；
将所述人脸图像中的人脸特征和所述预存的信息中的人脸特征进行比对。
本发明技术方案，具有如下优点：
本发明提供一种智能移动执法系统及方法，所述智能移动执法系统包括前端采集单元，用于采集执法数据，所述执法数据包括对执法对象拍摄的视频；分析管理单元，用于接收并存储所述执法数据，根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息，并向所述前端采集单元推送所述推送信息。所述方法包括：根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息。该智能移动执法系统及方法，有效提升了民警执法的便携性和智能化，通过视频全程记录执法过程，分析并识别视频中的人员信息，实现目标信息的自动化查询，从而对执法过程中的嫌疑人员进行布控和实时告警，实现科技助力警力，缩短了民警执法盘查的时间，确保了移动执法的公正性和高效性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种智能移动执法系统的结构示意图；
图2为一种智能移动执法方法的流程图；
图3为图1所示的智能移动执法系统中数据分析单元的示意图；
图4为图2所示的智能移动执法方法中CNN级联网络检测算法的示意图。
附图标记：
10-前端采集单元；20-分析管理单元；30-数据通信单元；
201-监控平台；202-人员分析模块；203-视讯通服务器；
2021-设备管理单元；2022-消息队列单元；2023-数据分析单元；2024-数据存储单元。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种智能移动执法系统，该系统的结构示意图如图1所示。该系统主要包括前端采集单元10和分析管理单元20。
前端采集单元10主要指负责视频等数据采集的设备，用于采集执法数据，所述执法数据包括对执法对象拍摄的视频。例如，带有摄像和通信功能的执法记录仪、移动警务终端和车载摄像机中的至少一种。其中，移动警务终端可以包括警务通、单兵取证终端等。执法对象可以是车辆，也可以是人员。
在民警移动执法过程中，公安系统为了确保执法数据安全，一般将分析管理单元20部署到公安系统内部专网中。前端采集单元10可以将执法数据通过4G网络跟基站进行通信，然后再将实时的执法数据通过公安专网传输到后端的分析管理单元20。
分析管理单元20，用于接收并存储所述执法数据，根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息，并向前端采集单元10推送所述推送信息。分析管理单元20主要包括监控平台201、人员分析模块202和视讯通服务器203。其中，监控平台201主要用于对所述执法数据，即前端采集单元10采集的视频，进行接收、存储和管理。人员分析模块202，用于通过公安专网接收所述执法数据，并根据所述执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息。具体地，人员分析模块202向监控平台201请求执法视频时，监控平台201将指定的前端采集单元10所采集的实时执法视频通过公安专网传输给人员分析模块202进行分析。视讯通服务器203，用于将所述推送信息推送至前端采集单元10。视讯通服务器203主要用于将人员分析模块202给出的分析结果推送到前端采集单元10。具体地，人员分析模块202根据执法视频分析得到的人员的信息在数据库进行查询，根据查询结果，输出不同等级的告警信息，若发现与嫌疑人员对比成功，人员分析模块202会请求视讯通服务器203将嫌疑人员身份信息以及告警信息一并推送给执法民警随身携带的前端采集单元10上，有助于民警及时采取措施。
前端采集单元10除执法数据采集功能外，还用于接收分析管理单元20的推送信息，并在前端采集单元10对推送信息进行显示或告警。例如，在移动警用设备的显示屏上查看分析管理单元20推送的被盘查人员的身份信息，对嫌疑人员进行实时告警。具体地，民警可以同时使用多个前端采集单元，一个用于采集执法数据，另一个用于接收推送信息。例如，民警在执法时，使用自己的警号登陆设备管理软件，然后将携带的移动警用设备在监控平台上注册为不同类型和功能的设备，如执法记录仪将采集的执法视频发送给分析管理单元，民警可以在警务通上实时查看视频分析结果，也即是，将执法记录仪用于采集执法数据，警务通用于接收推送信息，实现执法的便捷性和安全性。
本发明提供的智能移动执法系统，包括：前端采集单元，用于采集执法数据，所述执法数据包括对执法对象拍摄的视频；分析管理单元，用于接收并存储所述执法数据，根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息，并向所述前端采集单元推送所述推送信息。该智能移动执法系统，有效提升了民警执法的便携性和智能化，通过视频全程记录执法过程，分析并识别视频中的人员信息，实现目标信息的自动化查询，从而对执法过程中的嫌疑人员进行布控和实时告警，实现科技助力警力，缩短了民警执法盘查的时间，确保了移动执法的公正性和高效性。
作为一个具体的实施方式，该智能移动执法系统还包括数据通信单元30。数据通信单元30分别与前端采集单元10和分析管理单元20连接，用于在前端采集单元10和分析管理单元20之间进行数据传输。
人员分析模块202包括设备管理单元2021、消息队列单元2022、数据分析单元2023和数据存储单元2024。具体地，设备管理单元2021，用于对监控平台201接入的前端采集单元10的移动警用设备进行选择，即用于选择接入所述前端采集单元，以防止未经过登陆或注册的移动终端访问系统，保证执法数据的安全。消息队列单元2022的作用是设备管理单元2021和数据分析单元2023之间的交互接口，用于传输指令。例如，设备管理单元2021通过向数据分析单元2023发送消息指令，数据分析单元2023根据所述消息指令对前端采集单元10的某一移动警用设备的视频图像进行分析。数据分析单元2023，用于对执法视频进行分析以获取人员的图像信息，并将其与数据库预存的信息进行比对，所述数据库预存的信息包括人员的图像信息和人员属性信息。当获得相匹配的人员图像时，即可获得该匹配的人员图像对应的人员属性信息。即根据所述执法数据确定人员的图像信息和属性信息，并根据所述人员的图像信息和属性信息确定推送信息。数据存储单元2024，用于存储人员的图像信息和属性信息。数据存储单元2024可以包括云存储系统和数据库设备，用于存储人员的图像信息和属性信息，可以将人员的图像信息存储至云存储系统，将人员的属性信息例如身份证等信息存储至数据库设备。
本实施例中，分析管理单元还可以包括客户端，民警可以在后台通过一张人脸照片利用客户端进行人员入库和布控，也可事先将全国或常驻人员人口库、嫌疑人员人口库导入到数据存储单元中。数据分析单元2023将检测到的人脸与数据存储单元中的人脸进行比对，并输出查询结果。
具体地，数据分析单元2023将人员的图像信息，即通过计算获得的执法视频中的最佳快照，即具有最优视觉效果的目标图像，存储在云存储系统上，将人员的属性信息存储到数据库设备中，供客户端进行查看和布控，同时也会与数据存储单元中存储的人脸进行比对，并将查询到的人员信息推送到客户端和前端采集单元。
数据分析单元2023可以包括人脸检测模块和人脸识别模块，如图3所示。数据分析单元接收到监控平台转发的视频码流，经过视频解码，解码一帧图像，人脸检测模块检测每帧图像中出现的人脸区域，并对人脸区域进行跟踪，选择同一个人员所有轨迹中角度和清晰度最好的人脸快照作为最佳快照，即具有最优视觉效果的图像，将最佳快照上报给人脸识别模块进行比对。在执法过程中，前端采集设备使用的场景具有多样性，采集的视频也不同于普通监控场景的视频，例如，摄影头和背景均是运动的，导致视频严重的运动模糊、曝光不足等。由于该系统的目的是抓取嫌疑人员或被盘查人员的人脸正面照，以此来准确查询人员信息，因此，需要排除掉部分侧脸和模糊的人脸，且不能引起过多的重报。通过人脸检测算法获得视频中的最佳人脸快照提高了该系统的实时性和准确性。人脸识别模块将最佳人脸快照图像中的人脸与预存的信息中的人脸对齐；提取最佳人脸快照中的人脸特征；将最佳人脸快照中的人脸特征和所述预存的信息中的人脸特征进行比对，最后输出分析结果即推送信息。
作为一个优选的实施方式，为了保证整个智能移动执法系统的实时性和准确性，人员分析模块配置了两块高性能的GPU(Graphics Precessing Unit，图形处理器)显卡型号为GTX1080作为主要运算单元。为了保证解码的高效性，本实施例使用intel核芯显卡进行硬解码，人员分析模块使用基于深度学习的卷积神经网络算法，并利用GPU进行加速运算。具体地，该系统支持在1080P(一种视频显示格式)图像上所能检测的最小人脸大小为40个像素，最多支持实时处理30路以上，即同时处理30个前端采集单元发送的数据。尽管GPU的配置会增加整个系统的成本，但是从系统的实用性角度考虑，配置GPU主要有两个方面原因：1)人脸检测和识别算法的准确性，传统方法的人脸检测和识别算法的准确性和场景适应性均不及深度学习方法，也有利于算法在GPU上进一步深度优化；2)人脸检测的多路实时性，传统人脸检测算法检测1080P图像上的40个像素以上的人脸很难达到实时，对于多路视频同时进行实时处理更是难以实现，在实际使用中，有很多警务人员在外执法并配备前端采集单元，整个系统需要同时处理多路即多个前端采集单元的实时视频。
该智能移动执法系统灵活性高、实用性好，整个系统支持多种入库和布控方式，采用最先进的人工智能技术，准确率高。
实施例2
本实施例提供一种智能移动执法方法，该方法的流程图如图2所示。包括如下步骤：
S1：根据执法数据确定目标信息，所述执法数据包括对执法对象拍摄的视频。由于执法数据的获取场景具有多样性，采集的视频也不同于普通监控场景的视频，如：摄影头和背景均是运动的，严重的运动模糊，曝光不足等。另外，该方法的目的是抓取嫌疑人员和被盘查人员的人脸正面照，用来准确查询人员信息，因此，需要排除掉部分侧脸和模糊的人脸，且不能引起过多的重报。所述目标信息可以包括人脸图像和人脸属性信息等，所述人脸属性信息可以包括置信度、位置、姿态、特征点、特征点可见度和人脸清晰度，人脸属性信息等。具体地，可以根据执法数据确定目标的图像信息。在数据库设备中预存人脸图像和与人脸图像相应的人员属性信息例如身份证号码、姓名、家庭住址等信息。进一步地，人脸图像的人脸特征信息也可以预存在数据库设备中。再根据目标的图像信息在数据库设备中进行查询，匹配出人脸图像，从而确定目标的人员属性信息。
S2：将所述目标信息与数据库预存的信息进行比对。具体地，先将所述人脸图像中的人脸与预存的信息中的人脸对齐，所述人脸对齐即根据人脸图像中提取的特征点，例如左眼、右眼、鼻子、左嘴角和右嘴角处这5个特征点，对人脸进行旋转、缩放等变换从而实现与预存的信息中的人脸对齐。再提取所述人脸图像中的人脸特征。将所述人脸图像中的人脸特征和所述预存的信息中的人脸特征进行比对。
S3：当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息。具体地，当通过比对匹配出的预存信息为某嫌疑人员的信息时，可以根据嫌疑人员的信息确定告警信息。
本发明提供的智能移动执法方法，包括：根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息。该智能移动执法方法，有效提升了民警执法的便携性和智能化，通过视频全程记录执法过程，分析并识别视频中的人员信息，实现目标信息的自动化查询，从而对执法过程中的嫌疑人员进行布控和实时告警，实现科技助力警力，缩短了民警执法盘查的时间，确保了移动执法的公正性和高效性。
作为一个具体的实施方式，上述步骤S1还包括如下子步骤：
S11：对所述包括人员的视频进行解码得到多帧图像。
S12：从所述多帧图像中筛选出带有人脸的图像。
S13：从所述带有人脸的图像中选择一个具有最优视觉效果的图像。所述具有最优视觉效果的图像即为最佳人脸快照。
S14：获取所述具有最优视觉效果的图像中的人脸属性信息；
其中，具有最优视觉效果的图像满足的条件如式(1)所示：
式(1)中，w和h分别为检测到的人脸宽度和人脸高度；yaw、pitch和roll分别为人脸姿态中的偏航角、俯仰角和旋转角，abs(*)为求绝对值函数；Li(x,y)为人脸的特征点，本实施例中总共输出5个特征点，分别为左眼、右眼、鼻子、左嘴角和右嘴角处，x和y表示特征点的位置，visibility(*)为特征点的可见度(侧脸时或遮挡时部分特征点的可见度为0)；sharpness为人脸清晰度指标，分为清晰、一般和模糊(blur)三种，人脸最佳快照要求的图像清晰度不能模糊。
由于人脸检测算法的效率决定整个智能移动执法系统的处理速度和后续人脸识别的准确度，作为一个优选的实施方式，本发明采用CNN级联网络(Convolutional NeuralNetwork，卷积神经网络)来检测执法视频图像中的人脸，CNN级联网络检测算法如图4所示。向CNN级联网络输入多帧图像数据，即S11：对所述包括人员的视频进行解码得到多帧图像。通过CascadeNet1(第一级联网络)能排除掉大部分非人脸区域，也能大幅度提升后续处理的速度，即S12：从所述多帧图像中筛选出带有人脸的图像。通过CascadeNet2(第二级联网络)进一步提升人脸区域的准确性。通过CascadeNet3(第三级联网络)得到最终的人脸区域即最佳人脸快照和其他的人脸属性信息，即S13：从所述带有人脸的图像中选择一个或多个具有最优视觉效果的图像即最佳人脸快照，人脸属性信息包括置信度、位置、姿态、特征点、特征点可见度和人脸清晰度，用于辅助最佳人脸快照的选择，即确定一个或多个具有最优视觉效果的图像，具体地，具有最优视觉效果的图像满足的条件如式(1)所示；S14：获取所述具有最优视觉效果的图像中的人脸属性信息。
本发明针对处理视频的特点，改进了CascadeNet3网络，在特征层的基础上，分别增加多个全连接层，用于得到更多的人脸姿态和特征点可见度等属性信息。
具体地，整个网络的训练可以采用联合训练的方式，人脸位置、姿态、特征点、特征点可见度分别为不同的训练样本，人脸置信度使用交叉熵代价函数，其余属性均使用欧式距离作为待优化的loss(目标函数)，每个属性的loss权重相同。本发明中CNN级联网络输出的人脸属性主要用于辅助人脸最佳快照的选择，提升后续人脸识别的准确性。优选地，所述CNN级联网络采用基于深度学习的卷积神经网络来实现。
级联网络是目前基于深度学习技术的最快速人脸检测算法，考虑到整个系统的实用性，本发明对级联网络和分析单元做了进一步的深度优化。主要包含以下几个方面：
1)图像数据操作由GPU完成。解码器解码出的原始图像数据格式一般为YUV420格式，而网络输入需要RGB格式，且分别存储在不同的通道，另外，级联网络还需要对原始图像进行不同尺度的缩放，CPU直接完成这些图像运算将是非常耗时的。本发明中选择将原始YUV420格式的数据直接拷贝到显存中，在GPU上编写核函数，直接完成图像的格式转换和图像缩放操作，将图像缩放后的数据直接存储到级联网络的输入显存上。
2)减少显存和内存的数据拷贝。级联网络在处理多尺度的图像的分析结果时，需要将每个尺度的结果取出并拷贝到内存中，后续进行NMS(非最大值抑制)处理，这种显存和内存的频繁交互制约了系统的性能。本发明首先减少输出结果的数据量，因为单个尺度输出的检测框大小相同，因此利用MaxPooling算法(输出的检测框置信度图像的2x2区域内保留置信度最高的检测框，stride为2)来替代NMS算法得到最终的检测框，从而将数据量减少到原始数据量的1/4。尽管算法原理并不完全相同，实际效果并无明显区别，减少了实际的拷贝到内存的数据量，也节约了计算量。将每个尺度的输出结果依次存放到一个预设的显存中，减少显存和内存的交互次数，最终只需将所有尺度的输出结果一次性拷贝到内存中进行后续操作。
本发明对图像数据和级联网络进行深度优化后，极大地提升了整个智能移动执法系统的运行效率，将实时处理的视频路数提升到30路以上。
作为一个具体的实施方式，上述步骤S13还包括如下子步骤：
S131：分别确定所述带有人脸的图像中的人脸姿态信息；
S132：根据所述人脸姿态信息确定具有最优视觉效果的图像。
由于整个智能移动执法系统要求及时上报盘查人员的信息，因此设定具有最优视觉效果的图像即人脸最佳快照需满足式(1)的条件。
作为一个优选的实施方式，在上述步骤S1：根据执法数据确定目标信息之后，还包括：将所述目标信息存储至所述数据库中，所述目标信息包括目标图像和目标属性信息。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种智能移动执法系统，其特征在于，包括：
前端采集单元，用于采集执法数据，所述执法数据包括对执法对象拍摄的视频；
分析管理单元，用于接收并存储所述执法数据，根据执法数据确定目标信息；将所述目标信息与数据库预存的信息进行比对；当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息，并向所述前端采集单元推送所述推送信息。
2.根据权利要求1所述的系统，其特征在于，所述前端采集单元包括执法记录仪、移动警务终端和车载摄像机中的至少一种。
3.根据权利要求1所述的系统，其特征在于，所述分析管理单元包括：
设备管理单元，用于选择接入所述前端采集单元；
数据分析单元，用于根据所述执法数据确定人员的图像信息和属性信息，并根据所述人员的图像信息和属性信息确定推送信息；
数据存储单元，用于存储人员的图像信息和属性信息。
4.根据权利要求3所述的系统，其特征在于，所述数据存储单元包括云存储系统和数据库设备。
5.一种智能移动执法方法，其特征在于，包括：
根据执法数据确定目标信息，所述执法数据包括对执法对象拍摄的视频；
将所述目标信息与数据库预存的信息进行比对；
当所述目标信息与数据库预存的信息相匹配时，根据匹配的预存信息确定告警信息，并将所述匹配的预存信息和所述告警信息确定为推送信息。
6.根据权利要求5所述的方法，其特征在于，所述目标信息包括人脸图像和人脸属性信息。
7.根据权利要求6所述的方法，其特征在于，所述人脸属性信息包括置信度、位置、姿态、特征点、特征点可见度和人脸清晰度。
8.根据权利要求6或7所述的方法，其特征在于，所述根据执法数据确定目标信息，包括：
对所述包括人员的视频进行解码得到多帧图像；
从所述多帧图像中筛选出带有人脸的图像；
从所述带有人脸的图像中选择一个具有最优视觉效果的图像；
获取所述具有最优视觉效果的图像中的人脸属性信息；
其中，具有最优视觉效果的图像满足的条件如式(1)所示：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>,</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>40</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>y</mi> <mi>a</mi> <mi>w</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mn>30</mn> <mo>,</mo> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>p</mi> <mi>i</mi> <mi>t</mi> <mi>c</mi> <mi>h</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mn>15</mn> <mo>,</mo> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>r</mi> <mi>o</mi> <mi>l</mi> <mi>l</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mn>90</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mi>i</mi> <mi>b</mi> <mi>i</mi> <mi>l</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>)</mo> <mo>&gt;</mo> <mn>0.5</mn> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mi>h</mi> <mi>a</mi> <mi>r</mi> <mi>p</mi> <mi>n</mi> <mi>e</mi> <mi>s</mi> <mi>s</mi> <mo>&amp;NotEqual;</mo> <mo>{</mo> <mi>b</mi> <mi>l</mi> <mi>u</mi> <mi>r</mi> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中，w和h分别为检测到的人脸宽度和人脸高度；yaw、pitch和roll分别为人脸姿态中的偏航角、俯仰角和旋转角，abs(*)为求绝对值函数；Li(x,y)为人脸的特征点，分别为左眼、右眼、鼻子、左嘴角和右嘴角处5个特征点，x和y表示特征点的位置，visibility(*)为特征点的可见度；sharpness为人脸清晰度指标，blur表示清晰度为模糊。
9.根据权利要求8所述的方法，其特征在于，所述从所述带有人脸的图像中选择一个具有最优视觉效果的图像，包括：
分别确定所述带有人脸的图像中的人脸姿态信息；
根据所述人脸姿态信息确定具有最优视觉效果的图像。
10.根据权利要求6所述的方法，其特征在于，所述将所述目标信息与数据库预存的信息进行比对，包括：
将所述人脸图像中的人脸与预存的信息中的人脸对齐；
提取所述人脸图像中的人脸特征；
将所述人脸图像中的人脸特征和所述预存的信息中的人脸特征进行比对。
CN201710452805.3A 2017-06-15 2017-06-15 一种智能移动执法系统及方法 Pending CN107220633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710452805.3A CN107220633A (zh) 2017-06-15 2017-06-15 一种智能移动执法系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710452805.3A CN107220633A (zh) 2017-06-15 2017-06-15 一种智能移动执法系统及方法

Publications (1)

Publication Number Publication Date
CN107220633A true CN107220633A (zh) 2017-09-29

Family

ID=59949804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710452805.3A Pending CN107220633A (zh) 2017-06-15 2017-06-15 一种智能移动执法系统及方法

Country Status (1)

Country Link
CN (1) CN107220633A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256438A (zh) * 2017-12-26 2018-07-06 杭州魔点科技有限公司 基于后端人脸识别视频监控方法及装置
CN108289177A (zh) * 2018-02-13 2018-07-17 北京旷视科技有限公司 信息交互方法、装置及系统
CN109816583A (zh) * 2019-02-12 2019-05-28 吉林中科结诚科技有限公司 一种派出所移动警务综合应用平台
CN110245648A (zh) * 2019-07-12 2019-09-17 北京星云环影科技有限责任公司 基于人像识别的智慧单警系统
CN110430444A (zh) * 2019-08-12 2019-11-08 北京中科寒武纪科技有限公司 一种视频流处理方法及系统
CN110458152A (zh) * 2019-09-06 2019-11-15 汉腾汽车有限公司 一种基于vpn加密传输与公安网互通数据的车载警务系统
CN110703632A (zh) * 2019-08-30 2020-01-17 汉腾汽车有限公司 一种集成于智慧警务车的情指联动控制系统和控制方法
CN111163288A (zh) * 2019-09-23 2020-05-15 济南市公安局 一种智能移动警务系统及警务办公方法
CN111263094A (zh) * 2020-02-04 2020-06-09 重庆特斯联智慧科技股份有限公司 一种公安执法视频人工智能分析方法和系统
CN111541870A (zh) * 2020-04-10 2020-08-14 山东致群信息技术有限公司 一种公安智能化安防监控系统
CN111698126A (zh) * 2020-04-28 2020-09-22 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质
CN113645180A (zh) * 2021-06-04 2021-11-12 复旦大学附属肿瘤医院 一种人流统计分析系统及其方法
CN114495226A (zh) * 2022-01-25 2022-05-13 成都鼎桥通信技术有限公司 基于无线执法记录仪的身份识别方法、装置、设备
CN117544814A (zh) * 2024-01-09 2024-02-09 中关村科学城城市大脑股份有限公司 基于执法记录仪的数据处理方法、装置、设备和可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN204791050U (zh) * 2015-04-01 2015-11-18 北京市商汤科技开发有限公司 身份认证设备
CN105554340A (zh) * 2015-12-09 2016-05-04 深圳市华德安科技有限公司 基于执法记录仪的图像处理方法及装置
CN205354056U (zh) * 2016-01-13 2016-06-29 深圳市尚福泰科技有限公司太原分公司 一种带有人脸识别的执法记录仪
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN204791050U (zh) * 2015-04-01 2015-11-18 北京市商汤科技开发有限公司 身份认证设备
CN105554340A (zh) * 2015-12-09 2016-05-04 深圳市华德安科技有限公司 基于执法记录仪的图像处理方法及装置
CN205354056U (zh) * 2016-01-13 2016-06-29 深圳市尚福泰科技有限公司太原分公司 一种带有人脸识别的执法记录仪
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙剑锋: "近红外人脸图像识别与质量评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256438A (zh) * 2017-12-26 2018-07-06 杭州魔点科技有限公司 基于后端人脸识别视频监控方法及装置
CN108289177B (zh) * 2018-02-13 2020-10-16 北京旷视科技有限公司 信息交互方法、装置及系统
CN108289177A (zh) * 2018-02-13 2018-07-17 北京旷视科技有限公司 信息交互方法、装置及系统
CN109816583A (zh) * 2019-02-12 2019-05-28 吉林中科结诚科技有限公司 一种派出所移动警务综合应用平台
CN110245648A (zh) * 2019-07-12 2019-09-17 北京星云环影科技有限责任公司 基于人像识别的智慧单警系统
CN110430444A (zh) * 2019-08-12 2019-11-08 北京中科寒武纪科技有限公司 一种视频流处理方法及系统
CN110703632A (zh) * 2019-08-30 2020-01-17 汉腾汽车有限公司 一种集成于智慧警务车的情指联动控制系统和控制方法
CN110458152A (zh) * 2019-09-06 2019-11-15 汉腾汽车有限公司 一种基于vpn加密传输与公安网互通数据的车载警务系统
CN111163288A (zh) * 2019-09-23 2020-05-15 济南市公安局 一种智能移动警务系统及警务办公方法
CN111263094A (zh) * 2020-02-04 2020-06-09 重庆特斯联智慧科技股份有限公司 一种公安执法视频人工智能分析方法和系统
CN111263094B (zh) * 2020-02-04 2022-06-03 重庆特斯联智慧科技股份有限公司 一种公安执法视频人工智能分析方法和系统
CN111541870A (zh) * 2020-04-10 2020-08-14 山东致群信息技术有限公司 一种公安智能化安防监控系统
CN111698126A (zh) * 2020-04-28 2020-09-22 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质
CN111698126B (zh) * 2020-04-28 2021-10-01 武汉旷视金智科技有限公司 信息监控方法、系统及计算机可读存储介质
CN113645180A (zh) * 2021-06-04 2021-11-12 复旦大学附属肿瘤医院 一种人流统计分析系统及其方法
CN114495226A (zh) * 2022-01-25 2022-05-13 成都鼎桥通信技术有限公司 基于无线执法记录仪的身份识别方法、装置、设备
CN114495226B (zh) * 2022-01-25 2024-03-22 成都鼎桥通信技术有限公司 基于无线执法记录仪的身份识别方法、装置、设备
CN117544814A (zh) * 2024-01-09 2024-02-09 中关村科学城城市大脑股份有限公司 基于执法记录仪的数据处理方法、装置、设备和可读介质
CN117544814B (zh) * 2024-01-09 2024-04-12 中关村科学城城市大脑股份有限公司 基于执法记录仪的数据处理方法、装置、设备和可读介质

Similar Documents

Publication Publication Date Title
CN107220633A (zh) 一种智能移动执法系统及方法
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN106803301A (zh) 一种基于深度学习的人脸识别门禁方法及系统
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN106791655B (zh) 一种视频处理方法及装置
CN104504377B (zh) 一种公交车乘客拥挤程度识别系统及方法
CN109948616A (zh) 图像检测方法、装置、电子设备及计算机可读存储介质
CN110619277A (zh) 一种多社区智慧布控方法以及系统
CN106878670A (zh) 一种视频处理方法及装置
CN107330414A (zh) 暴力行为监控方法
CN112364778A (zh) 一种基于深度学习的电厂安全性行为信息自动检测方法
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
KR20190079047A (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
CN109872541A (zh) 一种车辆信息分析方法及装置
CN105405130A (zh) 基于聚类的证照图像高光检测方法及装置
CN110399820A (zh) 一种公路路边景物视觉识别分析方法
CN109637123A (zh) 一种复杂交通环境下行人生物特征识别与交通管控系统
CN109831648A (zh) 防盗远程监控方法、装置、设备及存储介质
CN110796580B (zh) 智能交通系统管理方法及相关产品
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN115909221A (zh) 图像识别方法、系统、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929

RJ01 Rejection of invention patent application after publication