CN113205056A - 一种基于公共安全问题的主动图像识别预警系统及其处理方法 - Google Patents
一种基于公共安全问题的主动图像识别预警系统及其处理方法 Download PDFInfo
- Publication number
- CN113205056A CN113205056A CN202110518044.3A CN202110518044A CN113205056A CN 113205056 A CN113205056 A CN 113205056A CN 202110518044 A CN202110518044 A CN 202110518044A CN 113205056 A CN113205056 A CN 113205056A
- Authority
- CN
- China
- Prior art keywords
- information
- alarm
- box
- module
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000006399 behavior Effects 0.000 claims description 88
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000007726 management method Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 108091035710 E-box Proteins 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000013523 data management Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000006855 networking Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000000391 smoking effect Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 239000003651 drinking water Substances 0.000 claims description 3
- 235000020188 drinking water Nutrition 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 239000000779 smoke Substances 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于公共安全问题的主动图像识别预警系统及其方法，包括：车载端设备端和平台端，车载端设备端包括：两组摄像头、网络硬盘录像机和边缘计算盒子，其中一组摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头组成，另一组摄像头由两个用于进行行为识别的行为识别摄像头组成，网络硬盘录像机用于两组所述摄像头的视频数据进行存储和网络交换，边缘计算盒子部署在车内司机上方风道中，边缘计算盒子用于对人脸识别摄像头和行为识别摄像头采集的信息进行处理；本发明的优点将图像识别、预警和报警、事件记录、统一存储和传输等功能集中于车载终端上，使车辆本身具备了运算处理能力，及时提供预警和报警信息。
Description
技术领域
本发明属于公共交通安全技术领域，更为具体地，涉及一种应用于公交车、客运车上基于公共安全问题的主动图像识别预警系统及其方法。
背景技术
现在公交车辆、客运车辆等搭载乘客的车辆上大多数安装的视频监控终端只有视频记录的功能，而且这些视频记录仅仅作为事后取证，无法立即有效的提供预警、报警等紧急情况的提醒和记录。同时，大部分客运交通车辆上没有利用人脸识别技术和行为识别技术的、主动的公共服务安全技术方案。
发明内容
鉴于上述问题，本发明的目的是提供一种基于公共安全问题的主动图像识别预警系统及其处理方法，用于将图像识别、预警和报警、事件记录、统一存储和传输等功能集中于车载终端上，使车辆本身具备了运算处理能力，及时提供预警和报警信息，以克服上述现有技术的不足。
本发明提供的基于公共安全问题的主动图像识别预警系统的处理方法，包括以下步骤：
步骤S1：在公交车、客运车上安装主动图像识别预警系统，所述主动图像识别预警系统包括车载端设备端和平台端，其中车载端设备端由两组摄像头、网络硬盘录像机和边缘计算盒子组成，其中一组摄像头由三个人脸识别摄像头组成，另一组摄像头由两个行为识别摄像头组成；
步骤S11：利用三个人脸识别摄像头对车内乘客和车外行人进行人脸识别，利用两个行为识别摄像头对车内全景的拍摄，并对其进行行为识别；利用网络硬盘录像机对两组摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头和两个识别摄像头分别连接至网络硬盘录像机；
步骤S12：利用网络硬盘录像机内部集成的存储模块将视频数据保存在本地硬盘中，利用网络硬盘录像机内部集成的网络交换模块将储存的数据传输至边缘计算盒子；利用边缘计算盒子对人脸识别摄像头和行为识别摄像头采集的信息进行处理；
步骤S13：利用平台端接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据；
步骤S2：通过在边缘计算盒子内部储存自定义用户分库模块，所述自定义用户分库模块内录入针对不同的用户分库采取的处理机制，其中所述处理机制为报警、预警、欢迎；
步骤S21：利用人脸识别摄像头监控到的画面通过网络硬盘录像机传输至边缘计算盒子中，由边缘计算盒子内部的人脸识别功能模块进行画面中的人脸面部识别，识别到特征信息后，与盒子内部的人脸特征数据库查询模块中的信息进行比对从而区分人脸信息；其中，人脸识别功能模块是实时对每一帧画面进行运算分析；
步骤S22：当边缘计算盒子接收到人脸识别摄像头获取的人脸特征信息后，与人脸特征数据库中的人脸信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏发送报警信息，其中报警信息包括报警内容、报警界别，其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；
步骤S23：利用平台端接收步骤S22的报警数据包，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；
步骤S23：利用驾驶员操作屏接收到边缘计算盒子发送来的报警信息后，会根据报警级别进行不同的语音提示，包括欢迎上车、请大家注意安全、隐蔽提示报警音；
步骤S3：利用边缘计算盒子的行为识别功能处理模块判断乘客是否存在跌倒、打架、驾驶区异常闯入行为，如果出现以上行为则立即进行报警；
步骤S31：行为识别摄像头监控到的画面通过网络硬盘录像机传输至边缘计算盒子中，由边缘计算盒子内部行为识别功能处理模块进行画面中的人物行为识别，识别到特征信息后，与盒子内部的动作行为特征数据库中的信息进行比对从而区分行为信息；其中行为识别功能处理模块是实时对每一帧画面进行运算分析；
步骤S32：利用边缘计算盒子的动作行为特征数据库针对不同的动作信息，其中动作行为特征数据库包括驾驶舱多余手臂、行驶中的吸烟或喝水、推搡或打架等多种分库；
步骤S33：当边缘计算盒子接收到行为识别摄像头获取的行为特征信息后，与动作行为特征数据库中的行为信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏发送报警信息；其中报警信息包括报警内容、报警界别；其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；
步骤S34：平台端接收到上述报警数据包后，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；
步骤S35：利用驾驶员操作屏接收到边缘计算盒子发送来的报警信息后，会根据报警级别进行不同的语音提示，主要提示驾驶员驾驶舱异常请紧急停车、乘客区域异常请紧急停车、抽烟报警噪音等各种声音提醒。
作为优选，人脸特征数据库查询模块接收的上层人脸特征数据库区分为不同的分库，包括驾驶员脸部信息数据库、危险人员脸部信息数据库、特殊人员脸部信息数据库，上述数据库为现有数据库的利用。
本发明的另一个目的是提供一种基于公共安全问题的主动图像识别预警系统，包括：车载端设备端和平台端，所述车载端设备端包括：两组摄像头、网络硬盘录像机和边缘计算盒子，其中一组所述摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头组成，三个所述人脸识别摄像头分别部署在客车的上车门的上方、驾驶位上方和车外部中间位置；另一组摄像头由两个用于进行行为识别的行为识别摄像头组成，两个所述行为识别摄像头分别部署在车前部和车后部；所述网络硬盘录像机用于两组所述摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头和两个识别摄像头分别连接至网络硬盘录像机，所述网络硬盘录像机内部集成有存储模块和网络交换模块，所述存储模块用于将视频数据保存在本地硬盘中，所述网络交换模块用于将储存的数据传输至边缘计算盒子；所述边缘计算盒子部署在车内司机上方风道中，所述边缘计算盒子用于对人脸识别摄像头和行为识别摄像头采集的信息进行处理；所述平台端分别与网络硬盘录像机和边缘计算盒子分别链接，所述平台端用于接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据。
作为优选，所述边缘计算盒子内部设置有行为识别功能处理模块、人脸识别功能模块和自定义用户分库模块；所述行为识别功能处理模块用于处理两个行为识别摄像头采集到的预警信息并传递至车内报警系统及平台端，所述人脸识别功能模块用于处理三个人脸识别摄像头采集到的预警信息并传递至车内报警系统及平台端。
作为优选，所述平台端上设置有告警展示模块、人脸数据管理下发模块、设备管理模块和告警数据查询功能模块，所述告警展示模块用于接收到告警信息后，以弹窗、声音、颜色变化来提醒监控人员接收到最新的报警信息，并需要及时对信息进行人工干预和处理；展示模块展示方式包含web页面弹窗、告警声音播放、窗口边框颜色变化来突出显示的控制模块，人脸数据管理下发模块用于将获取到的人脸数据进行存储和管理，并主动下发至连接到平台上的所有车载终端E-BOX中，供车载终端E-BOX在进行人脸识别功能计算中提供对比信息数据,数据收集包括界面主动上传保存和联网联控主动接受二种方式，界面主动上传方式由管理人员手工在界面上进行操作输入人脸数据信息；联网联控主动接受方式由平台数据对接模块通过连接已授权的公安网络数据库主动获取人脸数据并保存至平台存储数据库中，设备管理模块用于管理所有连接至平台的车载终端设备，设备包括E-BOX、PS-BOX、摄像头、传感器,告警数据查询功能模块用于在平台展示界面的历史查询页面中查询历史告警数据，根据登录账号的权限展示对应权限下的平台接收到的所有告警信息，包括告警时间、地点、告警级别、信息内容、图片和视频素材、处理结果、处理意见。
本发明的优点及积极效果是：
1、本发明的基于车载终端的运算能力，将图像识别、预警和报警、事件记录、统一存储和传输等功能集中于车载终端上，使车辆本身具备了运算处理能力，及时提供预警和报警信息。并且解决了现在客运和公交车上只有视频记录，而且视频记录仅仅作为事后取证的问题；同时解决了无法及时发出预警的问题。
2、本发明针对现在公交车上只有视频记录，而且视频记录仅仅作为事后取证。车辆上没有利用人脸识别技术和行为识别技术的、主动的公共服务安全技术方案。如果有在逃犯出现在车辆上，除非在逃犯在车上出现犯罪行为，否则公安机关无从得知在逃犯是否出现在车辆上的问题。利用本申请公安机关就可以主动获知在逃犯或者其他需要关注人员是否出现在公交车上，一旦利用本系统发现这类人员，告警数据就可以主动通知到公安机关，方便其安排后续工作。因此使用本系统相当于为每个公交车配置一名乘警，最大化保护车上司乘人员的行程安全。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的整体结构示意图。
图2为根据本发明实施例的系统流程图。
附图标记：网络硬盘录像机1，边缘计算盒子2，人脸识别摄像头3、4、5，行为识别摄像头6、7。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
实施例1
参阅图1，本发明提供的基于公共安全问题的主动图像识别预警系统的处理方法，包括以下步骤：
步骤S1：在公交车、客运车上安装主动图像识别预警系统，所述主动图像识别预警系统包括车载端设备端和平台端，其中车载端设备端由两组摄像头、网络硬盘录像机NVR1和边缘计算盒子2组成，其中一组摄像头由三个人脸识别摄像头3、4、5组成，另一组摄像头由两个行为识别摄像头6、7组成；
步骤S11：利用三个人脸识别摄像头3、4、5对车内乘客和车外行人进行人脸识别，利用两个行为识别摄像头6、7对车内全景的拍摄，并对其进行行为识别；利用网络硬盘录像机1对两组摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头3、4、5和两个识别摄像头6、7分别连接至网络硬盘录像机1；
步骤S12：利用网络硬盘录像机1内部集成的存储模块将视频数据保存在本地硬盘中，利用网络硬盘录像机1内部集成的网络交换模块将储存的数据传输至边缘计算盒子2；利用边缘计算盒子2对人脸识别摄像头3、4、5和行为识别摄像头6、7采集的信息进行处理，边缘计算盒子2可以通过网络硬盘录像机NVR1拉取摄像头视频流；边缘计算盒子2是车载端的计算核心，边缘计算盒子2部署在车内司机上方风道中。对于公共安全服务盒子实现如下功能：人脸识别、行为识别。
步骤S13：利用平台端接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据；
步骤S2：通过在边缘计算盒子2内部储存自定义用户分库模块，所述自定义用户分库模块内录入针对不同的用户分库采取的处理机制，其中所述处理机制为报警、预警、欢迎，所述自定义用户分库模块的报警由现有报警功能集成；
步骤S21：利用人脸识别摄像头3、4、5监控到的画面通过网络硬盘录像机1传输至边缘计算盒子2中，由边缘计算盒子2内部的人脸识别功能模块进行画面中的人脸面部识别，识别到特征信息后，与盒子内部的人脸特征数据库查询模块中的信息进行比对从而区分人脸信息；其中，人脸识别功能模块是实时对每一帧画面进行运算分析；
步骤S22：当边缘计算盒子2接收到人脸识别摄像头3、4、5获取的人脸特征信息后，与人脸特征数据库中的人脸信息进行比对；当比对信息一致率超过90％时，边缘计算盒子2触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏(中控屏幕)发送报警信息，其中报警信息包括报警内容、报警界别，其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；
步骤S23：利用平台端接收步骤S22的报警数据包，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；
步骤S23：利用驾驶员操作屏接收到边缘计算盒子2发送来的报警信息后，会根据报警级别进行不同的语音提示，包括欢迎上车(驾驶员识别成功)、请大家注意安全(小偷等异常预警)、隐蔽提示报警音(逃犯、嫌疑人等重点危险人员)；
步骤S3：利用边缘计算盒子2的行为识别功能处理模块判断乘客是否存在跌倒、打架、驾驶区异常闯入行为，如果出现以上行为则立即进行报警；
步骤S31：行为识别摄像头6、7监控到的画面通过网络硬盘录像机1传输至边缘计算盒子2中，由边缘计算盒子2内部行为识别功能处理模块进行画面中的人物行为识别(手臂动作、身体动作区分)，识别到特征信息后，与盒子内部的动作行为特征数据库中的信息进行比对从而区分行为信息；其中行为识别功能处理模块是实时对每一帧画面进行运算分析；
步骤S32：利用边缘计算盒子2的动作行为特征数据库针对不同的动作信息，其中动作行为特征数据库包括驾驶舱多余手臂、行驶中的吸烟或喝水、推搡或打架等多种分库；
步骤S33：当边缘计算盒子2接收到行为识别摄像头获取的行为特征信息后，与动作行为特征数据库中的行为信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏(中控屏幕)发送报警信息；其中报警信息包括报警内容、报警界别；其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；
步骤S34：平台端接收到上述报警数据包后，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；
步骤S35：利用驾驶员操作屏(中控屏幕)接收到边缘计算盒子2发送来的报警信息后，会根据报警级别进行不同的语音提示，主要提示驾驶员驾驶舱异常请紧急停车、乘客区域异常请紧急停车、抽烟报警噪音等各种声音提醒。
本实施例中人脸特征数据库查询模块接收的上层人脸特征数据库区分为不同的分库，包括驾驶员脸部信息数据库(欢迎库)、危险人员脸部信息数据库(报警库—从警方通缉和公布的信息中获取照片从而得到脸部信息)、特殊人员脸部信息数据库(预警库—从警方或公交公司内部发布出来的问题人员，例如小偷、拒载人员等)，上述数据库为现有数据库的利用。
实施例2
本实施例提供一种基于公共安全问题的主动图像识别预警系统，包括：车载端设备端和平台端，所述车载端设备端包括：两组摄像头、网络硬盘录像机1和边缘计算盒子2，其中一组所述摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头3、4、5组成，三个所述人脸识别摄像头3、4、5分别部署在客车的上车门的上方、驾驶位上方和车外部中间位置；另一组摄像头由两个用于进行行为识别的行为识别摄像头6、7组成，两个所述行为识别摄像头6、7分别部署在车前部和车后部；所述网络硬盘录像机1用于两组所述摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头3、4、5和两个识别摄像头6、7分别连接至网络硬盘录像机1，所述网络硬盘录像机1内部集成有存储模块和网络交换模块，所述存储模块用于将视频数据保存在本地硬盘中，所述网络交换模块用于将储存的数据传输至边缘计算盒子；所述边缘计算盒子2部署在车内司机上方风道中，所述边缘计算盒子2用于对人脸识别摄像头3、4、5和行为识别摄像头6、7采集的信息进行处理；所述平台端分别与网络硬盘录像机1和边缘计算盒子2分别链接，所述平台端用于接收并处理网络硬盘录像机1和边缘计算盒子2采集或分析的数据。人脸识别摄像头和行为识别摄像头型号分别为：守望者SW-MI3024HF-X；守望者SW-MI3018FD-X；硬盘录像机：易甲文JH8-NVR；边缘计算盒子：智城GT-ZC-ZHCSGJ001。
本实施例中的边缘计算盒子内部设置有行为识别功能处理模块、人脸识别功能模块和自定义用户分库模块；所述行为识别功能处理模块用于处理两个行为识别摄像头采集到的预警信息并传递至车内报警系统及平台端，所述人脸识别功能模块用于处理三个人脸识别摄像头采集到的预警信息并传递至车内报警系统及平台端。
本实施例中的平台端上设置有告警展示模块、人脸数据管理下发模块、设备管理模块和告警数据查询功能模块，所述告警展示模块用于接收到告警信息后，以弹窗、声音、颜色变化来提醒监控人员接收到最新的报警信息，并需要及时对信息进行人工干预和处理；展示模块展示方式包含web页面弹窗、告警声音播放、窗口边框颜色变化来突出显示的控制模块，人脸数据管理下发模块用于将获取到的人脸数据进行存储和管理，并主动下发至连接到平台上的所有车载终端E-BOX中，供车载终端E-BOX在进行人脸识别功能计算中提供对比信息数据,数据收集包括界面主动上传保存和联网联控主动接受二种方式，界面主动上传方式由管理人员手工在界面上进行操作输入人脸数据信息；联网联控主动接受方式由平台数据对接模块通过连接已授权的公安网络数据库主动获取人脸数据并保存至平台存储数据库中，设备管理模块用于管理所有连接至平台的车载终端设备，设备包括E-BOX、PS-BOX、摄像头、传感器,告警数据查询功能模块用于在平台展示界面的历史查询页面中查询历史告警数据，根据登录账号的权限展示对应权限下的平台接收到的所有告警信息，包括告警时间、地点、告警级别、信息内容、图片和视频素材、处理结果、处理意见。
工作原理：车载终端和平台端通过网络下载特殊人员脸部信息、异常行为信息等特种信息，存储在边缘计算盒子中；通过安装在客运公共车辆上的监控摄像头采集车内人员脸部特征和行为特征，通过终端的边缘计算盒子内的智能AI进行业务行为对比(特殊人员人脸识别等)和判断(异常行为分析等)，得出异常结论；将异常结论以预警、报警的方式，通过5G网络传输至平台端的监控中心系统中，产生报警提醒，同时将采集的异常结论(包括时间、地点、视频截图、视频片段)打包集成后通过网络同步传输至车载存储设备及后台服务器存储；监控人员和驾驶员分别通过系统平台页面和车载语音提示等方式获取到该预警、报警信息的显示和语音提示。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (5)
1.一种基于公共安全问题的主动图像识别预警系统的处理方法，其特征在于，包括以下步骤：
步骤S1：在公交车、客运车上安装主动图像识别预警系统，所述主动图像识别预警系统包括车载端设备端和平台端，其中车载端设备端由两组摄像头、网络硬盘录像机和边缘计算盒子组成，其中一组摄像头由三个人脸识别摄像头组成，另一组摄像头由两个行为识别摄像头组成；
步骤S11：利用三个人脸识别摄像头对车内乘客和车外行人进行人脸识别，利用两个行为识别摄像头对车内全景的拍摄，并对其进行行为识别；利用网络硬盘录像机对两组摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头和两个识别摄像头分别连接至网络硬盘录像机；
步骤S12：利用网络硬盘录像机内部集成的存储模块将视频数据保存在本地硬盘中，利用网络硬盘录像机内部集成的网络交换模块将储存的数据传输至边缘计算盒子；利用边缘计算盒子对人脸识别摄像头和行为识别摄像头采集的信息进行处理；
步骤S13：利用平台端接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据；
步骤S2：通过在边缘计算盒子内部储存自定义用户分库模块，所述自定义用户分库模块内录入针对不同的用户分库采取的处理机制，其中所述处理机制为报警、预警、欢迎；
步骤S21：利用人脸识别摄像头监控到的画面通过网络硬盘录像机传输至边缘计算盒子中，由边缘计算盒子内部的人脸识别功能模块进行画面中的人脸面部识别，识别到特征信息后，与盒子内部的人脸特征数据库查询模块中的信息进行比对从而区分人脸信息；其中，人脸识别功能模块是实时对每一帧画面进行运算分析；
步骤S22：当边缘计算盒子接收到人脸识别摄像头获取的人脸特征信息后，与人脸特征数据库中的人脸信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏发送报警信息，其中报警信息包括报警内容、报警界别，其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；
步骤S23：利用平台端接收步骤S22的报警数据包，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；
步骤S23：利用驾驶员操作屏接收到边缘计算盒子发送来的报警信息后，会根据报警级别进行不同的语音提示，包括欢迎上车、请大家注意安全、隐蔽提示报警音；
步骤S3：利用边缘计算盒子的行为识别功能处理模块判断乘客是否存在跌倒、打架、驾驶区异常闯入行为，如果出现以上行为则立即进行报警；
步骤S31：行为识别摄像头监控到的画面通过网络硬盘录像机传输至边缘计算盒子中，由边缘计算盒子内部行为识别功能处理模块进行画面中的人物行为识别，识别到特征信息后，与盒子内部的动作行为特征数据库中的信息进行比对从而区分行为信息；其中行为识别功能处理模块是实时对每一帧画面进行运算分析；
步骤S32：利用边缘计算盒子的动作行为特征数据库针对不同的动作信息，其中动作行为特征数据库包括驾驶舱多余手臂、行驶中的吸烟或喝水、推搡或打架等多种分库；
步骤S33：当边缘计算盒子接收到行为识别摄像头获取的行为特征信息后，与动作行为特征数据库中的行为信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏发送报警信息；其中报警信息包括报警内容、报警界别；其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；
步骤S34：平台端接收到上述报警数据包后，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；
步骤S35：利用驾驶员操作屏接收到边缘计算盒子发送来的报警信息后，会根据报警级别进行不同的语音提示，主要提示驾驶员驾驶舱异常请紧急停车、乘客区域异常请紧急停车、抽烟报警噪音等各种声音提醒。
2.根据权利要求1所述的一种基于公共安全问题的主动图像识别预警系统的处理方法，其特征在于，人脸特征数据库查询模块接收的上层人脸特征数据库区分为不同的分库，包括驾驶员脸部信息数据库、危险人员脸部信息数据库、特殊人员脸部信息数据库。
3.一种基于公共安全问题的主动图像识别预警系统，其特征在于，包括：车载端设备端和平台端，所述车载端设备端包括：两组摄像头、网络硬盘录像机和边缘计算盒子，其中一组所述摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头组成，三个所述人脸识别摄像头分别部署在客车的上车门的上方、驾驶位上方和车外部中间位置；另一组摄像头由两个用于进行行为识别的行为识别摄像头组成，两个所述行为识别摄像头分别部署在车前部和车后部；所述网络硬盘录像机用于两组所述摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头和两个识别摄像头分别连接至网络硬盘录像机，所述网络硬盘录像机内部集成有存储模块和网络交换模块，所述存储模块用于将视频数据保存在本地硬盘中，所述网络交换模块用于将储存的数据传输至边缘计算盒子；所述边缘计算盒子部署在车内司机上方风道中，所述边缘计算盒子用于对人脸识别摄像头和行为识别摄像头采集的信息进行处理；所述平台端分别与网络硬盘录像机和边缘计算盒子分别链接，所述平台端用于接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据。
4.根据权利要求3所述的一种基于公共安全问题的主动图像识别预警系统，其特征在于，所述边缘计算盒子内部设置有行为识别功能处理模块、人脸识别功能模块和自定义用户分库模块；所述行为识别功能处理模块用于处理两个行为识别摄像头采集到的预警信息并传递至车内报警系统及平台端，所述人脸识别功能模块用于处理三个人脸识别摄像头采集到的预警信息并传递至车内报警系统及平台端。
5.根据权利要求3所述的一种基于公共安全问题的主动图像识别预警系统，其特征在于，所述平台端上设置有告警展示模块、人脸数据管理下发模块、设备管理模块和告警数据查询功能模块，所述告警展示模块用于接收到告警信息后，以弹窗、声音、颜色变化来提醒监控人员接收到最新的报警信息，并需要及时对信息进行人工干预和处理；展示模块展示方式包含web页面弹窗、告警声音播放、窗口边框颜色变化来突出显示的控制模块，人脸数据管理下发模块用于将获取到的人脸数据进行存储和管理，并主动下发至连接到平台上的所有车载终端E-BOX中，供车载终端E-BOX在进行人脸识别功能计算中提供对比信息数据,数据收集包括界面主动上传保存和联网联控主动接受二种方式，界面主动上传方式由管理人员手工在界面上进行操作输入人脸数据信息；联网联控主动接受方式由平台数据对接模块通过连接已授权的公安网络数据库主动获取人脸数据并保存至平台存储数据库中，设备管理模块用于管理所有连接至平台的车载终端设备，设备包括E-BOX、PS-BOX、摄像头、传感器,告警数据查询功能模块用于在平台展示界面的历史查询页面中查询历史告警数据，根据登录账号的权限展示对应权限下的平台接收到的所有告警信息，包括告警时间、地点、告警级别、信息内容、图片和视频素材、处理结果、处理意见。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110518044.3A CN113205056B (zh) | 2021-05-12 | 2021-05-12 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110518044.3A CN113205056B (zh) | 2021-05-12 | 2021-05-12 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113205056A true CN113205056A (zh) | 2021-08-03 |
| CN113205056B CN113205056B (zh) | 2023-08-22 |
Family
ID=77031432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110518044.3A Active CN113205056B (zh) | 2021-05-12 | 2021-05-12 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205056B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113739930A (zh) * | 2021-08-30 | 2021-12-03 | 延边国泰新能源汽车有限公司 | 一种公交车载测温预警系统 |
| CN113743278A (zh) * | 2021-08-30 | 2021-12-03 | 延边国泰新能源汽车有限公司 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
| CN113777994A (zh) * | 2021-09-17 | 2021-12-10 | 延边国泰新能源汽车有限公司 | 一种高寒地域公共车智慧监控服务系统及方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103246869A (zh) * | 2013-04-19 | 2013-08-14 | 福建亿榕信息技术有限公司 | 基于人脸识别和行为语音识别的犯罪监控方法 |
| CN107483902A (zh) * | 2017-09-30 | 2017-12-15 | 珠海芯桥科技有限公司 | 一种公交车乘客跟踪监控系统 |
| CN108629322A (zh) * | 2018-05-11 | 2018-10-09 | 中国联合网络通信集团有限公司 | 可疑人员的监控方法、装置及计算机可读存储介质 |
| CN109919407A (zh) * | 2018-12-28 | 2019-06-21 | 地上铁租车（深圳）有限公司 | 一种驾驶行为主动安全管理系统 |
| US20190278976A1 (en) * | 2018-03-11 | 2019-09-12 | Krishna Khadloya | Security system with face recognition |
| CN110262340A (zh) * | 2019-06-20 | 2019-09-20 | 上海禾视信息技术有限公司 | 一种基于边缘计算的物联接入与监测方法 |
| CN210402640U (zh) * | 2019-08-05 | 2020-04-24 | 深圳市沃信达科技有限公司 | 一种车载汇聚安全报警系统 |
| CN111083441A (zh) * | 2019-12-18 | 2020-04-28 | 广州穗能通能源科技有限责任公司 | 工地监控方法、装置、计算机设备和存储介质 |
| CN111882819A (zh) * | 2020-07-29 | 2020-11-03 | 浙江树人学院（浙江树人大学） | 一种车载监控智能控制系统 |
| US10850709B1 (en) * | 2019-08-27 | 2020-12-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Facial recognition and object detection for vehicle unlocking scenarios |
| CN112133087A (zh) * | 2020-08-12 | 2020-12-25 | 苏州思扬智慧科技有限公司 | 一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法 |
| CN112149581A (zh) * | 2020-09-25 | 2020-12-29 | 北京嘀嘀无限科技发展有限公司 | 工况监控方法、系统、装置、电子设备和可读存储介质 |
| CN112766192A (zh) * | 2021-01-25 | 2021-05-07 | 北京市地铁运营有限公司地铁运营技术研发中心 | 一种智能列车监控系统 |
| CN112785351A (zh) * | 2021-02-26 | 2021-05-11 | 中国工商银行股份有限公司 | 金融网点监控方法及装置 |
-
2021
- 2021-05-12 CN CN202110518044.3A patent/CN113205056B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103246869A (zh) * | 2013-04-19 | 2013-08-14 | 福建亿榕信息技术有限公司 | 基于人脸识别和行为语音识别的犯罪监控方法 |
| CN107483902A (zh) * | 2017-09-30 | 2017-12-15 | 珠海芯桥科技有限公司 | 一种公交车乘客跟踪监控系统 |
| US20190278976A1 (en) * | 2018-03-11 | 2019-09-12 | Krishna Khadloya | Security system with face recognition |
| CN108629322A (zh) * | 2018-05-11 | 2018-10-09 | 中国联合网络通信集团有限公司 | 可疑人员的监控方法、装置及计算机可读存储介质 |
| CN109919407A (zh) * | 2018-12-28 | 2019-06-21 | 地上铁租车（深圳）有限公司 | 一种驾驶行为主动安全管理系统 |
| CN110262340A (zh) * | 2019-06-20 | 2019-09-20 | 上海禾视信息技术有限公司 | 一种基于边缘计算的物联接入与监测方法 |
| CN210402640U (zh) * | 2019-08-05 | 2020-04-24 | 深圳市沃信达科技有限公司 | 一种车载汇聚安全报警系统 |
| US10850709B1 (en) * | 2019-08-27 | 2020-12-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Facial recognition and object detection for vehicle unlocking scenarios |
| CN111083441A (zh) * | 2019-12-18 | 2020-04-28 | 广州穗能通能源科技有限责任公司 | 工地监控方法、装置、计算机设备和存储介质 |
| CN111882819A (zh) * | 2020-07-29 | 2020-11-03 | 浙江树人学院（浙江树人大学） | 一种车载监控智能控制系统 |
| CN112133087A (zh) * | 2020-08-12 | 2020-12-25 | 苏州思扬智慧科技有限公司 | 一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法 |
| CN112149581A (zh) * | 2020-09-25 | 2020-12-29 | 北京嘀嘀无限科技发展有限公司 | 工况监控方法、系统、装置、电子设备和可读存储介质 |
| CN112766192A (zh) * | 2021-01-25 | 2021-05-07 | 北京市地铁运营有限公司地铁运营技术研发中心 | 一种智能列车监控系统 |
| CN112785351A (zh) * | 2021-02-26 | 2021-05-11 | 中国工商银行股份有限公司 | 金融网点监控方法及装置 |
Non-Patent Citations (6)
| Title |
|---|
| JAE-WOO KIM 等: "Intelligent Face Recognition on the Edge Computing using Neuromorphic Technology", 《2021 INTERNATIONAL CONFERENCE ON INFORMATION NETWORKING (ICOIN)》 * |
| JAE-WOO KIM 等: "Intelligent Face Recognition on the Edge Computing using Neuromorphic Technology", 《2021 INTERNATIONAL CONFERENCE ON INFORMATION NETWORKING (ICOIN)》, 2 February 2021 (2021-02-02), pages 514 - 516 * |
| 周忠和，李成: "基于 5G 的智慧教育业务架构设计与应用", 《湖南邮电职业技术学院学报》 * |
| 周忠和，李成: "基于 5G 的智慧教育业务架构设计与应用", 《湖南邮电职业技术学院学报》, vol. 19, no. 4, 31 December 2020 (2020-12-31), pages 4 - 6 * |
| 李明: "监控报警联网平台技术研究与应用案例", 《中国安防》 * |
| 李明: "监控报警联网平台技术研究与应用案例", 《中国安防》, 31 July 2008 (2008-07-31), pages 59 - 67 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113739930A (zh) * | 2021-08-30 | 2021-12-03 | 延边国泰新能源汽车有限公司 | 一种公交车载测温预警系统 |
| CN113743278A (zh) * | 2021-08-30 | 2021-12-03 | 延边国泰新能源汽车有限公司 | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 |
| CN113777994A (zh) * | 2021-09-17 | 2021-12-10 | 延边国泰新能源汽车有限公司 | 一种高寒地域公共车智慧监控服务系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113205056B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11929870B2 (en) | Correlation engine for correlating sensory events | |
| CN113205056A (zh) | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 | |
| US10706648B2 (en) | System and method to detect execution of driving maneuvers | |
| US9619984B2 (en) | Systems and methods for correlating data from IP sensor networks for security, safety, and business productivity applications | |
| US20190389307A1 (en) | Vehicle exception event management systems | |
| US8139820B2 (en) | Discretization facilities for vehicle event data recorders | |
| US7999847B2 (en) | Audio-video tip analysis, storage, and alerting system for safety, security, and business productivity | |
| EP2002369B1 (en) | Vehicle event recorded systems and networks having parallel communication links | |
| CN110217187B (zh) | 车辆碰撞处理方法及装置、hud设备和存储介质 | |
| CN116704644A (zh) | 一种基于云端数据处理和多源数据分析的汽车管控平台 | |
| Rohit | An IOT based system for public transport surveillance using real-time data analysis and computer vision | |
| RU2249514C1 (ru) | Система комплексной безопасности транспортного средства | |
| KR101686851B1 (ko) | Cctv 카메라를 이용한 통합 관제 시스템 | |
| CN116778752A (zh) | 一种带有智能管理的船舶监护系统 | |
| CN113743278A (zh) | 一种基于公共安全问题的主动图像识别预警系统及其处理方法 | |
| CN109257413B (zh) | 一种基于区域管理的车辆管理系统 | |
| WO2024009526A1 (ja) | デジタル侵入検知システム | |
| CN114973077A (zh) | 一种网约车车载视频智能分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |