CN112818854B - 一种应用于校园安防的全天候视频寻人方法 - Google Patents
一种应用于校园安防的全天候视频寻人方法 Download PDFInfo
- Publication number
- CN112818854B CN112818854B CN202110138143.9A CN202110138143A CN112818854B CN 112818854 B CN112818854 B CN 112818854B CN 202110138143 A CN202110138143 A CN 202110138143A CN 112818854 B CN112818854 B CN 112818854B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- image
- time
- camera
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 69
- 238000005286 illumination Methods 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012369 In process control Methods 0.000 description 3
- 238000010965 in-process control Methods 0.000 description 3
- 230000008092 positive effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Computer Security & Cryptography (AREA)
- Social Psychology (AREA)
- Development Economics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种应用于校园安防的全天候视频寻人方法,根据摄像头当前所捕获行人图像的模态,使用与其相同模态的行人图像进行匹配,采用跨模态行人再识别技术匹配行人,检索指定的行人,在不同的摄像头中,能够识别出特定的行人。本发明的有益效果为:本发明的将待查询的行人图像转换为彩色和红外两种模态,用于自适应地匹配摄像头在白天和夜间捕获的行人图像,使得视频寻人系统能够在日间环境和夜间环境下寻人,实现全天运转。
Description
技术领域
本发明涉及人工智能和计算机视觉技术领域,尤其涉及一种应用于校园安防的全天候视频寻人方法。
背景技术
由于一连串的校园暴力事件和学生失踪事件的发生,校园安防成为社会各界关注的热点,未来的校园安防需要实现事前预警、事中控制、事后可追溯的技术效果。校园安防主要利用视频监控系统、报警系统、门禁系统等各种设施,保障校园安全。其中,视频监控系统记录了各个监控现场的视频资料,在校园安防中起着重要的作用。现有的用于校园安防的视频监控系统仍是以实时视频监控、事后调阅取证为主,在监控视频里追踪和事件有关的人员时,需要根据事件发生时间确定视频区间,在该视频区间内,以查阅监控的方式寻找有关人员,确定行动轨迹,并在监控视频前实时寻找有关人员,含有大量的人工方式,智能化水平较低,使得校园安防系统在事前以及事中的处理能力普遍偏弱。由此可见,单一的视频监控系统已经不能够满足现阶段多元化的安防业务需求。
发明内容
本发明的目的在于提供一种应用于校园安防的全天候视频寻人方法,根据摄像头当前所捕获行人图像的模态,使用与其相同模态的行人图像进行匹配,采用跨模态行人再识别技术匹配行人,检索指定的行人,旨在不同的摄像头中,能够识别出特定的行人。
本发明是通过如下措施实现的:一种应用于校园安防的全天候视频寻人方法,其中,包括以下步骤:
S1、根据摄像头当前所捕获行人图像全身照的模态,使用与其相同模态的行人图像进行匹配;
S2、采用跨模态行人再识别技术匹配行人,行人再识别技术是在非重叠的摄像头视域中,检索指定的行人,在不同的摄像头中,能够识别出特定的行人;
S3、跨模态行人再识别将采用模态互转的方式,彩色图像和红外图像间能够互相转换,使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像,使得跨模态匹配问题转换为相同模态的匹配问题,从像素级别缓解跨模态差异;
S4、加入报警接收机制,以联动门禁系统,接收门禁系统的报警信息,并令报警门禁锁附近的摄像头捕获行人图像,从中找出嫌疑人的行人图像;门禁系统发现有警情后,门禁系统中的门禁锁捕获门前的图像,将图像和门禁锁的位置信息组合成报警信息,发送至视频监控系统,视频监控系统接收到门禁系统的报警信息,令该门禁系统周边的摄像头捕获行人图像,将门禁系统中的门禁锁捕获的图像作为辅助,匹配出嫌疑人的行人图像,并提取出匹配结果对应的视频帧,将匹配出的行人区域标注,将视频帧连同标注发送至安防人员处确认,将确认无误的视频帧中的行人图像作为待查询的行人图像,完成接下来的寻找嫌疑人任务;
S5、利用待查询行人图像对嫌疑人实时监控,并构建实时逃逸轨迹,嫌疑人实时监控指根据嫌疑人的行人图像,与所有摄像头捕获的视频图像中提取出的行人图像匹配。
进一步地,所述嫌疑人实时监控具体步骤如下:
步骤1-1:获取摄像头当前监控视频的一帧图像,并执行步骤1-2;
步骤1-2:将该帧图像进行行人检测,提取行人图像,确保每个范围都包含了行人全身,而且每个范围内的大部分内容为行人,每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名,这些行人图像存入实时行人图像集,执行步骤1-3;
步骤S1-3:将嫌疑人的行人图像作为待查询行人图像,与步骤S1-2中生成的实时行人图像集进行匹配,若匹配出相似度最高且达到指定阈值的行人图像,则将其作为疑似嫌疑人处理,根据该行人图像捕获的时间与摄像头位置信息,向该位置就近的工作人员发送嫌疑人的信息,并根据行人编号、时间、位置信息,构建该嫌疑人的实时逃逸轨迹,完成一轮实时监控;否则清空实时行人图像集,完成一轮实时监控。
进一步地,构建基于失踪时间区间内的行人图像数据库,行人图像数据库是行人图像的集合,行人图像数据库的构建由视频监控系统的所有摄像头完成,摄像头用来获取行人图像,行人图像数据库的构建方法包括如下步骤:
步骤2-1:摄像头每秒获取一帧图像;
步骤2-2:在步骤2-1获取的一帧图像中,利用行人检测技术选定每位行人所在的范围,确保每个范围都包含行人全身,而且每个范围内的大部分内容为行人;
步骤2-3:根据步骤2-2所选定的范围,截取行人图像,每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名;
步骤2-4:将步骤2-3生成的行人图像存储在行人图像数据库中;根据提供的失踪人员行人图像,生成该行人图像的两种模态,自适应地在行人图像数据库中检索失踪人员,若提供的失踪人员信息不是完整的全身照,甚至无法提供失踪人员的任何图像,可根据自然语言处理与生成对抗网络的方式,根据报案人员的描述,生成失踪人员的全身照,用该全身照作为失踪人员的行人图像完成检索;
根据图像所摄的摄像头所在位置、行人出现的时间,构建行程轨迹,行人出现在摄像头视野的时间内,摄像头会连续捕获该行人的行人图像,在摄像头捕获该行人图像的时间段内拥有起止时间,获取该行人于何时至何时在该摄像头处出现的轨迹信息,最终可以获取该行人在所有摄像头下出现的轨迹信息,形成完整的行程轨迹。
进一步地,所述失踪人员实时监控指根据失踪人员的行人图像,与所有摄像头捕获的视频图像中提取出的行人图像匹配,具体的一轮失踪人员实时监控包括如下步骤:
步骤3-1:获取摄像头监控视频的一帧图像;
步骤3-2:将该帧图像进行行人检测,提取行人图像,每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名,行人图像存入实时行人图像集;
步骤3-3:将失踪人员的行人图像作为待查询行人图像,与步骤2-2中生成的实时行人图像集进行匹配,若匹配出相似度最高且达到指定阈值的行人图像,则将其作为疑似失踪人员处理,根据该行人图像捕获的时间与摄像头位置信息,向该位置就近的保安人员发送失踪人员的信息;否则清空实时行人图像集,完成一轮失踪人员实时监控。
与现有技术相比,本发明的有益效果为:
(1)本发明的将待查询的行人图像转换为彩色和红外两种模态,用于自适应地匹配摄像头在白天和夜间捕获的行人图像,使得视频寻人系统能够在日间环境和夜间环境下寻人,实现全天运转。
(2)利用门禁系统内的门禁锁获取的图像,及其附近的摄像头所摄行人图像,无需所有摄像头参与即可快速地确认嫌疑人的行人图像,有效缓解安防系统各组成成分间的独立性,提高了寻找嫌疑人的工作效率。
(3)利用门禁系统确认的嫌疑人行人图像,完成嫌疑人实时监控,并构建嫌疑人的实时逃逸轨迹,无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息,有助于安防人员的抓捕工作。
(4)通过构建行人图像数据集,根据提供的失踪人员图像,在行人图像数据集内自适应地检索失踪人员,根据检索结果生成行程轨迹,并进行失踪人员实时监控,帮助安防人员寻找失踪人员,缓解了传统视频监控系统的寻人压力。
(5)本发明将待寻找人员的行人图像转换为两种模态(彩色和红外)的行人图像,用于匹配摄像头在白天和夜间捕获的行人图像,使得该方法能够在日间环境和夜间环境下寻人,使得视频监控系统能够全天运转,同时,本发明联动门禁系统,利用门禁系统内的门禁锁获取的图像,及其附近的摄像头所摄行人图像,确认嫌疑人的行人图像,完成嫌疑人实时监控,并构建嫌疑人的实时逃逸轨迹,无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息,有效缓解安防系统各组成成分间的独立性;另外,在未知失踪人员失踪的地点时,也能够通过跨模态行人再识别的方式构建行人图像数据集,根据提供的失踪人员图像,在行人图像数据集内自适应地检索失踪人员,根据检索结果生成行程轨迹,并进行失踪人员实时监控,帮助安防人员寻找失踪人员,缓解了传统视频监控系统的寻人压力,为校园安防的事前预警、事中控制、事后可追溯提供了积极效果。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明的整体架构图。
图2为本发明中待查询的行人图像转换为彩色和红外两种模态,用于自适应地匹配摄像头在白天和夜间捕获的行人图像的流程示意图。
图3为本发明中联动门禁系统确定嫌疑人行人图像流程图。
图4为本发明中嫌疑人一轮实时监控与构建实时逃逸轨迹流程图。
图5为本发明中寻找未知失踪地点的一轮失踪人员的实时监控流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。当然,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
参见图1至图5,本发明提供其技术方案为,一种应用于校园安防的全天候视频寻人方法,以解决目前视频监控系统单一化、仅凭人工方式寻找有关人员的技术问题。
本发明的失踪人员指的是在校园内失踪的人员,本发明的自适应方法表示根据摄像头当前所捕获行人图像的模态,使用与其相同模态的行人图像进行匹配,本发明的行人图像指的是全身照。
本发明采用跨模态行人再识别技术匹配行人,其中,行人再识别技术是在非重叠的摄像头视域中,检索指定的行人,旨在不同的摄像头中,能够识别出特定的行人,例如,某高校拥有50个摄像头,其中校园道路、操场、花园等室外场景含有20个,食堂、教室、办公区域含有30个,这些摄像头由于安装的位置不同、视点不同、光照环境不同、分辨率不同,它们同一时刻所拍摄的图像也会有所不同,所捕获的行人图像也不尽相同,如今需要寻找一位同学,则需要根据该同学的行人图像,在所有的摄像头捕获的行人图像中,找出该同学的行人图像,而跨模态行人再识别指提供特定模态的行人图像,在与所提供图像有着不同模态的摄像头捕获的图像中,匹配出该行人,和刚才的例子类似,如今需要寻找一位同学的行人图像,而在所有的摄像头捕获的行人图像中包含了彩色图像和红外图像,拥有两种不同的模态,跨模态行人再识别需要在这两种模态的行人图像中,找出该同学的行人图像,在本发明的应用场景中,校园所摄图像含有白天所摄的彩色图像和夜间所摄的红外图像,共含有两个模态,由于彩色摄像机和红外摄像机的波长、频段不同,使得彩色图像和红外图像之间具有巨大的跨模态差异,在本发明中,跨模态行人再识别将采用模态互转的方式,即彩色图像和红外图像间能够互相转换,使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像,使得跨模态匹配问题转换为相同模态的匹配问题,从像素级别缓解跨模态差异,实现自适应方法。
本发明欲加入报警接收机制,以联动门禁系统,接收门禁系统的报警信息,并令报警门禁锁附近的摄像头捕获行人图像,从中找出嫌疑人的行人图像。首先,门禁系统发现有警情后,门禁系统中的门禁锁捕获门前的图像,将图像和门禁锁的位置信息组合成报警信息,发送至视频监控系统。接着,视频监控系统接收到门禁系统的报警信息,令该门禁系统周边的摄像头捕获行人图像,将门禁系统中的门禁锁捕获的图像作为辅助,匹配出嫌疑人的行人图像,并提取出匹配结果对应的视频帧,将匹配出的行人区域标注,将视频帧连同标注发送至安防人员处确认,将确认无误的视频帧中的行人图像作为待查询的行人图像,完成接下来的寻找嫌疑人任务。
利用待查询行人图像实现对嫌疑人实时监控,并构建实时逃逸轨迹。嫌疑人实时监控指根据嫌疑人的行人图像,与所有摄像头捕获的视频图像中提取出的行人图像匹配。具体的一轮嫌疑人实时监控方式如下:
步骤1-1:获取摄像头当前监控视频的一帧图像,并执行步骤1-2;
步骤1-2:将该帧图像进行行人检测,提取行人图像,确保每个范围都包含了行人全身,而且每个范围内的大部分内容为行人,每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名,这些行人图像存入实时行人图像集,执行步骤1-3;
步骤1-3:将嫌疑人的行人图像作为待查询行人图像,与步骤1-2中生成的实时行人图像集进行匹配,若匹配出相似度最高且达到指定阈值的行人图像,则将其作为疑似嫌疑人处理,根据该行人图像捕获的时间与摄像头位置信息,向该位置就近的工作人员发送嫌疑人的信息,并根据行人编号、时间、位置等信息,构建该嫌疑人的实时逃逸轨迹,完成一轮实时监控;否则清空实时行人图像集,完成一轮实时监控。
上述为得知待寻找人员具体位置后的寻人方法,然而在校园中,也会出现不知道失踪人员具体失踪地点的情况。当有此类人员失踪时,本发明将根据失踪人员大体的失踪时间区间,确认失踪人员在失踪时间区间内的行程轨迹,并进行失踪人员实时监控,首先,需要构建基于失踪时间区间内的行人图像数据库。行人图像数据库是行人图像的集合,行人图像数据库的构建由视频监控系统的所有摄像头完成,这些摄像头用来获取行人图像。行人图像数据库的构建方法如下:
步骤2-1:摄像头每秒获取一帧图像;
步骤2-2:在步骤2-1获取的一帧图像中,利用行人检测技术选定每位行人所在的范围,确保每个范围都包含了行人全身,而且每个范围内的大部分内容为行人;
步骤2-3:根据步骤2-2所选定的范围,截取行人图像,每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名;
步骤2-4:将步骤2-3生成的行人图像存储在行人图像数据库中。
接着,根据提供的失踪人员行人图像,生成该行人图像的两种模态,自适应地在行人图像数据库中检索失踪人员。
特别地,若提供的失踪人员信息不是完整的全身照,甚至无法提供失踪人员的任何图像,可根据自然语言处理与生成对抗网络的方式,根据报案人员的描述,生成失踪人员的全身照,用该全身照作为失踪人员的行人图像完成检索。
在检索结果中,根据图像所摄的摄像头所在位置、行人出现的时间,构建行程轨迹。行人出现在摄像头视野的时间内,摄像头会连续地捕获该行人的行人图像,于是在摄像头捕获该行人图像的时间段内拥有起止时间,从而获取该行人于何时至何时在该摄像头处出现的轨迹信息。最终可以获取该行人在所有摄像头下出现的轨迹信息,从而形成完整的行程轨迹。
失踪人员实时监控指根据失踪人员的行人图像,与所有摄像头捕获的视频图像中提取出的行人图像匹配,具体的一轮失踪人员实时监控的方式如下:
步骤3-1:获取摄像头监控视频的一帧图像;
步骤3-2:将该帧图像进行行人检测,提取行人图像,每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名,这些行人图像存入实时行人图像集;
步骤3-3:将失踪人员的行人图像作为待查询行人图像,与步骤2-2中生成的实时行人图像集进行匹配,若匹配出相似度最高且达到指定阈值的行人图像,则将其作为疑似失踪人员处理,根据该行人图像捕获的时间与摄像头位置信息,向该位置就近的保安人员发送失踪人员的信息;否则清空实时行人图像集,完成一轮失踪人员实时监控。
将待查询的行人图像转换为彩色和红外两种模态,用于自适应地匹配摄像头在白天和夜间捕获的行人图像,使得视频寻人系统能够在日间环境和夜间环境下寻人,实现全天运转。
本发明利用门禁系统内的门禁锁获取的图像,及其附近的摄像头所摄行人图像,无需所有摄像头参与即可快速地确认嫌疑人的行人图像,有效缓解安防系统各组成成分间的独立性,提高了寻找嫌疑人的工作效率。
本发明确认的嫌疑人行人图像,完成嫌疑人实时监控,并构建嫌疑人的实时逃逸轨迹,无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息,有助于安防人员的抓捕工作。
本发明通过构建行人图像数据集,根据提供的失踪人员图像,在行人图像数据集内自适应地检索失踪人员,根据检索结果生成行程轨迹,并进行失踪人员实时监控,帮助安防人员寻找失踪人员,缓解了传统视频监控系统的寻人压力。
本发明以自适应方法,将待寻找人员的行人图像转换为两种模态(彩色和红外)的行人图像,用于匹配摄像头在白天和夜间捕获的行人图像,使得该方法能够在日间环境和夜间环境下寻人,使得视频监控系统能够全天运转。同时,本发明联动门禁系统,利用门禁系统内的门禁锁获取的图像,及其附近的摄像头所摄行人图像,确认嫌疑人的行人图像,完成嫌疑人实时监控,并构建嫌疑人的实时逃逸轨迹,无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息,有效缓解安防系统各组成成分间的独立性。另外,在未知失踪人员失踪的地点时,也能够通过跨模态行人再识别的方式构建行人图像数据集,根据提供的失踪人员图像,在行人图像数据集内自适应地检索失踪人员,根据检索结果生成行程轨迹,并进行失踪人员实时监控,帮助安防人员寻找失踪人员,缓解了传统视频监控系统的寻人压力。这些为校园安防的事前预警、事中控制、事后可追溯提供了积极效果。
为了更好地实现本发明的目的,本发明通过以下三个事例验证本发明的一种应用于校园安防的全天候视频寻人方法:
实施例1:某日晚,有不法分子前往办公区域的某个房间处,欲采取非正常方式打开房门进入其中。首先,该房间的门禁锁发出警报,捕获了门前图像,并发送给门禁系统。接着,门禁系统将该门禁锁的位置信息与门禁锁捕获的图像发送给视频监控系统。视频监控系统根据门禁系统发送的门禁锁位置,令该门禁锁周边的摄像头捕获行人图像,并根据门禁锁捕获的门前图像作为辅助,匹配出嫌疑人的行人图像,提取出匹配结果对应的视频帧,并在这些视频帧中标注出匹配结果的区域,将视频帧连同标注发送至安防人员处确认。安防人员确认完毕后,将确认无误的视频帧中的行人图像作为待查询行人图像。视频监控系统将待查询图像生成两种模态(彩色和红外),自适应地完成嫌疑人实时监控,并构建嫌疑人的实时逃逸轨迹。安防人员根据嫌疑人的实时逃逸轨迹,安排校园保安前往追踪,最终,嫌疑人被校园保安控制。
实施例2:
某日,校园安防人员接到某辅导员的一则寻人求助,称有一位同学不知何故,昨天晚上没有回宿舍,目前无法联系到该同学。据悉,在昨天下午的时候,该同学还出现在课堂内。
首先,安防人员获取该同学的图像,生成该同学完整的两种模态(彩色和红外)的行人图像,并将该同学大体的失踪时间区间选定,开始时间为该同学昨天下午的课堂开始时间,结束时间为现在。接着,视频监控系统构建该段时间内的行人图像数据库。视频监控系统根据该同学含有两种模态的行人图像,自适应地在行人图像数据库中检索该同学,并根据图像所摄的时间、地点,按照时间先后排序,生成该同学的行程轨迹,确定该同学最后在摄像头中出现的位置,将该同学的照片、行人图像等信息发送给该同学最后出现摄像头的就近保安人员,并根据该同学的行人图像进行失踪人员实时监控。此时,安防人员发现接收到消息的报案找到疑似失踪人员,视频监控系统接收到了保安人员发送的该疑似失踪人员图像,但是经辅导员确认,此人并不是需要找的同学,视频监控系统继续进行失踪人员实时监控。经过一段时间,摄像头捕获到疑似失踪人员,视频监控系统将对应摄像头位置信息和该同学的图像信息发送给该摄像头就近的保安人员,保安人员获取并发送系统判定的疑似失踪人员的图像至视频监控系统,经辅导员确认,发现的疑似失踪人员是该寻人任务要找的人员,完成寻人任务,该失踪人员的寻找任务结束。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种应用于校园安防的全天候视频寻人方法,其特征在于,包括以下步骤:
S1、根据摄像头当前所捕获行人图像全身照的模态,使用与其相同模态的行人图像进行匹配;
S2、采用跨模态行人再识别技术匹配行人,行人再识别技术是在非重叠的摄像头视域中,检索指定的行人,在不同的摄像头中,能够识别出特定的行人;
S3、跨模态行人再识别将采用模态互转的方式,彩色图像和红外图像间能够互相转换,使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像,使得跨模态匹配问题转换为相同模态的匹配问题,从像素级别缓解跨模态差异;
S4、加入报警接收机制,以联动门禁系统,接收门禁系统的报警信息,并令报警门禁锁附近的摄像头捕获行人图像,从中找出嫌疑人的行人图像;门禁系统发现有警情后,门禁系统中的门禁锁捕获门前的图像,将图像和门禁锁的位置信息组合成报警信息,发送至视频监控系统,视频监控系统接收到门禁系统的报警信息,令该门禁系统周边的摄像头捕获行人图像,将门禁系统中的门禁锁捕获的图像作为辅助,匹配出嫌疑人的行人图像,并提取出匹配结果对应的视频帧,将匹配出的行人区域标注,将视频帧连同标注发送至安防人员处确认,将确认无误的视频帧中的行人图像作为待查询的行人图像,完成接下来的寻找嫌疑人任务;
S5、利用待查询行人图像对嫌疑人实时监控,并构建实时逃逸轨迹,嫌疑人实时监控指根据嫌疑人的行人图像,与所有摄像头捕获的视频图像中提取出的行人图像匹配。
2.根据权利要求1所述的应用于校园安防的全天候视频寻人方法,其特征在于,所述嫌疑人实时监控具体步骤如下:
步骤1-1:获取摄像头当前监控视频的一帧图像,并执行步骤1-2;
步骤1-2:将该帧图像进行行人检测,提取行人图像,确保每个范围都包含了行人全身,而且每个范围内的大部分内容为行人,每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名,这些行人图像存入实时行人图像集,执行步骤1-3;
步骤S1-3:将嫌疑人的行人图像作为待查询行人图像,与步骤S1-2中生成的实时行人图像集进行匹配,若匹配出相似度最高且达到指定阈值的行人图像,则将其作为疑似嫌疑人处理,根据该行人图像捕获的时间与摄像头位置信息,向该位置就近的工作人员发送嫌疑人的信息,并根据行人编号、时间、位置信息,构建该嫌疑人的实时逃逸轨迹,完成一轮实时监控;否则清空实时行人图像集,完成一轮实时监控。
3.根据权利要求2所述的应用于校园安防的全天候视频寻人方法,其特征在于,构建基于失踪时间区间内的行人图像数据库,行人图像数据库是行人图像的集合,行人图像数据库的构建由视频监控系统的所有摄像头完成,摄像头用来获取行人图像,行人图像数据库的构建方法包括如下步骤:
步骤2-1:摄像头每秒获取一帧图像;
步骤2-2:在步骤2-1获取的一帧图像中,利用行人检测技术选定每位行人所在的范围,确保每个范围都包含行人全身,而且每个范围内的大部分内容为行人;
步骤2-3:根据步骤2-2所选定的范围,截取行人图像,每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名;
步骤2-4:将步骤2-3生成的行人图像存储在行人图像数据库中;根据提供的失踪人员行人图像,生成该行人图像的两种模态,自适应地在行人图像数据库中检索失踪人员,若提供的失踪人员信息不是完整的全身照,甚至无法提供失踪人员的任何图像,可根据自然语言处理与生成对抗网络的方式,根据报案人员的描述,生成失踪人员的全身照,用该全身照作为失踪人员的行人图像完成检索;
根据图像所摄的摄像头所在位置、行人出现的时间,构建行程轨迹,行人出现在摄像头视野的时间内,摄像头会连续捕获该行人的行人图像,在摄像头捕获该行人图像的时间段内拥有起止时间,获取该行人于何时至何时在该摄像头处出现的轨迹信息,最终可以获取该行人在所有摄像头下出现的轨迹信息,形成完整的行程轨迹。
4.根据权利要求3所述的应用于校园安防的全天候视频寻人方法,其特征在于,所述失踪人员实时监控指根据失踪人员的行人图像,与所有摄像头捕获的视频图像中提取出的行人图像匹配,具体的一轮失踪人员实时监控包括如下步骤:
步骤3-1:获取摄像头监控视频的一帧图像;
步骤3-2:将该帧图像进行行人检测,提取行人图像,每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名,行人图像存入实时行人图像集;
步骤3-3:将失踪人员的行人图像作为待查询行人图像,与步骤1-2中生成的实时行人图像集进行匹配,若匹配出相似度最高且达到指定阈值的行人图像,则将其作为疑似失踪人员处理,根据该行人图像捕获的时间与摄像头位置信息,向该位置就近的保安人员发送失踪人员的信息;否则清空实时行人图像集,完成一轮失踪人员实时监控。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110138143.9A CN112818854B (zh) | 2021-02-01 | 2021-02-01 | 一种应用于校园安防的全天候视频寻人方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110138143.9A CN112818854B (zh) | 2021-02-01 | 2021-02-01 | 一种应用于校园安防的全天候视频寻人方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112818854A CN112818854A (zh) | 2021-05-18 |
CN112818854B true CN112818854B (zh) | 2023-12-05 |
Family
ID=75861298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110138143.9A Active CN112818854B (zh) | 2021-02-01 | 2021-02-01 | 一种应用于校园安防的全天候视频寻人方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112818854B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114120506A (zh) * | 2021-09-30 | 2022-03-01 | 国网浙江省电力有限公司 | 一种基于5g网络架构的基建现场人员管控系统及方法 |
CN116095269B (zh) * | 2022-11-03 | 2023-10-20 | 南京戴尔塔智能制造研究院有限公司 | 一种智能化视频安防系统及其方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2520350A1 (en) * | 2005-09-21 | 2007-03-21 | International Business Machines Corporation | System and method for surveillance of suspects of automated banking machine fraud |
CN106709436A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
CN107315984A (zh) * | 2016-04-26 | 2017-11-03 | 杭州华为企业通信技术有限公司 | 一种行人检索的方法及装置 |
CN107909033A (zh) * | 2017-11-15 | 2018-04-13 | 西安交通大学 | 基于监控视频的嫌疑人快速追踪方法 |
CN108563651A (zh) * | 2017-12-19 | 2018-09-21 | 深圳云天励飞技术有限公司 | 一种多视频的目标搜索方法、装置及设备 |
CN109872482A (zh) * | 2019-01-21 | 2019-06-11 | 广东鑫诺安保安服务有限公司 | 智慧安防监管方法、系统以及存储介质 |
CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
CN111343417A (zh) * | 2019-10-27 | 2020-06-26 | 徐州锋通信息科技有限公司 | 一种幼儿园学生看管用监控系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11348367B2 (en) * | 2018-12-28 | 2022-05-31 | Homeland Patrol Division Security, Llc | System and method of biometric identification and storing and retrieving suspect information |
-
2021
- 2021-02-01 CN CN202110138143.9A patent/CN112818854B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2520350A1 (en) * | 2005-09-21 | 2007-03-21 | International Business Machines Corporation | System and method for surveillance of suspects of automated banking machine fraud |
CN107315984A (zh) * | 2016-04-26 | 2017-11-03 | 杭州华为企业通信技术有限公司 | 一种行人检索的方法及装置 |
CN106709436A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
CN107909033A (zh) * | 2017-11-15 | 2018-04-13 | 西安交通大学 | 基于监控视频的嫌疑人快速追踪方法 |
CN108563651A (zh) * | 2017-12-19 | 2018-09-21 | 深圳云天励飞技术有限公司 | 一种多视频的目标搜索方法、装置及设备 |
CN109872482A (zh) * | 2019-01-21 | 2019-06-11 | 广东鑫诺安保安服务有限公司 | 智慧安防监管方法、系统以及存储介质 |
CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
CN111343417A (zh) * | 2019-10-27 | 2020-06-26 | 徐州锋通信息科技有限公司 | 一种幼儿园学生看管用监控系统 |
Non-Patent Citations (1)
Title |
---|
基于机器学习的监控视频行人检测与追踪系统的设计与实现;吕云翔等;《工业和信息化教育》;第66-72页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112818854A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008298B (zh) | 驻车多维信息感知应用系统及方法 | |
Wheeler et al. | Face recognition at a distance system for surveillance applications | |
CN102254169B (zh) | 基于多摄像机的人脸识别方法及系统 | |
US11743431B2 (en) | Video identification and analytical recognition system | |
CN103268680B (zh) | 一种家庭智能监控防盗系统 | |
CN112818854B (zh) | 一种应用于校园安防的全天候视频寻人方法 | |
US11263446B2 (en) | Method for person re-identification in closed place, system, and terminal device | |
CN206272770U (zh) | 一种车辆和人脸卡口系统 | |
CN101635834A (zh) | 类神经控制自动追踪识别系统 | |
CN103258191A (zh) | 基于人脸识别的小区门禁系统 | |
CN108540752B (zh) | 对视频监控中目标对象进行识别的方法、装置和系统 | |
CN110348348A (zh) | 一种参建人员进场身份快速识别方法及预警系统 | |
CN106951846A (zh) | 一种人脸3d模型录入和识别方法和装置 | |
CN102176746A (zh) | 一种用于局部小区域安全进入的智能监控系统及实现方法 | |
CN113096337B (zh) | 用于复杂背景的移动目标识别处理方法及智能安防系统 | |
CN112949396A (zh) | 一种景区寻找同游人员的自适应方法 | |
JP2014187645A (ja) | 監視システム、撮像装置、サーバ装置、監視方法およびプログラム | |
CN114898443A (zh) | 一种人脸数据获取方法及装置 | |
KR102077632B1 (ko) | 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템 | |
CN114419092A (zh) | 一种基于国产cpu环境的人员运动轨迹追踪回溯方法及系统 | |
CN210924687U (zh) | 一种基于人脸识别技术的外来人员分类管控系统 | |
JP2012212238A (ja) | 物品検出装置および静止人物検出装置 | |
CN112601054B (zh) | 摄像画面的采集方法及装置、存储介质、电子设备 | |
JP4088060B2 (ja) | 人物監視システム | |
CN115294515A (zh) | 一种基于人工智能的综合防盗管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |