CN117455441A - 基于多模态算法的在线安全应急监测终端系统 - Google Patents

基于多模态算法的在线安全应急监测终端系统 Download PDF

Info

Publication number
CN117455441A
CN117455441A CN202311783434.9A CN202311783434A CN117455441A CN 117455441 A CN117455441 A CN 117455441A CN 202311783434 A CN202311783434 A CN 202311783434A CN 117455441 A CN117455441 A CN 117455441A
Authority
CN
China
Prior art keywords
information
roll call
preset
abnormal
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311783434.9A
Other languages
English (en)
Other versions
CN117455441B (zh
Inventor
谢智聪
岑兆祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hua antai Intelligent & Technology Co ltd
Original Assignee
Shenzhen Hua antai Intelligent & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hua antai Intelligent & Technology Co ltd filed Critical Shenzhen Hua antai Intelligent & Technology Co ltd
Priority to CN202311783434.9A priority Critical patent/CN117455441B/zh
Publication of CN117455441A publication Critical patent/CN117455441A/zh
Application granted granted Critical
Publication of CN117455441B publication Critical patent/CN117455441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1091—Recording time for administrative or management purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供了一种基于多模态算法的在线安全应急监测终端系统，包括：警用移动设备，供警务人员对服刑人员进行点名操作；和后台处理系统，供对警务人员的点名操作进行数据处理；其中，所述警用移动设备被可通讯地连接于后台处理系统；其中，所述警用移动设备包括摄像模块、深度扫描模块和热成像模块，所述摄像模块、深度扫描模块和所述热成像模块分别被可通讯地连接于后台处理系统；其中，所述后台处理系统包括点名模块、查询模块和上报模块，其中，所述点名模块、所述查询模块和所述上报模块之间可通讯地连接。

Description

基于多模态算法的在线安全应急监测终端系统
技术领域
本申请涉及安全检测领域，尤其是涉及一种基于多模态算法的在线安全应急监测终端系统。
背景技术
在监狱的日常管理中，对服刑人员的人数清点是相当重要的一个管理环节，而目前我国的大多数监狱采用人工点名并手工记录的方式，这对于监狱干警来说，工作量非常大，且手工记录方式出现错点、漏点的可能性较高，不利于对监狱服刑人员的管理，且存在安全隐患。
现有的一些改进的监狱服刑人员点名方法，通过采用人脸识别的方式对服刑人员进行点名，但是单独通过人脸图像进行人脸识别点名，存在一定的风险，且可能存在通过照片图像进行冒充点名的风险。
发明内容
为了快速且准确地识别监狱服刑人员并对其进行点名操作，本申请提供一种基于多模态算法的在线安全应急监测终端系统1。
所述基于多模态算法的在线安全应急监测终端系统1，用于监狱服刑人员的点名管理，包括：
警用移动设备，供警务人员对服刑人员进行点名操作；和
后台处理系统，供对警务人员的点名操作进行数据处理；
其中，所述警用移动设备被可通讯地连接于后台处理系统；
其中，所述警用移动设备包括摄像模块、深度扫描模块和热成像模块，所述摄像模块、深度扫描模块和所述热成像模块分别被可通讯地连接于后台处理系统；
其中，所述后台处理系统包括点名模块、查询模块和上报模块，其中，所述点名模块、所述查询模块和所述上报模块之间可通讯地连接。
通过采用上述技术方案，警务工作人员可以通过所述警用移动设备对服刑人员进行身份识别，以实现快速且准确的点名操作。
可选的，所述后台处理系统的所述点名模块包括静态点名策略，用于对静止状态的人物进行点名操作，所述静态点名策略包括以下步骤：
A1，获取当前时刻并定义当前时刻为点名起始时刻；
A2，通过所述警用移动设备的所述摄像模块获取预设的当前点名人物的即时图像数据；
A3，通过所述警用移动设备的所述深度扫描模块获取当前点名人物的即时深度图像数据；
A4，通过所述警用移动设备的所述热成像模块获取当前点名人物的即时热成像数据；
A5，根据即时图像数据、即时深度图像数据和即时热成像数据以预设的特征融合算法生成即时多模态特征；
A6，根据即时多模态特征通过预设的多模态识别模型于预设的人物信息数据库中尝试匹配对应的预存人物特征；
A7，若匹配成功，则根据预存人物特征于人物信息数据库获取对应的人物信息，并赋值预设的匹配类型为识别匹配；
A8，若匹配失败，则以预设的人工识别方法于人物信息数据库获得当前点名人物的人物信息，并赋值匹配类型为人工匹配；
A9，保存即时多模态特征和对应的人物信息至预设的训练集数据库，保存即时图像数据、即时深度图像数据和即时热成像数据至预设的历史图像数据库；
A10，获取当前时刻并定义当前时刻为点名结束时刻；
A11,根据点名起始时刻、点名结束时刻、人物信息和匹配类型生成个人点名数据。
通过采用上述技术方案, 所述基于多模态算法的在线安全应急监测终端系统可以通过多方面地采集当前点名人物的信息，并以多模态识别模型实现人物信息的识别匹配，以快速且准确地对当前点名人物进行点名操作。
可选的，所述点名模块进一步包括点名分析策略，所述点名分析策略包括以下步骤：
B1，根据所有的个人点名数据获取对应的点名起始时刻和点名结束时刻；
B2，根据所有的点名起始时刻和点名结束时刻以预设的排序算法生成点名时刻序列；
B3，根据点名时刻序列以预设的波动率算法计算时刻波动率；
B4，根据所有的个人点名数据获取对应的匹配类型；
B5，根据所有的匹配类型以预设的统计算法计算识别匹配数量和人工匹配数量；
B6，根据识别匹配数量和人工匹配数量计算识别成功率；
B7，根据时刻波动率和识别成功率以预设的风险度算法计算点名风险度；
B8，判断点名风险度是否大于预设的风险阈值；
B9，若判断结果为是，则根据点名时刻序列和时刻波动率以预设的风险时刻算法确定风险时刻数据；
B10，根据风险时刻数据确定对应的人物信息并定义为异常人物信息；
B11，根据所有的异常人物信息以及合并生成异常人物清单，并通过所述上报模块向预设的风险情况数据库上传异常人物清单。
通过采用上述技术方案，所述基于多模态算法的在线安全应急监测终端系统可以根据点名过程中的时间信息和多模态识别模型的识别成功率发现点名过程中的风险隐患，并对可能存在风险隐患的人物进行确定。
可选的，所述点名模块进一步包括人物异常识别策略，所述人物异常识别子策略包括以下步骤：
C1，依次于异常人物清单获取异常人物信息，并根据异常人物信息于历史图像数据库获取对应的近期图像数据、近期深度图像数据和近期热成像数据；
C2，根据即时图像数据和近期图像数据以预设的图像差异检测算法确定图像异常区域；
C3，根据即时深度图像数据和近期深度图像数据以图像差异检测算法确定深度异常区域；
C4，根据热成像数据和近期热成像数据以图像差异检测算法确定热成像异常区域；
C5，根据图像异常区域、深度异常区域和热成像异常区域以预设的重叠区域算法确定重叠异常区域并定义为重点异常区域；
C6，根据图像异常区域、深度异常区域、热成像异常区域和重点异常区域生成人物异常区域信息。
通过采用上述技术方案，所述基于多模态算法的在线安全应急监测终端系统可以确定异常人物的图像数据、深度图像数值以及热成像数据中存在差异的区域，以供警务人物对存在异常的区域进行快速查验。
可选的，所述点名模块进一步包括异常人物关联风险判断策略，所述异常人物关联风险判断子策略包括以下步骤：
D1，根据异常人物清单逐个获取异常人物信息，并根据异常人物信息通过所述查询模块于人物信息数据库获取对应的犯罪记录信息和服刑记录信息并传输犯罪记录信息和服刑记录信息至警用移动设备；
D2，根据异常人物信息于人物信息数据库获取对应的关联警员信息，并根据关联警员信息向关联警员的警用移动设备发送预设的反馈请求；
D3，于预设的响应时长内尝试接受来自对应警员的警用移动设备的人物补充信息；
D4，若异常人物信息的数量大于预设的异常人物阈值，则根据异常人物信息、对应的犯罪记录信息、对应的服刑记录信息和对应的人物补充信息以预设的文本特征提取算法生成对应的异常人物描述特征；
D5，两两配对异常人物描述特征并定义为特征比较数据对；
D6，根据特征比较数据对以预设的关联度判断模型确定异常人物关联度；
D7，判断异常人物关联度是否大于预设的关联风险阈值；
D8，若返回结果为是，则将异常人物关联度所对应的异常人物信息定义为关联风险人物信息，并向警用移动设备发送预设的风险提示信息和关联风险人物信息。
通过采用上述技术方案，所述基于多模态算法的在线安全应急监测终端系统可以于存在风险的异常人物中确定可能存在较高关联程度的服刑人员，并即时告知警务人员，避免服刑人员出现伙同行事的风险。
可选的，所述点名模块进一步包括风险信息同步策略，所述风险信息同步策略包括以下步骤：
E1，于预设的值班信息数据库获取值班信息；
E2，根据值班信息获取值班警员信息，通讯连接值班警员信息对应的警用移动设备并定义为值班移动设备；
E3，于点名策略执行时，获取点名起始时刻；
E4，持续获取当前时刻，并根据点名起始时刻和当前时刻确定点名持续时长；
E5，若点名持续时长大于预设的安全时长，则向值班移动设备发送预设的超时警报；
E6，若关联风险人物信息不为空值，则向值班移动设备发送风险提示信息和关联风险人物信息。
通过采用上述技术方案，所述基于多模态算法的在线安全应急监测终端系统可以对点名过长进行监测，并即时的做出异常预警，并通知值班警员，对潜在的风险事件做出早期预警。
可选的，所述点名模块进一步包括多设备协作策略，所述多设备协作子策略包括以下步骤：
F1，预设数个警用移动设备并定义为协作设备；
F2，根据预设的点名路径以预设的拍摄夹角设置所有协作设备；
F3，通讯连接所有协作设备；
F4，通过所有协作设备获取当前点名人物的即时图像数据、即时深度信息和即时热成像信息；
F5，根据所有协作设备获取的即时图像数据、即时深度图像数据和即时热成像数据以特征融合算法生成即时多模态特征。
通过采用上述技术方案，所述基于多模态算法的在线安全应急监测终端系统可以通过多个警用移动设备协作从多个角度获取服刑人员的图形数据、深度图形数据和热成像数据，通过增加数据量的方式来提高多模态识别模型的识别精度。
可选的，所述点名模块进一步包括动态识别策略，用于对运动中的当前点名人物进行人物信息的识别，所述动态识别子策略包括以下步骤：
G1，通过所有协作设备获取当前点名人物的即时视频数据；
G2，根据即时视频数据以预设的步态识别算法于预设的步态信息数据库确定相匹配的人物信息并定义为步态匹配人物信息；
G3，根据视频内容以预设的高清图像截取算法获得高清人物图像信息并定义为即时图像数据；
G4，根据即时图像数据以预设的人脸识别算法于预设的人脸数据库确定相匹配的人物信息并定义为人脸匹配人物信息；
G5，判断步态匹配人物信息与人脸匹配人物信息是否相同；
G6，若返回结果为是，则定义人脸匹配人物信息为人物信息。
通过采用上述技术方案，所述述基于多模态算法的在线安全应急监测终端系统1可以对动态移动的附近人员进行识别确认人物信息，并减少了识别算力的开销，同时保证了识别精度。
综上所述，本申请包括以下至少一种有益技术效果：
1. 所述基于多模态算法的在线安全应急监测终端系统可以通过多方面地采集当前点名人物的信息，并以多模态识别模型实现人物信息的识别匹配，以快速且准确地对当前点名人物进行点名操作；
2.可以根据点名过程中的时间信息和多模态识别模型的识别成功率发现点名过程中的风险隐患，并对可能存在风险隐患的人物进行确定；
3.可以确定异常人物的图像数据、深度图像数值以及热成像数据中存在差异的区域，以供警务人物对存在异常的区域进行快速查验。
附图说明
图1是本发明所述基于多模态算法的在线安全应急监测终端系统的原理示意图。
图2是本发明所述基于多模态算法的在线安全应急监测终端系统的步骤流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例公开了一种基于多模态算法的在线安全应急监测终端系统，用于对监狱服刑人员的点名管理，本申请通过采集服刑人员的多个模态的数据，并提取和融合特征信息，通过多模态识别模型确定服刑人员的人物信息，以实现点名操作，并提高点名的准确度。
参照图1，所述基于多模态算法的在线安全应急监测终端系统1包括：
警用移动设备10，供警务人员对服刑人员进行点名操作；和
后台处理系统20，供对警务人员的点名操作进行数据处理；
其中，所述警用移动设备10被可通讯地连接于后台处理系统20；
其中，所述警用移动设备10包括摄像模块11、深度扫描模块12和热成像模块13，所述摄像模块11、深度扫描模块12和所述热成像模块13分别被可通讯地连接于后台处理系统20；
其中，所述后台处理系统20包括点名模块21、查询模块22和上报模块23，其中，所述点名模块21、所述查询模块22和所述上报模块23之间可通讯地连接。
所述警用移动设备10供警务人员操作对服刑人员进行点名，获取服刑人员的相关特征信息，并将特征信息回传至所述后台处理系统20进行识别处理，同时，警用移动设备10还可接受服刑人员的相关信息反馈至警务人员，以对警务人员进行提醒和告知。
所述后台处理系统20用于接收和处理所述警用移动设备10所传输的服刑人员的相关特征信息，并由所述后台处理系统20对相关特征信息进行识别确定服刑人员的身份以实现点名。
所述摄像模块11用于采集服刑人员的图像数据，供与其他相关数据一同提取多模态特征，现有的普通摄像头或相机便可获得图像数据。
所述深度扫描模块12用于采集服刑人员的深度图像数据，供与所述摄像模块11所获取的图像数据以及其他相关数据一同提取多模态特征，现有的深度相机可以实现对深度图像的采集，实现深度图像采集的原理有结构光法和飞行时间TOF法等。
进一步地，也可以通过现有的RGB-D相机实现同时采集图像数据和深度图像数据。
所述热成像模块13用于采集服刑人员的热成像数据，以结合图像数据、深度图像数据和热成像数据实现多模态特征的提取，用于通过预先训练的多模态识别模型进行服刑人员的身份识别并获取人物信息，另一方面，多模态特征可用作多模态识别模型的训练。
因服刑人员的图像数据、深度图像数据和热成像数据都是基于服刑人员自身所采集获得，这些数据之间存在天然的关联性，且这些数据之间又存在冗余性和互补性，从不同层面包含服刑人员的个人特征，故可以用作多模态特征的提取，并通过多模态模型进行人物识别。
所述点名模块21用于处理所述警用移动设备10采集的服刑人员的图像数据、深度图像数据和热成像数据以进行多模态特征的提取和人物识别，并于识别成功后通过所述查询模块22获取人物信息以实现点名操作。
所述查询模块22用于根据需要通过调用数据库中的数据以获得各方面可用的数据信息。
所述上报模块23用于将相关信息上报至数据库或是向相关工作人员发送信息以达到信息报备和知会的功能。
通过所述基于多模态算法的在线安全应急监测终端系统1，警务工作人员可以通过所述警用移动设备10对服刑人员进行身份识别，以实现快速且准确的点名操作。
参照图2，所述后台处理系统20的所述点名模块21包括静态点名策略，用于对静止状态的人物进行点名操作，所述静态点名策略包括以下步骤：
A1，获取当前时刻并定义当前时刻为点名起始时刻；
当前时刻为实时获取的时刻；
点名起始时刻为警务人员对单个服刑人员进行点名操作的起始时刻。
A2，通过所述警用移动设备10的所述摄像模块11获取预设的当前点名人物的即时图像数据；
当前点名人物为根据警务人员的指令移动并静止位于所述警用移动设备10的采集范围内的服刑人员；
即时图像数据为通过所述摄像模块11实时采集的当前点名人物的图像，该实时图像一般为彩色平面图像。
A3，通过所述警用移动设备10的所述深度扫描模块12获取当前点名人物的即时深度图像数据；
即时深度图像数据为通过所述深度扫描模块12实时采集的当前点名人物的深度图像。
A4，通过所述警用移动设备10的所述热成像模块13获取当前点名人物的即时热成像数据；
即时热成像数据为通过所述热成像模块13实时采集的当前点名人物的热成像数据。
A5，根据即时图像数据、即时深度图像数据和即时热成像数据以预设的特征融合算法生成即时多模态特征；
特征融合算法为工作人员预先设定的算法，用于对即时图像数据、即时深度图像数据和即时热成像数据进行融合与特征提取，以确定即时多模态特征；对于融合算法，现有较多的技术方案，如可以先进行数据融合再进行特征提取，也可以是先进行特征提取再进行特征融合等等，通过各种可用的融合算法可以获得综合的特征数据；
多模态特征为即时图像数据、即时深度图像数据和即时热成像数据通过特征融合算法生成的综合的特征数据。
A6，根据即时多模态特征通过预设的多模态识别模型于预设的人物信息数据库中尝试匹配对应的预存人物特征；
多模态识别模型为工作人员设定的经过预先训练的机器学习模型，用于根据多模态特征进行人物身份的识别匹配；
人物信息数据为工作人员设定的数据库，用于预先储存所有服刑人员的人物特征和人物信息等相关数据；
预存人物特征为预先采集和提取的服刑人员的人物特征信息，可用于匹配和比对以确定服刑人员的身份信息。
A7，若匹配成功，则根据预存人物特征于人物信息数据库获取对应的人物信息，并赋值预设的匹配类型为识别匹配；
匹配类型为工作人员设定的变量，用于储存识别方式的信息，以供后续统计；
识别匹配为标识信息，表示当前点名人物通过多模态识别模型成功识别匹配。
A8，若匹配失败，则以预设的人工识别方法于人物信息数据库获得当前点名人物的人物信息，并赋值匹配类型为人工匹配；
人工识别方式为工作人员设定的识别方式，通常为进行点名的警务人员通过口头问话等方法来对当前点名人物进行身份确认，并可通过实时警务移动设备10进行手动录入和匹配人物信息，以实现点名操作；
人工匹配为标识信息，表示当前点名人物通过警务人员的人工操作完成识别和点名操作。
A9，保存即时多模态特征和对应的人物信息至预设的训练集数据库，保存即时图像数据、即时深度图像数据和即时热成像数据至预设的历史图像数据库；
训练集数据库为工作人员设定的数据库，用于储存训练多模态识别模型的训练数据；在点名成功后，生成的即时多模态特征和对应的人物信息可以成为对多模态识别模型的训练数据，可用于训练多模态识别模型以进一步提高识别准确度；
历史图像数据库为工作人员设定的数据库，用于保存即时图像数据、即时深度图像数据和即时热成像数据以供备查或其他相关用途。
A10，获取当前时刻并定义当前时刻为点名结束时刻；
点名结束时刻为当前点名人物匹配人物信息成功后的实时时刻，以确定点名完成的时刻。
A11,根据点名起始时刻、点名结束时刻、人物信息和匹配类型生成个人点名数据；
个人点名数据为当前点名人物所对应的与点名过程相关的数据，包括点名起始时刻、点名结束时刻、匹配确定的人物信息和匹配类型，以供后续的统计和处理。
通过以上步骤，所述基于多模态算法的在线安全应急监测终端系统1可以通过多方面地采集当前点名人物的信息，并以多模态识别模型实现人物信息的识别匹配，以快速且准确地对当前点名人物进行点名操作。
进一步地，所述点名模块21还包括点名分析策略，所述点名分析策略包括以下步骤：
B1，根据所有的个人点名数据获取对应的点名起始时刻和点名结束时刻；
从所有的个人点名数据获取对应的点名起始时刻和点名结束时刻，可用于进行基于时刻的分析，以发现潜在的风险。
B2，根据所有的点名起始时刻和点名结束时刻以预设的排序算法生成点名时刻序列；
排序算法为工作人员设定算法，用于对所有的点名起始时刻和点名结束时刻进行排序；
点名时刻序列为根据所有的点名起始时刻和点名结束时刻生成的时刻的序列。
B3，根据点名时刻序列以预设的波动率算法计算时刻波动率；
波动率算法为工作人员设定的算法，用计算点名时刻序列中的时刻数据的波动率；
时刻波动率为点名时刻序列中的时刻数据的波动率，时刻波动率可以从时间的角度反应点名过程中的异常情况，如存在某个人物的点名时间过长，或是某个人物的点名时间过短，都可能导致时刻波动率的上升，进而可以判断整个点名过程是否存在异常风险；
常用的波动率算法可以通过将样本数据的标准差除以均值获得。
B4，根据所有的个人点名数据获取对应的匹配类型；
于点名数据获取所有的匹配类型，以根据匹配类型进行统计。
B5，根据所有的匹配类型以预设的统计算法计算识别匹配数量和人工匹配数量；
统计算法为工作人员设定算法，用于统计识别匹配的数量和人工匹配的数量；
识别匹配数量为通过多模态识别模型识别的方法点名的数量；
人工匹配数量为通过人工识别方法点名的数量。
B6，根据识别匹配数量和人工匹配数量计算识别成功率；
识别成功率为通过多模态识别模型识别的方法点名的成功率；
通过将识别匹配数量除以识别匹配数量和人工匹配数量的和可以计算得到识别成功率。
B7，根据时刻波动率和识别成功率以预设的风险度算法计算点名风险度；
风险度算法为工作人员设定的算法，用于根据时刻波动率和识别成功率计算点名风险度，例如可以根据不同的权重对时刻波动率和识别成功率进行求和计算，可以实现对时刻波动率和识别成功率的综合考虑；
点名风险度为反应整个点名过程中风险程度的数值，可供系统或工作人员参考，以根据点名风险度作出适当的响应动作。
B8，判断点名风险度是否大于预设的风险阈值；
风险阈值为工作人员设定数值，用于判断整个点名过程的点名风险度是否达到需要进行响应动词程度。
B9，若判断结果为是，则根据点名时刻序列和时刻波动率以预设的风险时刻算法确定风险时刻数据；
风险时刻算法为工作人员设定算法，用于根据点名时刻序列和时刻波动率确定可能存在风险隐患的时刻；例如可以先计算点名时刻序列中各时刻之间的间隔时长，并对所有的间隔时长进行排序，再根据时刻波动率确定取值个数，并根据取值个数以此获取对应个数的间隔时长，最后根据这些间隔时长确定所有对应的点名起始时刻和点名结束时刻，即风险时刻数据；
风险时刻数据为通过风险时刻算法确定的所有可能存在风险隐患的点名起始时刻和点名结束时刻的数据集。
B10，根据风险时刻数据确定对应的人物信息并定义为异常人物信息；
异常人物信息为与风险时刻数据对应的人物信息；
风险时刻数据中的所有点名起始时刻和点名结束时刻所对应的人物信息即为异常人物信息。
B11，根据所有的异常人物信息以及合并生成异常人物清单，并通过所述上报模块23向预设的风险情况数据库上传异常人物清单；
异常人物清单为所有异常人物信息的合集；
风险情况数据库为工作人员设定的数据库，用于储存风险相关的数据。
通过以上步骤，所述基于多模态算法的在线安全应急监测终端系统1可以根据点名过程中的时间信息和多模态识别模型的识别成功率发现点名过程中的风险隐患，并对可能存在风险隐患的人物进行确定。
进一步地，所述点名模块21还包括人物异常识别策略，所述人物异常识别子策略包括以下步骤：
C1，依次于异常人物清单获取异常人物信息，并根据异常人物信息于历史图像数据库获取对应的近期图像数据、近期深度图像数据和近期热成像数据；
近期图像数据为异常人物信息对应的过去的图像数据，近期图像数据于往次的点名过程中获得；
近期深度图像数据为异常人物信息对应的过去的深度图像数据，近期深度图像数于往次的点名过程中获得；
近期热成像数据为异常人物信息对应的过去的热成像数据，近期热成像数据于往次的点名过程中获得。
C2，根据即时图像数据和近期图像数据以预设的图像差异检测算法确定图像异常区域；
图像差异检测算法为工作人员设定算法，用于比对相似图像之间差异并找到差异的区域或元素，现有的图像差异检测算法有结构相似性指数（Structural SimilarityIndex, SSIM）、均方误差（Mean Squared Error, MSE）、直方图比较以及感知哈希算法（Perceptual Hashing）等算法；
图像异常区域为根据即时图像数据和近期图像数据比对确定的图像上的存在较大差异的区域。
C3，根据即时深度图像数据和近期深度图像数据以图像差异检测算法确定深度异常区域；
深度异常区域为根据即时深度图像数据和近期深度图像数据比对确定的深度图像上存在较大差异的区域。
C4，根据热成像数据和近期热成像数据以图像差异检测算法确定热成像异常区域；
热成像异常区域为根据热成像数据和近期热成像数据比对确定的热成像图像上存在较大差异的区域。
C5，根据图像异常区域、深度异常区域和热成像异常区域以预设的重叠区域算法确定重叠异常区域并定义为重点异常区域；
重叠区域算法为工作人员设定的算法，用于根据图像异常区域、深度异常区域和热成像异常区域确定重叠的异常区域；
重叠异常区域为图像异常区域、深度异常区域和热成像异常区域中存在重叠的区域，即为重点异常区域。
C6，根据图像异常区域、深度异常区域、热成像异常区域和重点异常区域生成人物异常区域信息。
异常区域信息为反应即时深度图像数据、即时深度图像数据和即时热成像数据中存在异常区域的信息，可供警务人员查看并进行进一步查验。
通过以上步骤，所述基于多模态算法的在线安全应急监测终端系统1可以确定异常人物的图像数据、深度图像数值以及热成像数据中存在差异的区域，以供警务人物对存在异常的区域进行快速查验。
进一步地，所述点名模块21还包括异常人物关联风险判断策略，所述异常人物关联风险判断子策略包括以下步骤：
D1，根据异常人物清单逐个获取异常人物信息，并根据异常人物信息通过所述查询模块22于人物信息数据库获取对应的犯罪记录信息和服刑记录信息并传输犯罪记录信息和服刑记录信息至警用移动设备10；
犯罪记录信息为与人物信息对应的文本记录信息，记录了服刑人员的犯罪相关记录，被预先储存于人物信息数据库；
服刑记录信息为与人物信息对应的文本记录信息，记录了服刑人员至今的服刑记录。
D2，根据异常人物信息于人物信息数据库获取对应的关联警员信息，并根据关联警员信息向关联警员的警用移动设备10发送预设的反馈请求；
关联警员信息为与异常人物信息对应的警员的信息，如参与逮捕、审讯等过程的警员，即关联警员；
反馈请求为工作人员预先设置的文本内容，用于向关联警员请求信息补充，以对增加异常人物的信息，这些信息可能被储存于关联警员的警用移动设备10中，可在允许后被快速调用并进行反馈。
D3，于预设的响应时长内尝试接受来自关联警员的警用移动设备10的人物补充信息；
响应时长为工作人员设定的时长，用于等待接收来自关联警员的警用移动设备10的反馈信息；
人物补充信息为来自关联警员的警用移动设备10的反馈信息，通常为文本信息。
D4，若异常人物信息的数量大于预设的异常人物阈值，则根据异常人物信息、对应的犯罪记录信息、对应的服刑记录信息和对应的人物补充信息以预设的文本特征提取算法生成对应的异常人物描述特征；
异常人物阈值为工作人员设定的数值，用于判断异常人物信息中人物信息的数量是否过多，以至于需要进一步风险分析；
文本特征提取算法为工作人员设定的算法，用于根据文本内容提取对应的特征，可以通过使用词袋模型、TF-IDF（Term Frequency-Inverse Document Frequency）等方法进行文本特征提取；
异常人物描述特征为根据异常人物信息以及对应的犯罪记录信息、对应的服刑记录信息和对应的人物补充信息提取获得的文本描述的特征。
D5，两两配对异常人物描述特征并定义为特征比较数据对；
特征比对数据对为任意两个异常人物描述特征的合集，可便于后续的比对处理。
D6，根据特征比较数据对以预设的关联度判断模型确定异常人物关联度；
关联度判断模型为工作人员预训练的机器学习模型，可用于根据输入的不同比对特征确定比对特征之间的关联程度；
通过比对两个文本描述特征之间的相似度，可以用于确定两个异常人物之间的关联程度，例如两个文本描述特征中出现了相同的地名、人名或行为动作等信息，则可根据这些特征进行关联度的确定；
可用的文本相似度的算法有杰卡德相似度算法、余弦距离算法、欧氏距离算法和海明距离算法等；
异常人物关联程度为关联度判断模型根据特征比较数据得出的结果。
D7，判断异常人物关联度是否大于预设的关联风险阈值；
关联风险阈值为工作人员设定数值，用于判断异常人物关联度是否大到需要进行后续动作。
D8，若返回结果为是，则将异常人物关联度所对应的异常人物信息定义为关联风险人物信息，并向警用移动设备10发送预设的风险提示信息和关联风险人物信息；
关联风险人物信息为可能存在关联风险的异常人物信息的合集；
风险提示信息为工作人员预先设定的内容，供向警务人员进行提醒告知存在风险的可能性。
通过以上步骤，所述基于多模态算法的在线安全应急监测终端系统1可以于存在风险的异常人物中确定可能存在较高关联程度的服刑人员，并即时告知警务人员，避免服刑人员出现伙同行事的风险。
进一步地，所述点名模块21还包括风险信息同步策略，所述风险信息同步策略包括以下步骤：
E1，于预设的值班信息数据库获取值班信息；
值班信息数据库为预设的数据库，用于保存警务人员的值班信息；
值班信息为当日的警务人员值班人员的信息，如值班人数、警员姓名、联系方式、值班时段等信息。
E2，根据值班信息获取值班警员信息，通讯连接值班警员信息对应的警用移动设备10并定义为值班移动设备；
值班警员信息为当日值班的警务人员的信息；
值班移动设备为值班警员信息对应的警用移动设备10；
保持于值班警员的警用移动设备10的通讯连接，可以在发生异常情况时，快速联系值班警员。
E3，于点名策略执行时，获取点名起始时刻；
在执行点名策略时，通过获取点名起始时刻，开始监测点名过程。
E4，持续获取当前时刻，并根据点名起始时刻和当前时刻确定点名持续时长；
点名持续时长为当前时刻和点名起始时刻之间的间隔时长。
E5，若点名持续时长大于预设的安全时长，则向值班移动设备发送预设的超时警报；
安全时长为工作人员设定的时长，用于判断对单个人物的点名所消耗的时间是否过长；
超时警报为工作人员设定的信息，用于向值班移动设备发出警示以体现值班警员。
E6，若关联风险人物信息不为空值，则向值班移动设备发送风险提示信息和关联风险人物信息；
如果存在关联风险人物信息，则向值班移动设备告知相关信息。
通过以上步骤，所述基于多模态算法的在线安全应急监测终端系统1可以对点名过长进行监测，并即时的做出异常预警，并通知值班警员，对潜在的风险事件做出早期预警。
进一步地，所述点名模块21还包括多设备协作策略，所述多设备协作子策略包括以下步骤：
F1，预设数个警用移动设备10并定义为协作设备；
协作设备为需要协同工作的警用移动设备10。
F2，根据预设的点名路径以预设的拍摄夹角设置所有协作设备；
点名路径为警务人员设定的移动路径，供服刑人员列队持续通过点名路径，进行点名操作；
拍摄夹角为协作设备的朝向之间的夹角，通过于协作设备之间设置朝向的夹角，可以拍摄到服刑人员不同角度的图像、深度图像和热成像图像，以提高数据的全面程度。
F3，通讯连接所有协作设备；
通过通讯连接所有的协作设备，使它们之间可以实现数据传输和同步。
F4，通过所有协作设备获取当前点名人物的即时图像数据、即时深度信息和即时热成像信息；
通过所有协作设备同时获取用于人物识别的即时图像数据、即时深度信息和即时热成像信息。
F5，根据所有协作设备获取的即时图像数据、即时深度图像数据和即时热成像数据以特征融合算法生成即时多模态特征；
通过所有协作设备获取即时图像数据、即时深度图像数据和即时热成像数据并生成的多模态特征可以相较于单个警用移动设备10更加全面和精确，通过多个警用移动设备10获取生成的即时多模态特征可供所述点名模块21调用以进一步提高多模态识别模型的识别精度。
通过以上步骤，所述基于多模态算法的在线安全应急监测终端系统1可以通过多个警用移动设备10协作从多个角度获取服刑人员的图形数据、深度图形数据和热成像数据，通过增加数据量的方式来提高多模态识别模型的识别精度。
进一步地，所述点名模块22还包括动态识别策略，用于对运动中的当前点名人物进行人物信息的识别，所述动态识别子策略包括以下步骤：
G1，通过所有协作设备获取当前点名人物的即时视频数据；
即时视频数据为通过所有协作设备的摄像模块11获取的实时的视频内容；因服刑人员在动态移动中，拍摄清晰图像存在一定的困难，故可以通过拍摄连续的视频用作人物身份识别的数据。
G2，根据即时视频数据以预设的步态识别算法于预设的步态信息数据库确定相匹配的人物信息并定义为步态匹配人物信息；
步态识别算法为工作人员设定的算法，用于更加视频内容识别人物的步态特征，并根据步态特征进行人物身份的匹配识别；
步态信息数据库为工作人员设定的数据库，用于储存预先获取的服刑人员的步态特征信息；
步态匹配人物信息为通过步态特征匹配成功后获得的人物信息。
G3，根据视频内容以预设的高清图像截取算法获得高清人物图像信息并定义为即时图像数据；
高清图像截取算法为工作人员设定算法，用于根据视频内容截取清晰度较高的图像，以供进行识别；例如可以有选择的挑选视频中的多个图像帧，并根据现有的图像模糊度算法判断图像帧的模糊程度，进而可以挑选出模糊程度较低的图像帧作为高清人物图像信息；现有的图像模糊度的算法有Tenengrad梯度函数、Laplacian 梯度函数、SMD（灰度方差）函数等算法。
高清人物图像信息为视频内容中截取的清晰度较高的图像帧。
G4，根据即时图像数据以预设的人脸识别算法于预设的人脸数据库确定相匹配的人物信息并定义为人脸匹配人物信息；
人脸识别算法为工作人员设定算法，用于根据单一的即时图像数据进行人脸识别；
人脸数据库为工作人员设定的数据库，用于储存预先获取的服刑人员的人脸数据，供匹配确定；
人脸匹配人物信息为通过即时图像数据识别匹配后确认的人物信息。
G5，判断步态匹配人物信息与人脸匹配人物信息是否相同；
G6，若返回结果为是，则定义人脸匹配人物信息为人物信息。
如果步态匹配人物信息和人脸匹配人物信息相同，则可认为识别成功，因通过单一的步态识别确认人物身份，存在一定的误差；
通过联合步态匹配和人脸匹配，可以提高人物识别的精度；
而且在人物处于动态情况下，较难获取准确的深度图像和热成像图像，这使得深度图像和热成像图像的参考价值大打折扣，另一方面，在当前点名人物处于动态时，要快速的对人物进行识别，会消耗较多的算力，故不再通过深度图像和热成像图像进行人物识别，可以减少算力开销同时提高识别速度。
这样进而可以让待点名的服刑人员按队列持续行进，以动态的方式快速实现点名操作，以提高点名速度，如出现识别失败的情况，识别失败的人员可以出列后，于下一轮进行点名。
通过以上步骤，所述述基于多模态算法的在线安全应急监测终端系统1可以对动态移动的附近人员进行识别确认人物信息，并减少了识别算力的开销，同时保证了识别精度。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (8)

1.一种基于多模态算法的在线安全应急监测终端系统，用于监狱服刑人员的点名管理，其特征在于，包括：
警用移动设备，供警务人员对服刑人员进行点名操作；和
后台处理系统，供对警务人员的点名操作进行数据处理；
其中，所述警用移动设备被可通讯地连接于后台处理系统；
其中，所述警用移动设备包括摄像模块、深度扫描模块和热成像模块，所述摄像模块、深度扫描模块和所述热成像模块分别被可通讯地连接于后台处理系统；
其中，所述后台处理系统包括点名模块、查询模块和上报模块，其中，所述点名模块、所述查询模块和所述上报模块之间可通讯地连接。
2.根据权利要求1所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述后台处理系统的所述点名模块包括静态点名策略，用于对静止状态的人物进行点名操作，所述静态点名策略包括以下步骤：
A1，获取当前时刻并定义当前时刻为点名起始时刻；
A2，通过所述警用移动设备的所述摄像模块获取预设的当前点名人物的即时图像数据；
A3，通过所述警用移动设备的所述深度扫描模块获取当前点名人物的即时深度图像数据；
A4，通过所述警用移动设备的所述热成像模块获取当前点名人物的即时热成像数据；
A5，根据即时图像数据、即时深度图像数据和即时热成像数据以预设的特征融合算法生成即时多模态特征；
A6，根据即时多模态特征通过预设的多模态识别模型于预设的人物信息数据库中尝试匹配对应的预存人物特征；
A7，若匹配成功，则根据预存人物特征于人物信息数据库获取对应的人物信息，并赋值预设的匹配类型为识别匹配；
A8，若匹配失败，则以预设的人工识别方法于人物信息数据库获得当前点名人物的人物信息，并赋值匹配类型为人工匹配；
A9，保存即时多模态特征和对应的人物信息至预设的训练集数据库，保存即时图像数据、即时深度图像数据和即时热成像数据至预设的历史图像数据库；
A10，获取当前时刻并定义当前时刻为点名结束时刻；
A11,根据点名起始时刻、点名结束时刻、人物信息和匹配类型生成个人点名数据。
3.根据权利要求2所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述点名模块进一步包括点名分析策略，所述点名分析策略包括以下步骤：
B1，根据所有的个人点名数据获取对应的点名起始时刻和点名结束时刻；
B2，根据所有的点名起始时刻和点名结束时刻以预设的排序算法生成点名时刻序列；
B3，根据点名时刻序列以预设的波动率算法计算时刻波动率；
B4，根据所有的个人点名数据获取对应的匹配类型；
B5，根据所有的匹配类型以预设的统计算法计算识别匹配数量和人工匹配数量；
B6，根据识别匹配数量和人工匹配数量计算识别成功率；
B7，根据时刻波动率和识别成功率以预设的风险度算法计算点名风险度；
B8，判断点名风险度是否大于预设的风险阈值；
B9，若判断结果为是，则根据点名时刻序列和时刻波动率以预设的风险时刻算法确定风险时刻数据；
B10，根据风险时刻数据确定对应的人物信息并定义为异常人物信息；
B11，根据所有的异常人物信息以及合并生成异常人物清单，并通过所述上报模块向预设的风险情况数据库上传异常人物清单。
4.根据权利要求3所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述点名模块进一步包括人物异常识别策略，所述人物异常识别子策略包括以下步骤：
C1，依次于异常人物清单获取异常人物信息，并根据异常人物信息于历史图像数据库获取对应的近期图像数据、近期深度图像数据和近期热成像数据；
C2，根据即时图像数据和近期图像数据以预设的图像差异检测算法确定图像异常区域；
C3，根据即时深度图像数据和近期深度图像数据以图像差异检测算法确定深度异常区域；
C4，根据热成像数据和近期热成像数据以图像差异检测算法确定热成像异常区域；
C5，根据图像异常区域、深度异常区域和热成像异常区域以预设的重叠区域算法确定重叠异常区域并定义为重点异常区域；
C6，根据图像异常区域、深度异常区域、热成像异常区域和重点异常区域生成人物异常区域信息。
5.根据权利要求4所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述点名模块进一步包括异常人物关联风险判断策略，所述异常人物关联风险判断子策略包括以下步骤：
D1，根据异常人物清单逐个获取异常人物信息，并根据异常人物信息通过所述查询模块于人物信息数据库获取对应的犯罪记录信息和服刑记录信息并传输犯罪记录信息和服刑记录信息至警用移动设备；
D2，根据异常人物信息于人物信息数据库获取对应的关联警员信息，并根据关联警员信息向关联警员的警用移动设备发送预设的反馈请求；
D3，于预设的响应时长内尝试接受来自对应警员的警用移动设备的人物补充信息；
D4，若异常人物信息的数量大于预设的异常人物阈值，则根据异常人物信息、对应的犯罪记录信息、对应的服刑记录信息和对应的人物补充信息以预设的文本特征提取算法生成对应的异常人物描述特征；
D5，两两配对异常人物描述特征并定义为特征比较数据对；
D6，根据特征比较数据对以预设的关联度判断模型确定异常人物关联度；
D7，判断异常人物关联度是否大于预设的关联风险阈值；
D8，若返回结果为是，则将异常人物关联度所对应的异常人物信息定义为关联风险人物信息，并向警用移动设备发送预设的风险提示信息和关联风险人物信息。
6.根据权利要求5所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述点名模块进一步包括风险信息同步策略，所述风险信息同步策略包括以下步骤：
E1，于预设的值班信息数据库获取值班信息；
E2，根据值班信息获取值班警员信息，通讯连接值班警员信息对应的警用移动设备并定义为值班移动设备；
E3，于点名策略执行时，获取点名起始时刻；
E4，持续获取当前时刻，并根据点名起始时刻和当前时刻确定点名持续时长；
E5，若点名持续时长大于预设的安全时长，则向值班移动设备发送预设的超时警报；
E6，若关联风险人物信息不为空值，则向值班移动设备发送风险提示信息和关联风险人物信息。
7.根据权利要求6所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述点名模块进一步包括多设备协作策略，所述多设备协作子策略包括以下步骤：
F1，预设数个警用移动设备并定义为协作设备；
F2，根据预设的点名路径以预设的拍摄夹角设置所有协作设备；
F3，通讯连接所有协作设备；
F4，通过所有协作设备获取当前点名人物的即时图像数据、即时深度信息和即时热成像信息；
F5，根据所有协作设备获取的即时图像数据、即时深度图像数据和即时热成像数据以特征融合算法生成即时多模态特征。
8.根据权利要求7所述的基于多模态算法的在线安全应急监测终端系统，其特征在于，所述点名模块进一步包括动态识别策略，用于对运动中的当前点名人物进行人物信息的识别，所述动态识别子策略包括以下步骤：
G1，通过所有协作设备获取当前点名人物的即时视频数据；
G2，根据即时视频数据以预设的步态识别算法于预设的步态信息数据库确定相匹配的人物信息并定义为步态匹配人物信息；
G3，根据视频内容以预设的高清图像截取算法获得高清人物图像信息并定义为即时图像数据；
G4，根据即时图像数据以预设的人脸识别算法于预设的人脸数据库确定相匹配的人物信息并定义为人脸匹配人物信息；
G5，判断步态匹配人物信息与人脸匹配人物信息是否相同；
G6，若返回结果为是，则定义人脸匹配人物信息为人物信息。
CN202311783434.9A 2023-12-22 2023-12-22 基于多模态算法的在线安全应急监测终端系统 Active CN117455441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311783434.9A CN117455441B (zh) 2023-12-22 2023-12-22 基于多模态算法的在线安全应急监测终端系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311783434.9A CN117455441B (zh) 2023-12-22 2023-12-22 基于多模态算法的在线安全应急监测终端系统

Publications (2)

Publication Number Publication Date
CN117455441A true CN117455441A (zh) 2024-01-26
CN117455441B CN117455441B (zh) 2024-04-12

Family

ID=89589538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311783434.9A Active CN117455441B (zh) 2023-12-22 2023-12-22 基于多模态算法的在线安全应急监测终端系统

Country Status (1)

Country Link
CN (1) CN117455441B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215150A (zh) * 2017-06-30 2019-01-15 上海弘视通信技术有限公司 人脸点名与计数方法及其系统
CN109451437A (zh) * 2018-12-29 2019-03-08 杭州平普智能科技有限公司 一种基于uwb定位的监狱管理系统的实时点名方法和装置
CN112270990A (zh) * 2020-10-23 2021-01-26 广东美电贝尔科技集团股份有限公司 一种具备生命体征记录功能的监狱人员远程点名系统和方法
KR20220131136A (ko) * 2021-03-19 2022-09-27 박영후 Cctv 카메라, 인공지능 및 무인항공기를 이용한 범죄용의자 식별 및 식별 범죄용의자 정보 전파 방법 및 그 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215150A (zh) * 2017-06-30 2019-01-15 上海弘视通信技术有限公司 人脸点名与计数方法及其系统
CN109451437A (zh) * 2018-12-29 2019-03-08 杭州平普智能科技有限公司 一种基于uwb定位的监狱管理系统的实时点名方法和装置
CN112270990A (zh) * 2020-10-23 2021-01-26 广东美电贝尔科技集团股份有限公司 一种具备生命体征记录功能的监狱人员远程点名系统和方法
KR20220131136A (ko) * 2021-03-19 2022-09-27 박영후 Cctv 카메라, 인공지능 및 무인항공기를 이용한 범죄용의자 식별 및 식별 범죄용의자 정보 전파 방법 및 그 시스템

Also Published As

Publication number Publication date
CN117455441B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
US6950536B2 (en) High volume mobile identity verification system and method using tiered biometric analysis
US10049288B2 (en) Managed notification system
Khatun et al. Design and implementation of iris recognition based attendance management system
CN110348348B (zh) 一种参建人员进场身份快速识别方法及预警系统
CN111611865B (zh) 考试作弊行为识别方法、电子设备及存储介质
EP3814950A1 (en) Identifying and verifying individuals using facial recognition
JP2022048147A5 (zh)
CN209543514U (zh) 基于人脸识别的监控与报警系统
CN106127130A (zh) 被管理的基于生物特征识别的通知系统和方法
US6757408B2 (en) Quality assurance and training system for high volume mobile identity verification system and method
CN109635146A (zh) 一种基于图像特征的目标查询方法及系统
CN101976356A (zh) 网吧实名制人脸识别方法及识别系统
KR101084914B1 (ko) 차량번호 및 사람 이미지의 인덱싱 관리시스템
CN109636940A (zh) 一种工地现场考勤系统及考勤方法
CN114898443A (zh) 一种人脸数据获取方法及装置
US11532152B2 (en) Managed notification system
CN117455441B (zh) 基于多模态算法的在线安全应急监测终端系统
CN109493439A (zh) 一种基于大数据的智能工作管理方法
CN112989993A (zh) 记录方法、记录系统以及计算机可读存储介质
US20040052403A1 (en) High volume mobile identity verification system and method
US11106895B1 (en) Video alert and secondary verification system and method
CN112804492B (zh) 一种电子猫眼的通信提示方法及装置
CN114973548A (zh) 一种基于图像识别的无人智慧图书馆管理系统及方法
CN114140842A (zh) 一种基于国产cpu和os的人脸实时检测追踪登录装置
CN110287841B (zh) 图像传输方法及装置、图像传输系统、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant