CN116229377B - 一种人员管控报警系统及方法 - Google Patents

一种人员管控报警系统及方法 Download PDF

Info

Publication number
CN116229377B
CN116229377B CN202310501927.2A CN202310501927A CN116229377B CN 116229377 B CN116229377 B CN 116229377B CN 202310501927 A CN202310501927 A CN 202310501927A CN 116229377 B CN116229377 B CN 116229377B
Authority
CN
China
Prior art keywords
unit
target
surrounding
relationship
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310501927.2A
Other languages
English (en)
Other versions
CN116229377A (zh
Inventor
代幻成
杨尧
李浩如
蔡清州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Sanlitong Technology Development Group Co ltd
Chengdu Sanlitong Technology Co ltd
Original Assignee
Sichuan Sanlitong Technology Development Group Co ltd
Chengdu Sanlitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Sanlitong Technology Development Group Co ltd, Chengdu Sanlitong Technology Co ltd filed Critical Sichuan Sanlitong Technology Development Group Co ltd
Priority to CN202310501927.2A priority Critical patent/CN116229377B/zh
Publication of CN116229377A publication Critical patent/CN116229377A/zh
Application granted granted Critical
Publication of CN116229377B publication Critical patent/CN116229377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及数据处理技术领域，公开了一种人员管控报警系统及方法，该系统具有：数据采集模块；视觉关系识别模块；报警模块；其中，所述数据采集模块获取待识别图像；其中，所述视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；其中，所述报警模块根据人脸和周围实例的视觉关系执行报警动作。本发明通过获取待识别图像，识别待识别图像中的人脸和周围实例，并根据人脸和周围实例的视觉关系执行报警动作，利用小样本学习对画面视觉关系进行检测从而获得更高维度的信息，以此实现人员管控及报警，提高人员管控的准确率、泛化性，并降低应用局限性。

Description

一种人员管控报警系统及方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种人员管控报警系统及方法。
背景技术
随着科技的不断进步，人员管控报警系统已经获得了快速发展。现在，通过各种技术手段如人脸识别、身份证识别、摄像头监控、RFID、蓝牙等技术，可以实现对进出场所的人员识别、追踪和分析，进一步提高安全管理的效率和水平。其中，人脸识别技术是人员管控报警系统的关键技术之一。传统人脸识别技术通过将人脸几何特征与数据库中的人脸几何特征进行比对，实现对人员身份的识别和验证。但在实际场景中，人脸捕捉设备规格并不统一，因此采集到的人脸数据无论从质量还是角度等都有所不同，传统通过人脸几何特征进行比对的方式效果就会大打折扣。
使用深度学习的方式进行人脸识别弥补了数据质量不统一的问题，如现有技术CN114495218 A。但这种通过深度学习进行人脸识别的现有技术依然存在不足，深度学习若想获得较高的准确率，必然需要大量的样本，但多数时候样本的数量是有限的，因此如何通过有限的样本获得泛化性和准确率都较好的模型是需要解决的一个技术难点。除样本量有限以外，现有技术仅仅通过人脸识别的结果对人员实施管控也存在应用局限性，如黑名单和白名单中的人员可以通过人脸识别的结果进行管控是因为两者人员属性有明显的划分标准，但还有有部分人员属于灰名单，灰名单中的人员属性具有不确定性，仅使用人脸识别结果对人员进行管控其局限性较大，在实际场景中，对于灰名单人员的管控应该结合更高维度的信息。因此，如何在样本量有限的情况下提高人员管控的准确率、泛化性，并降低应用局限性，是一个亟需解决的技术问题。
发明内容
本发明的主要目的在于提供一种人员管控报警系统及方法，旨在利用小样本学习对画面视觉关系进行检测从而获得更高维度的信息，后结合知识图谱以实现人员管控及报警，提高人员管控的准确率、泛化性，并降低应用局限性。
为实现上述目的，本发明提供一种人员管控报警系统，所述系统，具有：
数据采集模块；
视觉关系识别模块；
报警模块；
其中，所述数据采集模块获取待识别图像；
其中，所述视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；
其中，所述报警模块根据人脸和周围实例的视觉关系执行报警动作。
可选的，所述视觉关系识别模块，具有：
识别单元；
目标组成单元；
其中，所述识别单元利用目标监测模型识别待识别图像中的人脸和周围实例，获得每个人脸和每个周围实例的回归框与实例类别/>；
其中，所述目标组成单元将识别单元获得的回归框与实例类别组成人脸和周围实例的目标；
其中，的组成为/>，/>和/>分别属于/>和，/>为第i个人脸或周围实例的目标，/>为第i个人脸或周围实例的回归框，/>为第i个人脸或周围实例的实例类别。
可选的，所述视觉关系识别模块，还具有：
目标对特征构造单元；
其中，所述目标对特征构造单元利用线性层根据人脸和周围实例的目标对应的目标原始特征/>，构造获得目标对特征；
其中，所述目标对特征的表达式，具体为：
其中，为第i个目标原始特征和第j个目标原始特征构成的目标原始特征对，/>为数组连接函数，/>和/>都为可训练参数，R表示实数，/>为目标原始特征的大小，/>为目标对特征的大小。
可选的，所述视觉关系识别模块，还具有：
目标对文本表示单元；
文本分词单元；
其中，所述目标对文本表示单元将目标对的类别/>和候选关系/>以预设文本模板的方式进行表示；
其中，所述文本分词单元对目标对文本表示单元获得的文本进行分词，并将分词结果送入预训练语言模型，获得每个分词间的上下文表示/>，为当前文本分词的最大数量，/>为第/>个分词，/>为第/>个分词的上下文表示。
可选的，所述视觉关系识别模块，还具有：
关系特征表示单元；
特征投射单元；
其中，所述关系特征表示单元将获得的每个分词间的上下文表示进行平均化处理，得到关系/>的特征表示/>；特征表示/>的表达式，具体为：
其中，表示分词的总数量，/>为第i个分词的上下文表示，i=1,2,…,/>；
其中，所述特征投射单元利用线性层将特征表示投射到与目标对特征/>相同的维度，获得投射结果/>；投射结果/>的表达式，具体为：
其中，和/>维度相同，/>和/>都属于可训练参数，/>是/>的维度，R表示实数。
可选的，所述视觉关系识别模块，还具有：
知识图谱构建单元；
其中，所述知识图谱构建单元获取具有字幕的现有视频数据，提取字幕关于图像中部分实例之间的关系，并根据图像和图像中部分实例之间的关系构建知识图谱；
其中，实体节点为，不同的三元组作为边/>，/>为关系。
可选的，所述视觉关系识别模块，还具有：
预训练语言模型微调单元；
候选关系打分单元；
其中，所述预训练语言模型微调单元将知识图谱构建单元构建的知识图谱中的边/>输出为文本，利用掩码将关系/>替代，并将带有掩码的文本输入预训练语言模型，完成预训练语言模型的微调；
其中，候选关系打分单元提取微调完成后的预训练语言模型的关系输出特征，并根据输出特征/>为每一个关系/>进行打分；
其中，所述打分的表达式，具体为：
其中，代表了分词的嵌入过程，/>代表了三组元/>成立的可能性。
可选的，所述视觉关系识别模块，还具有：
距离计算单元；
概率分布计算单元；
关系确定单元；
其中，所述距离计算单元计算关系与目标对/>之间的距离，所述距离的表达式，具体为：
其中，计算的是两个向量的余弦距离；
其中，所述概率分布计算单元利用多专家模型，根据关系与目标对/>之间的距离以及关系/>的打分计算目标对/>与关系/>的概率分布，所述概率分布的表达式，具体为：
其中，和/>为可训练参数，R表示实数；
其中，所述关系确定单元根据目标对与关系/>的概率分布，确定目标对的关系/>。
可选的，所述报警模块具有：
报警单元；
其中，所述报警单元根据目标对的关系/>执行报警动作。
此外，为了实现上述目的，本发明还提供一种人员管控报警方法，所述方法包括以下步骤：
S1：数据采集模块获取待识别图像；
S2：视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；
S3：报警模块根据人脸和周围实例的视觉关系执行报警动作。
本发明提出的一种人员管控报警系统及方法，该系统具有：数据采集模块；视觉关系识别模块；报警模块；其中，所述数据采集模块获取待识别图像；其中，所述视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；其中，所述报警模块根据人脸和周围实例的视觉关系执行报警动作。本发明通过获取待识别图像，识别待识别图像中的人脸和周围实例，并根据人脸和周围实例的视觉关系执行报警动作，利用小样本学习对画面视觉关系进行检测从而获得更高维度的信息，以此实现人员管控及报警，提高人员管控的准确率、泛化性，并降低应用局限性。
附图说明
图1为本发明实施例中一种人员管控报警系统实施例的结构示意图；
图2为本发明实施例中一种人员管控报警方法实施例的流程示意图。
附图标记：
10-数据采集模块；20-视觉关系识别模块；30-报警模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种人员管控报警系统，参照图1，图1为本发明人员管控报警系统实施例的示意图。
本实施例中，提出一种人员管控报警系统，所述人员管控报警系统包括数据采集模块10、视觉关系识别模块20和报警模块30。
需要说明的是，所述数据采集模块10获取待识别图像；所述视觉关系识别模块20识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；所述报警模块30根据人脸和周围实例的视觉关系执行报警动作。
本实施例中，数据采集模块10可以为各类摄像头，负载采集包括管控目标人员的图像数据，并在采集后将图像通过有线或者无线的方式传输给视觉关系识别模块20。视觉关系识别模块20负责对图像数据中的人脸及周围实例进行识别，并给出图像中的视觉关系结果。报警模块30负责根据知识图谱结合视觉关系结果将报警信息发送至相关机构。以此，根据包含管控目标人员的图像数据中人脸及周围实例的视觉关系结果，进行人员管控与报警。
本实施例提供的人员管控报警系统，提出了一种人员管控报警系统，通过获取待识别图像，识别待识别图像中的人脸和周围实例，并根据人脸和周围实例的视觉关系执行报警动作，利用小样本学习对画面视觉关系进行检测从而获得更高维度的信息，以此实现人员管控及报警，提高人员管控的准确率、泛化性，并降低应用局限性。
在优选的实施例中，所述视觉关系识别模块20具有：识别单元和目标组成单元。
需要说明的是，所述识别单元利用目标监测模型识别待识别图像中的人脸和周围实例，获得每个人脸和每个周围实例的回归框与实例类别；所述目标组成单元将识别单元获得的回归框与实例类别组成人脸和周围实例的目标/>。
其中，的组成为/>，/>和/>分别属于/>和，/>为第i个人脸或周围实例的目标，/>为第i个人脸或周围实例的回归框，/>为第i个人脸或周围实例的实例类别。
在本实施例中，目标监测模型可以采用预训练的yolox或其他任意目标检测模型，该目标监测模型对图像中的人脸及实例进行识别，得到回归框及实例类别，需要说明的是，人脸的类别为人员的身份属性，其余为传统意义上的类别。
在此之后，将回归框与实例类别组成人脸和周围实例的目标，以此可根据组成的目标执行后续目标对与关系的确定，来实现人员管控报警的目的。
在优选的实施例中，所述视觉关系识别模块20，还具有：目标对特征构造单元。
需要说明的是，所述目标对特征构造单元利用线性层根据人脸和周围实例的目标对应的目标原始特征/>，构造获得目标对特征。
其中，所述目标对特征的表达式，具体为：
其中，为第i个目标原始特征和第j个目标原始特征构成的目标原始特征对，/>为数组连接函数,/>和/>都为可训练参数，R表示实数，/>为目标原始特征的大小，/>为目标对特征的大小。
本实施例中，在构造目标对特征时，通过将目标检测模型Backbone的输出或检测头前一层的输出作为目标原始特征。以/>作为输入使用线性层构造目标对特征，每一个目标对特征都包含了两个目标的外观和彼此的空间信息。
在优选的实施例中，所述视觉关系识别模块20，还具有：目标对文本表示单元和文本分词单元。
其中，所述目标对文本表示单元将目标对的类别/>和候选关系以预设文本模板的方式进行表示；所述文本分词单元对目标对文本表示单元获得的文本进行分词，并将分词结果/>,送入预训练语言模型，获得每个分词间的上下文表示/>，/>为当前文本分词的最大数量，/>为第/>个分词，/>为第个分词的上下文表示。
在本实施例中，预设文本模板采用“the relationship between and />is”。在得到文本表示后将文本进行分词，得到分词结果/>，将分词结果送入预训练语言模型Bert以获得每个分词间的上下文表示/>。
在优选的实施例中，所述视觉关系识别模块20，还具有：关系特征表示单元和特征投射单元。
在本实施例中，所述关系特征表示单元将获得的每个分词间的上下文表示进行平均化处理，得到关系/>的特征表示/>；所述特征投射单元利用线性层将特征表示/>投射到与目标对特征/>相同的维度，获得投射结果/>。
其中，特征表示的表达式，具体为：
其中，表示分词的总数量，/>为第i个分词的上下文表示，i=1,2,…,/>；
其中，投射结果的表达式，具体为：
其中，和/>维度相同，/>和/>都属于可训练参数，/>是/>的维度，R表示实数。
由此，根据关系特征表示得到关系的特征表示/>，并利用线性层将特征表示投射到与目标对特征/>相同的维度。
在优选的实施例中，所述视觉关系识别模块20，还具有：知识图谱构建单元。
在本实施例中，所述知识图谱构建单元获取具有字幕的现有视频数据，提取字幕关于图像中部分实例之间的关系，并根据图像和图像中部分实例之间的关系构建知识图谱；其中，实体节点为/>，不同的三元组作为边/>，/>为关系。
需要说明的是，知识图谱构建单元先将一些现有的带有字幕的视频数据进行分帧，得到图像和字幕，字幕描述了图像中部分实例之间的关系，然后以此构建知识图谱；其中，知识图谱的构建可以根据场景的特异性进行构建，以适应不同场景下对人员监控报警系统的需求，提供了更为灵活的报警机制。
在优选的实施例中，所述视觉关系识别模块20，还具有：预训练语言模型微调单元和候选关系打分单元。
在本实施例中，所述预训练语言模型微调单元将知识图谱构建单元构建的知识图谱中的边/>输出为文本，利用掩码将关系/>替代，并将带有掩码的文本输入预训练语言模型，完成预训练语言模型的微调；候选关系打分单元提取微调完成后的预训练语言模型的关系/>输出特征/>，并根据输出特征/>为每一个关系/>进行打分。
其中，所述打分的表达式，具体为：
其中，代表了分词的嵌入（embedding）过程，/>代表了三组元成立的可能性。
需要说明的是，在获得知识图谱后对预训练语言模型Bert进行微调，将知识图谱中的边输出为文本并将/>用掩码[MASK]替代。将带有掩码的文本输入Bert对其进行微调。微调完成后Bert具有能输出来自于关系集/>的关系/>的特征，将这一特征定义为/>，进而使用/>为每一个候选关系/>进行打分。
由此，能够使用知识增强解决了现有技术在样本量不足情况下，基于深度学习的人脸识别方法在样本量有限的情况下不能得到较好的泛化性和准确率的性能缺陷。
在优选的实施例中，所述视觉关系识别模块20，还具有：距离计算单元、概率分布计算单元和关系确定单元。
在本实施例中，所述距离计算单元计算关系与目标对/>之间的距离；所述概率分布计算单元利用多专家模型，根据关系/>与目标对/>之间的距离以及关系的打分计算目标对/>与关系/>的概率分布；所述关系确定单元根据目标对与关系/>的概率分布，确定目标对/>的关系/>。
其中，所述距离的表达式，具体为：
其中，计算的是两个向量的余弦距离；
其中，所述概率分布的表达式，具体为：
其中，和/>为可训练参数，R表示实数。
需要说明的是，本实施例首先计算与/>之间的距离，在计算完成后使用MoE模块（多专家模型）利用/>和/>生成概率分布/>，由此，通过/>可以得到的关系/>。
在优选的实施例中，所述报警模块30具有：报警单元。
在本实施例中，所述报警单元根据目标对的关系/>执行报警动作。
其中，报警单元根据关系，可以得到目标管控人员与其周围实例的关系，结合报警知识图谱可以对灰名单人员风险进行报警。在实际应用中，若识别到目标人脸为灰名单人员，该人员周围存在敏感物品（例如刀、可燃物等）且得到的关系/>为“使用”，则向相关部门发送报警信息，由此根据知识图谱结合视觉关系结果将报警信息发送至相关机构，实现人员管控报警。
本实施例提出一种人员管控报警系统，利用视觉关系检测解决了现有技术中无法对灰名单人员进行有效地管控的局限性，同时，利用知识图谱结合视觉关系检测结果实现管控报警，通过小样本学习对画面视觉关系进行检测从而获得更高维度的信息，后结合知识图谱以实现人员管控及报警，提高人员管控的准确率、泛化性，并降低应用局限性。
本发明实施例还提供了一种人员管控报警方法，参照图2，图2为本发明人员管控报警方法实施例的示意图。
该人员管控报警方法，用于上述实施例记载的人员管控报警系统，该方法包括如下步骤：
S1：数据采集模块获取待识别图像；
S2：视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；
S3：报警模块根据人脸和周围实例的视觉关系执行报警动作。
需要说明的是，本申请人员管控报警方法的具体实施方式与上述人员管控报警系统各实施例基本相同，在此不再赘述。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了使于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A~B''表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种人员管控报警系统，其特征在于，所述系统，具有：
数据采集模块；
视觉关系识别模块；
报警模块；
其中，所述数据采集模块获取待识别图像；
其中，所述视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；
其中，所述报警模块根据人脸和周围实例的视觉关系执行报警动作；
其中，所述视觉关系识别模块，具有：
识别单元；
目标组成单元；
其中，所述识别单元利用目标监测模型识别待识别图像中的人脸和周围实例，获得每个人脸和每个周围实例的回归框B(b1,b2,...,bn)与实例类别C(c1,c2,...,cm)；
其中，所述目标组成单元将识别单元获得的回归框与实例类别组成人脸和周围实例的目标O(o1,o2,...,oi,...,on)；
其中，oi的组成为oi＝(bi,ci)，bi和ci分别属于B(b1,b2,...,bn)和C(c1,c2,...,cm)，oi为第i个人脸或周围实例的目标，bi为第i个人脸或周围实例的回归框，ci为第i个人脸或周围实例的实例类别。
2.根据权利要求1所述的人员管控报警系统，其特征在于，所述视觉关系识别模块，还具有：
目标对特征构造单元；
其中，所述目标对特征构造单元利用线性层根据人脸和周围实例的目标O(o1,o2,...,oi,...,on)对应的目标原始特征构造获得目标对特征；
其中，所述目标对特征的表达式，具体为：
其中，为第i个目标原始特征和第j个目标原始特征构成的目标原始特征对，concat()为数组连接函数,/>和bv∈RH都为可训练参数，R表示实数，Dv为目标原始特征的大小，H为目标对特征的大小。
3.根据权利要求2所述的人员管控报警系统，其特征在于，所述视觉关系识别模块，还具有：
目标对文本表示单元；
文本分词单元；
其中，所述目标对文本表示单元将目标对(oi,oj)的类别(ci,cj)和候选关系pk以预设文本模板的方式进行表示；
其中，所述文本分词单元对目标对文本表示单元获得的文本进行分词，并将分词结果送入预训练语言模型，获得每个分词间的上下文表示/>nx为当前文本分词的最大数量。
4.根据权利要求3所述的人员管控报警系统，其特征在于，所述视觉关系识别模块，还具有：
关系特征表示单元；
特征投射单元；
其中，所述关系特征表示单元将获得的每个分词间的上下文表示进行平均化处理，得到关系pk的特征表示/>特征表示/>的表达式，具体为：
其中，length(pk)表示分词的总数量；
其中，所述特征投射单元利用线性层将特征表示投射到与目标对特征vij相同的维度，获得投射结果ξk；投射结果ξk的表达式，具体为：
其中，ξk∈RH和vij维度相同，和bp∈RH都属于可训练参数，Dt是/>的维度，R表示实数。
5.根据权利要求4所述的人员管控报警系统，其特征在于，所述视觉关系识别模块，还具有：
知识图谱构建单元；
其中，所述知识图谱构建单元获取具有字幕的现有视频数据，提取字幕关于图像中部分实例之间的关系，并根据图像和图像中部分实例之间的关系构建知识图谱G(V,E,R)；
其中，实体节点为vi∈V，不同的三元组作为边(vi,r,vj)∈E，r∈R为关系。
6.根据权利要求5所述的人员管控报警系统，其特征在于，所述视觉关系识别模块，还具有：
预训练语言模型微调单元；
候选关系打分单元；
其中，所述预训练语言模型微调单元将知识图谱构建单元构建的知识图谱G(V,E,R)中的边(vi,r,vj)输出为文本，利用掩码将关系r替代，并将带有掩码的文本输入预训练语言模型，完成预训练语言模型的微调；
其中，候选关系打分单元提取微调完成后的预训练语言模型的关系r输出特征m，并根据输出特征m为每一个关系pk进行打分；
其中，所述打分的表达式，具体为：
其中，EmbedKE代表了分词的embedding过程，代表了三组元(ci,pk,cj)成立的可能性。
7.根据权利要求6所述的人员管控报警系统，其特征在于，所述视觉关系识别模块，还具有：
距离计算单元；
概率分布计算单元；
关系确定单元；
其中，所述距离计算单元计算关系pk与目标对(oi,oj)之间的距离，所述距离的表达式，具体为：
其中，dis计算的是两个向量的余弦距离；
其中，所述概率分布计算单元利用多专家模型，根据关系pk与目标对(oi,oj)之间的距离以及关系pk的打分计算目标对(oi,oj)与关系pk的概率分布，所述概率分布的表达式，具体为：
其中，Wf∈Rn×2n和bf∈Rn为可训练参数，R表示实数；
其中，所述关系确定单元根据目标对(oi,oj)与关系pk的概率分布，确定目标对(oi,oj)的关系p。
8.根据权利要求7所述的人员管控报警系统，其特征在于，所述报警模块具有：
报警单元；
其中，所述报警单元根据目标对(oi,oj)的关系p执行报警动作。
9.一种人员管控报警方法，其特征在于，所述方法，包括：
S1：数据采集模块获取待识别图像；
S2：视觉关系识别模块识别待识别图像中的人脸和周围实例，并生成人脸和周围实例的视觉关系；
S3：报警模块根据人脸和周围实例的视觉关系执行报警动作；
其中，所述步骤S2，具体包括：
利用目标监测模型识别待识别图像中的人脸和周围实例，获得每个人脸和每个周围实例的回归框B(b1,b2,...,bn)与实例类别C(c1,c2,...,cm)；
将识别单元获得的回归框与实例类别组成人脸和周围实例的目标O(o1,o2,...,oi,...,on)；
其中，oi的组成为oi＝(bi,ci)，bi和ci分别属于B(b1,b2,...,bn)和C(c1,c2,...,cm)，oi为第i个人脸或周围实例的目标，bi为第i个人脸或周围实例的回归框，ci为第i个人脸或周围实例的实例类别。
CN202310501927.2A 2023-05-06 2023-05-06 一种人员管控报警系统及方法 Active CN116229377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310501927.2A CN116229377B (zh) 2023-05-06 2023-05-06 一种人员管控报警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310501927.2A CN116229377B (zh) 2023-05-06 2023-05-06 一种人员管控报警系统及方法

Publications (2)

Publication Number Publication Date
CN116229377A CN116229377A (zh) 2023-06-06
CN116229377B true CN116229377B (zh) 2023-08-04

Family

ID=86580901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310501927.2A Active CN116229377B (zh) 2023-05-06 2023-05-06 一种人员管控报警系统及方法

Country Status (1)

Country Link
CN (1) CN116229377B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205946010U (zh) * 2016-07-01 2017-02-08 天津信蚁信息科技有限公司 一种基于计算机视觉的多功能监控装置
CN109241847A (zh) * 2018-08-07 2019-01-18 电子科技大学 基于视觉图像的油田作业区安全监控系统
CN110119701A (zh) * 2019-04-30 2019-08-13 东莞恒创智能科技有限公司 基于视觉关系检测的煤矿综采工作面不安全行为识别方法
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110889397A (zh) * 2018-12-28 2020-03-17 南京大学 一种以人为主体的视觉关系分割方法
CN112102543A (zh) * 2019-05-31 2020-12-18 杭州海康威视数字技术股份有限公司 一种安检系统和方法
CN112711960A (zh) * 2019-10-24 2021-04-27 浙江宇视科技有限公司 闸机报警方法、装置、控制处理器及可读存储介质
CN113361326A (zh) * 2021-04-30 2021-09-07 国能浙江宁海发电有限公司 一种基于计算机视觉目标检测的智慧电厂管控系统
CN115131826A (zh) * 2022-08-23 2022-09-30 浙江大华技术股份有限公司 物品检测识别方法、网络模型的训练方法和装置
CN115631528A (zh) * 2022-12-14 2023-01-20 山东海博科技信息系统股份有限公司 一种基于深度学习的智能人脸识别方法及系统
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN115910066A (zh) * 2022-09-15 2023-04-04 平湖市通用电气安装有限公司 用于区域配电网的智能调度指挥与运营系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460346B2 (en) * 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8528018B2 (en) * 2011-04-29 2013-09-03 Cisco Technology, Inc. System and method for evaluating visual worthiness of video data in a network environment
WO2018083738A1 (ja) * 2016-11-01 2018-05-11 三菱電機株式会社 情報処理装置、報知システム、情報処理方法及びプログラム
KR102287043B1 (ko) * 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205946010U (zh) * 2016-07-01 2017-02-08 天津信蚁信息科技有限公司 一种基于计算机视觉的多功能监控装置
CN109241847A (zh) * 2018-08-07 2019-01-18 电子科技大学 基于视觉图像的油田作业区安全监控系统
CN110889397A (zh) * 2018-12-28 2020-03-17 南京大学 一种以人为主体的视觉关系分割方法
CN110119701A (zh) * 2019-04-30 2019-08-13 东莞恒创智能科技有限公司 基于视觉关系检测的煤矿综采工作面不安全行为识别方法
CN112102543A (zh) * 2019-05-31 2020-12-18 杭州海康威视数字技术股份有限公司 一种安检系统和方法
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN112711960A (zh) * 2019-10-24 2021-04-27 浙江宇视科技有限公司 闸机报警方法、装置、控制处理器及可读存储介质
CN113361326A (zh) * 2021-04-30 2021-09-07 国能浙江宁海发电有限公司 一种基于计算机视觉目标检测的智慧电厂管控系统
CN115131826A (zh) * 2022-08-23 2022-09-30 浙江大华技术股份有限公司 物品检测识别方法、网络模型的训练方法和装置
CN115910066A (zh) * 2022-09-15 2023-04-04 平湖市通用电气安装有限公司 用于区域配电网的智能调度指挥与运营系统
CN115631528A (zh) * 2022-12-14 2023-01-20 山东海博科技信息系统股份有限公司 一种基于深度学习的智能人脸识别方法及系统
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频摘要和目标重识别中的关系学习;何旭峰;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2022)01期);I138-1287 *

Also Published As

Publication number Publication date
CN116229377A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
CN111767900B (zh) 人脸活体检测方法、装置、计算机设备及存储介质
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
CN105956572A (zh) 一种基于卷积神经网络的活体人脸检测方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
US11194997B1 (en) Method and system for thermal infrared facial recognition
Letournel et al. Face de-identification with expressions preservation
US20230081982A1 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
CN112818722A (zh) 模块化动态可配置的活体人脸识别系统
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
CN110059607B (zh) 活体多重检测方法、装置、计算机设备及存储介质
Borghi et al. Face Verification from Depth using Privileged Information.
Cimmino et al. M2FRED: Mobile masked face REcognition through periocular dynamics analysis
CN107480628B (zh) 一种人脸识别方法及装置
CN116229377B (zh) 一种人员管控报警系统及方法
CN115984646B (zh) 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN115620374A (zh) 一种监控视频中人脸图像识别模糊处理的方法
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113920575A (zh) 一种人脸表情识别方法、装置及存储介质
CN110717544B (zh) 一种垂直鱼眼镜头下行人属性分析方法及系统
CN109409325B (zh) 一种识别方法和电子设备
CN112182537A (zh) 监控方法、装置、服务器、系统以及存储介质
CN114639132A (zh) 人脸识别场景下的特征提取模型处理方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant