CN116844093A - 一种基于实时视频流的人员识别方法、设备及介质 - Google Patents

一种基于实时视频流的人员识别方法、设备及介质 Download PDF

Info

Publication number
CN116844093A
CN116844093A CN202310932018.4A CN202310932018A CN116844093A CN 116844093 A CN116844093 A CN 116844093A CN 202310932018 A CN202310932018 A CN 202310932018A CN 116844093 A CN116844093 A CN 116844093A
Authority
CN
China
Prior art keywords
identified
target
person
detected
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310932018.4A
Other languages
English (en)
Inventor
徐湛
李凡平
王堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yisa Data Technology Co Ltd
ISSA Technology Co Ltd
Original Assignee
Qingdao Yisa Data Technology Co Ltd
ISSA Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yisa Data Technology Co Ltd, ISSA Technology Co Ltd filed Critical Qingdao Yisa Data Technology Co Ltd
Priority to CN202310932018.4A priority Critical patent/CN116844093A/zh
Publication of CN116844093A publication Critical patent/CN116844093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于实时视频流的人员识别方法、设备及介质，该方法包括：实时获取待识别人员在第一目标区域内对应的第一视频流；得到若干第一待检测图像；对每一第一待检测图像进行特征信息提取，得到待识别人员对应的若干待识别人员特征信息；若第一数据库中存储有待识别人脸特征信息对应的第一身份信息，则将待识别人员确定为目标人员；得到若干目标图像；对每一目标图像进行封装处理，得到目标视频流。本发明通过利用计算机视觉、机器学习和多媒体处理技术，能够在实时视频流中快速、准确地提取和识别人员特征，并将目标人员的相关信息标注在第一待检测图像上，使人员识别结果更加明确和可视化。

Description

一种基于实时视频流的人员识别方法、设备及介质
技术领域
本发明涉及数据处理领域，特别是涉及一种基于实时视频流的人员识别方法、设备及介质。
背景技术
在当前的安全监控和人员管理领域中，对于实时视频流的处理和人员特征识别的需求越来越重要。传统的安全监控系统通常依赖于人工操作和分析，耗时且容易出错。随着计算机视觉和机器学习技术的发展，自动化的实时视频分析系统成为了一种更加高效和可靠的解决方案。
目前的人脸识别和图像分析技术局限于对静态图像的处理，对于实时视频流的处理能力有限。此外，现有技术在人员特征识别的准确性和效率方面仍面临一些挑战。例如，对于复杂场景下的多个人员同时识别和特征提取，以及准确匹配人员信息的问题仍然具有挑战性。现有技术往往需要大量计算资源和时间来处理实时视频流，并且在复杂场景下容易出现特征提取错误或识别误差的情况。且在高密度人员场景下，同时识别和提取多个人员的特征值会更加复杂，现有技术难以准确区分和提取多个人员的特征，并且容易发生误匹配和信息混淆的问题。且现有技术在将实时提取的人员特征与人员库进行匹配、获取姓名和证件号、将相关信息标注在图像等方面存在局限性和不足之处。在实时视频流处理中，现有技术中的实时流和文件生成方法也存在不便捷、效率低下等问题。
发明内容
有鉴于此，本发明提供一种基于实时视频流的人员识别方法、设备及介质，至少部分解决现有技术中存在的技术问题，本发明采用的技术方案为：
根据本申请的一个方面，提供一种基于实时视频流的人员识别方法，应用于人员识别系统，人员识别系统连接有第一数据库和目标显示界面，第一数据库中存储有若干第一人员对应的第一人脸特征向量和第一身份信息；
所述基于实时视频流的人员识别方法包括如下步骤：
S100、实时获取待识别人员在第一目标区域内对应的第一视频流；
S200、对第一视频流进行预处理，得到若干第一待检测图像；
S300、对每一第一待检测图像进行特征信息提取，得到待识别人员对应的若干待识别人员特征信息；待识别人员特征信息中包括待识别人员对应的待识别人脸特征信息和待识别外貌特征信息；
S400、若第一数据库中存储有待识别人脸特征信息对应的第一身份信息，则将待识别人员确定为目标人员；
S500、将目标人员对应的若干目标外貌特征信息及目标身份信息标注在每一第一待检测图像对应的第一标识框中，得到若干目标图像；
S600、对每一目标图像进行封装处理，得到目标视频流；
S700、将目标视频流在目标显示界面中展示。
在本申请的一种示例性实施例中，步骤S200包括：
S210、对第一视频流进行解码处理，得到若干第一视频帧；
S220、对每一第一视频帧进行帧提取处理，得到若干第一待检测图像。
在本申请的一种示例性实施例中，步骤S300还包括：
S301、根据机器学习算法，对待识别人员对应的每一待识别人员特征信息进行分类，得到若干待识别特征信息类组，每一待识别特征信息类组中包括若干待识别人员特征信息。
在本申请的一种示例性实施例中，待识别人脸特征信息通过以下步骤确定：
S310、根据人脸检测算法，确定每一第一待检测图像中的人脸区域；
S320、根据人脸关键点定位算法，对每一第一待检测图像中的人脸区域进行检测，确定每一人脸区域内的关键特征信息点；
S330、根据面部特征信息提取算法和每一关键特征信息点，提取每一第一待检测图像中的待识别人脸特征信息。
在本申请的一种示例性实施例中，步骤S400包括：
S410、根据n个待识别人脸特征信息，得到待识别人员对应的人脸特征信息向量Q＝(Q1,Q2,...,Qi,...,Qn)；其中，i＝1,2,...,n；Qi为待识别人员对应的第i个待识别人脸特征信息；
S420、获取第一数据库中存储的h个第一人员对应的第一人脸特征向量R1,R2,...,Rg,...,Rh；Rg＝(Rg1,Rg2,...,Rgi,...,Rgn)；其中，g＝1,2,...,h；Rg为第g个第一人员对应的第一人脸特征向量；Rgi为第g个第一人员对应的第一人脸特征向量中的第i个第一人脸特征信息；Rgi对应的关键特征信息点与Qi对应的关键特征信息点相同；
S430、将Q与R1,R2,...,Rg,...,Rh分别进行匹配度计算，得到对应的第一匹配度M1,M2,...,Mg,...,Mh；
S440、若MAX(M1,M2,...,Mg,...,Mh)≥M0，则将待识别人员确定为目标人员；其中，M0为预设匹配度阈值；MAX()为预设的最大值确定函数；
S450、将MAX(M1,M2,...,Mg,...,Mh)对应的第一人员的第一身份信息确定为目标身份信息；
S460、将待识别外貌特征信息确定为目标外貌特征信息。
在本申请的一种示例性实施例中，第一标识框通过以下步骤确定：
S510、根据边界框算法，对每一第一待检测图像中的人体区域进行框选，得到每一第一待检测图像对应的初始标识框；
S520、获取目标人员在每一第一待检测图像中对应的若干目标外貌特征信息的字段长度，得到字段长度集F＝(F1,F2,...,Fj,...,Fm)；Fj＝(Fj1,Fj2,...,Fjd,...,Fjf(j))；其中，j＝1,2,...,m；d＝1,2,...,f(j)；m为第一待检测图像的数量；f(j)为目标人员在第j个第一待检测图像中对应的目标外貌特征信息的数量；Fj为目标人员在第j个第一待检测图像中对应的目标外貌特征信息的字段长度列表；Fjd为目标人员在第j个第一待检测图像中对应的第d个目标外貌特征信息的字段长度；
S530、获取目标身份信息的字段长度G；
S540、若G≥MAX(Fj)，则将初始标识框的边界向外扩充G个长度，并将其确定为第j个第一待检测图像对应的第一标识框；否则，将初始标识框的边界向外扩充MAX(Fj)个长度，并将其确定为第j个第一待检测图像对应的第一标识框。
在本申请的一种示例性实施例中，在步骤S540之后，方法还包括：
S550、若第一标识框中包含对应的第一待检测图像的边界，则将该边界作为对应的第一标识框的边界。
在本申请的一种示例性实施例中，步骤S600包括：
S610、根据音视频编码算法，对m个目标图像进行编码处理，得到对应的第二视频帧；
S620、将每一第二视频帧封装为实时rtmp流，得到目标视频流；
S630、将每一第二视频帧以flv文件格式进行存储。
根据本申请的一个方面，提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述的基于实时视频流的人员识别方法。
根据本申请的一个方面，提供一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本发明至少具有以下有益效果：
本发明提供一种高效、准确的基于实时视频流的人员特征提取、识别和标注方法，通过利用计算机视觉、机器学习和多媒体处理技术，能够在实时视频流中快速、准确地提取和识别人员特征，实现实时的信息获取和标注，大大提高了处理速度和效率，并将根据待识别人员特征信息得到的第一人脸特征向量与第一数据库中的第一人脸特征向量进行比对，实现第一人员的第一身份信息的获取，为安全监控和人员管理提供了方便和实用的手段，并将目标人员对应的若干目标外貌特征信息及目标身份信息标注在第一待检测图像上，可以提供直观的视觉信息，使人员识别结果更加明确和可视化，便于进一步分析和应用，同时生成新的实时rtmp流和flv文件，使得处理后的视频流可以方便地进行实时传输和保存，为后续的数据分析、归档和回放提供了便利，满足安全监控和人员管理领域的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于实时视频流的人员识别方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于实时视频流的人员识别方法，应用于人员识别系统，人员识别系统连接有第一数据库和目标显示界面，第一数据库中存储有若干第一人员对应的第一人脸特征向量和第一身份信息。
人员识别系统用于对待识别人员的人脸识别以及身份验证，第一数据库用于存储第一人员的第一人脸特征向量和第一身份信息，第一人员为已经存储有身份信息的人员，第一人脸特征向量为根据对应的第一人员的人脸特征信息得到的特征向量，第一身份信息为对应的第一人员的身份信息，身份信息包括对应的第一人员的姓名、身份号码等，目标显示界面为显示识别后的人员的相应识别信息的界面，为实时视频流显示，即接收到待识别人员的第一视频流时，对待识别人员进行身份验证和相应识别信息的标注，并在目标显示界面中展示。
人员识别系统中搭建srs(SimpleRealtimeServer)服务，用于接收rtmp视频流，且在人员识别系统中安装ffmpeg环境，用于生成rtmp视频流，且通过每个第一人员的照片信息、人脸特征信息、人员基础信息得到对应的第一人脸特征向量和第一身份信息。
如图1所示，所述基于实时视频流的人员识别方法包括如下步骤：
S100、实时获取待识别人员在第一目标区域内对应的第一视频流；
第一目标区域即指定的需要对来访人员进行身份识别验证的区域，来访人员即待识别人员，第一视频流为通过图像采集设备采集的第一目标区域的实时视频流，第一视频流为rtmp视频流，图像采集设备可以为置于第一目标区域内的摄像头。
S200、对第一视频流进行预处理，得到若干第一待检测图像；
预处理通过人员识别系统中建立的软件库进行处理，软件库可以为OpenCV(跨平台计算机视觉库)，预处理包括依次进行的解码处理和帧提取处理，用于将接收到的第一视频流实时进行解码和提取图像帧，得到第一视频流对应的若干个第一待检测图像，每个第一待检测图像均对应有获取时间，即拍摄时间，若干第一待检测图像根据对应的获取时间进行排序，以便于根据获取时间对进行身份识别验证后的视频流的生成，防止出现乱码的情况。
进一步，步骤S200包括：
S210、对第一视频流进行解码处理，得到若干第一视频帧；
S220、对每一第一视频帧进行帧提取处理，得到若干第一待检测图像。
S300、对每一第一待检测图像进行特征信息提取，得到待识别人员对应的若干待识别人员特征信息；待识别人员特征信息中包括待识别人员对应的待识别人脸特征信息和待识别外貌特征信息；
在得到若干个第一待检测图像后，由于要对每个第一待检测图像中的待识别人员进行身份识别及在对应的第一待检测图像进行信息标注，所以就要对每一第一待检测图像中的待识别人员进行特征信息提取，得到待识别人员特征信息，待识别人员特征信息为对应的第一待检测图像中待识别人员的特征信息，包括待识别人员的待识别人脸特征信息和待识别外貌特征信息，待识别人脸特征信息即待识别人员的人脸特征信息，待识别外貌特征信息包括待识别人员的年龄信息、上衣颜色、下衣颜色、鞋子颜色、有无胡须等，每个第一待检测图像均对应有若干待识别人员特征信息，如其中一个第一待检测图像中只能获取到待识别人员的上身位置，则此第一待检测图像得到的待识别人员特征信息中不包括对应的下衣颜色和鞋子颜色信息，待识别人脸特征信息用于对待识别人员进行身份验证，待识别外貌特征信息用于对待识别人员进行更为精确的识别，有助于避免误识别和信息混淆，并为后续的人员比对提供可靠的基础。
其中，待识别人脸特征信息通过以下步骤确定：
S310、根据人脸检测算法，确定每一第一待检测图像中的人脸区域；
人脸检测算法可以为基于深度学习的人脸检测模型进行的检测算法，用于定位第一待检测图像中的人脸区域。
S320、根据人脸关键点定位算法，对每一第一待检测图像中的人脸区域进行检测，确定每一人脸区域内的关键特征信息点；
人脸关键点定位算法可以为基于回归模型或深度学习的方法，用于准确定位人脸的关键点，如眼睛、鼻子、嘴巴等特征点。
S330、根据面部特征信息提取算法和每一关键特征信息点，提取每一第一待检测图像中的待识别人脸特征信息。
面部特征信息提取算法可以为基于深度学习的特征提取模型进行的提取算法，用于提取人脸的特征信息。
进一步，步骤S300还包括：
S301、根据机器学习算法，对待识别人员对应的每一待识别人员特征信息进行分类，得到若干待识别特征信息类组，每一待识别特征信息类组中包括若干待识别人员特征信息。
机器学习算法可以为支持向量机(SVM)或卷积神经网络(CNN)的算法，用于对人员特征进行分类和识别，如分为年龄信息类、上衣颜色款式类、下衣颜色款式类、鞋子颜色款式类等，便于对得到的待识别人员特征信息进行统计。
S400、若第一数据库中存储有待识别人脸特征信息对应的第一身份信息，则将待识别人员确定为目标人员；
进一步，步骤S400包括：
S410、根据n个待识别人脸特征信息，得到待识别人员对应的人脸特征信息向量Q＝(Q1,Q2,...,Qi,...,Qn)；其中，i＝1,2,...,n；Qi为待识别人员对应的第i个待识别人脸特征信息；
待识别人脸特征信息为待识别人员对应的人脸特征信息，根据待识别人员的若干人脸特征信息，组成待识别人员对应的人脸特征信息向量。
S420、获取第一数据库中存储的h个第一人员对应的第一人脸特征向量R1,R2,...,Rg,...,Rh；Rg＝(Rg1,Rg2,...,Rgi,...,Rgn)；其中，g＝1,2,...,h；Rg为第g个第一人员对应的第一人脸特征向量；Rgi为第g个第一人员对应的第一人脸特征向量中的第i个第一人脸特征信息；Rgi对应的关键特征信息点与Qi对应的关键特征信息点相同；
为了便于后续对第一人脸特征向量和人脸特征信息向量进行对比，所以，将每一第一人脸特征向量中的每个第一人脸特征信息对应的关键特征信息点与人脸特征信息向量中的每个待识别人脸特征信息对应的关键特征信息点相同。
S430、将Q与R1,R2,...,Rg,...,Rh分别进行匹配度计算，得到对应的第一匹配度M1,M2,...,Mg,...,Mh；
匹配度计算可以通过匹配度度量算法实施，匹配度度量算法如余弦匹配度算法或欧式距离算法，通过匹配度度量算法，得到人脸特征信息向量与每一第一人脸特征向量之间的第一匹配度，第一匹配度越大，表示人脸特征信息向量与对应的第一人脸特征向量越相似。
S440、若MAX(M1,M2,...,Mg,...,Mh)≥M0，则将待识别人员确定为目标人员；其中，M0为预设匹配度阈值；MAX()为预设的最大值确定函数；
若MAX(M1,M2,...,Mg,...,Mh)大于等于M0，则表示待识别人员为最大的第一匹配度对应的第一人员，将其确定为目标人员；反之，若MAX(M1,M2,...,Mg,...,Mh)小于M0，则表示待识别人员为非第一人员的人员，只需展示目标外貌特征信息。
S450、将MAX(M1,M2,...,Mg,...,Mh)对应的第一人员的第一身份信息确定为目标身份信息；
S460、将待识别外貌特征信息确定为目标外貌特征信息。
S500、将目标人员对应的若干目标外貌特征信息及目标身份信息标注在每一第一待检测图像对应的第一标识框中，得到若干目标图像；
将目标外貌特征信息和目标身份信息标注在第一待检测图像对应的第一标识框中，可以提供直观的视觉信息，使人员识别结果更加明确和可视化，便于进一步分析和应用。
其中，第一标识框通过以下步骤确定：
S510、根据边界框算法，对每一第一待检测图像中的人体区域进行框选，得到每一第一待检测图像对应的初始标识框；
边界框算法为基于滑动窗口或区域提议的方法，确定每一第一待检测图像中的初始标识框。
S520、获取目标人员在每一第一待检测图像中对应的若干目标外貌特征信息的字段长度，得到字段长度集F＝(F1,F2,...,Fj,...,Fm)；Fj＝(Fj1,Fj2,...,Fjd,...,Fjf(j))；其中，j＝1,2,...,m；d＝1,2,...,f(j)；m为第一待检测图像的数量；f(j)为目标人员在第j个第一待检测图像中对应的目标外貌特征信息的数量；Fj为目标人员在第j个第一待检测图像中对应的目标外貌特征信息的字段长度列表；Fjd为目标人员在第j个第一待检测图像中对应的第d个目标外貌特征信息的字段长度；
S530、获取目标身份信息的字段长度G；
S540、若G≥MAX(Fj)，则将初始标识框的边界向外扩充G个长度，并将其确定为第j个第一待检测图像对应的第一标识框；否则，将初始标识框的边界向外扩充MAX(Fj)个长度，并将其确定为第j个第一待检测图像对应的第一标识框；
以每一第一待检测图像中的最长的字段长度作为扩充长度，将初始标识框向外扩充，得到对应的第一标识框。
S550、若第一标识框中包含对应的第一待检测图像的边界，则将该边界作为对应的第一标识框的边界；
若第一待检测图像的边界位于第一标识框中，为了防止信息字段无法完全在第一待检测图像中显示，则将具有交集关系的第一待检测图像的边界作为对应的第一标识框的边界，而未与第一待检测图像的边界有交集的第一标识框的边界无需更改。
S600、对每一目标图像进行封装处理，得到目标视频流；
进一步，步骤S600包括：
S610、根据音视频编码算法，对m个目标图像进行编码处理，得到对应的第二视频帧；
音视频编码算法如H.264或H.265。
S620、将每一第二视频帧封装为实时rtmp流，得到目标视频流；
目标视频流为进行实时传输的视频流，以满足实时流的需求。
S630、将每一第二视频帧以flv文件格式进行存储。
将每一第二视频帧存储为flv文件格式，以备进行后续的数据分析、归档和回放等操作。
S700、将目标视频流在目标显示界面中展示。
本发明提供一种高效、准确的基于实时视频流的人员特征提取、识别和标注方法，通过利用计算机视觉、机器学习和多媒体处理技术，能够在实时视频流中快速、准确地提取和识别人员特征，实现实时的信息获取和标注，大大提高了处理速度和效率，并将根据待识别人员特征信息得到的第一人脸特征向量与第一数据库中的第一人脸特征向量进行比对，实现第一人员的第一身份信息的获取，为安全监控和人员管理提供了方便和实用的手段，并将目标人员对应的若干目标外貌特征信息及目标身份信息标注在第一待检测图像上，可以提供直观的视觉信息，使人员识别结果更加明确和可视化，便于进一步分析和应用，同时生成新的实时rtmp流和flv文件，使得处理后的视频流可以方便地进行实时传输和保存，为后续的数据分析、归档和回放提供了便利，满足安全监控和人员管理领域的需求。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
根据本发明的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。
其中，储存器存储有程序代码，程序代码可以被处理器执行，使得处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(RAM)和/或高速缓存储存器，还可以进一步包括只读储存器(ROM)。
储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于实时视频流的人员识别方法，其特征在于，应用于人员识别系统，所述人员识别系统连接有第一数据库和目标显示界面，所述第一数据库中存储有若干第一人员对应的第一人脸特征向量和第一身份信息；
所述方法包括如下步骤：
S100、实时获取待识别人员在第一目标区域内对应的第一视频流；
S200、对所述第一视频流进行预处理，得到若干第一待检测图像；
S300、对每一所述第一待检测图像进行特征信息提取，得到所述待识别人员对应的若干待识别人员特征信息；所述待识别人员特征信息中包括所述待识别人员对应的待识别人脸特征信息和待识别外貌特征信息；
S400、若所述第一数据库中存储有所述待识别人脸特征信息对应的第一身份信息，则将所述待识别人员确定为目标人员；
S500、将所述目标人员对应的若干目标外貌特征信息及目标身份信息标注在每一所述第一待检测图像对应的第一标识框中，得到若干目标图像；
S600、对每一所述目标图像进行封装处理，得到目标视频流；
S700、将所述目标视频流在所述目标显示界面中展示。
2.根据权利要求1所述的方法，其特征在于，所述步骤S200包括：
S210、对所述第一视频流进行解码处理，得到若干第一视频帧；
S220、对每一所述第一视频帧进行帧提取处理，得到若干第一待检测图像。
3.根据权利要求1所述的方法，其特征在于，所述步骤S300还包括：
S301、根据机器学习算法，对所述待识别人员对应的每一所述待识别人员特征信息进行分类，得到若干待识别特征信息类组，每一所述待识别特征信息类组中包括若干待识别人员特征信息。
4.根据权利要求1所述的方法，其特征在于，所述待识别人脸特征信息通过以下步骤确定：
S310、根据人脸检测算法，确定每一所述第一待检测图像中的人脸区域；
S320、根据人脸关键点定位算法，对每一所述第一待检测图像中的人脸区域进行检测，确定每一所述人脸区域内的关键特征信息点；
S330、根据面部特征信息提取算法和每一所述关键特征信息点，提取每一所述第一待检测图像中的待识别人脸特征信息。
5.根据权利要求4所述的方法，其特征在于，所述步骤S400包括：
S410、根据n个所述待识别人脸特征信息，得到所述待识别人员对应的人脸特征信息向量Q＝(Q1,Q2,...,Qi,...,Qn)；其中，i＝1,2,...,n；Qi为所述待识别人员对应的第i个待识别人脸特征信息；
S420、获取所述第一数据库中存储的h个第一人员对应的第一人脸特征向量R1,R2,...,Rg,...,Rh；Rg＝(Rg1,Rg2,...,Rgi,...,Rgn)；其中，g＝1,2,...,h；Rg为第g个第一人员对应的第一人脸特征向量；Rgi为第g个第一人员对应的第一人脸特征向量中的第i个第一人脸特征信息；Rgi对应的关键特征信息点与Qi对应的关键特征信息点相同；
S430、将Q与R1,R2,...,Rg,...,Rh分别进行匹配度计算，得到对应的第一匹配度M1,M2,...,Mg,...,Mh；
S440、若MAX(M1,M2,...,Mg,...,Mh)≥M0，则将所述待识别人员确定为目标人员；其中，M0为预设匹配度阈值；MAX()为预设的最大值确定函数；
S450、将MAX(M1,M2,...,Mg,...,Mh)对应的第一人员的第一身份信息确定为目标身份信息；
S460、将所述待识别外貌特征信息确定为目标外貌特征信息。
6.根据权利要求4所述的方法，其特征在于，所述第一标识框通过以下步骤确定：
S510、根据边界框算法，对每一所述第一待检测图像中的人体区域进行框选，得到每一所述第一待检测图像对应的初始标识框；
S520、获取所述目标人员在每一所述第一待检测图像中对应的若干目标外貌特征信息的字段长度，得到字段长度集F＝(F1,F2,...,Fj,...,Fm)；Fj＝(Fj1,Fj2,...,Fjd,...,Fjf(j))；其中，j＝1,2,...,m；d＝1,2,...,f(j)；m为所述第一待检测图像的数量；f(j)为目标人员在第j个第一待检测图像中对应的目标外貌特征信息的数量；Fj为目标人员在第j个第一待检测图像中对应的目标外貌特征信息的字段长度列表；Fjd为目标人员在第j个第一待检测图像中对应的第d个目标外貌特征信息的字段长度；
S530、获取所述目标身份信息的字段长度G；
S540、若G≥MAX(Fj)，则将所述初始标识框的边界向外扩充G个长度，并将其确定为第j个第一待检测图像对应的第一标识框；否则，将所述初始标识框的边界向外扩充MAX(Fj)个长度，并将其确定为第j个第一待检测图像对应的第一标识框。
7.根据权利要求6所述的方法，其特征在于，在所述步骤S540之后，所述方法还包括：
S550、若所述第一标识框中包含对应的所述第一待检测图像的边界，则将该边界作为对应的第一标识框的边界。
8.根据权利要求1所述的方法，其特征在于，所述步骤S600包括：
S610、根据音视频编码算法，对m个所述目标图像进行编码处理，得到对应的第二视频帧；
S620、将每一所述第二视频帧封装为实时rtmp流，得到目标视频流；
S630、将每一所述第二视频帧以flv文件格式进行存储。
9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项所述的方法。
10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。
CN202310932018.4A 2023-07-27 2023-07-27 一种基于实时视频流的人员识别方法、设备及介质 Pending CN116844093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310932018.4A CN116844093A (zh) 2023-07-27 2023-07-27 一种基于实时视频流的人员识别方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310932018.4A CN116844093A (zh) 2023-07-27 2023-07-27 一种基于实时视频流的人员识别方法、设备及介质

Publications (1)

Publication Number Publication Date
CN116844093A true CN116844093A (zh) 2023-10-03

Family

ID=88163427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310932018.4A Pending CN116844093A (zh) 2023-07-27 2023-07-27 一种基于实时视频流的人员识别方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116844093A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493415A (zh) * 2023-11-03 2024-02-02 青岛以萨数据技术有限公司 一种车辆驾乘人员查询方法、电子设备及存储介质
CN117493434A (zh) * 2023-11-03 2024-02-02 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493415A (zh) * 2023-11-03 2024-02-02 青岛以萨数据技术有限公司 一种车辆驾乘人员查询方法、电子设备及存储介质
CN117493434A (zh) * 2023-11-03 2024-02-02 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质
CN117493434B (zh) * 2023-11-03 2024-05-03 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质
CN117493415B (zh) * 2023-11-03 2024-05-24 青岛以萨数据技术有限公司 一种车辆驾乘人员查询方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11379696B2 (en) Pedestrian re-identification method, computer device and readable medium
CN109858371B (zh) 人脸识别的方法及装置
CN109359548B (zh) 多人脸识别监控方法及装置、电子设备及存储介质
US10438077B2 (en) Face liveness detection method, terminal, server and storage medium
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
US11238272B2 (en) Method and apparatus for detecting face image
CN116844093A (zh) 一种基于实时视频流的人员识别方法、设备及介质
WO2019119505A1 (zh) 人脸识别的方法和装置、计算机装置及存储介质
CN109034069B (zh) 用于生成信息的方法和装置
JP7394809B2 (ja) ビデオを処理するための方法、装置、電子機器、媒体及びコンピュータプログラム
CN110163096B (zh) 人物识别方法、装置、电子设备和计算机可读介质
CN110175528B (zh) 人体跟踪方法及装置、计算机设备及可读介质
US11734954B2 (en) Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium
CN109118420B (zh) 水印识别模型建立及识别方法、装置、介质及电子设备
US11954912B2 (en) Method for cutting video based on text of the video and computing device applying method
CN113343831A (zh) 视频中说话人分类方法、装置、电子设备和存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN114429566A (zh) 一种图像语义理解方法、装置、设备及存储介质
US11580971B2 (en) Photo album management method, storage medium and electronic device
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113642443A (zh) 模型的测试方法、装置、电子设备及存储介质
CN112308055B (zh) 人脸检索系统的评价方法、装置、电子设备和存储介质
CN110874554A (zh) 动作识别方法、终端设备、服务器、系统及存储介质
CN113792569B (zh) 对象识别方法、装置、电子设备及可读介质
CN115457620A (zh) 用户表情识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination