CN111753756A - 基于对象识别的布控报警方法、装置及存储介质 - Google Patents
基于对象识别的布控报警方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111753756A CN111753756A CN202010598957.6A CN202010598957A CN111753756A CN 111753756 A CN111753756 A CN 111753756A CN 202010598957 A CN202010598957 A CN 202010598957A CN 111753756 A CN111753756 A CN 111753756A
- Authority
- CN
- China
- Prior art keywords
- tracking
- matching
- matching records
- picture
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012216 screening Methods 0.000 claims abstract description 81
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于对象识别的布控报警方法、装置及存储介质。该方法包括：基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片；分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录；根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录。通过本发明，减少了包含同一个人的多个视频图像帧被比对为不同的目标布控人员从而导致错误报警的问题，提高了布控报警的准确率。
Description
技术领域
本发明涉及图像识别领域，具体而言，涉及一种基于对象识别的布控报警方法、装置及存储介质。
背景技术
随着深度学习、大数据等新技术的发展，人体生物识别技术已经广泛应用。通过计算机自动判断两幅人脸照片相似度的人脸识别技术，其效果在某些条件下已经超越人眼识别的效果，人脸识别技术在视频监控领域的应用已经越来越广泛。
在视频监控领域，可以基于人脸识别的结果实现布控报警，即系统分析特定重点场所的卡口的视频流，提取其中的人脸，并与布控数据库中的目标布控人员进行实时比对，如果人脸的相似度达到预设的报警阀值，则系统触发报警。
然而，实现布控报警的过程中，可能存在包含同一个人的多个视频图像帧被比对为不同的目标布控人员的情况，导致出现错误报警。
发明内容
本发明实施例提供了一种基于对象识别的布控报警方法、装置及存储介质，以至少解决包含同一个人的多个视频图像帧可能被比对为不同的目标布控人员从而导致错误报警的问题。
根据本发明的一个实施例，提供了一种基于对象识别的布控报警方法，包括：基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片；分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度；根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
在至少一个示例性实施例中，基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片包括：检测所述视频流中首次出现的对象；采用对象跟踪算法在所述视频流中对所述对象进行跟踪，确定所述视频流中对应于所述对象的多个对象图片。
在至少一个示例性实施例中，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录包括：对于所述多个对象图片中的每个对象图片，将所述对象图片的对象特征与所述目标对象库中的每个目标对象的对象特征进行比较，得到所述对象图片与每个目标对象的相似度，并对于每个对应的相似度高于匹配门限的目标对象，生成一条匹配记录。
在至少一个示例性实施例中，在基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片之后，所述方法还包括：将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联，且记录所述多个对象图片的跟踪状态，其中，所述跟踪状态包括跟踪开始、正在跟踪或跟踪结束。
在至少一个示例性实施例中，记录所述多个对象图片的跟踪状态包括：在对象图片为所述视频流中首次出现的对象对应的图片的情况下，记录所述对象对片的所述跟踪状态为跟踪开始；在对象图片为所述视频流中已出现过的对象对应的图片、且在所述对象图片的下一帧图片中所述对象没有消失的情况下，记录所述对象对片的所述跟踪状态为正在跟踪；在对象图片为所述视频流中已出现过的对象对应的图片、且在所述对象图片的下一帧图片中所述对象消失的情况下，记录所述对象对片的所述跟踪状态为跟踪结束。
在至少一个示例性实施例中，所述每条匹配记录还包括所述对象图片所关联的跟踪标识和所述对象图片的跟踪状态。
在至少一个示例性实施例中，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录的过程中，所述方法还包括：对于得到的每一条匹配记录，判断所述匹配记录所包括的所述跟踪状态是否为跟踪结束；在所述跟踪状态不是跟踪结束的情况下，缓存所述匹配记录；在所述跟踪状态是跟踪结束的情况下，缓存所述匹配记录，并根据所述匹配记录所包括的所述跟踪标识，检索出缓存的所有包括所述跟踪标识的一条或多条匹配记录，并控制执行根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警的操作。
在至少一个示例性实施例中，在根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警之后，还包括：删除缓存的所述一条或多条匹配记录。
根据本发明的另一个实施例，提供了一种基于对象识别的布控报警装置，包括：跟踪模块，用于基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片；人脸识别模块，用于分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录并送入报警模块，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度；所述报警模块，用于根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
在至少一个示例性实施例中，所述跟踪模块还用于在基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片之后，执行以下操作：将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联，且记录所述多个对象图片的跟踪状态，其中，所述跟踪状态包括跟踪开始、正在跟踪或跟踪结束。
在至少一个示例性实施例中，所述每条匹配记录还包括所述对象图片所关联的跟踪标识和所述对象图片的跟踪状态，所述报警模块用于对所述人脸识别模块送入的每一条匹配记录，执行以下操作：判断所述匹配记录所包括的所述跟踪状态是否为跟踪结束；在所述跟踪状态不是跟踪结束的情况下，缓存所述匹配记录；在所述跟踪状态是跟踪结束的情况下，缓存所述匹配记录，并根据所述匹配记录所包括的所述跟踪标识，检索出缓存的所有包括所述跟踪标识的一条或多条匹配记录，并控制执行根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警的操作。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种布控报警服务器或监控平台，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于基于视频流进行对象跟踪，能够确定视频流中对应于同一对象的多个对象图片，对于这同一对象的多个对象图片与目标对象的匹配记录，按照筛选条件进行筛选之后提交布控报警，相对于相关技术中对所有视频图像帧分立地进行人脸特征比对和布控报警的方案，本方案从同一对象的多个对象图片的所有匹配记录中筛选出相似度较高的匹配记录，相当于是以一种合理的方式对匹配记录进行了整合，可以较大程度上减少同一个人的多个视频图像帧被比对为不同的目标布控人员从而导致错误报警的情况，提高了布控报警的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例1的基于对象识别的布控报警方法的流程图；
图2是根据本发明实施例1的基于对象识别的布控报警方法的详细流程图；
图3是根据本发明实施例2的基于对象识别的布控报警装置的结构框图；
图4是根据本发明实施例4的基于对象识别的布控报警方案的数据流示意图；
图5是根据本发明实施例4的基于对象识别的布控报警方案的详细流程图。
具体实施方式
基于人脸识别的结果实现布控报警的技术，往往需要分析指定视频流从中检测出人脸(例如，利用深度学习算法)，再基于该人脸图片提取人脸特征(例如，基于深度学习算法)，之后与数据库中特定的预先注册的目标人脸的特征进行比对，如果相似度达到设定值，则系统产生报警信息。
然而，在实际监控过程中，一个人可能在视频中出现很长一段时间，即很多视频图像帧都可能包含该人脸信息，系统将每一视频图像帧中的人脸信息都进行提取特征并与目标人脸比对，由于人脸角度、图片质量等因素，不同的人脸图片可能产生不同的人脸特征，因此可能会错误的比对中多个目标人员。
为了减少错误报警，本发明实施例提供了一种基于对象识别的布控报警方法，该方法是对视频流中同一个人脸从出现到消失的整个过程进行追踪，将每帧图像中的人脸信息进行提取特征和目标人脸特征库比对，从比对结果中选取满足匹配门限的相似度排在第一或前几位的照片、或相似度大于筛选阈值的照片进行报警。
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例可以运行于布控报警服务器或监控平台，但不限于此。图1是根据本发明实施例1的基于对象识别的布控报警方法的流程图，如图1所示，该流程包括如下步骤S102至S106。
在步骤S102中，基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片。在本实施例中，所述的对象可以是任何设置为需要布控报警的对象，例如人脸、物品、车辆等等。
在至少一个示例性实施例中，步骤S102可以包括：
步骤S1022，检测所述视频流中首次出现的对象；
步骤S1024，采用对象跟踪算法在所述视频流中对所述对象进行跟踪，确定所述视频流中对应于所述对象的多个对象图片。基于视频流进行对象跟踪的对象跟踪算法可以有多种，具体的对象跟踪算法在本实施例中并不做限定，只要能够实现对视频流中特定目标进行持续性的跟踪就可以应用在本发明实施例的方案中。
在步骤S104中，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度。
步骤S104中的匹配过程可以通过多种图像识别和比对方法实现。例如，可以基于对象特征提取以及对象特征匹配的方法实现步骤S104的匹配过程。为了减少后续步骤的执行资源消耗，可以舍弃所有的相似度不高于匹配门限的匹配记录，而仅仅保留相似度高于匹配门限的匹配记录。在至少一个示例性实施例中，步骤S104中，对于所述多个对象图片中的每个对象图片，可以执行以下步骤：
步骤S1042，将所述对象图片的对象特征与所述目标对象库中的每个目标对象的对象特征进行比较，得到所述对象图片与每个目标对象的相似度；
步骤S1044，对于每个对应的相似度高于匹配门限的目标对象，生成一条匹配记录。
步骤S106，根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
筛选条件可以根据需要来设置，例如，可以设置N＝1，从而仅仅基于所述一条或多条匹配记录中相似度排在第一位的匹配记录进行布控报警，这样，对于同一对象仅仅会有一个匹配的结果。当然，为了避免偶然性的漏报，可以设置N>1，或者也可以采用筛选阈值进行筛选的方式。
通过上述步骤，由于基于视频流进行对象跟踪，能够确定视频流中对应于同一对象的多个对象图片，对于这同一对象的多个对象图片与目标对象的匹配记录，按照筛选条件进行筛选之后提交布控报警，相对于相关技术中对所有视频图像帧分立地进行人脸特征比对和布控报警的方案，本方案从同一对象的多个对象图片的所有匹配记录中筛选出相似度较高的匹配记录，相当于是以一种合理的方式对匹配记录进行了整合，可以较大程度上减少同一个人的多个视频图像帧被比对为不同的目标布控人员从而导致错误报警的情况，提高了布控报警的准确性。
可选地，上述步骤的执行主体可以为布控报警服务器或监控平台等，但不限于此。
以上从总体上描述了该基于对象识别的布控报警方案的基本处理步骤。在实际应用中，为使得效率最优，可以采用确定一个对象图片就将其送入匹配和筛选步骤的方式，从而提高整体布控预警的处理速度和实时性。那么，为了便于标记每个对象图片所对应的对象，可以采用将所述视频流中对应于同一对象的多个对象图片关联到相同的跟踪标识、将所述视频流中对应于不同对象的对象图片关联到不同的跟踪标识的方式。这里跟踪标识主要是为了标识对象图片对应的对象，其可以是任何形式，可以是检测到一个对象首次出现的时候生成的。为了便于步骤S104中集中所有的匹配记录进行筛选，可以对于每个对象图片记录跟踪状态，可以通过跟踪状态体现该对象图片对应的是跟踪开始、正在跟踪还是跟踪结束。这样，在得到了跟踪状态为跟踪结束的情况下，就可以检索当前的跟踪标识对应的所有的匹配记录进行筛选了。以下详细对跟踪标识、跟踪状态的关联和记录、以及基于跟踪标识、跟踪状态执行布控报警的方法进行描述。
图2是根据本发明实施例1的基于对象识别的布控报警方法的详细流程图，如图2所示，在至少一个示例性实施例中，在步骤S102之后，所述方法还可以包括：
步骤S103，将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联，且记录所述多个对象图片的跟踪状态，其中，所述跟踪状态包括跟踪开始、正在跟踪或跟踪结束。
在至少一个示例性实施例中，将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联可以通过但不限于通过如下方式实现：
检测所述视频流中首次出现的对象，为所述对象生成一个跟踪标识，并将首次出现所述对象的对象图片关联到所述跟踪标识；
采用对象跟踪算法在所述视频流中对所述对象进行跟踪，确定所述视频流中包含所述对象的对象图片，并将包含所述对象的对象图片均关联到所述跟踪标识。
在至少一个示例性实施例中，记录所述多个对象图片的跟踪状态可以通过但不限于通过如下方式实现：
在对象图片为所述视频流中首次出现的对象对应的图片的情况下，记录所述对象对片的所述跟踪状态为跟踪开始；
在对象图片为所述视频流中已出现过的对象对应的图片、且在所述对象图片的下一帧图片中所述对象没有消失的情况下，记录所述对象对片的所述跟踪状态为正在跟踪；
在对象图片为所述视频流中已出现过的对象对应的图片、且在所述对象图片的下一帧图片中所述对象消失的情况下，记录所述对象对片的所述跟踪状态为跟踪结束。
为了便于识别每一个对象图片所对应的对象，并确定是否已经收集齐一个对象的匹配记录从而确定是否可以开始进行筛选，在至少一个示例性实施例中，所述每条匹配记录还可以包括所述对象图片所关联的跟踪标识和所述对象图片的跟踪状态。
如图2所示，在至少一个示例性实施例中，步骤S104还可以包括：
对于得到的每一条匹配记录，判断所述匹配记录所包括的所述跟踪状态是否为跟踪结束；
在所述跟踪状态不是跟踪结束的情况下，缓存所述匹配记录；
在所述跟踪状态是跟踪结束的情况下，缓存所述匹配记录，并根据所述匹配记录所包括的所述跟踪标识，检索出缓存的所有包括所述跟踪标识的一条或多条匹配记录，并控制进入步骤S106的执行，也就是控制开始执行根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警的操作。
在至少一个示例性实施例中，在执行完步骤S106之后，还可以包括：删除缓存的所述一条或多条匹配记录，从而释放缓存资源，以备后续使用。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种基于对象识别的布控报警装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例2的基于对象识别的布控报警装置的结构框图，如图3所示，该装置包括跟踪模块32、人脸识别模块34和报警模块36。
跟踪模块32，用于基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片，在本实施例中，所述的对象可以是任何设置为需要布控报警的对象，例如人脸、物品、车辆等等。
在至少一个示例性实施例中，跟踪模块32可以用于：检测所述视频流中首次出现的对象；采用对象跟踪算法在所述视频流中对所述对象进行跟踪，确定所述视频流中对应于所述对象的多个对象图片。基于视频流进行对象跟踪的对象跟踪算法可以有多种，具体的对象跟踪算法在本实施例中并不做限定，只要能够实现对视频流中特定目标进行持续性的跟踪就可以应用在本发明实施例的方案中。
人脸识别模块34，用于分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录并送入报警模块26，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度。
人脸识别模块34中的匹配过程可以通过多种图像识别和比对方法实现。例如，可以基于对象特征提取以及对象特征匹配的方法实现人脸识别模块34的匹配过程。为了减少后续步骤的执行资源消耗，可以舍弃所有的相似度不高于匹配门限的匹配记录，而仅仅保留相似度高于匹配门限的匹配记录。在至少一个示例性实施例中，所示人脸识别模块34可以用于对于所述多个对象图片中的每个对象图片，执行以下操作：
将所述对象图片的对象特征与所述目标对象库中的每个目标对象的对象特征进行比较，得到所述对象图片与每个目标对象的相似度；
对于每个对应的相似度高于匹配门限的目标对象，生成一条匹配记录。
所述报警模块36，用于根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
筛选条件可以根据需要来设置，例如，可以设置N＝1，从而仅仅基于所述一条或多条匹配记录中相似度排在第一位的匹配记录进行布控报警，这样，对于同一对象仅仅会有一个匹配的结果。当然，为了避免偶然性的漏报，可以设置N>1，或者也可以采用筛选阈值进行筛选的方式。
通过上述装置，由于基于视频流进行对象跟踪，能够确定视频流中对应于同一对象的多个对象图片，对于这同一对象的多个对象图片与目标对象的匹配记录，按照筛选条件进行筛选之后提交布控报警，相对于相关技术中对所有视频图像帧分立地进行人脸特征比对和布控报警的方案，本方案从同一对象的多个对象图片的所有匹配记录中筛选出相似度较高的匹配记录，相当于是以一种合理的方式对匹配记录进行了整合，可以较大程度上减少同一个人的多个视频图像帧被比对为不同的目标布控人员从而导致错误报警的情况，提高了布控报警的准确性。
可选地，上述装置可以设置在布控报警服务器或监控平台等，但不限于此。
在至少一个示例性实施例中，所述跟踪模块32还用于在基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片之后，执行以下操作：将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联，且记录所述多个对象图片的跟踪状态，其中，所述跟踪状态包括跟踪开始、正在跟踪或跟踪结束。
在至少一个示例性实施例中，所述每条匹配记录还包括所述对象图片所关联的跟踪标识和所述对象图片的跟踪状态，所述报警模块36用于对所述人脸识别模块34送入的每一条匹配记录，执行以下操作：
判断所述匹配记录所包括的所述跟踪状态是否为跟踪结束；
在所述跟踪状态不是跟踪结束的情况下，缓存所述匹配记录；
在所述跟踪状态是跟踪结束的情况下，缓存所述匹配记录，并根据所述匹配记录所包括的所述跟踪标识，检索出缓存的所有包括所述跟踪标识的一条或多条匹配记录，并控制执行根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警的操作。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片。在本实施例中，所述的对象可以是任何设置为需要布控报警的对象，例如人脸、物品、车辆等等；
S2，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度；
S3，根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种布控报警服务器或监控平台，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述布控报警服务器或监控平台还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片。在本实施例中，所述的对象可以是任何设置为需要布控报警的对象，例如人脸、物品、车辆等等；
S2，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度；
S3，根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
实施例4
以下以待识别匹配的对象是人脸为例，详细描述本发明实施例的基于对象识别的布控报警方案的处理过程。
图4是根据本发明实施例4的基于对象识别的布控报警方案的数据流示意图，如图4所示，该系统的输入数据是视频流，经过算法模块42(对应于实施例2中的跟踪模块32)进行人脸跟踪后，将人脸图片送入特征提取模块44(在某些实施例中，可以包括在实施例2中的人脸识别模块34中)进行特征提取，之后人脸识别模块46(对应于实施例2中的人脸识别模块34)将特征提取模块提取的人脸特征与目标人脸库中的人脸特征进行比较，报警模块48(对应于实施例2中的报警模块36)找出相似度最高的一条记录，输出为报警信息。
图5是根据本发明实施例4的基于对象识别的布控报警方案的详细流程图，如图5所示，包括以下步骤：
步骤S501，获取监控视频流。
步骤S502，算法模块42使用跟踪算法分析视频流，检测视频图像帧中的人脸，并跟踪该人脸，在人脸初次出现时生成一个唯一的跟踪ID，并将跟踪状态标记为开始跟踪；如果人脸已经出现过则跟踪状态记为正在跟踪，如果人脸没有再出现则标记为跟踪结束。
步骤S503，特征提取模块44从检测到的人脸图片中提取人脸特征，并将其与关联的跟踪ID一起送入人脸识别模块46。
步骤S504，人脸识别模块46将收到的每个人脸特征与预先注册的目标人脸库(为目标对象库的一种具体实施方式)中的人脸特征比较，找出所有大于预设相似度(即实施例1、2中的匹配门限)的目标人脸，并将每张匹配到的照片、在视频流中检测到的人脸及其跟踪ID、跟踪状态作为一条报警记录(对应于实施例1、2中的匹配记录)，送入报警模块48。
步骤S505，报警模,48收到报警记录，首先判断其跟踪状态是否是结束，如果没有，则将报警记录缓存下来，以跟踪ID为索引；如果跟踪状态结束，则检索出该跟踪ID的所有缓存报警记录，遍历这些记录找出相似度最高的一条，将这条报警记录存入数据库，并推送至客户端对客户呈现，最后在缓存中删除该跟踪ID的所有记录。
该方案利用人脸跟踪ID与跟踪状态等信息，确定同一(跟踪ID)人报警信息并保留选取最佳报警信息，具有以下有益效果：
(1)可以有效减少错误报警数量(这些错误报警的原因可能是算法效果不理想、设置的报警阈值不合理等)，提高了报警的准确率；
(2)本方案同时减少了基于视频流的智能人脸识别系统的报警数量，使得每个跟踪人员的报警条数由多条变为更少的条数，例如1条。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于对象识别的布控报警方法，其特征在于，包括：
基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片；
分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度；
根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
2.根据权利要求1所述的方法，其特征在于，基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片包括：
检测所述视频流中首次出现的对象；
采用对象跟踪算法在所述视频流中对所述对象进行跟踪，确定所述视频流中对应于所述对象的多个对象图片。
3.根据权利要求1所述的方法，其特征在于，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录包括：
对于所述多个对象图片中的每个对象图片，
将所述对象图片的对象特征与所述目标对象库中的每个目标对象的对象特征进行比较，得到所述对象图片与每个目标对象的相似度，并对于每个对应的相似度高于匹配门限的目标对象，生成一条匹配记录。
4.根据权利要求1-3中任一项所述的方法，其特征在于，在基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片之后，还包括：
将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联，且记录所述多个对象图片的跟踪状态，其中，所述跟踪状态包括跟踪开始、正在跟踪或跟踪结束。
5.根据权利要求4所述的方法，其特征在于，记录所述多个对象图片的跟踪状态包括：
在对象图片为所述视频流中首次出现的对象对应的图片的情况下，记录所述对象对片的所述跟踪状态为跟踪开始；
在对象图片为所述视频流中已出现过的对象对应的图片、且在所述对象图片的下一帧图片中所述对象没有消失的情况下，记录所述对象对片的所述跟踪状态为正在跟踪；
在对象图片为所述视频流中已出现过的对象对应的图片、且在所述对象图片的下一帧图片中所述对象消失的情况下，记录所述对象对片的所述跟踪状态为跟踪结束。
6.根据权利要求4所述的方法，其特征在于，所述每条匹配记录还包括所述对象图片所关联的跟踪标识和所述对象图片的跟踪状态。
7.根据权利要求6所述的方法，其特征在于，分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录的过程中，所述方法还包括：
对于得到的每一条匹配记录，
判断所述匹配记录所包括的所述跟踪状态是否为跟踪结束；
在所述跟踪状态不是跟踪结束的情况下，缓存所述匹配记录；
在所述跟踪状态是跟踪结束的情况下，缓存所述匹配记录，并根据所述匹配记录所包括的所述跟踪标识，检索出缓存的所有包括所述跟踪标识的一条或多条匹配记录，并控制执行根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警的操作。
8.根据权利要求7所述的方法，其特征在于，在根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警之后，还包括：
删除缓存的所述一条或多条匹配记录。
9.一种基于对象识别的布控报警装置，其特征在于，包括：
跟踪模块，用于基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片；
人脸识别模块，用于分别将所述多个对象图片与目标对象库中的目标对象进行匹配，得到一条或多条匹配记录并送入报警模块，其中，每条匹配记录包括：对象图片、与所述对象图片匹配的目标对象以及相似度；
所述报警模块，用于根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警，其中，满足所述筛选条件的匹配记录包括以下之一：所述一条或多条匹配记录中相似度排在前N位的匹配记录、所述一条或多条匹配记录中相似度大于筛选阈值的匹配记录，N为正整数。
10.根据权利要求9所述的装置，其特征在于，所述跟踪模块还用于在基于视频流进行对象跟踪，确定所述视频流中对应于同一对象的多个对象图片之后，执行以下操作：
将所述视频流中对应于所述同一对象的所述多个对象图片与相同的跟踪标识相关联，且记录所述多个对象图片的跟踪状态，其中，所述跟踪状态包括跟踪开始、正在跟踪或跟踪结束。
11.根据权利要求10所述的装置，其特征在于，所述每条匹配记录还包括所述对象图片所关联的跟踪标识和所述对象图片的跟踪状态，所述报警模块用于对所述人脸识别模块送入的每一条匹配记录，执行以下操作：
判断所述匹配记录所包括的所述跟踪状态是否为跟踪结束；
在所述跟踪状态不是跟踪结束的情况下，缓存所述匹配记录；
在所述跟踪状态是跟踪结束的情况下，缓存所述匹配记录，并根据所述匹配记录所包括的所述跟踪标识，检索出缓存的所有包括所述跟踪标识的一条或多条匹配记录，并控制执行根据筛选条件对所述一条或多条匹配记录进行筛选，并基于满足筛选条件的匹配记录进行布控报警的操作。
12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010598957.6A CN111753756A (zh) | 2020-06-28 | 2020-06-28 | 基于对象识别的布控报警方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010598957.6A CN111753756A (zh) | 2020-06-28 | 2020-06-28 | 基于对象识别的布控报警方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111753756A true CN111753756A (zh) | 2020-10-09 |
Family
ID=72677662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010598957.6A Pending CN111753756A (zh) | 2020-06-28 | 2020-06-28 | 基于对象识别的布控报警方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753756A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537166A (zh) * | 2021-09-15 | 2021-10-22 | 北京科技大学 | 报警方法、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517104A (zh) * | 2015-01-09 | 2015-04-15 | 苏州科达科技股份有限公司 | 一种基于监控场景下的人脸识别方法及系统 |
| CN109190532A (zh) * | 2018-08-21 | 2019-01-11 | 北京深瞐科技有限公司 | 一种基于云边融合的人脸识别方法、装置及系统 |
| CN109241345A (zh) * | 2018-10-10 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 基于人脸识别的视频定位方法和装置 |
| CN109993020A (zh) * | 2017-12-29 | 2019-07-09 | 浙江宇视科技有限公司 | 人脸布控报警方法及装置 |
| CN110245630A (zh) * | 2019-06-18 | 2019-09-17 | 广东中安金狮科创有限公司 | 监控数据处理方法、装置及可读存储介质 |
| CN110852287A (zh) * | 2019-11-15 | 2020-02-28 | 智慧视通(杭州)科技发展有限公司 | 基于形体识别的城市区域布控系统及其布控方法 |
| CN111105443A (zh) * | 2019-12-26 | 2020-05-05 | 南京邮电大学 | 一种基于特征关联的视频群体人物运动轨迹跟踪方法 |
| US20200160538A1 (en) * | 2018-11-19 | 2020-05-21 | Accenture Global Solutions Limited | Object tracking using object attributes |
-
2020
- 2020-06-28 CN CN202010598957.6A patent/CN111753756A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517104A (zh) * | 2015-01-09 | 2015-04-15 | 苏州科达科技股份有限公司 | 一种基于监控场景下的人脸识别方法及系统 |
| CN109993020A (zh) * | 2017-12-29 | 2019-07-09 | 浙江宇视科技有限公司 | 人脸布控报警方法及装置 |
| CN109190532A (zh) * | 2018-08-21 | 2019-01-11 | 北京深瞐科技有限公司 | 一种基于云边融合的人脸识别方法、装置及系统 |
| CN109241345A (zh) * | 2018-10-10 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 基于人脸识别的视频定位方法和装置 |
| US20200160538A1 (en) * | 2018-11-19 | 2020-05-21 | Accenture Global Solutions Limited | Object tracking using object attributes |
| CN110245630A (zh) * | 2019-06-18 | 2019-09-17 | 广东中安金狮科创有限公司 | 监控数据处理方法、装置及可读存储介质 |
| CN110852287A (zh) * | 2019-11-15 | 2020-02-28 | 智慧视通(杭州)科技发展有限公司 | 基于形体识别的城市区域布控系统及其布控方法 |
| CN111105443A (zh) * | 2019-12-26 | 2020-05-05 | 南京邮电大学 | 一种基于特征关联的视频群体人物运动轨迹跟踪方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537166A (zh) * | 2021-09-15 | 2021-10-22 | 北京科技大学 | 报警方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210504B2 (en) | Emotion detection enabled video redaction | |
| CN109858365B (zh) | 一种特殊人群聚集行为分析方法、装置及电子设备 | |
| KR101423916B1 (ko) | 복수의 얼굴 인식 방법 및 장치 | |
| US20210382933A1 (en) | Method and device for archive application, and storage medium | |
| CN108197565A (zh) | 基于人脸识别的目标寻踪方法及系统 | |
| CN110235138A (zh) | 用于外观搜索的系统和方法 | |
| US20210357678A1 (en) | Information processing method and apparatus, and storage medium | |
| CN110263613A (zh) | 监控视频处理方法及装置 | |
| US8842889B1 (en) | System and method for automatic face recognition | |
| KR20080075091A (ko) | 실시간 경보 및 포렌식 분석을 위한 비디오 분석 데이터의저장 | |
| KR101372860B1 (ko) | 영상 검색 시스템 및 영상 분석 서버 | |
| CN110889314B (zh) | 图像处理方法、装置、电子设备、服务器及系统 | |
| CN113269127B (zh) | 实时自动建库的人脸识别和行人重识别监控方法及系统 | |
| US20220075821A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| KR102277929B1 (ko) | 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법 | |
| CN111260869A (zh) | 监控视频中视频帧的提取方法、装置和计算机设备 | |
| US10783365B2 (en) | Image processing device and image processing system | |
| CN110866418B (zh) | 图像底库生成方法、装置、设备、系统及存储介质 | |
| CN108540760A (zh) | 视频监控识别方法、装置和系统 | |
| CN111753756A (zh) | 基于对象识别的布控报警方法、装置及存储介质 | |
| CN117830053A (zh) | 一种周界安防告警系统及方法 | |
| CN109120896B (zh) | 安防视频监控卫士系统 | |
| CN114863364B (zh) | 一种基于智能视频监控的安防检测方法及系统 | |
| WO2023093241A1 (zh) | 行人重识别方法及装置、存储介质 | |
| CN116386086A (zh) | 人员定位方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |