CN113516093A - 标识信息的标注方法及装置、存储介质及电子装置 - Google Patents
标识信息的标注方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN113516093A CN113516093A CN202110853414.9A CN202110853414A CN113516093A CN 113516093 A CN113516093 A CN 113516093A CN 202110853414 A CN202110853414 A CN 202110853414A CN 113516093 A CN113516093 A CN 113516093A
- Authority
- CN
- China
- Prior art keywords
- target object
- feature
- sub
- target
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000002372 labelling Methods 0.000 claims abstract description 47
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims description 32
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种标识信息的标注方法及装置、存储介质及电子装置，其中，上述方法包括：对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对第一目标对象进行标注；在第一目标对象在监控视频中的第一图像区域和第二目标对象在监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被第二目标对象遮挡前的第一目标对象的第一子特征和被第二目标对象遮挡后的第三目标对象的第二子特征，其中，第一目标对象和第二目标对象均位于目标区域，且监控视频为对目标区域进行监控所得到的监控视频；在第一子特征和第二子特征匹配的情况下，确定第三目标对象为第一目标图像，且基于第一标识信息对第三目标对象进行标注。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种标识信息的标注方法及装置、存储介质及电子装置。
背景技术
随着国内经济的迅速发展，在餐饮业高消费的背景下，餐饮后厨的规范化管理也成为重中之重。很多外表光鲜亮丽的饭店，其后厨却脏乱不堪，特别是后厨工作人员的不合规穿着会严重影响到厨房的卫生安全，对食客的身体健康产生巨大的不良影响，因此，需要对后厨工作人员的着装进行严格规定。
厨房场景环境较复杂，且工作人员处于运动状态，当厨房工作人员较多时，会有交叉遮挡的情况，当交叉遮挡时，使得目标在跟踪过程中会丢失原有ID，或者ID跟踪错误，当跟踪目标ID不匹配时，将会导致报警漏报甚至误报。
针对相关技术，在出现交叉遮挡的情况时，容易出现跟踪的对象的标识信息丢失或不匹配等问题，目前尚未提出有效的解决方案。
因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。
发明内容
本发明实施例提供了一种标识信息的标注方法及装置、存储介质及电子装置，以至少解决相关技术中在出现交叉遮挡的情况时，容易出现跟踪的对象的标识信息丢失或不匹配等问题。
根据本发明实施例的一方面，提供了一种标识信息的标注方法，包括：对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
在一个可选实施例中，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，包括以下至少之一：获取所述被所述第二目标对象遮挡前的第一目标对象的第一人脸子特征和被所述第二目标对象遮挡后的第三目标对象的第二人脸子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一三维信息子特征和被所述第二目标对象遮挡后的第三目标对象的第二三维信息子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一运动趋势子特征和被所述第二目标对象遮挡后的第三目标对象的第二运动趋势子特征。
在一个可选实施例中，确定被所述第二目标对象遮挡后的第三目标对象为所述第一目标图像之前，所述方法还包括：通过以下方式确定所述第一子特征和所述第二子特征匹配：在以下至少之一子特征匹配的情况下，确定所述第一子特征和所述第二子特征匹配：所述第一人脸子特征和所述第二人脸子特征、所述第一三维信息子特征和所述第二三维信息子特征、所述第一运动趋势子特征和所述第二运动趋势子特征。
在一个可选实施例中，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注之前，所述方法还包括：确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型；获取所述目标区域的视频图像帧和所述视频图像帧对应的时间维度信息，以通过所述视频图像帧和所述时间维度信息对所述目标神经网络模型进行训练。
在一个可选实施例中，确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型之后，所述方法还包括：获取第一视频图像帧和第二视频图像帧，其中，所述第一视频图像帧和第二视频图像帧为相邻时刻的视频图像帧；提取所述第一视频图像帧的第一特征和所述第二视频图像帧的第二特征，并将所述第一特征和所述第二特征输入到所述目标神经网络模型，以得到所述第一视频图像帧和第二视频图像帧的关联误差；根据所述关联误差修正所述目标神经网络模型。
在一个可选实施例中，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注，包括：在所述第一目标对象的任一连续两个视频图像帧的人体框的交并比超过所述预设阈值的情况下，确定所述第一目标对象允许被轨迹跟踪，并为所述第一目标对象标注第一标识信息。
根据本发明的另一个实施例，提供了一种标识信息的标注装置，包括：跟踪模块，用于对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；获取模块，用于在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；确定模块，用于在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
在一个可选实施例中，所述获取模块还用于执行以下至少之一：获取所述被所述第二目标对象遮挡前的第一目标对象的第一人脸子特征和被所述第二目标对象遮挡后的第三目标对象的第二人脸子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一三维信息子特征和被所述第二目标对象遮挡后的第三目标对象的第二三维信息子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一运动趋势子特征和被所述第二目标对象遮挡后的第三目标对象的第二运动趋势子特征。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述标识信息的标注方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述标识信息的标注方法。
通过本发明，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征；并在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。采用上述技术方案，解决了相关技术中在出现交叉遮挡的情况时，容易出现跟踪的对象的标识信息丢失或不匹配等等问题。进而在发生交叉遮挡的情况下，依然可以继续为目标对象标注信息。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示例性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的标识信息的标注方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的标识信息的标注方法的流程图；
图3为根据本发明实施例的目标检测流程示意图；
图4是根据本发明实施例的关联误差算法的流程示意图；
图5是根据本发明实施例的标识信息的标注装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的标识信息的标注方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit，简称是MPU)或可编程逻辑器件(Programmable logic device，简称是PLD))和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的标识信息的标注方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种标识信息的标注方法，图2是根据本发明实施例的标识信息的标注方法的流程图，该流程包括如下步骤：
步骤S202，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；
步骤S204，在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；
步骤S206，在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
通过本发明，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征；并在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。采用上述技术方案，解决了相关技术中在出现交叉遮挡的情况时，容易出现跟踪的对象的标识信息丢失或不匹配等等问题。进而在发生交叉遮挡的情况下，依然可以继续为目标对象标注信息。
在一个可选实施例中，步骤S204的具体实现过程可以包括以下至少之一：获取所述被所述第二目标对象遮挡前的第一目标对象的第一人脸子特征和被所述第二目标对象遮挡后的第三目标对象的第二人脸子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一三维信息子特征和被所述第二目标对象遮挡后的第三目标对象的第二三维信息子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一运动趋势子特征和被所述第二目标对象遮挡后的第三目标对象的第二运动趋势子特征，即子特征包括以下至少之一：人脸子特征、三维信息子特征、运动趋势子特征。
需要说明的是，上述人脸子特征可以是根据对目标对象进行人脸识别所得到的人脸子特征，三维信息子特征可以是通过双目相机对目标对象进行识别得到的子特征，运动趋势子特征可以是根据光流算法得到的子特征，本发明实施例对此不进行限定。
在一个可选实施例中，确定被所述第二目标对象遮挡后的第三目标对象为所述第一目标图像之前，所述方法还包括：通过以下方式确定所述第一子特征和所述第二子特征匹配：在以下至少之一子特征匹配的情况下，确定所述第一子特征和所述第二子特征匹配：所述第一人脸子特征和所述第二人脸子特征、所述第一三维信息子特征和所述第二三维信息子特征、所述第一运动趋势子特征和所述第二运动趋势子特征。
在对厨房的着装检测过程中，还可能涉及一种情况是：由于厨房场景中各个工作人员的行为是处于运动状态，在视频的某些帧中会有运动模糊，被桌椅灶台等物体遮挡的现象存在，基于单帧的深度学习方法直接对口罩，厨师帽等目标进行检测，检出率、准确度低，这些问题将对后续的报警判断产生不良影响，为了解决该技术问题，本发明实施例还提供了一种实现方案：
为了增加轨迹跟踪过程的准确性，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注之前，所述方法还包括：确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型；获取所述目标区域的视频图像帧和所述视频图像帧对应的时间维度信息，以通过所述视频图像帧和所述时间维度信息对所述目标神经网络模型进行训练。
即本发明实施例在对目标神经网络模型的训练过程中，考虑了动态的视频图像帧，并根据时间维度信息标注视频图像帧，使得目标神经网络模型可以根据视频图像帧和时间维度信息对目标神经网络模型进行训练。
在一个可选实施例中，确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型之后，所述方法还包括：获取第一视频图像帧和第二视频图像帧，其中，所述第一视频图像帧和第二视频图像帧为相邻时刻的视频图像帧；提取所述第一视频图像帧的第一特征和所述第二视频图像帧的第二特征，并将所述第一特征和所述第二特征输入到所述目标神经网络模型，以得到所述第一视频图像帧和第二视频图像帧的关联误差；根据所述关联误差修正所述目标神经网络模型。
在一个可选实施例中，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注，包括：在所述第一目标对象的任一连续两个视频图像帧的人体框的交并比超过所述预设阈值的情况下，确定所述第一目标对象允许被轨迹跟踪，并为所述第一目标对象标注第一标识信息。
综上，本发明实施例的整体技术方案可以解决以下技术问题：传统视频监控依赖人工的缺陷，使用智能算法对智慧厨房人体着装不规范进行报警；基于单帧的深度学习无法有效的检测运动模糊目标和被遮挡目标从而导致的漏检问题；由于人员交叉遮挡导致目标在跟踪过程中ID丢失、错误等问题提高了分析人员的效率。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述标识信息的标注方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：
在本发明实施例中的发明思想如下，判断工作人员着装是否穿着正确的关键在于，在复杂场景的厨房内排除干扰，准确的识别到目标对象，并对目标对象进行跟踪，对已跟踪目标进一步进行穿着属性的分类统计，若目标不合规，则及时发出报警信息给相关人员处理。
为了更好的理解上述实施例的方案，本发明的一个可选实施例还提供了一种方案：
图3为根据本发明实施例的目标检测流程示意图，如图3所示，包括以下步骤：
步骤S302：可以设置训练集中的图像背景为厨房场景，前景为人体目标。在本发明实施例所使用的神经网络当中，采用适用于厨房的人体目标框比例大小，同时在神经网络中加入不同尺度大小的网络分支丰富细节特征。在网络最终的输出选定上，设定置信阈值，当网络结果大于设定的置信阈值再进行输出神经网络的结果，进一步提高了神经网络的检测准确率。
需要说明的是，上述神经网络在运用过程中包括两个阶段：训练阶段和推理阶段，其中，在训练阶段的应用过程中：
现有的厨房场景中，目标检测算法在训练过程中都是基于静态图片上进行训练，对于厨房任务来说，厨房背景复杂，且数据量少，而在日常的厨房监控视频中，相比于静态图像，目标对象的外观、形状、尺度等属性会随着目标的运动发生变化，因此在网络的训练过程中更多的考虑视频的动态特征，增加时间维度上的信息，在检测过程中保持时间顺序上目标一致性，可以避免目标在中间某帧丢失，保证了厨房场景目标检测的准确性和鲁棒性。
可选地，上述神经网络可以是长短期记忆网络LSTM，那么本发明实施例的技术方案可以利用长短期记忆网络LSTM充分学习视频序列中的时间信息的优点，检测网络结构由静态目标检测和LSTM构成，如图4所示的目标检测中的关联误差的确定方法，在视频的每一帧进行目标检测，按照检测结果提取目标特征，然后进行融合堆叠，通过在相邻多帧上进行特征提取与融合，送入LSTM，在同一时间处理多个目标框，还会在相邻两帧LSTM的输出结果上额外计算关联误差，最小化关联误差，在保留空间特征的同时保持目标的时空一致性增强帧与帧之间目标的关联性，从而更准确的检测出厨房场景的人体目标。
在神经网络的推理阶段过程中，可对人体的轨迹进行推理，获得人体检测的结果及位置信息。
步骤S304：使用目标跟踪算法，对由步骤S302中已确定的行人目标进行二次跟踪，在时间帧数序列上建立模型，在连续帧中，针对不同行人目标(相当于上述实施例的目标对象)进行深度特征提取，若每两帧之间目标框的交并比达到阈值，并对框内物体的特征相匹配，则能判定该物体可被跟踪，并标上相应的ID记录轨迹；
步骤S306：人体交叉遮挡的判断与处理，计算当两个ID不同的人体框的交并比，当交并比达到一定阈值，认定进行了交叉遮挡，此时要对发生遮挡的目标进行与未遮挡状态时目标进行进一步关联，采用子特征收集的方式进行匹配，其中子特征包括：人脸识别获得的人脸子特征，双目相机获得的三维信息子特征，光流算法获得的运动趋势子特征，当三种子特征都能匹配上时，可以认定遮挡前后两者目标已经匹配，将ID保持不变，该方法可以有效的解决发生交叉遮挡时ID中断或变化的问题，通过上述技术方案，对目标对象是否发生交叉进行判断，并对发生交叉时，进一步进行关联操作，解决ID丢失和错误的问题。
步骤S308：使用行人属性分类算法，对不同ID输出帽子是否佩戴、口罩是否佩戴、上衣款式等属性信息；
步骤S310：基于连续帧统计目标不合规的帧数，如果连续N帧都判定为不合规，根据上述判别类别规则发出报警。
通过本发明实施例以及可选实施例的技术方案，使用基于视频序列的目标检测算法，进行人体目标检测，解决了运动模糊目标和被遮挡目标的漏检问题；
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种标识信息的标注装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的标识信息的标注装置的结构框图，该装置包括：
跟踪模块50，用于对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；
获取模块52，用于在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域；
确定模块54，用于在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
通过本发明，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征；并在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。采用上述技术方案，解决了相关技术中在出现交叉遮挡的情况时，容易出现跟踪的对象的标识信息丢失或不匹配等等问题。进而在发生交叉遮挡的情况下，依然可以继续为目标对象标注信息。
在一个可选实施例中，所述获取模块还用于执行以下至少之一：获取所述被所述第二目标对象遮挡前的第一目标对象的第一人脸子特征和被所述第二目标对象遮挡后的第三目标对象的第二人脸子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一三维信息子特征和被所述第二目标对象遮挡后的第三目标对象的第二三维信息子特征；获取所述被所述第二目标对象遮挡前的第一目标对象的第一运动趋势子特征和被所述第二目标对象遮挡后的第三目标对象的第二运动趋势子特征。
需要说明的是，上述人脸子特征可以是根据对目标对象进行人脸识别所得到的人脸子特征，三维信息子特征可以是通过双目相机对目标对象进行识别得到的子特征，运动趋势子特征可以是根据光流算法得到的子特征，本发明实施例对此不进行限定。
在一个可选实施例中，所述确定模块还用于：通过以下方式确定所述第一子特征和所述第二子特征匹配：在以下至少之一子特征匹配的情况下，确定所述第一子特征和所述第二子特征匹配：所述第一人脸子特征和所述第二人脸子特征、所述第一三维信息子特征和所述第二三维信息子特征、所述第一运动趋势子特征和所述第二运动趋势子特征。
在对厨房的着装检测过程中，还可能涉及一种情况是：由于厨房场景中各个工作人员的行为是处于运动状态，在视频的某些帧中会有运动模糊，被桌椅灶台等物体遮挡的现象存在，基于单帧的深度学习方法直接对口罩，厨师帽等目标进行检测，检出率、准确度低，这些问题将对后续的报警判断产生不良影响，为了解决该技术问题，本发明实施例还提供了一种实现方案：
为了增加轨迹跟踪过程的准确性，所述跟踪模块还用于：确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型；获取所述目标区域的视频图像帧和所述视频图像帧对应的时间维度信息，以通过所述视频图像帧和所述时间维度信息对所述目标神经网络模型进行训练。
即本发明实施例在对目标神经网络模型的训练过程中，考虑了动态的视频图像帧，并根据时间维度信息标注视频图像帧，使得目标神经网络模型可以根据视频图像帧和时间维度信息对目标神经网络模型进行训练。
在一个可选实施例中，所述确定模块，还用于：获取第一视频图像帧和第二视频图像帧，其中，所述第一视频图像帧和第二视频图像帧为相邻时刻的视频图像帧；提取所述第一视频图像帧的第一特征和所述第二视频图像帧的第二特征，并将所述第一特征和所述第二特征输入到所述目标神经网络模型，以得到所述第一视频图像帧和第二视频图像帧的关联误差；根据所述关联误差修正所述目标神经网络模型。
在一个可选实施例中，所述跟踪模块50，还用于：在所述第一目标对象的任一连续两个视频图像帧的人体框的交并比超过所述预设阈值的情况下，确定所述第一目标对象允许被轨迹跟踪，并为所述第一目标对象标注第一标识信息。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；
S2，在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；
S3，在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；
S2，在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；
S3，在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种标识信息的标注方法，其特征在于，包括：
对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；
在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；
在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
2.根据权利要求1所述的标识信息的标注方法，其特征在于，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，包括以下至少之一：
获取所述被所述第二目标对象遮挡前的第一目标对象的第一人脸子特征和被所述第二目标对象遮挡后的第三目标对象的第二人脸子特征；
获取所述被所述第二目标对象遮挡前的第一目标对象的第一三维信息子特征和被所述第二目标对象遮挡后的第三目标对象的第二三维信息子特征；
获取所述被所述第二目标对象遮挡前的第一目标对象的第一运动趋势子特征和被所述第二目标对象遮挡后的第三目标对象的第二运动趋势子特征。
3.根据权利要求2所述的标识信息的标注方法，其特征在于，确定被所述第二目标对象遮挡后的第三目标对象为所述第一目标图像之前，所述方法还包括：
通过以下方式确定所述第一子特征和所述第二子特征匹配：
在以下至少之一子特征匹配的情况下，确定所述第一子特征和所述第二子特征匹配：所述第一人脸子特征和所述第二人脸子特征、所述第一三维信息子特征和所述第二三维信息子特征、所述第一运动趋势子特征和所述第二运动趋势子特征。
4.根据权利要求1所述的标识信息的标注方法，其特征在于，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注之前，所述方法还包括：
确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型；
获取所述目标区域的视频图像帧和所述视频图像帧对应的时间维度信息，以通过所述视频图像帧和所述时间维度信息对所述目标神经网络模型进行训练。
5.根据权利要求4所述的标识信息的标注方法，其特征在于，确定对所述第一目标对象进行轨迹跟踪的目标神经网络模型之后，所述方法还包括：
获取第一视频图像帧和第二视频图像帧，其中，所述第一视频图像帧和第二视频图像帧为相邻时刻的视频图像帧；
提取所述第一视频图像帧的第一特征和所述第二视频图像帧的第二特征，并将所述第一特征和所述第二特征输入到所述目标神经网络模型，以得到所述第一视频图像帧和第二视频图像帧的关联误差；
根据所述关联误差修正所述目标神经网络模型。
6.根据权利要求1所述的标识信息的标注方法，其特征在于，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注，包括：
在所述第一目标对象的任一连续两个视频图像帧的人体框的交并比超过所述预设阈值的情况下，确定所述第一目标对象允许被轨迹跟踪，并为所述第一目标对象标注第一标识信息。
7.一种标识信息的标注装置，其特征在于，包括：
跟踪模块，对监控视频中第一目标对象进行轨迹跟踪，并基于第一标识信息对所述第一目标对象进行标注；
获取模块，用于在所述第一目标对象在所述监控视频中的第一图像区域和第二目标对象在所述监控视频中的第二图像区域的交并比大于预设阈值的情况下，获取被所述第二目标对象遮挡前的第一目标对象的第一子特征和被所述第二目标对象遮挡后的第三目标对象的第二子特征，其中，所述第一目标对象和所述第二目标对象均位于目标区域，且所述监控视频为对所述目标区域进行监控所得到的监控视频；
确定模块，用于在所述第一子特征和所述第二子特征匹配的情况下，确定所述第三目标对象为所述第一目标图像，且基于所述第一标识信息对所述第三目标对象进行标注。
8.根据权利要求7所述的标识信息的标注装置，其特征在于，所述获取模块还用于执行以下至少之一：
获取所述被所述第二目标对象遮挡前的第一目标对象的第一人脸子特征和被所述第二目标对象遮挡后的第三目标对象的第二人脸子特征；
获取所述被所述第二目标对象遮挡前的第一目标对象的第一三维信息子特征和被所述第二目标对象遮挡后的第三目标对象的第二三维信息子特征；
获取所述被所述第二目标对象遮挡前的第一目标对象的第一运动趋势子特征和被所述第二目标对象遮挡后的第三目标对象的第二运动趋势子特征。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853414.9A CN113516093A (zh) | 2021-07-27 | 2021-07-27 | 标识信息的标注方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110853414.9A CN113516093A (zh) | 2021-07-27 | 2021-07-27 | 标识信息的标注方法及装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113516093A true CN113516093A (zh) | 2021-10-19 |
Family
ID=78068777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110853414.9A Pending CN113516093A (zh) | 2021-07-27 | 2021-07-27 | 标识信息的标注方法及装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516093A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN111047626A (zh) * | 2019-12-26 | 2020-04-21 | 深圳云天励飞技术有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN111127508A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 一种基于视频的目标跟踪方法及装置 |
| CN111191533A (zh) * | 2019-12-18 | 2020-05-22 | 北京迈格威科技有限公司 | 行人重识别的处理方法、装置、计算机设备和存储介质 |
| CN111428607A (zh) * | 2020-03-19 | 2020-07-17 | 浙江大华技术股份有限公司 | 一种追踪方法、装置及计算机设备 |
| WO2020215552A1 (zh) * | 2019-04-26 | 2020-10-29 | 平安科技（深圳）有限公司 | 多目标跟踪方法、装置、计算机设备及存储介质 |
| CN112200101A (zh) * | 2020-10-15 | 2021-01-08 | 河南省交通规划设计研究院股份有限公司 | 基于人工智能的面向海事业务的视频监控与分析方法 |
| CN112541395A (zh) * | 2020-11-13 | 2021-03-23 | 浙江大华技术股份有限公司 | 一种目标检测和跟踪方法、装置、存储介质及电子装置 |
| CN113011258A (zh) * | 2021-02-08 | 2021-06-22 | 深圳英飞拓科技股份有限公司 | 一种对象监控跟踪方法、装置及电子设备 |
| CN113034541A (zh) * | 2021-02-26 | 2021-06-25 | 北京国双科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN113095232A (zh) * | 2021-04-14 | 2021-07-09 | 浙江中正智能科技有限公司 | 一种目标实时跟踪方法 |
-
2021
- 2021-07-27 CN CN202110853414.9A patent/CN113516093A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN111127508A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 一种基于视频的目标跟踪方法及装置 |
| WO2020215552A1 (zh) * | 2019-04-26 | 2020-10-29 | 平安科技（深圳）有限公司 | 多目标跟踪方法、装置、计算机设备及存储介质 |
| CN111191533A (zh) * | 2019-12-18 | 2020-05-22 | 北京迈格威科技有限公司 | 行人重识别的处理方法、装置、计算机设备和存储介质 |
| CN111047626A (zh) * | 2019-12-26 | 2020-04-21 | 深圳云天励飞技术有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN111428607A (zh) * | 2020-03-19 | 2020-07-17 | 浙江大华技术股份有限公司 | 一种追踪方法、装置及计算机设备 |
| CN112200101A (zh) * | 2020-10-15 | 2021-01-08 | 河南省交通规划设计研究院股份有限公司 | 基于人工智能的面向海事业务的视频监控与分析方法 |
| CN112541395A (zh) * | 2020-11-13 | 2021-03-23 | 浙江大华技术股份有限公司 | 一种目标检测和跟踪方法、装置、存储介质及电子装置 |
| CN113011258A (zh) * | 2021-02-08 | 2021-06-22 | 深圳英飞拓科技股份有限公司 | 一种对象监控跟踪方法、装置及电子设备 |
| CN113034541A (zh) * | 2021-02-26 | 2021-06-25 | 北京国双科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN113095232A (zh) * | 2021-04-14 | 2021-07-09 | 浙江中正智能科技有限公司 | 一种目标实时跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| CN108846365B (zh) | 视频中打架行为的检测方法、装置、存储介质及处理器 | |
| CN109697416A (zh) | 一种视频数据处理方法和相关装置 | |
| CN111079699A (zh) | 商品识别方法及装置 | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| CN110879995A (zh) | 目标物品检测方法及装置、存储介质及电子装置 | |
| CN114937232B (zh) | 医废处理人员防护用具穿戴检测方法、系统和设备 | |
| CN112733814B (zh) | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 | |
| CN109426785A (zh) | 一种人体目标身份识别方法及装置 | |
| CN111144284B (zh) | 深度人脸图像的生成方法、装置、电子设备及介质 | |
| CN112380955B (zh) | 动作的识别方法及装置 | |
| CN111753724A (zh) | 一种异常行为识别方法及装置 | |
| CN113128368B (zh) | 一种人物交互关系的检测方法、装置及系统 | |
| CN110910416A (zh) | 运动障碍物跟踪方法、装置及终端设备 | |
| CN109697392A (zh) | 绘制目标对象热力图的方法及装置 | |
| CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
| CN112819889B (zh) | 位置信息的确定方法及装置、存储介质、电子装置 | |
| RU2750419C1 (ru) | Система и способ идентификации экипировки на человеке | |
| CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
| CN113516093A (zh) | 标识信息的标注方法及装置、存储介质及电子装置 | |
| CN113837138B (zh) | 一种着装监控方法、系统、介质及电子终端 | |
| CN110135422A (zh) | 一种密集目标的检测方法和装置 | |
| CN116229502A (zh) | 基于图像的摔倒行为识别方法及设备 | |
| CN114782519A (zh) | 基于点云信息的球形或类球形物体定位方法、装置及介质 | |
| CN113902987A (zh) | 群体智能的对象检测方法、存储介质和处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |