CN112734699A - 物品状态告警方法、装置、存储介质及电子装置 - Google Patents

物品状态告警方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN112734699A
CN112734699A CN202011556724.6A CN202011556724A CN112734699A CN 112734699 A CN112734699 A CN 112734699A CN 202011556724 A CN202011556724 A CN 202011556724A CN 112734699 A CN112734699 A CN 112734699A
Authority
CN
China
Prior art keywords
target
image
model
state
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011556724.6A
Other languages
English (en)
Inventor
李禹�
孙鹤
潘华东
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011556724.6A priority Critical patent/CN112734699A/zh
Publication of CN112734699A publication Critical patent/CN112734699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种物品状态告警方法、装置、存储介质及电子装置，其中，该方法包括：获取目标区域中的多帧目标图像，其中，目标图像中包括目标物品；使用目标模型对多帧目标图像进行分析，以确定每帧图像中目标物品的目标状态及目标位置；基于多帧目标图像中包括的每帧图像中目标物品的目标位置确定目标物品的目标状态是否满足第一预定条件；在目标状态不满足第一预定条件的情况下，执行告警操作。通过本发明，解决了相关技术中存在的检测物品状态不准确导致告警准确率低的问题，提高了物品状态检测的准确性，进而提高了告警的准确性。

Description

物品状态告警方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种物品状态告警方法、装置、存储介质及电子装置。
背景技术
随着国内经济的迅速发展，国民的消费水平也在不断提高，对物品状态的要求越来越高，下面以物品为垃圾桶为例进行说明：
越来越多的人通过饭店餐馆外卖来解决生活饮食，在餐饮业高消费的背景下，餐饮后厨的规范化管理问题也成为为重中之重，很多外表光鲜亮丽的饭店，其后厨却脏乱不堪，尤其是垃圾桶的开盖状态，若垃圾桶由于满溢或者未对其进行关闭而开放垃圾桶桶盖，将导致苍蝇横飞，加速与异味细菌的传播。因此，需要对后厨垃圾桶桶盖的开盖状态进行规定，比如必须及时关闭垃圾桶，垃圾桶满溢后必须及时清理垃圾，若无法做到有效管理，将严重威胁着厨房的卫生安全，甚至会对食客的身体健康产生巨大的不良影响。
在相关技术中，仅使用智慧厨房场景的素材获得垃圾桶开盖检测的模型，由于数据量少及场景复杂等问题，最终使得检测结果中存在误检情况，导致告警准确率低。
由此可知，相关技术中存在检测物品状态不准确导致告警准确率低的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种物品状态告警方法、装置、存储介质及电子装置，以至少解决相关技术中存在检测物品状态不准确导致告警准确率低的问题。
根据本发明的一个实施例，提供了一种物品状态告警方法，包括：获取目标区域中的多帧目标图像，其中，所述目标图像中包括目标物品；使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置，其中，所述目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，所述第一训练数据包括第一区域的第一图像、所述第一图像中包括的物品的状态及位置信息，所述标签数据包括第二区域的第二图像、通过参考模型所确定出的所述第二图像中包括的物品的状态及位置信息的标签概率值，所述参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，所述第二训练数据包括所述第二区域的第三图像、所述第三图像中包括的物品的状态及位置信息；基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件；在所述目标状态不满足所述第一预定条件的情况下，执行告警操作。
根据本发明的另一个实施例，提供了一种物品状态告警装置，包括：获取模块，用于获取目标区域中的多帧目标图像，其中，所述目标图像中包括目标物品；分析模块，用于使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置，其中，所述目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，所述第一训练数据包括第一区域的第一图像、所述第一图像中包括的物品的状态及位置信息，所述标签数据包括第二区域的第二图像、通过参考模型所确定出的所述第二图像中包括的物品的状态及位置信息的标签概率值，所述参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，所述第二训练数据包括所述第二区域的第三图像、所述第三图像中包括的物品的状态及位置信息；确定模块，用于基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件；告警模型，用于在所述目标状态不满足所述第一预定条件的情况下，执行告警操作。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取目标区域中的多帧目标图像，使用目标模型对多帧目标图像中的每帧图像中的目标物品进行分析，确定每帧图像中目标物品的目标状态及目标位置，根据多帧图像中包括的每帧图像中目标物品的目标位置确定目标物品的状态是否满足第一预定条件，在确定目标状态不满足预定条件的情况下，执行告警操作。由于目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，多组标签数据包括第二区域的第二图像、通过参考模型所确定出的第二图像中包括的物品的状态及位置信息的标签概率值，参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，因此，目标模型能够融合多个区域的训练数据，提高目标模型分析目标物品状态的准确性，因此，可以解决相关技术中存在的检测物品状态不准确导致告警准确率低的问题，提高了物品状态检测的准确性，进而提高了告警的准确性。
附图说明
图1是本发明实施例的一种物品状态告警方法的移动终端的硬件结构框图；
图2是根据本发明实施例的物品状态告警方法的流程图；
图3是根据本发明示例性实施例的目标模型示意图；
图4是根据本发明具体实施例得到物品状态告警方法流程图；
图5是根据本发明实施例的物品状态告警装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种物品状态告警方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102 可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置) 和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的物品状态告警方法对应的计算机程序，处理器 102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种物品状态告警方法，图2是根据本发明实施例的物品状态告警方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标区域中的多帧目标图像，其中，所述目标图像中包括目标物品；
步骤S204，使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置，其中，所述目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，所述第一训练数据包括第一区域的第一图像、所述第一图像中包括的物品的状态及位置信息，所述标签数据包括第二区域的第二图像、通过参考模型所确定出的所述第二图像中包括的物品的状态及位置信息的标签概率值，所述参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，所述第二训练数据包括所述第二区域的第三图像、所述第三图像中包括的物品的状态及位置信息；
步骤S206，基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件；
步骤S208，在所述目标状态不满足所述第一预定条件的情况下，执行告警操作。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
在上述实施例中，目标物品可以为垃圾桶，目标区域可以为厨房、卧室、客厅等区域，目标图像可以为通过设置的目标区域中的摄像设备按照预定的帧频采集到的图像，也可以是接收到的其他设备发送的图像。在获取到目标图像后，可以利用目标模型对目标图像进行分析，以确定目标图像中包括的目标物品的目标状态。其中，目标状态可以为开启状态和关闭状态。
在上述实施例中，目标模型可以为通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的模型。第一训练数据可以包括第一区域的第一图像及第一图像中包括的物品的状态及位置。其中，第一区域可以为厨房区域、卧室区域、客厅区域、或者其他具体目标物品的区域，物品的位置可以通过坐标表示。
在上述实施例中，多组标签数据可以是参考模型确定的标签数据，即，通过多组第二训练数据通过机器学习对第二初始模型进行训练得到参考模型，将第二区域的第二图像输入至参考模型中，参考模型对第二图像进行分析，确定第二图像中包括的物品的状态及位置，将参考模型确定的第二图像中包括的物品的状态及位置确定为标签概率值，再利用第二图像及标签概率值对第一初始模型进行训练，得到目标模型。其中，第二区域可以为与第一区域相似的区域，即第一区域和第二区域中的存在相似的目标物品。例如，第一区域可以为包括垃圾桶的厨房区域，第二区域可以为包括垃圾桶的城市区域。利用与其域不同的智慧城管素材辅助提升智慧厨房的算法效果，增强了后续报警系统的有效率。并且无需构建多个子网络的问题，将其简化为单个网络的算法，优化方案的冗余性。
通过本发明，获取目标区域中的多帧目标图像，使用目标模型对多帧目标图像中的每帧图像中的目标物品进行分析，确定每帧图像中目标物品的目标状态及目标位置，根据多帧图像中包括的每帧图像中目标物品的目标位置确定目标物品的状态是否满足第一预定条件，在确定目标状态不满足预定条件的情况下，执行告警操作。由于目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，多组标签数据包括第二区域的第二图像、通过参考模型所确定出的第二图像中包括的物品的状态及位置信息的标签概率值，参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，因此，目标模型能够融合多个区域的训练数据，提高目标模型分析目标物品状态的准确性，因此，可以解决相关技术中存在的检测物品状态不准确导致告警准确率低的问题，提高了物品状态检测的准确性，进而提高了告警的准确性。
在一个示例性实施例中，基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件包括：判断多帧所述目标图像中是否包括有连续预定数量的目标帧图像，其中，所述目标帧图像中包括有位于第一位置处的且处于开启状态的第一物品，其中，所述目标物品包括所述第一物品；在判断结果为包括有连续预定数量的所述目标帧图像的情况下，确定所述第一物品的所述目标状态不满足所述第一预定条件；在判断结果为不包括有连续所述预定数量的所述目标帧图像的情况下，确定所述第一物品的所述目标状态满足所述第一预定条件。在本实施例中，可以通过连续帧图像的投票结果确定目标物品的状态是否满足第一预定条件。例如，在预定数量的连续多帧图像中，处于第一位置的第一物品的状态均为开启状态的情况下，可以确定第一物品不满足第一预定条件，即第一物品处于长时间处于开启状态，处于忘记关闭或者无法关闭的状态，不满足第一预定条件。若在预定数量的连续多帧图像中，处于第一位置的第一物品的状态均为关闭状态的情况下，则可以任务第一物品处于关闭状态，满足第一预定条件。若在预定数量的连续多帧图像中，处于第一位置的第一物品的状态存在开启状态，也存在关闭状态，则可以认为第一物品处于正在使用的状态，满足第一预定条件。
在一个示例性实施例中，在所述目标状态不满足所述第一预定条件的情况下，执行告警操作包括：在所述目标状态不满足所述第一预定条件的情况下，判断所述第一位置是否满足第二预定条件；在判断结果为所述第一位置满足所述第二预定条件的情况下，执行所述告警操作。在本实施例中，当确定第一物品的目标状态不满足第一预定条件的情况下，判断第一物品的第一位置是否满足第二预定条件，当第一位置满足第二预定条件的情况下，执行告警操作。即，在确定第一物品的目标状态不满足第一预定条件时，可以存储第一位置，将第一位置确定为当前告警目标位置，判断当前告警目标位置是否满足第二预定条件，在满足的情况下，执行告警操作。
在一个示例性实施例中，判断所述第一位置是否满足第二预定条件包括：确定所述第一位置与第二位置的交并比，其中，所述第二位置为执行过所述告警操作的位置；基于所述交并比判断所述第一位置是否满足所述第二预定条件，其中，在确定所述交并比小于或等于预定阈值的情况下，确定所述第一位置满足所述第二预定条件，在确定所述交并比大于所述预定阈值的情况下，确定所述第一位置不满足所述第二预定条件。在本实施例中，可以提取当前告警目标位置与历史告警目标位置的IOU(交并比)；若IOU高于阈值，则认为此当前位置在历史报警中出现过，则不对其进行报警；否则，对其进行报警。
在上述实施例中，在确定第一位置与第二位置的交并比大于预定阈值的情况下，还可以确定第二位置触发的告警操作的第一时间，确定当前时间与第一时间的时间差，在时间差大于第二时间的情况下，执行告警操作。即，在确定当前位置触发过告警之后，可以判断两次告警的时间差，若时间差大于第二时间，可以认为用户一直未对告警进行过处理，因此，可以再次执行告警操作，以提示用户处理目标物品。
在一个示例性实施例中，所述第一初始模型和所述第二初始模型均包括：依次连接的第一数量的卷积层、第二数量的全连接层、适应层、第三数量全连接层。在本实施例中，第一初始模型和第二初始模型可以是相同的模型，可以均包括顺次连接的第一数量的卷积层、第二数量的全连接层、适应层、第三数量全连接层。其中，第一数量可以为5，第二数量可以为 2，第三数量可以为1。需要说明的是，上述数量仅是一种示例性说明，本发明对各层的数量不做限制。
在一个示例性实施例中，在使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置之前，所述方法还包括：使用多组所述第一训练数据通过机器学习对所述第一初始模型进行训练，以得到第一初始子模型；使用多组所述标签数据对所述第一初始子模型进行训练，以得到所述目标模型。在本实施例中，可以使用多组第一训练数据通过机器学习对第一初始模型训练，得到第一初始子模型，在使用多组标签数据对第一初始子模型训练得到目标模型。
在一个示例性实施例中，使用多组所述标签数据对所述第一初始子模型进行训练，以得到所述目标模型包括：确定所述第二初始模型的适应层输出的所述标签数据的第一特征；确定所述第一初始模型的适应层输出的所述标签数据的第二特征；确定所述第一特征与所述第二特性的最大均值差异；基于目标损失函数确定所述最大均值差异所对应的检测损失；在所述检测损失满足第二预定条件的情况下，退出所述机器学习，以得到所述目标模型。在本实施例中，当目标区域为厨房区域，目标物品为垃圾桶时，第一训练数据中的第一图像的背景为厨房场景，前景为垃圾桶目标。在神经网络当中，采用适用于厨房的目标框比例大小，同时加入注意力机制模块丰富细节特征。在网络最终的输出选定上，设定置信阈值，当网络结果大于设定的阈值再进行输出，进一步提高检测的准确率。使用该厨房场景目标检测的深度学习算法，可有效的检出厨房工作人员等目标。现有的厨房场景背景复杂，且数据量少，若能充分利用与其域不相同的智慧城管的素材将有利于当前任务的效果提升。因此，为了有效提升厨房场景垃圾桶开盖检测模型的泛化性。其中，目标模型示意图可参见附图3，如图3所示，智慧城管数据(室外)对应于上述第二训练数据，厨房场景数据(室内)对应于上述第一训练数据。智慧城管数据(室外)侧对应的模型对应于上述参考模型，厨房场景数据(室内)模型对应于上述第一初始模型。即基于智慧城管数据集与智慧厨房场景数据同时训练第一初始模型，并共享权重参数，利用基于最大均值差异算法作为损失融合两个不同域的特征信息。
最大均值差异是域融合领域中使用最广泛的一种损失函数，主要用来度量两个不同但相关的分布在再生核希尔伯特空间中的距离，其是一种核学习方法。本发明将两个不同场景的垃圾桶素材作为两种分布，它们之间的距离可作为判断分布之间的相关性，最大均值差异定义如下：
Figure BDA0002858561070000101
其中，n是向量维度，x和y分别是向量化的特征，K(·)是核函数，用于把向量映射到再生核希尔伯特空间中，一般形式的再生核希尔伯特空间定义如下：
K(x,y)＝<x,y>
K(x,y)＝(γ<x,y>+c)n
K(x,y)＝exp(-γ||x-y||2)
K(x,y)＝tanh(γ<x,y>+c)
目标模型的目标损失函数可以表示为 L(X,Y)＝L(X)+L(Y)+MMD2(X,Y)，其中，L(X)和L(Y)分别是垃圾桶开盖检测的损失。L(X,Y)的具体表现形式为：
Figure RE-GDA0002997603250000102
其中，λcoord表示定位误差权重，B表示预测边界框数量，
Figure BDA0002858561070000111
表示第i 个单元格存在误差且该单元格中第j个边界框负责预测该目标，(xi，yi) 表示边界框坐标预测值，
Figure BDA0002858561070000112
表示边界框坐标真实值，wi表示单元格的预测宽度，hi表示单元格的预测高度，
Figure BDA0002858561070000113
表示单元格的真实宽度，
Figure BDA0002858561070000114
表示单元格的真实高度，Ci表示第i个单元格的置信度的预测值，
Figure BDA0002858561070000115
表示第i 个单元格的置信度的真实值，λnoobj表示分类误差权重，
Figure BDA0002858561070000116
表示不存在目标，pi(c)表示第i个类别概率的预测值，
Figure BDA0002858561070000117
表示第i个类别概率的真实值。
在上述实施例中，在训练完成后，即退出机器学习后，可以直接使用图3中的厨房场景数据对应的模型(即对第一初始模型训练后得到的目标模型)进行推理，获得垃圾桶开盖的结果及位置信息。在基于连续帧统计目标不合规的帧数，如果连续N帧都判定为不合规，则发出告警。从产生第二个告警目标开始，就需要基于IOU获得当前目标与历史目标的位置信息，若IOU低于阈值，则再次产生告警。
下面结合具体实施方式对物品状态告警方法进行说明：
图4是根据本发明具体实施例得到物品状态告警方法流程图，如图4 所示，该流程包括：
步骤S402，获取前端视频(对应于上述多帧目标图像)；
步骤S404，垃圾桶开盖检测模块基于指定帧率采集前端设备获取厨房场景的完整图像；基于域融合获得的垃圾桶开盖检测模型获得该图像中所有开盖目标的坐标；
步骤S406，不合规报警模块基于连续帧的投票结果判断目标是否合规；若不合规则存储目标报警信息。
步骤S408，重复报警抑制模块基于IOU提取当前报警目标与历史报警目标的位置信息；若IOU高于阈值，则认为此目标在历史报警中出现过，则不对其进行报警；否则，对其进行报警；
步骤S410，输出最终报警信息。
在前述实施例中，由于厨房场景背景复杂，而其中的垃圾桶目标较小且素材难以收集，而智慧城管领域又具有与其类似任务的数据，但是目标场景又具有较大的差异。若不加以利用此部分素材，直接使用现有的目标检测算法将无法获得具有较强泛化能力的模型，因此需要建立获取有效的算法模型对垃圾桶开盖检测，然后对其进行24小时实时监控，若产生不合规操作则给出报警信息，可有效的对厨房的卫生安全进行评估。引入最大均值差异的域融合方法将与其域不同的智慧城管数据集的信息加入到特定任务中，并有效的提升了当前任务的效果。即使用基于最大均值差异的域融合方法有效利用与其域不同的智慧城管数据集的信息，帮助提升厨房场景任务；使用有效的单网络优化现有提出的多级子网络算法，降低算法的冗余性。并且能够在复杂场景的厨房内排除干扰，准确的识别到目标，若目标不合规，则及时发出告警信息给相关人员处理。解决了传统视频监控依赖人工的缺陷。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种物品状态告警装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的物品状态告警装置的结构框图，如图5所示，该装置包括：
获取模块52，用于获取目标区域中的多帧目标图像，其中，所述目标图像中包括目标物品；
分析模块54，用于使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置，其中，所述目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，所述第一训练数据包括第一区域的第一图像、所述第一图像中包括的物品的状态及位置信息，所述标签数据包括第二区域的第二图像、通过参考模型所确定出的所述第二图像中包括的物品的状态及位置信息的标签概率值，所述参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，所述第二训练数据包括所述第二区域的第三图像、所述第三图像中包括的物品的状态及位置信息；
确定模块56，用于基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件；
告警模型58，用于在所述目标状态不满足所述第一预定条件的情况下，执行告警操作。
其中，所述分析模块54对应于上述垃圾桶开盖检测模块，所述确定模块56对应于上述不合规报警模块，所述告警模型58对应于上述重复报警抑制模块。
在一个示例性实施例中，所述确定模块56可以通过如下方式实现基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件：判断多帧所述目标图像中是否包括有连续预定数量的目标帧图像，其中，所述目标帧图像中包括有位于第一位置处的且处于开启状态的第一物品，其中，所述目标物品包括所述第一物品；在判断结果为包括有连续预定数量的所述目标帧图像的情况下，确定所述第一物品的所述目标状态不满足所述第一预定条件；在判断结果为不包括有连续所述预定数量的所述目标帧图像的情况下，确定所述第一物品的所述目标状态满足所述第一预定条件。
在一个示例性实施例中，所述告警模型58可以通过如下方式实现在所述目标状态不满足所述第一预定条件的情况下，执行告警操作：在所述目标状态不满足所述第一预定条件的情况下，判断所述第一位置是否满足第二预定条件；在判断结果为所述第一位置满足所述第二预定条件的情况下，执行所述告警操作。
在一个示例性实施例中，所述告警模型58可以通过如下方式实现判断所述第一位置是否满足第二预定条件：确定所述第一位置与第二位置的交并比，其中，所述第二位置为执行过所述告警操作的位置；基于所述交并比判断所述第一位置是否满足所述第二预定条件，其中，在确定所述交并比小于或等于预定阈值的情况下，确定所述第一位置满足所述第二预定条件，在确定所述交并比大于所述预定阈值的情况下，确定所述第一位置不满足所述第二预定条件。
在一个示例性实施例中，所述第一初始模型和所述第二初始模型均包括：依次连接的第一数量的卷积层、第二数量的全连接层、适应层、第三数量全连接层。
在一个示例性实施例中，所述装置可以用于在使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置之前，使用多组所述第一训练数据通过机器学习对所述第一初始模型进行训练，以得到第一初始子模型；使用多组所述标签数据对所述第一初始子模型进行训练，以得到所述目标模型。
在一个示例性实施例中，所述装置可以通过如下方式实现使用多组所述标签数据对所述第一初始子模型进行训练，以得到所述目标模型：确定所述第二初始模型的适应层输出的所述标签数据的第一特征；确定所述第一初始模型的适应层输出的所述标签数据的第二特征；确定所述第一特征与所述第二特性的最大均值差异；基于目标损失函数确定所述最大均值差异所对应的检测损失；在所述检测损失满足第二预定条件的情况下，退出所述机器学习，以得到所述目标模型。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于： U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器 (Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种物品状态告警方法，其特征在于，包括：
获取目标区域中的多帧目标图像，其中，所述目标图像中包括目标物品；
使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置，其中，所述目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，所述第一训练数据包括第一区域的第一图像、所述第一图像中包括的物品的状态及位置信息，所述标签数据包括第二区域的第二图像、通过参考模型所确定出的所述第二图像中包括的物品的状态及位置信息的标签概率值，所述参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，所述第二训练数据包括所述第二区域的第三图像、所述第三图像中包括的物品的状态及位置信息；
基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件；
在所述目标状态不满足所述第一预定条件的情况下，执行告警操作。
2.根据权利要求1所述的方法，其特征在于，基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件包括：
判断多帧所述目标图像中是否包括有连续预定数量的目标帧图像，其中，所述目标帧图像中包括有位于第一位置处的且处于开启状态的第一物品，其中，所述目标物品包括所述第一物品；
在判断结果为包括有连续预定数量的所述目标帧图像的情况下，确定所述第一物品的所述目标状态不满足所述第一预定条件；
在判断结果为不包括有连续所述预定数量的所述目标帧图像的情况下，确定所述第一物品的所述目标状态满足所述第一预定条件。
3.根据权利要求2所述的方法，其特征在于，在所述目标状态不满足所述第一预定条件的情况下，执行告警操作包括：
在所述目标状态不满足所述第一预定条件的情况下，判断所述第一位置是否满足第二预定条件；
在判断结果为所述第一位置满足所述第二预定条件的情况下，执行所述告警操作。
4.根据权利要求3所述的方法，其特征在于，判断所述第一位置是否满足第二预定条件包括：
确定所述第一位置与第二位置的交并比，其中，所述第二位置为执行过所述告警操作的位置；
基于所述交并比判断所述第一位置是否满足所述第二预定条件，其中，在确定所述交并比小于或等于预定阈值的情况下，确定所述第一位置满足所述第二预定条件，在确定所述交并比大于所述预定阈值的情况下，确定所述第一位置不满足所述第二预定条件。
5.根据权利要求1所述的方法，其特征在于，所述第一初始模型和所述第二初始模型均包括：
依次连接的第一数量的卷基层、第二数量的全连接层、适应层、第三数量全连接层。
6.根据权利要求5所述的方法，其特征在于，在使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置之前，所述方法还包括：
使用多组所述第一训练数据通过机器学习对所述第一初始模型进行训练，以得到第一初始子模型；
使用多组所述标签数据对所述第一初始子模型进行训练，以得到所述目标模型。
7.根据权利要求6所述的方法，其特征在于，使用多组所述标签数据对所述第一初始子模型进行训练，以得到所述目标模型包括：
确定所述第二初始模型的适应层输出的所述标签数据的第一特征；
确定所述第一初始模型的适应层输出的所述标签数据的第二特征；
确定所述第一特征与所述第二特性的最大均值差异；
基于目标损失函数确定所述最大均值差异所对应的检测损失；
在所述检测损失满足第二预定条件的情况下，退出所述机器学习，以得到所述目标模型。
8.一种物品状态告警装置，其特征在于，包括：
获取模块，用于获取目标区域中的多帧目标图像，其中，所述目标图像中包括目标物品；
分析模块，用于使用目标模型对所述多帧目标图像进行分析，以确定每帧图像中所述目标物品的目标状态及目标位置，其中，所述目标模型是通过多组第一训练数据和多组标签数据通过机器学习对第一初始模型进行训练后所得到的，所述第一训练数据包括第一区域的第一图像、所述第一图像中包括的物品的状态及位置信息，所述标签数据包括第二区域的第二图像、通过参考模型所确定出的所述第二图像中包括的物品的状态及位置信息的标签概率值，所述参考模型是通过多组第二训练数据通过机器学习对第二初始模型进行训练后所得到的，所述第二训练数据包括所述第二区域的第三图像、所述第三图像中包括的物品的状态及位置信息；
确定模块，用于基于多帧所述目标图像中包括的每帧图像中所述目标物品的所述目标位置确定所述目标物品的目标状态是否满足第一预定条件；
告警模型，用于在所述目标状态不满足所述第一预定条件的情况下，执行告警操作。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN202011556724.6A 2020-12-24 2020-12-24 物品状态告警方法、装置、存储介质及电子装置 Pending CN112734699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011556724.6A CN112734699A (zh) 2020-12-24 2020-12-24 物品状态告警方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556724.6A CN112734699A (zh) 2020-12-24 2020-12-24 物品状态告警方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN112734699A true CN112734699A (zh) 2021-04-30

Family

ID=75615645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556724.6A Pending CN112734699A (zh) 2020-12-24 2020-12-24 物品状态告警方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN112734699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063739A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 异常行为的检测方法、装置、设备及计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846357A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 一种可疑物检测方法及装置
CN109887242A (zh) * 2019-01-16 2019-06-14 珠海优特电力科技股份有限公司 向用户终端发送告警信息方法、装置、系统
CN110334614A (zh) * 2019-06-19 2019-10-15 腾讯科技（深圳）有限公司 一种疲劳状态预警方法、装置、设备及存储介质
CN110879995A (zh) * 2019-12-02 2020-03-13 上海秒针网络科技有限公司 目标物品检测方法及装置、存储介质及电子装置
CN111666920A (zh) * 2020-06-24 2020-09-15 浙江大华技术股份有限公司 目标物品佩戴检测方法、装置、存储介质及电子装置
CN111738240A (zh) * 2020-08-20 2020-10-02 江苏神彩科技股份有限公司 区域监测方法、装置、设备及存储介质
CN111783718A (zh) * 2020-07-10 2020-10-16 浙江大华技术股份有限公司 目标对象状态识别方法、装置、存储介质及电子装置
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
WO2020221298A1 (zh) * 2019-04-30 2020-11-05 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
WO2020238415A1 (zh) * 2019-05-29 2020-12-03 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN112069939A (zh) * 2020-08-21 2020-12-11 深圳市商汤科技有限公司 事件检测方法及其装置、电子设备、存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846357A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 一种可疑物检测方法及装置
CN109887242A (zh) * 2019-01-16 2019-06-14 珠海优特电力科技股份有限公司 向用户终端发送告警信息方法、装置、系统
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
WO2020221298A1 (zh) * 2019-04-30 2020-11-05 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
WO2020238415A1 (zh) * 2019-05-29 2020-12-03 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN110334614A (zh) * 2019-06-19 2019-10-15 腾讯科技（深圳）有限公司 一种疲劳状态预警方法、装置、设备及存储介质
CN110879995A (zh) * 2019-12-02 2020-03-13 上海秒针网络科技有限公司 目标物品检测方法及装置、存储介质及电子装置
CN111666920A (zh) * 2020-06-24 2020-09-15 浙江大华技术股份有限公司 目标物品佩戴检测方法、装置、存储介质及电子装置
CN111783718A (zh) * 2020-07-10 2020-10-16 浙江大华技术股份有限公司 目标对象状态识别方法、装置、存储介质及电子装置
CN111738240A (zh) * 2020-08-20 2020-10-02 江苏神彩科技股份有限公司 区域监测方法、装置、设备及存储介质
CN112069939A (zh) * 2020-08-21 2020-12-11 深圳市商汤科技有限公司 事件检测方法及其装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任珈民;宫宁生;韩镇阳;: "基于YOLOv3与卡尔曼滤波的多目标跟踪算法", 计算机应用与软件, no. 05 *
陆峰;徐友春;李永乐;王任栋;王东敏;: "基于多传感器数据融合的障碍物检测与跟踪", 军事交通学院学报, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063739A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 异常行为的检测方法、装置、设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN106682697B (zh) 一种基于卷积神经网络的端到端物体检测方法
CN110135319A (zh) 一种异常行为检测方法及其系统
CN107527009A (zh) 一种基于yolo目标检测的遗留物检测方法
CN106844614A (zh) 一种户型图功能区域快速识别系统
CN106844138A (zh) 运维报警系统及方法
CN110427800A (zh) 视频物体加速检测方法、装置、服务器及存储介质
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和系统
CN105513052A (zh) 一种冰箱内食物存量及变质信息探知系统及方法
CN112926541B (zh) 一种睡岗检测方法、装置及相关设备
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN113420673B (zh) 垃圾分类方法、装置、设备及存储介质
CN113792930B (zh) 盲人行走轨迹预测方法、电子设备及存储介质
CN111814725A (zh) 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法
CN112707058B (zh) 一种厨余垃圾规范动作的检测方法、系统、装置及介质
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及系统
CN111274886A (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
B Nair et al. Machine vision based flood monitoring system using deep learning techniques and fuzzy logic on crowdsourced image data
CN112734699A (zh) 物品状态告警方法、装置、存储介质及电子装置
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN117368862A (zh) 一种高效气象雷达数据质量评估系统
CN111723664A (zh) 一种用于开放式区域的行人计数方法及系统
CN110969209B (zh) 一种陌生人识别方法、装置、电子设备及存储介质
CN114220041A (zh) 目标识别方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination