CN114494939A - 基于图像识别的防偷盗方法及相关产品 - Google Patents

基于图像识别的防偷盗方法及相关产品 Download PDF

Info

Publication number
CN114494939A
CN114494939A CN202111595068.5A CN202111595068A CN114494939A CN 114494939 A CN114494939 A CN 114494939A CN 202111595068 A CN202111595068 A CN 202111595068A CN 114494939 A CN114494939 A CN 114494939A
Authority
CN
China
Prior art keywords
target
candidate
frame
image
pet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111595068.5A
Other languages
English (en)
Inventor
彭永鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Ruipeng Pet Healthcare Group Co Ltd
Original Assignee
New Ruipeng Pet Healthcare Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Ruipeng Pet Healthcare Group Co Ltd filed Critical New Ruipeng Pet Healthcare Group Co Ltd
Priority to CN202111595068.5A priority Critical patent/CN114494939A/zh
Publication of CN114494939A publication Critical patent/CN114494939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于图像识别的防偷盗方法及相关产品。该方法包括：获取在目标位置拍摄的待识别视频；从待识别视频中获取多帧待识别图像；分别对多帧待识别图像中的每帧待识别图像进行目标检测，得到多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；根据至少一帧目标图像，对候选人物进行情绪识别，得到候选人物的情绪；根据至少一帧目标图像，对候选宠物进行动作识别，得到候选宠物的动作；根据候选人物的情绪和候选宠物的动作，确定候选人物是否存在偷盗候选宠物的行为；若存在偷盗候选宠物的行为，向目标设备发送提示信息，提示信息用于提示目标位置发生偷盗候选宠物的行为。

Description

基于图像识别的防偷盗方法及相关产品
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于图像识别的防偷盗方法及相关产品。
背景技术
近年来，越来越多的人选择养宠物，根据《宠物行业白皮书》，2019年全国城镇宠物犬猫数量达到几千万只。随着宠物的数量越来越多，宠物在人们的生活中越来越重要。
随着宠物的价值的增加，经常会发生一些宠物被偷盗的现象，目前宠物被偷盗现象越来越引起社会的关注，然而目前宠物被偷盗之后，都是由宠物的主人报案，相关人员基于视频进行人工排查，需要投入大量的人力和物理，且这种防止宠物被偷盗的方式比较单一，防偷盗的成功率比较低。
发明内容
本申请实施例提供了一种基于图像识别的防偷盗方法及相关产品，通过情绪识别和动作识别，精确的判断出是否有宠物偷盗行为，提高防偷盗的成功率。
第一方面，本申请实施例提供一种基于图像识别的宠物防偷盗方法，包括：
获取在目标位置拍摄的待识别视频；
从所述待识别视频中获取多帧待识别图像；
分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；
根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪；
根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作；
根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为；
若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
第二方面，本申请实施例提供一种宠物防盗装置，包括：获取单元和处理单元；
所述获取单元，用于获取在目标位置拍摄的待识别视频；
所述处理单元，用于从所述待识别视频中获取多帧待识别图像；
分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；
根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪；
根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作；
根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为；
若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
第三方面，本申请实施例提供一种电子设备，包括：处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如第一方面所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，在本申请实施例中，首先获取目标位置(即容易发生宠物偷盗的位置)的视频，然后从视频中获取待识别图像，并基于待识别图像对候选人物进行情绪分析，对候选宠物进行动作分析；当候选人物的情绪以及候选宠物的动作满足条件时，则认为候选人物对该候选宠物有偷盗行为，并对该偷盗行为进行及时预警，及时防止宠物偷盗行为的发生，提高了宠物防盗的成功率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种宠物防偷盗系统的示意图；
图2为本申请实施例提供的一种基于图像识别的宠物防偷盗方法的流程示意图；
图3为本申请实施例提供的另一种基于图像识别的宠物防偷盗方法的流程示意图；
图4为本申请实施例提供的一种宠物防盗装置的功能单元组成框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
应说明，本申请的防偷盗方法主要应用于防止宠物被偷盗的场景，因此本申请所涉及到的候选人物可以理解为具有偷盗宠物行为的人物，候选宠物为被偷盗的宠物，后续不再区分。
参阅图1，图1为本申请实施提供的一种宠物防偷盗系统。宠物防偷盗系统包括宠物防偷盗装置100、图像获取装置200和目标设备300；其中，宠物防偷盗装置100、图像获取装置200和目标设备300之间保持通信连接；
示例性的，图像获取装置200设置于目标位置的预设范围内，实现对目标位置，以及该目标位置的预设范围进行图像拍摄；目标设备300为管理人员端的设备，比如，针对小区宠物防偷盗场景来说，则该目标设备300为小区管理人员的设备；
示例性的，图像获取装置200对目标位置进行拍摄，得到待识别视频，并将该待识别视频发送给防偷盗装置100；防偷盗装置100从该待识别视频中获取多帧待识别图像；然后，分别对多帧待识别图像中的每帧待识别图像进行目标检测，得到多帧待识别图像中同时出现候选人物的至少一帧目标图像；根据该至少一帧目标图像，对候选人物进行情绪识别，得到候选人物的情绪；根据该至少一帧目标图像，对该候选宠物进行动作识别，得到该候选宠物的动作；最后，根据该候选人物的情绪和候选宠物的动作，确定候选人物是否存在偷盗候选宠物的行为；若存在偷盗候选宠物的行为，则向目标设备200发送提示信息，通过该提示信息提示目标设备200的用户该目标位置处发生偷盗候选宠物的行为。
可以看出，在本申请实施例中，图像获取装置对目标位置进行拍摄，生成待识别视频；然后宠物防偷盗装置获取目标位置(即容易发生宠物偷盗的位置)的待识别视频，然后从视频中获取待识别图像，并基于待识别图像对候选人物进行情绪分析，对候选宠物进行动作分析；当候选人物的情绪以及候选宠物的动作满足条件时，则认为候选人物对该候选宠物有偷盗行为，并对该偷盗行为进行及时预警，及时防止宠物偷盗行为的发生，提高了宠物防盗的成功率。
参阅图2，图2为本申请实施例提供的一种基于图像识别的宠物防偷盗方法的流程示意图。该方法应用于上述的宠物防偷盗装置。该方法包括以下步骤内容：
201：获取在目标位置拍摄的待识别视频。
示例性的，宠物防偷盗装置可以从图像获取装置(比如，摄像机)处接收目标位置拍摄的待识别视频。可选的，图像获取装置可以实时对目标位置进行拍摄，并对拍摄到的内容进行目标识别，当识别到有宠物和/或人出现的时候，则对拍摄到的视频进行缓存，并持续跟随该宠物和/或人。当检测到该物和/或人消失时，则生成该待识别视频，并将该待识别视频发送给宠物防偷盗装置。
202：从所述待识别视频中获取多帧待识别图像。
示例性的，通过采样的方式从该待识别视频中获取多帧待识别图像。
可选的，可根据预设的采样频率从该待识别视频中获取该多帧待识别图像。
可选的，还可以获取与当前时刻对应的采样频率，并根据该采样频率从该待识别视频中获取该多帧待识别图像。示例性的，根据时间段与采样频率之间的对应关系，以及当前时刻，确定当前时刻对应的采样频率。例如，针对不同的时间段预设不同的采样频率，比如，针对偷盗事情容易发生的时间段(比如，傍晚的时间段)，则可以预设较小的采样频率，这样就可以采样出数量更多的待识别图像，从而进行精确分析，针对偷盗事情不容易发生的时间段(比如，8:00～9:00)，则可以预设较大的采样频率，这样就可以采样出数量较少的待识别图像，从而提高识别效率。
203：分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像。
示例性的，对每帧待识别图像进行目标检测，得到每帧待识别图像中的目标以及与每个目标对应的类别，其中，每帧待识别图像中的目标可以为行人，宠物，车辆，等等。例如，可以通过Sparse R-CNN模型对每帧待识别图像进行目标检测，得到待识别图像中的目标以及每个目标对应的类别，不再叙述。
示例性的，根据每帧待识别图像中的目标的类别，确定候选人物和候选宠物。
具体的，根据每帧待识别图像中的目标的类别，确定出每帧待识别图像中的第一目标，其中，该第一目标的类别和候选人物的类别相同，即确定出每帧待识别图像中类别为人的目标；然后，对所述多帧待识别图像中的第一目标进行合并，得到至少一个第一目标，并获取所述至少一个第一目标中的每个第一目标在所述多帧待识别图像中出现的次数。最后，根据所述每个第一目标在所述多帧投影图像中出现的次数，确定第一目标a，其中，所述第一目标a为所述至少一个目标中出现次数最多的第一目标。
示例性的，对每帧待识别图像中的第一目标进行特征提取，得到每帧待识别图像中的第一目标的轮廓特征，其中，该轮廓特征包括该第一目标的高度、宽度、颜色，等其他特征；例如，可以从每帧待识别图像中截取该第一目标的图像，然后通过卷积网络对该图像进行特征提取，得到该第一目标的轮廓特征。进一步地，根据每帧待识别图像中的第一目标的轮廓特征，对多帧待识别图像进行聚类，得到至少一个第一聚类簇，每个第一聚类簇对应一种轮廓特征，即对应一个第一目标，从而基于该至少一个第一聚类簇，得到至少一个第一目标；然后，将每个第一聚类簇中包含的待识别图像的数量作为该第一聚类簇对应的第一目标在该多帧待识别图像中出现的次数。
进一步的，根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第二目标，其中，该第二目标的类别与所述候选宠物的类别相同，即确定出每帧待识别图像中类别为宠物的目标；对所述多帧待识别图像中的第二目标进行合并，得到至少一个第二目标，并获取所述至少一个第二目标中的每个第二目标在所述多帧待识别图像中出现的次数；根据所述每个第二目标在所述多帧投影图像中出现的次数，确定第二目标b，其中，所述第二目标b为所述至少二个目标中出现次数最多的第二目标。
具体的，对所述每帧待识别图像中的第二目标进行特征提取，得到所述每帧待识别图像中的第二目标的轮廓特征，其中，该轮廓特征包括该第二目标的高度、宽度、颜色、毛发的稀疏程度，等其他特征；例如，可以从每帧待识别图像中截取该第二目标的图像，然后通过卷积网络对该图像进行特征提取，得到该第二目标的轮廓特征。进一步地，根据每帧待识别图像中的第二目标的轮廓特征，对多帧待识别图像进行聚类，得到至少一个第二类簇，每个第二聚类簇对应一种轮廓特征，即对应一个第二目标，从而基于该至少一个第二聚类簇，得到至少一个第二目标；然后，将每个第二聚类簇中包含的待识别图像的数量作为该第二聚类簇对应的第二目标在该多帧待识别图像中出现的次数。
最后，将该第一目标a作为候选人物，以及将第二目标b作为候选宠物。
可选的，在确定出候选人物和候选宠物之后，将多帧待识别图像中同时包含有该候选任务和候选宠物的待识别图像作为至少一帧目标图像。
应说明，当候选人物偷盗候选宠物时，一般行走的路线是比较隐蔽的路线，因此图像获取装置所拍摄的方向沿该隐蔽的路线，因此在待识别视频中频繁出现的人，就是候选人物，频繁出现的宠物就是候选宠物。
204：根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪。
示例性的，获取候选人物在每帧目标图像中的面部图像；对候选人物在每帧目标图像的面部图像进行特征提取，得到每帧目标图像对应的第一特征向量；然后，将每帧目标图像对应的第一特征向量输入到多层感知器，得到候选人物在每帧目标图像中的第一情绪，其中，该第一情绪可以为紧张、慌张、高兴、郁闷和伤心；将候选人物在至少一帧目标图像中的至少一个第一情绪进行合并，得到至少一个第二情绪，即对至少一个第一情绪进行合并与去重，得到至少一个第二情绪；然后，获取至少一个第二情绪中的每个第二情绪对应的目标图像的数量，并将对应的目标图像的数量最多的第二情绪作为候选人物的情绪。
举例来说，有10帧目标图像，6帧目标图像中的第一情绪为紧张，2帧目标图像中的第一情绪为郁闷，2帧目标图像中的第一情绪为高兴，则合并之后得到的至少一个第二情绪为紧张、郁闷和高兴，且第二情绪紧张对应的目标帧图像的数量为6帧，郁闷对应的目标帧图像的数量为2帧，高兴对应的目标帧图像的数量为2帧，因此将第二情绪紧张作为该候选人物的情绪。
应说明，若某帧目标图像中并不包含候选人物的面部图像，则可以忽略该帧目标图像，即不去确定候选人物在该帧目标图像中的第一表情。
205：根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作。
示例性的，获取候选宠物在每帧目标图像中的区域所构成的第一图像，对该候选宠物在每帧目标图像中的第一图像进行动作识别，得到候选人物在每帧目标图像中的子动作。具体的，对候选宠物在每帧目标图像中的第一图像进行特征提取，得到候选宠物在每帧目标图像下的第二特征向量，比如，可以通过卷积层和全连接层对第一图像进行特征提取，得到第二特征向量；然后，分别对候选宠物在每帧目标图像下的第二特征向量与多个第一动作参数进行匹配，得到每帧目标图像与每个第一动作参数之间的匹配度，其中，每个第一动作参数为预先训练得到的，用于表征一个子动作，子动作可以包括跳、跑、拽、扯，等等；然后，根据每帧目标图像与所述每个第一动作参数之间的匹配度，确定目标第一动作参数，其中，所述目标第一动作参数为匹配度最大所对应的第一动作参数，并将所述目标第一动作参数表征的子动作，作为所述候选宠物在所述每帧目标图像中的子动作。
进一步的，根据候选宠物在所述每帧目标图像中的子动作，确定候选宠物的动作。即对候选宠物在所述每帧目标图像中的子动作进行合并，得到候选宠物的动作。举例来说，若候选宠物在目标图像中的子动作分别为跳、上蹿、撕扯，则对子动作合并之后可得到候选宠物的动作为逃跑。
206：根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为。
示例性的，若候选人物的情绪为第一类情绪和/或候选宠物的动作为第一类动作，则确定该候选人物存在偷盗候选宠物的行为；否则，确定该候选人物不存在偷盗候选宠物的行为。
其中，第一类情绪包括但不限于：紧张和慌张，第一类动作包括但不限于：逃跑、撕扯和挣扎。
207：若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
示例性的，当确定存在偷盗行为时，向目标设备发送提示信息，该目标设备可以为管理员的设备，这样通过提示信息提示该管理员目标位置处发生偷盗宠物的行为，以便及时阻止偷盗宠物的事情的发生。
可以看出，在本申请实施例中，首先获取目标位置(即容易发生宠物偷盗的位置)的视频，然后从视频中获取待识别图像，并基于待识别图像对候选人物进行情绪分析，对候选宠物进行动作分析；当候选人物的情绪以及候选宠物的动作满足条件时，则认为候选人物对该候选宠物有偷盗行为，并对该偷盗行为进行及时预警，及时防止宠物偷盗行为的发生，提高了宠物防盗的成功率。
参阅图3，图3为本申请实施例提供的另一种基于图像识别的宠物防偷盗方法的流程示意图。该方法应用于上述的防偷盗装置。该实施例中与图2所示的实施例相同的内容，此处不再重复描述。本实施例的方法可以包括以下步骤：
301：获取待识别区域的布局图。
示例性的，该待识别区域可以为一个小区、或者，公园，即一些容易发生宠物盗窃的区域。本申请中主要以待识别区域为一个小区为例进行说明。
302：根据所述布局图，确定所述待识别区域中的至少一个候选位置，其中，所述目标位置为所述至少一个候选位置中的任意一个。
示例性的，该候选位置可以为小区的一些门禁位置，即可以进出小区的位置。更进一步的，该候选位置可以为该小区的后门位置或者侧门位置。
303：获取在目标位置拍摄的待识别视频。
304：从所述待识别视频中获取多帧待识别图像。
305：分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像。
306：根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪。
307：根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作。
308：根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为。
309：若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
参阅图4，图4本申请实施例提供的一种宠物防偷盗装置的功能单元组成框图。宠物防偷盗装置400包括：获取单元401和处理单元402；
获取单元401，用于获取在目标位置拍摄的待识别视频；
处理单元402，用于从所述待识别视频中获取多帧待识别图像；
分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；
根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪；
根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作；
根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为；
若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
在本申请的一个实施方式中，在根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪方面，处理单元402，具体用于：
获取所述候选人物在所述每帧目标图像的面部图像；
对所述候选人物在所述每帧目标图像的面部图像进行特征提取，得到所述每帧目标图像对应的第一特征向量；
将所述每帧目标图像对应的第一特征向量输入到多层感知器，得到所述候选人物在所述每帧目标图像中的第一情绪；
将所述候选人物在所述至少一帧目标图像中的至少一个第一情绪进行合并，得到至少一个第二情绪；
获取所述至少一个第二情绪中的每个第二情绪对应的目标图像的数量；
将对应的目标图像的数量最多的第二情绪作为所述候选人物的情绪。
在本申请的一个实施方式中，在根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作方面，处理单元402，具体用于：
获取所述候选宠物在所述每帧目标图像中的区域所构成的第一图像；
根据所述候选宠物在所述每帧目标图像中的第一图像，确定所述候选宠物在所述每帧目标图像中的子动作；
根据所述候选宠物在所述每帧目标图像中的子动作，确定所述候选宠物的动作。
在本申请的一个实施方式中，在根据所述候选宠物在所述每帧目标图像中的第一图像，确定所述候选宠物在所述每帧目标图像中的子动作方面，处理单元402，具体用于：
对所述候选宠物在所述每帧目标图像中的第一图像进行特征提取，得到所述候选宠物在所述每帧目标图像下的第二特征向量；
分别对所述候选宠物在所述每帧目标图像下的第二特征向量与多个第一动作参数进行匹配，得到所述每帧目标图像与所述每个第一动作参数之间的匹配度，其中，每个第一动作参数用于表征一个子动作；
根据所述每帧目标图像与所述每个第一动作参数之间的匹配度，确定目标第一动作参数，其中，所述目标第一动作参数为匹配度最大所对应的第一动作参数；
将所述目标第一动作参数表征的子动作，作为所述候选宠物在所述每帧目标图像中的子动作。
在本申请的一个实施方式中，在分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像方面，处理单元402，具体用于：
对所述每帧待识别图像进行目标检测，得到所述每帧待识别图像中的每个目标的类别；
根据所述每帧待识别图像中的每个目标的类别，确定所述候选人物和所述候选宠物；
将所述多帧待识别图像中同时包含有所述候选人物和所述候选宠物的待识别图像作为所述至少一帧目标图像。
在本申请的一个实施方式中，在根据所述每帧待识别图像中的每个目标的类别，确定所述候选人物和所述候选宠物方面，处理单元402，具体用于：
根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第一目标，其中，该第一目标的类别与所述候选人物的类别相同；
根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第二目标，其中，该第二目标的类别与所述候选宠物的类别相同；
对所述多帧待识别图像中的第一目标进行合并，得到至少一个第一目标，并获取所述至少一个第一目标中的每个第一目标在所述多帧待识别图像中出现的次数；根据所述每个第一目标在所述多帧投影图像中出现的次数，确定第一目标a，其中，所述第一目标a为所述至少一个目标中出现次数最多的第一目标；
对所述多帧待识别图像中的第二目标进行合并，得到至少一个第二目标，并获取所述至少一个第二目标中的每个第二目标在所述多帧待识别图像中出现的次数；根据所述每个第二目标在所述多帧投影图像中出现的次数，确定第二目标b，其中，所述第二目标b为所述至少二个目标中出现次数最多的第二目标；
将所述第一目标a作为所述候选人物，以及将所述第二目标b作为所述候选宠物。
在本申请的一个实施方式中，获取在目标位置拍摄得到的多帧待识别图像之前，获取单元401，还用于获取待识别区域的布局图；
处理单元402，还用于根据所述布局图，确定所述待识别区域中的至少一个候选位置，其中，所述目标位置为所述至少一个候选位置中的任意一个。
参阅图5，图5为本申请实施例提供的一种电子设备的结构示意图。如图5所示，电子设备500包括收发器501、处理器502和存储器503。它们之间通过总线504连接。存储器503用于存储计算机程序和数据，并可以将存储器503存储的数据传输给处理器502。
处理器502用于读取存储器503中的计算机程序执行以下操作：
控制收发器501获取在目标位置拍摄的待识别视频；
从所述待识别视频中获取多帧待识别图像；
分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；
根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪；
根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作；
根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为；
若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
在本申请的一个实施方式中，在根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪方面，处理器502具体用于执行以下操作：
获取所述候选人物在所述每帧目标图像的面部图像；
对所述候选人物在所述每帧目标图像的面部图像进行特征提取，得到所述每帧目标图像对应的第一特征向量；
将所述每帧目标图像对应的第一特征向量输入到多层感知器，得到所述候选人物在所述每帧目标图像中的第一情绪；
将所述候选人物在所述至少一帧目标图像中的至少一个第一情绪进行合并，得到至少一个第二情绪；
获取所述至少一个第二情绪中的每个第二情绪对应的目标图像的数量；
将对应的目标图像的数量最多的第二情绪作为所述候选人物的情绪。
在本申请的一个实施方式中，在根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作方面，处理器502具体用于执行以下操作：
获取所述候选宠物在所述每帧目标图像中的区域所构成的第一图像；
根据所述候选宠物在所述每帧目标图像中的第一图像，确定所述候选宠物在所述每帧目标图像中的子动作；
根据所述候选宠物在所述每帧目标图像中的子动作，确定所述候选宠物的动作。
在本申请的一个实施方式中，在根据所述候选宠物在所述每帧目标图像中的第一图像，确定所述候选宠物在所述每帧目标图像中的子动作方面，处理器502具体用于执行以下操作：
对所述候选宠物在所述每帧目标图像中的第一图像进行特征提取，得到所述候选宠物在所述每帧目标图像下的第二特征向量；
分别对所述候选宠物在所述每帧目标图像下的第二特征向量与多个第一动作参数进行匹配，得到所述每帧目标图像与所述每个第一动作参数之间的匹配度，其中，每个第一动作参数用于表征一个子动作；
根据所述每帧目标图像与所述每个第一动作参数之间的匹配度，确定目标第一动作参数，其中，所述目标第一动作参数为匹配度最大所对应的第一动作参数；
将所述目标第一动作参数表征的子动作，作为所述候选宠物在所述每帧目标图像中的子动作。
在本申请的一个实施方式中，在分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像方面，处理器502具体用于执行以下操作：
对所述每帧待识别图像进行目标检测，得到所述每帧待识别图像中的每个目标的类别；
根据所述每帧待识别图像中的每个目标的类别，确定所述候选人物和所述候选宠物；
将所述多帧待识别图像中同时包含有所述候选人物和所述候选宠物的待识别图像作为所述至少一帧目标图像。
在本申请的一个实施方式中，在根据所述每帧待识别图像中的每个目标的类别，确定所述候选人物和所述候选宠物方面，处理器502具体用于执行以下操作：
根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第一目标，其中，该第一目标的类别与所述候选人物的类别相同；
根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第二目标，其中，该第二目标的类别与所述候选宠物的类别相同；
对所述多帧待识别图像中的第一目标进行合并，得到至少一个第一目标，并获取所述至少一个第一目标中的每个第一目标在所述多帧待识别图像中出现的次数；根据所述每个第一目标在所述多帧投影图像中出现的次数，确定第一目标a，其中，所述第一目标a为所述至少一个目标中出现次数最多的第一目标；
对所述多帧待识别图像中的第二目标进行合并，得到至少一个第二目标，并获取所述至少一个第二目标中的每个第二目标在所述多帧待识别图像中出现的次数；根据所述每个第二目标在所述多帧投影图像中出现的次数，确定第二目标b，其中，所述第二目标b为所述至少二个目标中出现次数最多的第二目标；
将所述第一目标a作为所述候选人物，以及将所述第二目标b作为所述候选宠物。
在本申请的一个实施方式中，获取在目标位置拍摄得到的多帧待识别图像之前，处理器502还用于执行以下操作：
控制收发器501获取待识别区域的布局图；
根据所述布局图，确定所述待识别区域中的至少一个候选位置，其中，所述目标位置为所述至少一个候选位置中的任意一个。
具体地，上述收发器501可为图4所述的实施例的宠物防偷盗装置400的获取单元401，上述处理器502可以为图4所述的实施例的宠物防偷盗装置400的处理单元402。
应理解，本申请中的电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(MobileInternet Devices，简称：MID)或穿戴式设备等。上述电子设备仅是举例，而非穷举，包含但不限于上述电子设备。在实际应用中，上述电子设备还可以包括：智能车载终端、计算机设备等等。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种基于图像识别的防偷盗方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种基于图像识别的防偷盗方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于图像识别的宠物防偷盗方法，其特征在于，包括：
获取在目标位置拍摄的待识别视频；
从所述待识别视频中获取多帧待识别图像；
分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；
根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪；
根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作；
根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为；
若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪，包括：
获取所述候选人物在所述每帧目标图像的面部图像；
对所述候选人物在所述每帧目标图像的面部图像进行特征提取，得到所述每帧目标图像对应的第一特征向量；
将所述每帧目标图像对应的第一特征向量输入到多层感知器，得到所述候选人物在所述每帧目标图像中的第一情绪；
将所述候选人物在所述至少一帧目标图像中的至少一个第一情绪进行合并，得到至少一个第二情绪；
获取所述至少一个第二情绪中的每个第二情绪对应的目标图像的数量；
将对应的目标图像的数量最多的第二情绪作为所述候选人物的情绪。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作，包括：
获取所述候选宠物在所述每帧目标图像中的区域所构成的第一图像；
根据所述候选宠物在所述每帧目标图像中的第一图像，确定所述候选宠物在所述每帧目标图像中的子动作；
根据所述候选宠物在所述每帧目标图像中的子动作，确定所述候选宠物的动作。
4.根据权利要求3所述的方法，其特征在于，所述根据所述候选宠物在所述每帧目标图像中的第一图像，确定所述候选宠物在所述每帧目标图像中的子动作，包括：
对所述候选宠物在所述每帧目标图像中的第一图像进行特征提取，得到所述候选宠物在所述每帧目标图像下的第二特征向量；
分别对所述候选宠物在所述每帧目标图像下的第二特征向量与多个第一动作参数进行匹配，得到所述每帧目标图像与所述每个第一动作参数之间的匹配度，其中，每个第一动作参数用于表征一个子动作；
根据所述每帧目标图像与所述每个第一动作参数之间的匹配度，确定目标第一动作参数，其中，所述目标第一动作参数为匹配度最大所对应的第一动作参数；
将所述目标第一动作参数表征的子动作，作为所述候选宠物在所述每帧目标图像中的子动作。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像，包括：
对所述每帧待识别图像进行目标检测，得到所述每帧待识别图像中的每个目标的类别；
根据所述每帧待识别图像中的每个目标的类别，确定所述候选人物和所述候选宠物；
将所述多帧待识别图像中同时包含有所述候选人物和所述候选宠物的待识别图像作为所述至少一帧目标图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述每帧待识别图像中的每个目标的类别，确定所述候选人物和所述候选宠物，包括：
根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第一目标，其中，该第一目标的类别与所述候选人物的类别相同；
根据所述每帧待识别图像中的每个目标的类别，确定所述每帧待识别图像中的第二目标，其中，该第二目标的类别与所述候选宠物的类别相同；
对所述多帧待识别图像中的第一目标进行合并，得到至少一个第一目标，并获取所述至少一个第一目标中的每个第一目标在所述多帧待识别图像中出现的次数；根据所述每个第一目标在所述多帧投影图像中出现的次数，确定第一目标a，其中，所述第一目标a为所述至少一个目标中出现次数最多的第一目标；
对所述多帧待识别图像中的第二目标进行合并，得到至少一个第二目标，并获取所述至少一个第二目标中的每个第二目标在所述多帧待识别图像中出现的次数；根据所述每个第二目标在所述多帧投影图像中出现的次数，确定第二目标b，其中，所述第二目标b为所述至少二个目标中出现次数最多的第二目标；
将所述第一目标a作为所述候选人物，以及将所述第二目标b作为所述候选宠物。
7.根据权利要求1-6任一项所述的方法，其特征在于，获取在目标位置拍摄得到的多帧待识别图像之前，所述方法还包括：
获取待识别区域的布局图；
根据所述布局图，确定所述待识别区域中的至少一个候选位置，其中，所述目标位置为所述至少一个候选位置中的任意一个。
8.一种宠物防盗装置，其特征在于，包括：获取单元和处理单元；
所述获取单元，用于获取在目标位置拍摄的待识别视频；
所述处理单元，用于从所述待识别视频中获取多帧待识别图像；
分别对所述多帧待识别图像中的每帧待识别图像进行目标检测，得到所述多帧待识别图像中同时出现候选人物和候选宠物的至少一帧目标图像；
根据所述至少一帧目标图像，对所述候选人物进行情绪识别，得到所述候选人物的情绪；
根据所述至少一帧目标图像，对所述候选宠物进行动作识别，得到所述候选宠物的动作；
根据所述候选人物的情绪和所述候选宠物的动作，确定所述候选人物是否存在偷盗所述候选宠物的行为；
若存在偷盗所述候选宠物的行为，向目标设备发送提示信息，所述提示信息用于提示所述目标位置发生偷盗所述候选宠物的行为。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN202111595068.5A 2021-12-22 2021-12-22 基于图像识别的防偷盗方法及相关产品 Pending CN114494939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111595068.5A CN114494939A (zh) 2021-12-22 2021-12-22 基于图像识别的防偷盗方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111595068.5A CN114494939A (zh) 2021-12-22 2021-12-22 基于图像识别的防偷盗方法及相关产品

Publications (1)

Publication Number Publication Date
CN114494939A true CN114494939A (zh) 2022-05-13

Family

ID=81494320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111595068.5A Pending CN114494939A (zh) 2021-12-22 2021-12-22 基于图像识别的防偷盗方法及相关产品

Country Status (1)

Country Link
CN (1) CN114494939A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049987A (zh) * 2022-08-12 2022-09-13 星宠王国(北京)科技有限公司 宠物安全管理方法、系统、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049987A (zh) * 2022-08-12 2022-09-13 星宠王国(北京)科技有限公司 宠物安全管理方法、系统、计算机设备和存储介质
CN115049987B (zh) * 2022-08-12 2022-11-04 星宠王国(北京)科技有限公司 宠物安全管理方法、系统、计算机设备和存储介质
US11700837B1 (en) 2022-08-12 2023-07-18 Xingchongwangguo (Beijing) Technology Co., Ltd Pet safety management method and system, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
US11354901B2 (en) Activity recognition method and system
CN107633207B (zh) Au特征识别方法、装置及存储介质
CN108269333A (zh) 人脸识别方法、应用服务器及计算机可读存储介质
CN107944382B (zh) 目标跟踪方法、装置及电子设备
CN109766755B (zh) 人脸识别方法及相关产品
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN108875341A (zh) 一种人脸解锁方法、装置、系统及计算机存储介质
CN111240482B (zh) 一种特效展示方法及装置
CN112348117A (zh) 场景识别方法、装置、计算机设备和存储介质
CN111212303A (zh) 视频推荐方法、服务器和计算机可读存储介质
CN112949439A (zh) 一种油罐车重点区域人员入侵监测方法和系统
CN112434612A (zh) 吸烟检测方法、装置、电子设备及计算机可读存储介质
CN113111782A (zh) 基于显著对象检测的视频监控方法及装置
CN110569770A (zh) 人体入侵行为识别方法、装置、存储介质及电子设备
CN111539358A (zh) 工作状态确定方法、装置、计算机设备和存储介质
CN114064974A (zh) 信息处理方法、装置、电子设备、存储介质及程序产品
CN113065482A (zh) 基于图像识别的行为检测方法、系统、计算机设备及介质
CN114494939A (zh) 基于图像识别的防偷盗方法及相关产品
CN113673308B (zh) 对象识别方法、装置和电子系统
CN114299546A (zh) 识别宠物身份的方法、装置、存储介质及电子设备
CN114360182B (zh) 一种智能告警方法、装置、设备及存储介质
CN112800923A (zh) 人体图像质量检测方法及装置、电子设备、存储介质
CN112464810A (zh) 一种基于注意力图的吸烟行为检测方法及装置
CN114255321A (zh) 采集宠物鼻纹的方法、装置、存储介质及电子设备
CN116977485A (zh) 一种图像处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination