CN111967352A - 一种手持物品的多目标跟踪和行为判定的装置和方法 - Google Patents

一种手持物品的多目标跟踪和行为判定的装置和方法 Download PDF

Info

Publication number
CN111967352A
CN111967352A CN202010757549.0A CN202010757549A CN111967352A CN 111967352 A CN111967352 A CN 111967352A CN 202010757549 A CN202010757549 A CN 202010757549A CN 111967352 A CN111967352 A CN 111967352A
Authority
CN
China
Prior art keywords
target
track
box
class
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010757549.0A
Other languages
English (en)
Inventor
张元本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weilin Software Co ltd
Original Assignee
Guangzhou Weilin Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weilin Software Co ltd filed Critical Guangzhou Weilin Software Co ltd
Priority to CN202010757549.0A priority Critical patent/CN111967352A/zh
Publication of CN111967352A publication Critical patent/CN111967352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种手持物品的多目标跟踪和行为判定的装置和方法，整个系统分为成像模块、标注模块、训练模块，识别模块、轨迹跟踪模块、行为判定模块。通过网络摄像头获取图像，图像数据上传至服务器，由运行在服务器中的程序，判定是否是人手持物品，并最终判定是放物品，还是取物品。该装置和方法通过将手掌，手掌‑手持物品，物品三种目标分情况检测，并通过检测逻辑，在不更改检测算法的前提下，提升识别率。在行为判定阶段，通过行为判定逻辑，剔除错误轨迹，提升正确率。

Description

一种手持物品的多目标跟踪和行为判定的装置和方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种手持物品的多目标跟踪和行为判定的装置和方法。
背景技术
智能家居(smart home,home automation)是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。
近年来，随着智能家居的普及，越来越多的家用设备进行了智能化更迭，而现有智能家居中的用于存储食物的冷柜、冰箱、食物柜或置物柜等，其仅仅只具备前端的部分功能，缺少后端的智能化进行支持，存在着智能化不足，功能较少的问题。
随着人工智能的快速发展，目标跟踪算法得到了快速发展，特别是在行人、车辆跟踪等多目标跟踪领域取得了很好的效果，但是对于其他目标的跟踪，例如专利201310568186.6这类的智能冰箱的使用，尤其是手持物品的多目标跟踪，由于物体被遮挡，跟踪时很容易被误判为另一个目标。
发明内容
本发明的目的就在于为了解决上述问题而提供了一种手持物品的多目标跟踪和行为判定的装置和方法，降低了目标被误判的可能性。
本发明解决其技术问题所采用的技术方案是：
一种手持物品的多目标跟踪和行为判定的装置，包括以下部分，
成像模块，用于拍摄并捕捉视野范围内的运动目标；
标注模块，用于分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，给训练模块提供训练数据；
训练模块，用于对标注模块标注的图像数据进行训练；
识别模块，用于用训练模块训练好的模型对目标对象进行识别，给出识别的目标位置；
轨迹跟踪模块，用于通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标；
判定模块，用于在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。
一种手持物品的多目标跟踪和行为判定的方法，通过网络摄像头，拍摄并捕捉视野范围内的运动目标，分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，对图像数据进行训练，用训练好的模型对目标对象进行识别，给出识别的目标位置，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。
进一步的，其中，对图像数据进行训练，采用rcnn算法或者yolo算法。
进一步的，其中，用训练好的模型对目标对象进行识别，对象包括手掌A、手掌-手持物品B、物品C，给出识别的目标位置box、类别class、得分score，分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C。
进一步的，其中，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，判定是否包含class_A，如果不包含，认为此帧没有目标，等待下一帧的检测，如果包含class_A，则保存相关的class_A、box_A、score_A的数据，并继续去检查class_B和class_C，如果存在，则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据，通过不同的class_A与class_C目标的交并比IOUA_C来判定哪些目标是一体的，剔除错误目标，而
Figure BDA0002612088100000021
Figure BDA0002612088100000022
多组IOUA_C构成集合E(IOUA_C)，通过非极大值抑制nms，去掉集合E(IOUA_C)和多个class_B的集合E(class_B)中重复的目标。
进一步的，其中，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定，轨迹共有取、放、不确定三种状态，依靠当前目标boxnow中心点与前一帧的目标boxpre的位置差确认轨迹的状态，设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)，趋势判定为
ifboxnow.x>boxpre.xandboxnow.y>boxpre.y:take
ifboxnow.x<boxpre.xandboxnow.y<boxpre.y:put
if(boxnow.x-boxpre.x)*(boxnow.y-boxpre.y)<0:unsure
如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致，该对象属于该轨迹，更新轨迹，如果不一致，则在E(object)中依次选择目标与E(track)的轨迹进行比较，如果都没有匹配，则将当前E(object)列为疑似轨迹加入E(track)中，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。
本发明的有益效果是：
通过采用上述技术方案，本装置和方法通过将手掌，手掌-手持物品，物品三种目标分情况检测，并通过检测逻辑，在不更改检测算法的前提下，提升识别率。在行为判定阶段，通过行为判定逻辑，剔除错误轨迹，提升正确率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的手持物品的多目标跟踪和行为判定方法的整体实施流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本实例提供一种手持物品的多目标跟踪和行为判定的装置和方法，根据图1的流程，通过网络摄像头获取图像，图像数据上传至服务器，由运行在服务器中的程序，判定是否是人手持物品，并最终判定是放物品，还是取物品。
具体的，整个系统分为成像模块、标注模块、训练模块，识别模块、轨迹跟踪模块、行为判定模块。成像模块，通过外接网络摄像头，放置在固定位置，拍摄并捕捉视野范围内的运动目标。
标注模块，给训练模块提供训练数据，分为三部分，第一部分就是对手掌进行标注，第二部分是对手-手持物品进行标注，第三部分是针对不同物品进行不同种类的标注。
训练模块，对标注的图像可以选择不同的模型进行训练。比如采用两步法的rcnn系列模型或者一步法的yolo系列。训练类别包括3类，一类是手掌，一类是手掌-手持的物品，一类是物品。前两类是固定的，最后一类物品，是根据实际需要来选择，可以是一种物品，也可以是多种物品。
识别模块，用训练好的模型对图片进行识别，对象包括手掌A，手掌-手持的物品B，手持物品C，给出识别的目标位置box、类别class、得分score。之所以要对三者进行识别，原因在于手持物体本身容易被遮挡，识别率低。而手掌本身识别率高，通过手掌作为辅助判定条件，更容易降低误判率。
轨迹跟踪模块，具体步骤如下：
1.目标类别及位置判定。判定识别模块返回的类别class是否包含类别手掌class_A，如果不包含，认为此帧没有目标，等待下一帧的检测。如果包含class_A,保存box_A,score_A的数据，并继续去检查class_B,class_C。如果存在则保存相关class、box、score这些相关数据。
2.目标的组合。由于是多目标检测。可能会存在多个class_A，class_B,class_C。可以通过不同的class_A与class_C目标的交并比IOUA_C来判定，哪些目标是一体的。从而剔除，错误目标。公式如下：
Figure BDA0002612088100000041
多组IOUA_C构成集合E(IOUA_C)，集合E(IOUA_C)内部按IOUA_C值递增排序。
3.去重。由于集合E(IOUAC)和多个class_B的集合E(class_B)代表的都是手掌-手持物体，因此有可能会出现重复，通过非极大值抑制nms，去掉双方集合中重复的目标。nms一般是通过score来剔除重叠的box，这里面集合E(class_B)中存在类别B的得分score_B，但是集合E(class_B)里面是IOUA_C无法与score_B比对，可以设定
Figure BDA0002612088100000042
再比较。
行为判定模块，连续帧中，确认轨迹。轨迹共有三种状态，取、放、不确定。状态的确认是通过趋势判定，也就是依靠当前目标boxnow中心点与前一帧用来比较的目标boxpre的位置差。假设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)具体判定步骤如下：
1.趋势判定,ifboxnow.x>boxpre.xandboxnow.y>boxpre.y:take
ifboxnow.x<boxpre.xandboxnow.y<boxpre.y:put
if(boxnow.x-boxpre.x)*(boxnow.y-boxpre.y)<0:unsure
2.轨迹更新，如果E(object)的第一个对象obj移动趋势与E(track)中某个轨迹track_x一致，那么认为该对象属于该轨迹，更新轨迹。如果不一致，那么在E(object)中依次选择目标与E(track)的轨迹进行比较。如果都没有匹配的话，将当前E(object)列为疑似轨迹加入E(track)中。
3.轨迹剔除，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (6)

1.一种手持物品的多目标跟踪和行为判定的装置，其特征在于：包括以下部分，
成像模块，用于拍摄并捕捉视野范围内的运动目标；
标注模块，用于分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，给训练模块提供训练数据；
训练模块，用于对标注模块标注的图像数据进行训练；
识别模块，用于用训练模块训练好的模型对目标对象进行识别，给出识别的目标位置；
轨迹跟踪模块，用于通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标；
判定模块，用于在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。
2.一种手持物品的多目标跟踪和行为判定的方法，其特征在于：通过网络摄像头，拍摄并捕捉视野范围内的运动目标，分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，对图像数据进行训练，用训练好的模型对目标对象进行识别，给出识别的目标位置，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。
3.根据权利要求2所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，对图像数据进行训练，采用rcnn算法或者yolo算法。
4.根据权利要求2所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，用训练好的模型对目标对象进行识别，对象包括手掌A、手掌-手持物品B、物品C，给出识别的目标位置box、类别class、得分score，分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C。
5.根据权利要求4所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，判定是否包含class_A，如果不包含，认为此帧没有目标，等待下一帧的检测，如果包含class_A，则保存相关的class_A、box_A、score_A的数据，并继续去检查class_B和class_C，如果存在，则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据，通过不同的class_A与class_C目标的交并比IOUA_C来判定哪些目标是一体的，剔除错误目标，而
Figure FDA0002612088090000021
Figure FDA0002612088090000022
多组IOUA_C构成集合E(IOUA_C)，通过非极大值抑制nms，去掉集合E(IOUA_C)和多个class_B的集合E(class_B)中重复的目标。
6.根据权利要求5所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定，轨迹共有取、放、不确定三种状态，依靠当前目标boxnow中心点与前一帧的目标boxpre的位置差确认轨迹的状态，设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)，趋势判定为
ifboxnow.x>boxpre.xandboxnow.y>boxpre.y:take
ifboxnow.x<boxpre.xandboxnow.y<boxpre.y:put
if(boxnow.x-boxpre.x)*(boxnow.y-boxpre.y)<0:unsure
如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致，该对象属于该轨迹，更新轨迹，如果不一致，则在E(object)中依次选择目标与E(track)的轨迹进行比较，如果都没有匹配，则将当前E(object)列为疑似轨迹加入E(track)中，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。
CN202010757549.0A 2020-07-31 2020-07-31 一种手持物品的多目标跟踪和行为判定的装置和方法 Pending CN111967352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010757549.0A CN111967352A (zh) 2020-07-31 2020-07-31 一种手持物品的多目标跟踪和行为判定的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010757549.0A CN111967352A (zh) 2020-07-31 2020-07-31 一种手持物品的多目标跟踪和行为判定的装置和方法

Publications (1)

Publication Number Publication Date
CN111967352A true CN111967352A (zh) 2020-11-20

Family

ID=73363770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010757549.0A Pending CN111967352A (zh) 2020-07-31 2020-07-31 一种手持物品的多目标跟踪和行为判定的装置和方法

Country Status (1)

Country Link
CN (1) CN111967352A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837143A (zh) * 2021-10-21 2021-12-24 广州微林软件有限公司 一种动作识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140391A1 (en) * 2014-11-14 2016-05-19 Intel Corporation Automatic target selection for multi-target object tracking
CN107403249A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
CN110796678A (zh) * 2019-10-29 2020-02-14 中山大学 一种基于IoU的水下多目标跟踪方法
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及系统、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140391A1 (en) * 2014-11-14 2016-05-19 Intel Corporation Automatic target selection for multi-target object tracking
CN107403249A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及系统、电子设备
CN110796678A (zh) * 2019-10-29 2020-02-14 中山大学 一种基于IoU的水下多目标跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837143A (zh) * 2021-10-21 2021-12-24 广州微林软件有限公司 一种动作识别方法

Similar Documents

Publication Publication Date Title
CN103415825B (zh) 用于手势识别的系统和方法
CN106295568B (zh) 基于表情和行为双模态结合的人类自然状态情感识别方法
Monmarché et al. On improving clustering in numerical databases with artificial ants
CN104933827B (zh) 一种基于旋转摄像头的报警方法及终端
CN109508675B (zh) 一种针对复杂场景的行人检测方法
CN102609548A (zh) 一种基于运动目标的视频内容检索方法及系统
CN109033985B (zh) 商品识别的处理方法、装置、设备、系统及存储介质
CN105164481A (zh) 利用影像识别的冰箱的保管品目管理方法及其冰箱
CN109829397A (zh) 一种基于图像聚类的视频标注方法、系统以及电子设备
Persson et al. Semantic relational object tracking
CN114937179B (zh) 垃圾图像分类方法、装置、电子设备及存储介质
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN111950414A (zh) 一种箱柜食物识别系统及识别方法
CN108961267A (zh) 图片处理方法、图片处理装置及终端设备
CN111914657B (zh) 一种宠物行为检测方法、装置、电子设备及存储介质
CN109343701A (zh) 一种基于动态手势识别的智能人机交互方法
CN111967352A (zh) 一种手持物品的多目标跟踪和行为判定的装置和方法
CN111582395A (zh) 一种基于卷积神经网络的产品质量分类系统
CN113837144B (zh) 一种冰箱的智能化图像数据采集处理方法
CN110909832A (zh) 智能家居设备数据分类管理方法和装置
Dahirou et al. Motion Detection and Object Detection: Yolo (You Only Look Once)
CN114359973A (zh) 基于视频的商品状态识别方法、设备及计算机可读介质
CN113392867A (zh) 一种图像识别方法、装置、计算机设备及存储介质
KR20220063501A (ko) 머신러닝 학습모델 업데이트 방법
CN115546825A (zh) 一种安检规范性自动监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination