CN111340002A - 一种提袋识别方法及装置 - Google Patents

一种提袋识别方法及装置 Download PDF

Info

Publication number
CN111340002A
CN111340002A CN202010217503.XA CN202010217503A CN111340002A CN 111340002 A CN111340002 A CN 111340002A CN 202010217503 A CN202010217503 A CN 202010217503A CN 111340002 A CN111340002 A CN 111340002A
Authority
CN
China
Prior art keywords
bag
lifting
candidate
candidate frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010217503.XA
Other languages
English (en)
Other versions
CN111340002B (zh
Inventor
钱扬
孟强
侯瑶淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202010217503.XA priority Critical patent/CN111340002B/zh
Publication of CN111340002A publication Critical patent/CN111340002A/zh
Application granted granted Critical
Publication of CN111340002B publication Critical patent/CN111340002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提袋识别方法及装置，通过获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框，对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域，将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框，可以根据人体关键点确定与提袋相关度较低甚至无关的误识别候选框，将未确定为误识别候选框的提袋候选框均确定为提袋或进行下一步的识别，有效提高了提袋识别的准确率。

Description

一种提袋识别方法及装置
技术领域
本发明涉及图像识别领域，尤其涉及一种提袋识别方法及装置。
背景技术
随着图像识别技术的发展，提袋识别技术不断提高。
提袋是一种由纸张、塑料、皮革、纺织品、金属或工业纸板等材料制作而成的袋子。现今，提袋已逐渐成为人们在出行时的必要用品，如用于盛放物品、时尚装扮等。
本申请发明人经研究发现，对图像中的提袋进行有效识别具有诸多用处，比如，用于在超市入口处检测客户是否携带手提袋，以提醒客户将手提袋放入寄存柜中；又比如，用于在博物馆等具有重要物品的场所中检测客户是否携带手提袋，以进行安全报警。
但是，提袋外观特征复杂(例如形变大、纹理特征少、遮挡严重)，导致目前的图像识别技术在进行提袋检测时，会生成与提袋相关度较低甚至无关的提袋候选框(即误检的提袋候选框)，提袋识别的准确率低。
发明内容
鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的提袋识别方法及装置，技术方案如下：
一种提袋识别方法，包括：
获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框；
对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域；
将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。
可选的，所述方法还包括：
将所述目标图像中至少部分提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度，其中，所述置信度为输入所述预设的提袋分类网络模型的图像为提袋图像的置信度；
将低于第一预设阈值的所述置信度对应的提袋候选框确定为误识别候选框。
可选的，所述方法还包括：
确定所述目标图像中至少部分提袋候选框间的重合度(IOU，Intersection OverUnion)；
将重合度高于第二预设阈值的两个提袋候选框中的一个提袋候选框确定为误识别候选框。
可选的，所述根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域，包括：
确定识别到的至少部分人体关键点的横坐标和纵坐标；
确定各所述横坐标中的横坐标最大值和横坐标最小值，确定各所述纵坐标中的纵坐标最大值和纵坐标最小值；
将第一直线、第二直线、第三直线和第四直线围绕形成的矩形区域确定为：与所述至少部分人体关键点相关的提袋候选区域，其中，所述第一直线上各点的横坐标均为所述横坐标最大值，所述第二直线上各点的横坐标均为所述横坐标最小值，所述第三直线上各点的纵坐标均为所述纵坐标最大值，所述第四直线上各点的纵坐标均为所述纵坐标最小值。
可选的，所述人体关键点包括：鼻子、眼睛、耳朵、肩部、肘部、手腕、臀部、膝盖和脚踝中的至少一种。
可选的，所述至少部分人体关键点为人体的臀部及以上区域的人体关键点，或者，所述至少部分人体关键点为人体的膝盖及以上区域的人体关键点。
可选的，所述提袋候选框为矩形，所述提袋候选框由左侧的边、右侧的边、上侧的边和下侧的边构成，所述将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框，包括：
若所述提袋候选框的所述左侧的边位于所述提袋候选区域右侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述右侧的边位于所述提袋候选区域左侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述上侧的边位于所述提袋候选区域下侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述下侧的边位于所述提袋候选区域上侧，则确定所述提袋候选框为误识别候选框。
一种提袋识别装置，包括：第一获得单元、第一确定单元和第二确定单元，其中：
所述第一获得单元，用于获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框；
所述第一确定单元，用于对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域；
所述第二确定单元，用于将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。
可选的，所述装置还包括：置信度获得单元和第三确定单元，其中：
所述置信度获得单元，用于将所述目标图像中至少部分提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度，其中，所述置信度为输入所述预设的提袋分类网络模型的图像为提袋图像的置信度；
所述第三确定单元，用于将低于第一预设阈值的所述置信度对应的提袋候选框确定为误识别候选框。
可选的，所述装置还包括：重合度确定单元和第四确定单元，其中：
所述重合度确定单元，用于确定所述目标图像中至少部分提袋候选框间的重合度IOU；
所述第四确定单元，用于将重合度高于第二预设阈值的两个提袋候选框中的一个提袋候选框确定为误识别候选框。
可选的，所述第一确定单元，具体包括：坐标确定单元、最值确定单元和第五确定单元，其中：
所述坐标确定单元，用于对所述目标图像中的人体关键点进行识别，确定识别到的至少部分人体关键点的横坐标和纵坐标；
所述最值确定单元，用于确定各所述横坐标中的横坐标最大值和横坐标最小值，确定各所述纵坐标中的纵坐标最大值和纵坐标最小值；
所述第五确定单元，用于将第一直线、第二直线、第三直线和第四直线围绕形成的矩形区域确定为：与所述至少部分人体关键点相关的提袋候选区域，其中，所述第一直线上各点的横坐标均为所述横坐标最大值，所述第二直线上各点的横坐标均为所述横坐标最小值，所述第三直线上各点的纵坐标均为所述纵坐标最大值，所述第四直线上各点的纵坐标均为所述纵坐标最小值。
可选的，所述人体关键点包括：鼻子、眼睛、耳朵、肩部、肘部、手腕、臀部、膝盖和脚踝中的至少一种。
可选的，所述至少部分人体关键点为人体的臀部及以上区域的人体关键点，或者，所述至少部分人体关键点为人体的膝盖及以上区域的人体关键点。
可选的，所述提袋候选框为矩形，所述提袋候选框由左侧的边、右侧的边、上侧的边和下侧的边构成，所述第二确定单元，具体用于：
若所述提袋候选框的所述左侧的边位于所述提袋候选区域右侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述右侧的边位于所述提袋候选区域左侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述上侧的边位于所述提袋候选区域下侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述下侧的边位于所述提袋候选区域上侧，则确定所述提袋候选框为误识别候选框。
本发明提出的提袋识别方法及装置，可以获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框，对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域，将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。本发明可以根据人体关键点确定与提袋相关度较低甚至无关的误识别候选框，将未确定为误识别候选框的提袋候选框均确定为提袋或进行下一步的识别，有效提高了提袋识别的准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种提袋识别方法的流程图；
图2示出了本发明实施例提供的一种提袋候选框与提袋候选区域相对位置的示意图；
图3示出了本发明实施例提供的另一种提袋识别方法的流程图；
图4示出了本发明实施例提供的另一种提袋识别方法的流程图；
图5示出了本发明实施例提供的另一种提袋识别方法的流程图；
图6示出了本发明实施例提供的一种提袋识别装置的结构示意图；
图7示出了本发明实施例提供的另一种提袋识别装置的结构示意图；
图8示出了本发明实施例提供的另一种提袋识别装置的结构示意图；
图9示出了本发明实施例提供的另一种提袋识别装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本实施例提出了一种提袋识别方法，可以包括以下步骤：
S10、获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框；
其中，提袋检测网络模型可以是现有技术中已有的目标检测网络模型，本发明对于该目标检测网络模型的具体类型不做限定。例如，采用经图片数据集(包含多张已标注提袋候选框的样本图像)训练好的RetinaNet目标检测网络模型。
其中，目标图像可以为待检测的一副图像，该目标图像中可以包括提袋的图像，也可以不包括提袋的图像。
其中，提袋候选框可以是包含目标图像中至少部分图像的封闭图形，如正方形、圆形或其它无规则图形等。通常可以通过边线的形状、粗细、颜色等显示方式，将提袋候选框与目标图像区分开，以及将各提袋候选框区分开。具体的，提袋候选框中可以包括提袋的全部或部分图像。
S20、对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域；
其中，人体关键点可以为人体的器官或躯体位置，如头部、五官和肢体等。
可选的，所述人体关键点可以包括鼻子、眼睛、耳朵、肩部、肘部、手腕、臀部、膝盖和脚踝中的至少一种。
具体的，本发明可以提取出人体鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝以及左右脚踝这十七个人体关键点。
需要说明的是，人们通常会使用几个人体部位来携带提袋，例如：将提袋挂在肩部，将提袋挂在肘部，将提袋提于手掌处等。因此，人们在携带提袋时，与这些部位相应的人体关键点与提袋具有一定的位置关系。
在实际应用中，本发明可以根据人体通常用于携带提袋的部位，总结这些部位对应的人体关键点与提袋的位置关系(这些人体关键点即为与提袋位置相关的人体关键点)。并可以结合这些人体关键点的位置和总结出的位置关系来限定、划分出提袋在目标图像中可能覆盖的区域，即提袋的候选区域。
其中，目标图像中可以包括一个人体，也可以包括多个人体。本发明可以根据同一个人体的、与提袋位置相关的人体关键点对应确定一个提袋候选区域。当目标图像中包括多个人体时，本发明可以相应确定多个提袋候选区域。
具体的，本发明可以使用现有的人体关键点提取算法来识别并提取出目标图像中的各个人体关键点，如OpenPose、G-RMI和CFN算法等。
具体的，本发明可以使用点、圆圈等较小的图形来标记目标图像中的人体关键点，也可以通过在目标图像中建立坐标系并输出人体关键点的横坐标和纵坐标的方式，来标记人体关键点的位置。
可选的，当目标图像中只包括一个人体时，本发明可以使用人体关键点提取算法直接识别该目标图像中的各个人体关键点，将识别到的各人体关键点均确定为同一个人体的人体关键点，然后可以根据识别到的该人体的、与提袋位置相关的人体关键点来确定与该人体对应的提袋候选区域。
可选的，当目标图像中包括多个人时，步骤S20可以具体为：
识别所述目标图像中的各人体；
根据识别到的每个人体：对该人体的人体关键点进行识别，根据识别到的该人体的至少部分人体关键点确定与该人体对应的提袋候选区域。
具体的，当目标图像中包括多个人时，本发明可以先行识别出目标图像中的各人体，之后对不同人体分别进行人体关键点的识别，以确定属于各人体的人体关键点。例如，某幅目标图像中存在有小张和小李两个人，本发明可以先行在该幅目标图像中检测出小张的人体和小李的人体，之后对小张的人体关键点和小李的人体分别进行人体关键点的识别，以确定出属于小张的人体关键点和属于小李的人体关键点。
具体的，在确定目标图像中属于不同人体的人体关键点之后，本发明可以分别根据各人体的、与提袋位置相关的人体关键点，相应确定多个提袋候选区域。例如，在确定属于小张的人体关键点和属于小李的人体关键点之后，本发明可以根据属于小张的、与提袋位置相关的人体关键点确定出对应小张的提袋候选区域，根据属于小李的、与提袋位置相关的人体关键点确定出对应小李的提袋候选区域，即确定了两个提袋候选区域。
可选的，所述至少部分人体关键点为人体的臀部及以上区域的人体关键点，或者，所述至少部分人体关键点为人体的膝盖及以上区域的人体关键点。
在实际应用中，人们通常使用肩部、肘部和手掌等部位来携带提袋，考虑到提袋的大小规格(如长度、宽度等)，本发明可以将在同一个人体中臀部及至头部之间的人体关键点，或者膝盖至头部之间的人体关键点确定为与提袋位置相关的人体关键点。当然，其它器官或躯体位置的人体关键点也可以成为与提袋位置相关的人体关键点。之后，本发明可以根据这些与提袋位置相关的人体关键点，确定相应的提袋候选区域。如图2所示，本发明可以将同一个人体中臀部以上即人体上半身关键点附近的区域确定为提袋候选区域600。
具体的，本发明可以根据与提袋位置相关的人体关键点的坐标，来确定提袋候选区域，即确定提袋候选区域的坐标区间。比如，在某个人体的、与提袋位置相关的各人体关键点的坐标中，确定最小横坐标xmin、最小纵坐标ymin、最大横坐标xmax和最大纵坐标ymax的值，然后确定顶点坐标分别为(xmin，ymin)、(xmin，ymax)、(xmax，ymin)和(xmax，ymax)的矩形，将该矩形覆盖区域作为与该人体对应的提袋候选区域；再比如，在目标图像中，将人体上半身的人体关键点根据人体上半身轮廓的形状进行连接，获得一个封闭图形，将该封闭图形覆盖区域对应的坐标区间确定为提袋候选区域。
还需要说明的是，本发明对于如何根据人体关键点的坐标来确定提袋候选区域所采取的具体方式不做限定。
S30、将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。
其中，位于提袋候选区域之外的提袋候选框，即为目标图像中与提袋候选区域无重叠部分的提袋候选框。
具体的，当目标图像中存在多个提袋候选区域时，本发明可以将与所有提袋候选区域均无重叠部分的提袋候选框确定为误识别候选框。
下面以矩形提袋候选框与一个提袋候选区域600的位置关系为例，对误识别候选框进行解释说明。
如图2所示，所述提袋候选框10可以为矩形，所述提袋候选框10由左侧的边001、右侧的边002、上侧的边003和下侧的边004构成，所述将位于所述提袋候选区域600之外的提袋候选框确定为误识别候选框，可以包括：
若所述提袋候选框10的所述左侧的边001位于所述提袋候选区域600右侧，则确定所述提袋候选框10为误识别候选框；
和/或，若所述提袋候选框10的所述右侧的边002位于所述提袋候选区域600左侧，则确定所述提袋候选框10为误识别候选框；
和/或，若所述提袋候选框10的所述上侧的边003位于所述提袋候选区域600下侧，则确定所述提袋候选框10为误识别候选框；
和/或，若所述提袋候选框10的所述下侧的边004位于所述提袋候选区域600上侧，则确定所述提袋候选框10为误识别候选框。
其中，提袋候选区域600可以为矩形。
需要说明的是，当某个提袋候选框与提袋候选区域具有重叠部分时，本发明可以在将该提袋候选框确定为非误识别候选框，如图2中，完全包含于提袋候选区域的提袋候选框20、与提袋候选区域相交的提袋候选框30以及与提袋候选区域相交于一个顶点的提袋候选框40均为非误识别候选框。
在实际应用中，本发明可以删除目标图像中的误识别候选框，保留未确定为误识别候选框的提袋候选框。之后，将未确定为误识别候选框的提袋候选框均确定为提袋，或者，对未确定为误识别候选框的提袋候选框进行进一步的识别。
本实施例提出的提袋识别方法，通过获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框，对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域，将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框，可以根据人体关键点确定与提袋相关度较低甚至无关的误识别候选框，将未确定为误识别候选框的提袋候选框均确定为提袋或进行下一步的识别，有效提高了提袋识别的准确率。
基于图1所示步骤，本实施例还提出了一种提袋识别方法，如图3所示，步骤S20可以具体包括以下步骤：
S21、对所述目标图像中的人体关键点进行识别，确定识别到的至少部分人体关键点的横坐标和纵坐标；
具体的，本发明可以以目标图像上任一点(比如中心点)为原点，建立平面直角坐标系，根据该平面直角坐标系来确定人体关键点的横坐标和纵坐标。
具体的，当目标图像中只有一个人体时，本发明可以直接识别目标图像中各人体关键点，并确定与提袋位置相关的人体关键点的横坐标和纵坐标。
具体的，当目标图像中存在多个人体时，本发明可以先行识别出目标图像中的各人体以及属于各人体的人体关键点。之后，本发明可以分别确定各人体中与提袋位置相关的人体关键点的横坐标和纵坐标。
S22、确定各所述横坐标中的横坐标最大值和横坐标最小值，确定各所述纵坐标中的纵坐标最大值和纵坐标最小值；
具体的，对于目标图像中的各个人体：本发明均可以从该人体的、与提袋位置相关的人体关键点的各横坐标中确定横坐标的最值，即横坐标最大值a和横坐标最小值b，从该人体的、与提袋位置相关的人体关键点的各纵坐标中确定纵坐标的最值，即纵坐标最大值c和纵坐标最小值d。
需要说明的是，本发明可以根据同一个人体的坐标值a、b、c和d，确定与该人体对应的一个提袋候选区域。当目标图像中存在多个人体时，本发明可以根据不同人体对应的坐标值a、b、c和d，相应确定多个提袋候选区域。
S23、将第一直线、第二直线、第三直线和第四直线围绕形成的矩形区域确定为：与所述至少部分人体关键点相关的提袋候选区域，其中，所述第一直线上各点的横坐标均为所述横坐标最大值，所述第二直线上各点的横坐标均为所述横坐标最小值，所述第三直线上各点的纵坐标均为所述纵坐标最大值，所述第四直线上各点的纵坐标均为所述纵坐标最小值。
具体的，对于目标图像中的各个人体：本发明均可以在建立的平面直角坐标系中，将函数关系式为x(x轴为坐标系的横坐标轴)等于该人体对应的横坐标最大值a的直线确定为第一直线，将函数关系式为x等于该人体对应的横坐标最小值b的直线确定为第二直线，将函数关系式为y(y轴为坐标系的纵坐标轴)等于该人体对应的纵坐标最大值c的直线确定为第三直线，将函数关系式为y等于该人体对应的纵坐标最小值d的直线确定为第四直线，将由第一直线、第二直线、第三直线和第四直线围绕而成的矩形区域确定为该人体对应的提袋候选区域，该提袋候选区域中各点的横坐标x和纵坐标y满足由
x∈[b,a],y∈[d,c]----------------关系式(1)
表征的第一坐标区间。
具体的，当目标图像中存在多个人体时，本发明可以相应获得多个由关系式(1)表征的第一坐标区间，各第一坐标区间中的a、b、c和/或d可以是不同的。
需要说明的是，对于某个提袋候选框和某个第一坐标区间，若该提袋候选框上任一点(包括框内部的点和框边上的点)的坐标(x，y)不满足第一坐标区间(即
Figure BDA0002424951260000111
或
Figure BDA0002424951260000112
)，则本发明可以确定该提袋候选框没有一个点位于该第一坐标区间对应的提袋候选区域中，即该提袋候选框与该第一坐标区间对应的提袋候选区域均无重叠部分；否则，本发明可以确定该提袋候选框至少有一个点位于该第一坐标区间对应的提袋候选区域中。
具体的，当一个提袋候选框的任一点均不满足各第一坐标区间时，本发明可以确定该提袋候选框与各提袋候选区域均无重叠部分，从而可以将该提袋候选框确定为误识别候选框。
具体的，对于某个矩形提袋候选框和某个第一坐标区间，本发明可以先行确定该提袋候选框的左上角顶点(x1，y1)和右下角顶点(x2，y2)的坐标，之后可以将x1，x2，y1和y2与该第一坐标区间中的a、b、c和d中比较。当满足：
x1＞a或x2＜b或y1＞c或y2＜d-------------关系式(2)
时，本发明可以确定该提袋候选框与该第一坐标区间对应的提袋候选区域无重叠部分。其中，如图2所示，当x1＞a时，提袋候选框10左侧的边001将位于提袋候选区域600的右侧，即提袋候选框10与提袋候选区域600无重叠部分；当x2＜b时，提袋候选框10右侧的边002将位于提袋候选区域600的左侧，即提袋候选框10与提袋候选区域600无重叠部分；当y1＞c时，提袋候选框10下侧的边004将位于提袋候选区域600的上侧，即提袋候选框10与提袋候选区域600无重叠部分；当y2＜d时，提袋候选框10上侧的边003将位于提袋候选区域600的下侧，即提袋候选框10与提袋候选区域600无重叠部分。
具体的，当一个提袋候选框为矩形时，本发明可以通过关系式(2)，来分别判断该提袋候选框与各提袋候选区域是否有重叠部分，进而判断该提袋候选框是否为误识别候选框。
需要说明的是，本发明可以通过关系式(1)或关系式(2)来分别对目标图像中的各提袋候选框进行识别，以确定目标图像中的误识别候选框。
本实施例提出的提袋识别方法，可以根据与提袋位置相关的各人体关键点的坐标，来确定提袋候选区域对应的第一坐标区间，之后可以根据各提袋候选框的坐标与第一坐标区间的关系来确定误识别提袋候选框。
基于图1所示步骤，本实施例还提出了一种提袋识别方法，如图4所示，在步骤S10之后，该方法还可以包括以下步骤：
S40、将所述目标图像中至少部分提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度，其中，所述置信度为输入所述预设的提袋分类网络模型的图像为提袋图像的置信度；
其中，本发明可以采用现有技术中已有的提袋分类网络模型，来输出目标图像中全部或者部分提袋候选框的置信度，例如，采用经图片数据集(包含多张提袋图像的正样本和多张非提袋图像的负样本)训练好的ResNet-18提袋分类网络模型。
S41、将低于第一预设阈值的所述置信度对应的提袋候选框确定为误识别候选框。
其中，第一预设阈值可以由技术人员根据提袋分类网络模型的分类性能和分类准确率需求等实际情况进行制定，本发明对此不做限定。
上述步骤S40和S41为本发明提供的另一种确定误识别候选框的方案，具体的，步骤S40和S41可以在步骤S10和S20之间执行，即执行顺序为：步骤S10、步骤S40、步骤S41、步骤S20、步骤S30。在此执行顺序下，步骤S30可以具体包括：
将位于所述提袋候选区域之外的且未被确定为误识别候选框的提袋候选框确定为误识别候选框。
可以理解的是，由于步骤S41可能已经确定出了一些误识别候选框，因此步骤S30无需再对步骤S41已经确定出的误识别候选框进行识别，仅对步骤S41未确定为误识别候选框的提袋候选框进行识别即可，这样可以有效降低运算量。
当然，步骤S40和S41可以在步骤S30之后执行，即执行顺序为：步骤S10、步骤S20、步骤S30、步骤S40、步骤S41。在此执行顺序下，步骤S40可以具体包括：
将所述目标图像中未被确定为误识别候选框的提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度。
可以理解的是，这样同样可以有效降低运算量。
当然，步骤S20、步骤S30所代表的确定误识别候选框的方案可以与步骤S40、步骤S41所代表的确定误识别候选框的方案并行执行。这样，步骤S30从步骤S10获得的提袋候选框中确定出一些误识别候选框，步骤S41也从步骤S10获得的提袋候选框中确定出一些误识别候选框，本发明可以根据这两种方案确定的误识别候选框来最终确定哪些为误识别候选框。例如：当步骤S41和步骤S30都确定某提袋候选框为误识别候选框时，本发明再将其最终确定为误识别候选框，或者，将步骤S41和步骤S30确定的误识别候选框均最终确定为误识别候选框。
需要说明的是，使用提袋分类网络模型确定误识别候选框的方案，与根据人体关键点确定误识别候选框的方案，该两种方案运用的识别原理不同。本发明通过结合这两种识别原理不同的方案来最终确定误识别候选框，可以有效提高提袋识别的准确率。
本实施例提出的提袋识别方法，通过使用提袋分类网络模型和人体关键点来最终确定误识别候选框，可以有效提高提袋识别的准确率。
基于图1所示步骤，本实施例还提出了一种提袋识别方法，如图5所示，在步骤S10之后，该方法还可以包括以下步骤：
S50、确定所述目标图像中至少部分提袋候选框间的重合度(IOU，IntersectionOver Union)；
其中，IOU为两个提袋候选框间的面积交叠率，该交叠率为两个提袋候选框的交集面积与并集面积之比。例如，若A提袋候选框的面积为SA，B提袋候选框的面积为SB，A与B交集部分(即A与B的重叠部分)的图形面积为SC(即A与B的交集面积为SC)，则A提袋候选框与B提袋候选框并集面积为(SA+SB-SC)，SC与(SA+SB-SC)的比值即为A与B的IOU值。
具体的，本发明可以采用现有技术中已有的用于确定重合度的网络模型，来确定两个提袋候选框间的重合度，并删除重合度高于第二预设阈值的冗余提袋候选框。例如，采用非极大值抑制(Non-Maximum Suppression，NMS)网络模型来确定两个提袋候选框间的IOU值。
具体的，本发明可以在目标图像中全部或部分的提袋候选区域之间，计算任两个提袋候选区域的IOU值。
具体的，本发明可以在目标图像中先行选取一个提袋候选框作为参考的提袋候选框，之后分别计算其它提袋候选框与该参考的提袋候选框间的IOU值。
S51、将重合度高于第二预设阈值的两个提袋候选框中的一个提袋候选框确定为误识别候选框。
具体的，对于合度高于第二预设阈值的两个提袋候选框，本发明可以随机的将其中一个确定为误识别候选框。
其中，第二预设阈值可以由技术人员根据提袋分类网络模型的分类性能和分类准确率需求等实际情况进行制定，本发明对此不做限定。
具体的，本发明也可以先行在目标图像中选取一个参考的提袋候选框，将待计算重合度的其它提袋候选框分别与该参考的提袋候选框进行重合度计算，然后可以将与该参考的提袋候选框的重合度高于第二预设阈值的提袋候选框确定误识别候选框，以减少目标图像中的冗余候选框。在实际应用中，本发明可以多次执行该过程，以更大程度的减少目标图像中的冗余候选框。例如，本发明可以在目标图像中任意选取出一个提袋候选框A作为参考的提袋候选框，分别计算其它提袋候选框与提袋候选框A的IOU值，将与提袋候选框A计算的IOU值高于第二预设阈值的提袋候选框均确定为误识别提袋候选框；之后，在剩下的未确定为误识别候选框且不包括提袋候选框A的各提袋候选框中，再次选取出一个提袋候选框B，并再次分别计算剩下的提袋候选框与提袋候选框B的IOU值(无需再计算A与B的IOU值)，将与提袋候选框B计算的IOU值高于第二预设阈值的提袋候选框均确定为误识别提袋候选框；依次类推，将重合度高于第二预设阈值的各提袋候选框均确定为误识别提袋候选框。
上述步骤S50和S51为本发明提供的另一种确定误识别候选框的方案。具体的，步骤S50和步骤S51可以在步骤S10和S20之间执行，即：执行顺序为：步骤S10、步骤S50、步骤S51、步骤S20、步骤S30。在此执行执行顺序下，步骤S30可以具体包括：
将位于所述提袋候选区域之外的且未被确定为误识别候选框的提袋候选框确定为误识别候选框。
需要说明的是，步骤S30无需再对步骤S51已经确定的误识别候选框进行识别，仅对步骤S51未确定为误识别候选框的提袋候选框进行识别即可，这样可以有效降低运算量。
当然，步骤S50和步骤S51也可以在步骤S30之后执行，即执行顺序为：步骤S10、步骤S20、步骤S30、步骤S50、步骤S51。在此执行顺序下，步骤S50也无需再对步骤S30已经确定的误识别候选框进行识别，仅对步骤S30未确定为误识别候选框的提袋候选框进行识别即可，这样同样可以有效降低运算量。
当然，步骤S20、步骤S30所代表的确定误识别候选框的方案也可以与步骤S50、步骤S51所代表的确定误识别候选框的方案并行执行。本发明可以根据这两种方案确定的误识别候选框来最终确定哪些为误识别候选框。
需要说明的是，根据重合度确定误识别候选框的方案与根据人体关键点确定误识别候选框的方案，这两种方案运用的识别原理不同。本发明通过结合这两种方案来最终确定误识别候选框，可以有效提高提袋识别的准确率。
本发明提出的提袋识别方法，通过根据重合度和人体关键点来最终确定误识别候选框，可以有效提高提袋识别的准确率。
基于图4和图5所示的步骤，本实施例还可以提出另一种提袋识别方法，该方法可以结合步骤S20、S30所代表的方案，步骤S40、S41所代表的方案以及步骤S50、S51所代表的方案这三种方案来最终确定误识别候选框。
其中，本发明对于该三种方案的执行顺序不做限定，例如，执行顺序可以是S10、S20、S30、S40、S41、S50、S51，或者是S10、S20、S30、S50、S51、S40、S41，或者是S10、S40、S41、S50、S51、S20、S30。需要说明的是，每一种方案在执行时，均无需再对已确定为误识别候选框的提袋候选框进行识别，而只需对未确定为误识别候选框的提袋候选框进行识别。
其中，当步骤S50、S51在步骤S40、S41之后执行时，本发明可以根据当前未被确定为误识别候选框的提袋候选框的置信度来进行重合度的计算。
具体的，本发明可以在当前未被确定为误识别候选框的各提袋候选框中，选取出置信度最高的提袋候选框C，分别计算其它提袋候选框与选取出的提袋候选框C之间的IOU值，将与提袋候选框C计算的IOU值高于第二预设阈值的提袋候选框均确定为误识别候选框；之后，在剩下的未确定未确定为误识别候选框且不包括提袋候选框C的各提袋候选框中，选取出置信度最高的提袋候选框D，再次计算其它未确定为误识别候选框的提袋候选框与提袋候选框D之间的IOU值(无需再计算C与D的IOU值)，将与提袋候选框D计算的IOU值高于第二预设阈值的提袋候选框均确定为误识别提袋候选框；依次类推，直至使得在剩下的未确定为误提袋候选框的提袋候选框中，任两个提袋候选框之间的重合度均不高于第二预设阈值为止。
在实际应用中，本发明可以根据各方案在执行过程中所涉及的运算量来决定方案的执行顺序。比如，若步骤S50、S51所代表的方案涉及的运算量最多(需计算提袋候选框间重合度)，步骤S40、S41所代表的方案涉及的方案运算量较多(需输出提袋候选框的置信度)，步骤S20、S30所代表的方案涉及的运算量较少(需进行坐标的查找、比较)，则本发明可以先执行步骤S20、S30所代表的方案，之后执行步骤S40、S41所代表的方案，最后执行步骤S50、S51所代表的方案，即采用运算量较少的方案先行确定一部分误识别候选框，这样可以使得运算量较多的方案所需要识别的提袋候选框的数量减少，更有效的降低运算量。
当然，上述三种方案也可以并行执行，本发明可以根据三种方案确定的误识别候选框来最终确定哪些为误识别候选框。
需要说明的是，上述三种确定误识别候选框的方案所运用的识别原理均不同。本发明通过结合三种识别原理不同的方案来最终确定误识别候选框，可以有效提高提袋识别的准确率。
本实施例提出的提袋识别方法，通过结合根据人体关键点确定误识别候选框、使用提袋分类网络模型确定误识别候选框和使用重合度计算确定误识别候选框的三种方案，来确定最终的误识别候选框，可以有效提高提袋识别的准确率。
基于图1所示步骤，本实施例提出了一种提袋识别装置，如图6所示，所述装置可以包括：第一获得单元100、第一确定单元200和第二确定单元300，其中：
所述第一获得单元100，用于获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框；
其中，提袋检测网络模型可以是现有技术中已有的目标检测网络模型，本发明对于该目标检测网络模型的具体类型不做限定。
其中，目标图像可以为待检测的一副图像，该目标图像中可以包括提袋的图像，也可以不包括提袋的图像。
其中，提袋候选框可以是包含目标图像中至少部分图像的封闭图形，如正方形、圆形或其它无规则图形等。通常可以通过边线的形状、粗细、颜色等显示方式，将提袋候选框与目标图像区分开，以及将各提袋候选框区分开。具体的，提袋候选框中可以包括提袋的全部或部分图像。
所述第一确定单元200，用于对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域；
其中，人体关键点可以为人体的器官或躯体位置，如头部、五官和肢体等。
可选的，所述人体关键点可以包括鼻子、眼睛、耳朵、肩部、肘部、手腕、臀部、膝盖和脚踝中的至少一种。
具体的，本发明可以提取出人体鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝以及左右脚踝这十七个人体关键点。
需要说明的是，人们通常会使用几个人体部位来携带提袋，例如：将提袋挂在肩部，将提袋挂在肘部，将提袋提于手掌处等。因此，人们在携带提袋时，与这些部位相应的人体关键点与提袋具有一定的位置关系。
在实际应用中，本发明可以根据人体通常用于携带提袋的部位，总结这些部位对应的人体关键点与提袋的位置关系(这些人体关键点即为与提袋位置相关的人体关键点)。并可以结合这些人体关键点的位置和总结出的位置关系来限定、划分出提袋在目标图像中可能覆盖的区域，即提袋的候选区域。
其中，目标图像中可以包括一个人体，也可以包括多个人体。本发明可以根据同一个人体的、与提袋位置相关的人体关键点对应确定一个提袋候选区域。当目标图像中包括多个人体时，本发明可以相应确定多个提袋候选区域。
具体的，本发明可以使用现有的人体关键点提取算法来识别并提取出目标图像中的各个人体关键点，如OpenPose、G-RMI和CFN算法等。
具体的，本发明可以使用点、圆圈等较小的图形来标记目标图像中的人体关键点，也可以通过在目标图像中建立坐标系并输出人体关键点的横坐标和纵坐标的方式，来标记人体关键点的位置。
可选的，当目标图像中只包括一个人体时，本发明可以使用人体关键点提取算法直接识别该目标图像中的各个人体关键点，将识别到的各人体关键点均确定为同一个人体的人体关键点，然后可以根据识别到的该人体的、与提袋位置相关的人体关键点来确定与该人体对应的提袋候选区域。
可选的，当目标图像中包括多个人时，所述第一确定单元200，可以具体用于：
识别所述目标图像中的各人体；
根据识别到的每个人体：对该人体的人体关键点进行识别，根据识别到的该人体的至少部分人体关键点确定与该人体对应的提袋候选区域。
具体的，当目标图像中包括多个人时，本发明可以先行识别出目标图像中的各人体，之后对不同人体分别进行人体关键点的识别，以确定属于各人体的人体关键点。
具体的，在确定目标图像中属于不同人体的人体关键点之后，本发明可以分别根据各人体的、与提袋位置相关的人体关键点，相应确定多个提袋候选区域。
可选的，所述至少部分人体关键点为人体的臀部及以上区域的人体关键点，或者，所述至少部分人体关键点为人体的膝盖及以上区域的人体关键点。
在实际应用中，人们通常使用肩部、肘部和手掌等部位来携带提袋，考虑到提袋的大小规格(如长度、宽度等)，本发明可以将在同一个人体中臀部及至头部之间的人体关键点，或者膝盖至头部之间的人体关键点确定为与提袋位置相关的人体关键点。当然，其它器官或躯体位置的人体关键点也可以成为与提袋位置相关的人体关键点。之后，本发明可以根据这些与提袋位置相关的人体关键点，确定相应的提袋候选区域。
具体的，本发明可以根据与提袋位置相关的人体关键点的坐标，来确定提袋候选区域，即确定提袋候选区域的坐标区间。
还需要说明的是，本发明对于如何根据人体关键点的坐标来确定提袋候选区域所采取的具体方式不做限定。
所述第二确定单元300，用于将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。
其中，位于提袋候选区域之外的提袋候选框，即为目标图像中与提袋候选区域无重叠部分的提袋候选框。
具体的，当目标图像中存在多个提袋候选区域时，本发明可以将与所有提袋候选区域均无重叠部分的提袋候选框确定为误识别候选框。
需要说明的是，当某个提袋候选框与提袋候选区域具有重叠部分时，本发明可以在将该提袋候选框确定为非误识别候选框。
可选的，所述提袋候选框可以为矩形，所述提袋候选框可以由左侧的边、右侧的边、上侧的边和下侧的边构成，所述第二确定单元300，可以具体用于：
若所述提袋候选框的所述左侧的边位于所述提袋候选区域右侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述右侧的边位于所述提袋候选区域左侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述上侧的边位于所述提袋候选区域下侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述下侧的边位于所述提袋候选区域上侧，则确定所述提袋候选框为误识别候选框。
其中，提袋候选区域可以为矩形。需要说明的是，当某个提袋候选框与提袋候选区域具有重叠部分时，本发明可以在将该提袋候选框确定为非误识别候选框。
在实际应用中，本发明可以删除目标图像中的误识别候选框，保留未确定为误识别候选框的提袋候选框。之后，将未确定为误识别候选框的提袋候选框均确定为提袋，或者，对未确定为误识别候选框的提袋候选框进行进一步的识别。
本实施例提出的提袋识别装置，通过获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框，对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域，将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框，可以根据人体关键点确定与提袋相关度较低甚至无关的误识别候选框，将未确定为误识别候选框的提袋候选框均确定为提袋或进行下一步的识别，有效提高了提袋识别的准确率。
基于图6所示装置，本实施例提出了另一种提袋识别装置，如图7所示，所述第一确定单元200，可以具体包括：坐标确定单元210、最值确定单元220和第五确定单元230，其中：
所述坐标确定单元210，用于对所述目标图像中的人体关键点进行识别，确定识别到的至少部分人体关键点的横坐标和纵坐标；
具体的，本发明可以以目标图像上任一点(比如中心点)为原点，建立平面直角坐标系，根据该平面直角坐标系来确定人体关键点的横坐标和纵坐标。
具体的，当目标图像中只有一个人体时，本发明可以直接识别目标图像中各人体关键点，并确定与提袋位置相关的人体关键点的横坐标和纵坐标。
具体的，当目标图像中存在多个人体时，本发明可以先行识别出目标图像中的各人体以及属于各人体的人体关键点。之后，本发明可以分别确定各人体中与提袋位置相关的人体关键点的横坐标和纵坐标。
所述最值确定单元220，用于确定各所述横坐标中的横坐标最大值和横坐标最小值，确定各所述纵坐标中的纵坐标最大值和纵坐标最小值；
具体的，对于目标图像中的各个人体：本发明均可以从该人体的、与提袋位置相关的人体关键点的各横坐标中确定横坐标的最值，即横坐标最大值a和横坐标最小值b，从该人体的、与提袋位置相关的人体关键点的各纵坐标中确定纵坐标的最值，即纵坐标最大值c和纵坐标最小值d。
需要说明的是，本发明可以根据同一个人体的坐标值a、b、c和d，确定与该人体对应的一个提袋候选区域。当目标图像中存在多个人体时，本发明可以根据不同人体对应的坐标值a、b、c和d，相应确定多个提袋候选区域。
所述第五确定单元230，用于将第一直线、第二直线、第三直线和第四直线围绕形成的矩形区域确定为：与所述至少部分人体关键点相关的提袋候选区域，其中，所述第一直线上各点的横坐标均为所述横坐标最大值，所述第二直线上各点的横坐标均为所述横坐标最小值，所述第三直线上各点的纵坐标均为所述纵坐标最大值，所述第四直线上各点的纵坐标均为所述纵坐标最小值。
具体的，对于目标图像中的各个人体：本发明均可以在建立的平面直角坐标系中，将函数关系式为x(x轴为坐标系的横坐标轴)等于该人体对应的横坐标最大值a的直线确定为第一直线，将函数关系式为x等于该人体对应的横坐标最小值b的直线确定为第二直线，将函数关系式为y(y轴为坐标系的纵坐标轴)等于该人体对应的纵坐标最大值c的直线确定为第三直线，将函数关系式为y等于该人体对应的纵坐标最小值d的直线确定为第四直线，将由第一直线、第二直线、第三直线和第四直线围绕而成的矩形区域确定为该人体对应的提袋候选区域，该提袋候选区域中各点的横坐标x和纵坐标y满足由
x∈[b,a],y∈[d,c]----------------关系式(1)
表征的第一坐标区间。
具体的，当目标图像中存在多个人体时，本发明可以相应获得多个由关系式(1)表征的第一坐标区间，各第一坐标区间中的a、b、c和/或d可以是不同的。
需要说明的是，对于某个提袋候选框和某个第一坐标区间，若该提袋候选框上任一点(包括框内部的点和框边上的点)的坐标(x，y)不满足第一坐标区间(即
Figure BDA0002424951260000221
或
Figure BDA0002424951260000222
)，则本发明可以确定该提袋候选框没有一个点位于该第一坐标区间对应的提袋候选区域中，即该提袋候选框与该第一坐标区间对应的提袋候选区域均无重叠部分；否则，本发明可以确定该提袋候选框至少有一个点位于该第一坐标区间对应的提袋候选区域中。
具体的，当一个提袋候选框的任一点均不满足各第一坐标区间时，本发明可以确定该提袋候选框与各提袋候选区域均无重叠部分，从而可以将该提袋候选框确定为误识别候选框。
具体的，对于某个矩形提袋候选框和某个第一坐标区间，本发明可以先行确定该提袋候选框的左上角顶点(x1，y1)和右下角顶点(x2，y2)的坐标，之后可以将x1，x2，y1和y2与该第一坐标区间中的a、b、c和d中比较。当满足：
x1＞a或x2＜b或y1＞c或y2＜d-------------关系式(2)
时，本发明可以确定该提袋候选框与该第一坐标区间对应的提袋候选区域无重叠部分。
具体的，当一个提袋候选框为矩形时，本发明可以通过关系式(2)，来分别判断该提袋候选框与各提袋候选区域是否有重叠部分，进而判断该提袋候选框是否为误识别候选框。
需要说明的是，本发明可以通过关系式(1)或关系式(2)来分别对目标图像中的各提袋候选框进行识别，以确定目标图像中的误识别候选框。
本实施例提出的提袋识别装置，可以根据与提袋位置相关的各人体关键点的坐标，来确定提袋候选区域对应的第一坐标区间，之后可以根据各提袋候选框的坐标与第一坐标区间的关系来确定误识别提袋候选框。
基于图6所示装置，本实施例提出了另一种提袋识别装置，如图8所示，所述装置还可以包括：置信度获得单元400和第三确定单元410，其中：
所述置信度获得单元400，用于将所述目标图像中至少部分提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度，其中，所述置信度为输入所述预设的提袋分类网络模型的图像为提袋图像的置信度；
其中，本发明可以采用现有技术中已有的提袋分类网络模型，来输出目标图像中全部或者部分提袋候选框的置信度。
所述第三确定单元410，用于将低于第一预设阈值的所述置信度对应的提袋候选框确定为误识别候选框。
其中，第一预设阈值可以由技术人员根据提袋分类网络模型的分类性能和分类准确率需求等实际情况进行制定，本发明对此不做限定。
上述置信度获得单元400和第三确定单元410为本发明提供的另一种确定误识别候选框的方案，具体的，置信度获得单元400和第三确定单元410可以在第一获得单元100和第一确定单元200之间执行，即执行顺序为：第一获得单元100、置信度获得单元400、第三确定单元410、第一确定单元200、第二确定单元300。在此执行顺序下，第二确定单元300可以具体用于：
将位于所述提袋候选区域之外的且未被确定为误识别候选框的提袋候选框确定为误识别候选框。
可以理解的是，由于第三确定单元410可能已经确定出了一些误识别候选框，因此第二确定单元300无需再对第三确定单元410已经确定出的误识别候选框进行识别，仅对第三确定单元410未确定为误识别候选框的提袋候选框进行识别即可，这样可以有效降低运算量。
当然，置信度获得单元400和第三确定单元410可以在第二确定单元300之后执行，即执行顺序为：第一获得单元100、第一确定单元200、第二确定单元300、置信度获得单元400、第三确定单元410。在此执行顺序下，置信度获得单元400可以具体用于：
将所述目标图像中未被确定为误识别候选框的提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度。
可以理解的是，这样同样可以有效降低运算量。
当然，第一确定单元200、第二确定单元300所代表的确定误识别候选框的方案可以与置信度获得单元400、第三确定单元410所代表的确定误识别候选框的方案并行执行。这样，第二确定单元300从第一获得单元100获得的提袋候选框中确定出一些误识别候选框，第三确定单元410也从置信度获得单元400获得的提袋候选框中确定出一些误识别候选框，本发明可以根据这两种方案确定的误识别候选框来最终确定哪些为误识别候选框。例如：当第三确定单元410和第二确定单元300都确定某提袋候选框为误识别候选框时，本发明再将其最终确定为误识别候选框，或者，将第三确定单元410和第二确定单元300确定的误识别候选框均最终确定为误识别候选框。
需要说明的是，使用提袋分类网络模型确定误识别候选框的方案，与根据人体关键点确定误识别候选框的方案，该两种方案运用的识别原理不同。本发明通过结合这两种识别原理不同的方案来最终确定误识别候选框，可以有效提高提袋识别的准确率。
本实施例提出的提袋识别装置，通过使用提袋分类网络模型和人体关键点来最终确定误识别候选框，可以有效提高提袋识别的准确率。
基于图6所示装置，本实施例提出了另一种提袋识别装置，如图9所示，所述装置还可以包括：重合度确定单元500和第四确定单元510，其中：
所述重合度确定单元500，用于确定所述目标图像中至少部分提袋候选框间的重合度IOU；
其中，IOU为两个提袋候选框间的面积交叠率，该交叠率为两个提袋候选框的交集面积与并集面积之比。
具体的，本发明可以采用现有技术中已有的用于确定重合度的网络模型，来确定两个提袋候选框间的重合度，并删除重合度高于第二预设阈值的冗余提袋候选框。
具体的，本发明可以在目标图像中全部或部分的提袋候选区域之间，计算任两个提袋候选区域的IOU值。
具体的，本发明可以在目标图像中先行选取一个提袋候选框作为参考的提袋候选框，之后分别计算其它提袋候选框与该参考的提袋候选框间的IOU值。
所述第四确定单元510，用于将重合度高于第二预设阈值的两个提袋候选框中的一个提袋候选框确定为误识别候选框。
具体的，对于合度高于第二预设阈值的两个提袋候选框，本发明可以随机的将其中一个确定为误识别候选框。
其中，第二预设阈值可以由技术人员根据提袋分类网络模型的分类性能和分类准确率需求等实际情况进行制定，本发明对此不做限定。
具体的，本发明也可以先行在目标图像中选取一个参考的提袋候选框，将待计算重合度的其它提袋候选框分别与该参考的提袋候选框进行重合度计算，然后可以将与该参考的提袋候选框的重合度高于第二预设阈值的提袋候选框确定误识别候选框，以减少目标图像中的冗余候选框。在实际应用中，本发明可以多次执行该过程，以更大程度的减少目标图像中的冗余候选框。
上述重合度确定单元500和第四确定单元510为本发明提供的另一种确定误识别候选框的方案。具体的，重合度确定单元500和第四确定单元510可以在第一获得单元100和第一确定单元200之间执行，即：执行顺序为：第一获得单元100、重合度确定单元500、第四确定单元510、第一确定单元200、第二确定单元300。在此执行执行顺序下，第二确定单元300可以具体用于：
将位于所述提袋候选区域之外的且未被确定为误识别候选框的提袋候选框确定为误识别候选框。
需要说明的是，第二确定单元300无需再对第四确定单元510已经确定的误识别候选框进行识别，仅对第四确定单元510未确定为误识别候选框的提袋候选框进行识别即可，这样可以有效降低运算量。
当然，重合度确定单元500和第四确定单元510也可以在第二确定单元300之后执行，即执行顺序为：第一获得单元100、第一确定单元200、第二确定单元300、重合度确定单元500、第四确定单元510。在此执行顺序下，重合度确定单元500也无需再对第二确定单元300已经确定的误识别候选框进行识别，仅对第二确定单元300未确定为误识别候选框的提袋候选框进行识别即可，这样同样可以有效降低运算量。
当然，第一确定单元200、第二确定单元300所代表的确定误识别候选框的方案也可以与重合度确定单元500、第四确定单元510所代表的确定误识别候选框的方案并行执行。本发明可以根据这两种方案确定的误识别候选框来最终确定哪些为误识别候选框。
需要说明的是，根据重合度确定误识别候选框的方案与根据人体关键点确定误识别候选框的方案，这两种方案运用的识别原理不同。本发明通过结合这两种方案来最终确定误识别候选框，可以有效提高提袋识别的准确率。
本发明提出的提袋识别装置，通过根据重合度和人体关键点来最终确定误识别候选框，可以有效提高提袋识别的准确率。
基于图8和图9所示的装置，本实施例还可以提出另一种提袋识别装置，该装置可以结合第一确定单元200、第二确定单元300所代表的方案，置信度获得单元400、第三确定单元410所代表的方案以及重合度确定单元500、第四确定单元510所代表的方案这三种方案来最终确定误识别候选框。
其中，本发明对于该三种方案的执行顺序不做限定，例如，执行顺序可以是第一获得单元100、第一确定单元200、第二确定单元300、置信度获得单元400、第三确定单元410、重合度确定单元500、第四确定单元510，或者是第一获得单元100、第一确定单元200、第二确定单元300、重合度确定单元500、第四确定单元510、置信度获得单元400、第三确定单元410，或者是第一获得单元100、置信度获得单元400、第三确定单元410、重合度确定单元500、第四确定单元510、第一确定单元200、第二确定单元300。需要说明的是，每一种方案在执行时，均无需再对已确定为误识别候选框的提袋候选框进行识别，而只需对未确定为误识别候选框的提袋候选框进行识别。
其中，当重合度确定单元500、第四确定单元510在置信度获得单元400、第三确定单元410之后执行时，本发明可以根据当前未被确定为误识别候选框的提袋候选框的置信度来进行重合度的计算。
在实际应用中，本发明可以根据各方案在执行过程中所涉及的运算量来决定方案的执行顺序。
当然，上述三种方案也可以并行执行，本发明可以根据三种方案确定的误识别候选框来最终确定哪些为误识别候选框。
需要说明的是，上述三种确定误识别候选框的方案所运用的识别原理均不同。本发明通过结合三种识别原理不同的方案来最终确定误识别候选框，可以有效提高提袋识别的准确率。
本实施例提出的提袋识别装置，通过结合根据人体关键点确定误识别候选框、使用提袋分类网络模型确定误识别候选框和使用重合度计算确定误识别候选框的三种方案，来确定最终的误识别候选框，可以有效提高提袋识别的准确率。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种提袋识别方法，其特征在于，包括：
获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框；
对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域；
将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述目标图像中至少部分提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度，其中，所述置信度为输入所述预设的提袋分类网络模型的图像为提袋图像的置信度；
将低于第一预设阈值的所述置信度对应的提袋候选框确定为误识别候选框。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述目标图像中至少部分提袋候选框间的重合度IOU；
将重合度高于第二预设阈值的两个提袋候选框中的一个提袋候选框确定为误识别候选框。
4.根据权利要求1所述的方法，其特征在于，所述根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域，包括：
确定识别到的至少部分人体关键点的横坐标和纵坐标；
确定各所述横坐标中的横坐标最大值和横坐标最小值，确定各所述纵坐标中的纵坐标最大值和纵坐标最小值；
将第一直线、第二直线、第三直线和第四直线围绕形成的矩形区域确定为：与所述至少部分人体关键点相关的提袋候选区域，其中，所述第一直线上各点的横坐标均为所述横坐标最大值，所述第二直线上各点的横坐标均为所述横坐标最小值，所述第三直线上各点的纵坐标均为所述纵坐标最大值，所述第四直线上各点的纵坐标均为所述纵坐标最小值。
5.根据权利要求1所述的方法，其特征在于，所述人体关键点包括：鼻子、眼睛、耳朵、肩部、肘部、手腕、臀部、膝盖和脚踝中的至少一种。
6.根据权利要求1所述的方法，其特征在于，所述至少部分人体关键点为人体的臀部及以上区域的人体关键点，或者，所述至少部分人体关键点为人体的膝盖及以上区域的人体关键点。
7.根据权利要求1所述的方法，其特征在于，所述提袋候选框为矩形，所述提袋候选框由左侧的边、右侧的边、上侧的边和下侧的边构成，所述将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框，包括：
若所述提袋候选框的所述左侧的边位于所述提袋候选区域右侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述右侧的边位于所述提袋候选区域左侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述上侧的边位于所述提袋候选区域下侧，则确定所述提袋候选框为误识别候选框；
和/或，若所述提袋候选框的所述下侧的边位于所述提袋候选区域上侧，则确定所述提袋候选框为误识别候选框。
8.一种提袋识别装置，其特征在于，包括：第一获得单元、第一确定单元和第二确定单元，其中：
所述第一获得单元，用于获得提袋检测网络模型对目标图像进行检测后输出的至少一个提袋候选框；
所述第一确定单元，用于对所述目标图像中的人体关键点进行识别，根据识别到的至少部分人体关键点确定与所述至少部分人体关键点相关的提袋候选区域；
所述第二确定单元，用于将位于所述提袋候选区域之外的提袋候选框确定为误识别候选框。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：置信度获得单元和第三确定单元，其中：
所述置信度获得单元，用于将所述目标图像中至少部分提袋候选框内的图像输入预设的提袋分类网络模型中，获得所述预设的提袋分类网络模型输出的置信度，其中，所述置信度为输入所述预设的提袋分类网络模型的图像为提袋图像的置信度；
所述第三确定单元，用于将低于第一预设阈值的所述置信度对应的提袋候选框确定为误识别候选框。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：重合度确定单元和第四确定单元，其中：
所述重合度确定单元，用于确定所述目标图像中至少部分提袋候选框间的重合度IOU；
所述第四确定单元，用于将重合度高于第二预设阈值的两个提袋候选框中的一个提袋候选框确定为误识别候选框。
CN202010217503.XA 2020-03-25 2020-03-25 一种提袋识别方法及装置 Active CN111340002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010217503.XA CN111340002B (zh) 2020-03-25 2020-03-25 一种提袋识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010217503.XA CN111340002B (zh) 2020-03-25 2020-03-25 一种提袋识别方法及装置

Publications (2)

Publication Number Publication Date
CN111340002A true CN111340002A (zh) 2020-06-26
CN111340002B CN111340002B (zh) 2023-10-27

Family

ID=71184384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010217503.XA Active CN111340002B (zh) 2020-03-25 2020-03-25 一种提袋识别方法及装置

Country Status (1)

Country Link
CN (1) CN111340002B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480653A (zh) * 2017-08-30 2017-12-15 安徽理工大学 基于计算机视觉的客流量检测方法
US9996890B1 (en) * 2017-07-14 2018-06-12 Synapse Technology Corporation Detection of items
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
US20190108561A1 (en) * 2017-10-05 2019-04-11 Mindtree Ltd. Purchase Intent Determination And Real Time In-store Shopper Assistance
CN110263662A (zh) * 2019-05-28 2019-09-20 北京智形天下科技有限责任公司 一种基于分级的人体轮廓关键点和关键部位识别方法
CN110796494A (zh) * 2019-10-30 2020-02-14 北京爱笔科技有限公司 一种客群识别方法及装置
CN110909663A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996890B1 (en) * 2017-07-14 2018-06-12 Synapse Technology Corporation Detection of items
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
CN107480653A (zh) * 2017-08-30 2017-12-15 安徽理工大学 基于计算机视觉的客流量检测方法
US20190108561A1 (en) * 2017-10-05 2019-04-11 Mindtree Ltd. Purchase Intent Determination And Real Time In-store Shopper Assistance
CN110263662A (zh) * 2019-05-28 2019-09-20 北京智形天下科技有限责任公司 一种基于分级的人体轮廓关键点和关键部位识别方法
CN110796494A (zh) * 2019-10-30 2020-02-14 北京爱笔科技有限公司 一种客群识别方法及装置
CN110909663A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN111340002B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN109657631B (zh) 人体姿态识别方法及装置
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
US20210287091A1 (en) Neural network training method and image matching method and apparatus
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
Hasanuzzaman et al. Robust and effective component-based banknote recognition for the blind
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
Bourdev et al. Describing people: A poselet-based approach to attribute classification
JP4318465B2 (ja) 人物検出装置および人物検出方法
CN101584575B (zh) 一种基于人脸识别技术的年龄评估方法
CN106599785B (zh) 人体3d特征身份信息库的建立方法及设备
CN104200200B (zh) 融合深度信息和灰度信息实现步态识别的系统及方法
CN108229324A (zh) 手势追踪方法和装置、电子设备、计算机存储介质
Jiménez Visual grasp point localization, classification and state recognition in robotic manipulation of cloth: An overview
CN102402680A (zh) 人机交互系统中手部、指示点定位方法和手势确定方法
CN106980819A (zh) 基于人脸五官的相似度判别系统
CN109344841A (zh) 一种服装识别方法及装置
Jiménez et al. Perception of cloth in assistive robotic manipulation tasks
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
KR20210090456A (ko) 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
CN108614988A (zh) 一种复杂背景下的运动手势自动识别系统
JP2005351814A (ja) 検出装置および検出方法
CN111340002A (zh) 一种提袋识别方法及装置
JP6992900B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7259921B2 (ja) 情報処理装置、及び制御方法
CN111382659A (zh) 确定装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant