CN112862855B - 图像标注方法、装置、计算设备及存储介质 - Google Patents

图像标注方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN112862855B
CN112862855B CN201911100816.0A CN201911100816A CN112862855B CN 112862855 B CN112862855 B CN 112862855B CN 201911100816 A CN201911100816 A CN 201911100816A CN 112862855 B CN112862855 B CN 112862855B
Authority
CN
China
Prior art keywords
image
image frame
motion
target object
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911100816.0A
Other languages
English (en)
Other versions
CN112862855A (zh
Inventor
李艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingbangda Trade Co Ltd, Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingbangda Trade Co Ltd
Priority to CN201911100816.0A priority Critical patent/CN112862855B/zh
Publication of CN112862855A publication Critical patent/CN112862855A/zh
Application granted granted Critical
Publication of CN112862855B publication Critical patent/CN112862855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了图像标注方法、装置、计算设备及存储介质。其中,一种图像标注方法,包括:获取待标注的图像帧;确定所述图像帧中的运动区域;确定所述运动区域在所述图像帧中的边界框;在所述运动区域内,对目标对象进行检测;根据检测到的所述目标对象,确定所述边界框是否满足预定条件;以及在确定所述边界框满足预定条件时,将所述边界框和所述图像帧作为经过标注的图像样本。本申请的图像标注方案可以避免人工标注的麻烦,而可以自动获取高质量的经过标注的样本。

Description

图像标注方法、装置、计算设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及图像标注方法、装置、计算设备及存储介质。
背景技术
随着图像处理技术的发展,目标检测技术越来越广泛应用到各种场景中。例如,对象跟踪和目标识别等场景。这里,用于目标检测的模型通常需要大量的样本数据进行训练。目前,样本数据通常需要人工进行标注。
发明内容
根据本申请一个方面,提供一种图像标注方法,所述方法包括:获取待标注的图像帧;确定所述图像帧中的运动区域;确定所述运动区域在所述图像帧中的边界框;在所述运动区域内,对目标对象进行检测;根据检测到的所述目标对象,确定所述边界框是否满足预定条件;以及在确定所述边界框满足预定条件时,将所述边界框和所述图像帧作为经过标注的图像样本。
在一些实施例中,根据检测到的所述目标对象,确定所述边界框是否满足预定条件,包括:确定所述目标对象的轮廓区域在所述边界框内的像素点占比是否超过第一阈值;在确定所述像素点占比未超过所述第一阈值时,确定所述边界框满足所述预定条件。
在一些实施例中,所述获取图像帧,包括:获取原始图像帧;对所述原始图像帧进行下采样操作,得到所述图像帧。
在一些实施例中,所述确定所述图像帧中的运动区域,包括:基于运动检测模型,得到运动检测结果;根据所述运动检测结果,确定所述运动区域。
在一些实施例中,所述基于运动检测模型,得到运动检测结果,包括:基于经过训练的背景减除模型,去除所述图像帧中背景区域,得到背景减除结果,并将所述背景减除结果作为所述运动检测结果。
在一些实施例中,所述方法进一步包括:获取从目标场景采集的早于所述图像帧的图像帧序列;根据所述图像帧序列,训练所述背景减除模型。
在一些实施例中,所述根据所述运动检测结果,确定所述运动区域,包括:对所述运动检测结果进行二值化处理,得到第一处理结果;对所述第一处理结果进行滤波处理,得到第二处理结果;对所述第二处理结果进行图像膨胀处理,得到所述运动区域。
在一些实施例中,所述在所述运动区域内,对目标对象进行检测,包括:在所述运动区域内,检测与所述目标对象对应的候选区域;在所述候选区域的置信度达到置信度阈值时,将所述候选区域作为检测到的所述目标对象。
在一些实施例中,所述在所述运动区域内,检测与所述目标对象对应的候选区域,包括:基于经过训练的目标检测器,检测所述目标对象对应的候选区域。
在一些实施例中,所述获取图像帧,包括:获取从自动售货柜场景中采集的所述图像帧。
根据本申请一方面,提供一种图像标注装置,所述装置包括:图像获取单元,用于获取待标注的图像帧;运动检测单元,用于确定所述图像帧中的运动区域;边界框确定单元,用于确定所述运动区域在所述图像帧中的边界框;对象检测单元,用于在所述运动区域内,对目标对象进行检测;样本过滤单元,用于根据检测到的所述目标对象,确定所述边界框是否满足预定条件,在确定所述边界框满足预定条件时,将所述边界框和所述图像帧作为经过标注的图像样本。
在一些实施例中,所述样本过滤单元根据下述方式根据检测到的所述目标对象,确定所述边界框是否满足预定条件:确定所述目标对象的轮廓区域在所述边界框内的像素点占比是否超过第一阈值;在确定所述像素点占比未超过所述第一阈值时,确定所述边界框满足所述预定条件。
在一些实施例中,所述图像获取单元根据下述方式获取图像帧:获取原始图像帧;对所述原始图像帧进行下采样操作,得到所述图像帧。
在一些实施例中,所述运动检测单元根据下述方式确定所述图像帧中的运动区域:基于运动检测模型,得到运动检测结果;根据所述运动检测结果,确定所述运动区域。
在一些实施例中,所述运动检测单元根据下述方式基于运动检测模型,得到运动检测结果;基于经过训练的背景减除模型,去除所述图像帧中背景区域,得到背景减除结果,并将所述背景减除结果作为所述运动检测结果。
在一些实施例中,所述装置进一步包括模型训练单元,用于:获取从目标场景采集的早于所述图像帧的图像帧序列;根据所述图像帧序列,训练所述背景减除模型。
在一些实施例中,所述运动检测单元根据下述方式根据所述运动检测结果,确定所述运动区域:对所述运动检测结果进行二值化处理,得到第一处理结果;对所述第一处理结果进行滤波处理,得到第二处理结果;对所述第二处理结果进行图像膨胀处理,得到所述运动区域。
在一些实施例中,所述对象检测单元根据下述方式在所述运动区域内,对目标对象进行检测:在所述运动区域内,检测与所述目标对象对应的候选区域;在所述候选区域的置信度达到置信度阈值时,将所述候选区域作为检测到的所述目标对象。
在一些实施例中,所述对象检测单元根据下述方式在所述运动区域内,检测与所述目标对象对应的候选区域,包括:基于经过训练的目标检测器,检测所述目标对象对应的候选区域。
在一些实施例中,所述图像获取单元根据下述方式获取图像帧:获取从自动售货柜场景中采集的所述图像帧。
根据本申请一方面,提供一种计算设备,包括:处理器;存储器;以及一个或多个程序,存储在该存储器中并被配置为由所述处理器执行,所述一个或多个程序包括用于执行根据本申请的图像标注方法的指令。
根据本申请一方面,提供一种存储介质,存储有一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据本申请的图像标注方法。
综上,根据本申请的图像标注方案可以通过运动检测方式确定图像帧中边界框,从而可以自动标注图像。进一步,本申请的图像标注方案可以对边界框是否满足预定条件进行判断,从而筛选出满足预定条件的经过标注的图像样本,从而可以筛选出高质量的经过标注的样本。简言之,本申请的图像标注方案可以避免人工标注的麻烦,而可以自动获取高质量的经过标注的样本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请一些实施例的图像标注方法100的流程图;
图2A示出了根据本申请一些实施例的获取待标注的图像帧的方法200的流程图;
图2B示出了根据本申请一些实施例的图像帧;
图3示出了根据本申请一些实施例的确定运动区域的方法300的流程图;
图4示出了根据本申请一些实施例的训练背景减除模型的方法400的流程图;
图5A示出了根据本申请一些实施例的确定运动区域的方法500的流程图;
图5B示出了图2B中图像帧对应的运动检测结果的二值图;
图5C示出了对图5B进行滤波后的得到的第二处理结果;
图5D示出了从图2B中图像帧获取的运动区域501的掩模图;
图6A示出了图2B中运动区域的掩模图;
图6B示出了图2B中图像帧标注边界框601后的示意图;
图7A示出了根据本申请一些实施例的对目标对象进行检测的方法700的流程图;
图7B示出了对图6B的边界框内的目标对象进行检测的结果示意图;
图8示出了根据本申请一些实施例的图像标注装置800的示意图;以及
图9示出了根据本申请一些实施例的一个计算设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在一些实施例中,自助售货柜被广泛布置到各种场景中。一些自动售货柜可以由用户直接从柜内拿取物品。自动售货柜可以通过目标检测方式确定用户拿取的物品。为了提高检测物品的准确性,目标检测模型通常需要大量的训练样本(即经过标注的图像)进行训练。本申请提出图像自动标注的方式,可以对自助售货柜等各种场景中的图像进行自动标注。
图1示出了根据本申请一些实施例的图像标注方法100的流程图。图像标注方法可以由终端设备或者服务器等计算设备执行。这里,终端设备例如可以包括但不限于掌上型计算机、可穿戴计算设备、个人数字助理(PDA)、平板计算机、笔记本电脑、台式计算机、增强型通用分组无线业务(EGPRS)移动电话等设备。服务器例如可以是硬件独立的服务器节点或者虚拟服务器等等。
如图1所示,在步骤S101中,获取待标注的图像帧。这里,图像帧可以是针对各种目标检测场景的待标注图像。例如,图像帧是与用户从自动售货柜拿取物品有关的图像。
在步骤S102中,确定图像帧中的运动区域。这里,运动区域是与图像帧中与采集图像帧的场景中的运动目标对应的区域。步骤S102可以采用各种经过训练的运动检测模型对图像帧进行运动检测。以用户从自动售货柜拿取物品的图像帧为例,该图像帧中运动区域可以包括用户手部和拿取的物品。
在步骤S103中,确定运动区域在图像帧中的边界框。这里,边界框内区域可以包含运动区域。例如,边界框内的区域可以包括用户手部和拿取的物品。
在步骤S104中,在运动区域内,对目标对象进行检测。这里,目标对象例如可以是用户拿取的物品之外的运动区域。例如,在运动区域包括用户手部和拿取的物品时,目标对象例如可以是可以包括用户手部。另外说明的是,步骤S104可以采用各种适合的目标检测模型,例如具有掩模输出区域的卷积神经网络(Mask RCNN),但不限于此。
在步骤S104中检测到目标对象时,方法100可以执行步骤S105,根据检测到的目标对象,确定边界框是否满足预定条件。这里,步骤S104中之所以要检测目标对象,实际上是为了判断边界框内运动区域中的非目标对象(例如用户手部拿取的物品)是否容易被识别。具体而言,目标对象的轮廓区域在运动区域(或者边界框)中占比越高,运动区域中的非目标对象的占比越低。非目标对象的占比越低,非目标对象越不容易被识别出来。在一些实施例中,预定条件例如可以是边界框中的目标对象在边界框中像素点占比(也可以称为面积占比)不超过第一阈值。第一阈值例如为0.3。在一些实施例中,预定条件例如可以是边界框中的目标对象在运动区域中像素点占比不超过第二阈值。第二阈值例如为0.4。应当理解,本申请实施例还可以根据具体需求,提出更多用于衡量运动区域中非目标对象是否容易被识别的预定条件。而基于预定条件分析边界框的实施方式都应落入本申请的保护范围。
在步骤S105确定边界框满足预定条件时,方法100可以步骤S106,将边界框和图像帧作为经过标注的图像样本。
综上,方法100可以通过步骤S101-S103的组合确定图像帧中边界框,从而可以自动标注图像。进一步,通过步骤S104-S106的组合,方法100可以对边界框是否满足预定条件进行判断,从而筛选出满足预定条件的经过标注的图像样本,从而可以筛选出高质量的经过标注的样本。简言之,方法100可以避免人工标注的麻烦,而可以自动获取高质量的经过标注的样本。
在一些实施例中。步骤S101可以获取一个原始图像帧,并将该原始图像帧作为待标注的图像帧。
在一些实施例中,步骤S101可以实施为方法200。如图2A所示,在步骤S201中,获取一个原始图像帧。在步骤S202中,对原始图像帧进行下采样操作,得到待标注的图像帧。这里,待标注的图像帧尺寸会小于原始图像帧。例如图2B为一个图像帧的示例。图2B示出了与用户210从自动售货柜220拿取物品230有关的画面。尽管图2B显示为灰度图像,实际上图2B中图像帧可以是彩色图像。
通过步骤S202的下采样操作,步骤S102在确定运动区域时,可以忽略图像帧中缓慢运动对应的区域(也可以称为忽略细小运动对应的区域)。以用户拿取物品的场景为例,用户通常手部运动幅度和速度比较大,而小手臂部分离肘部越近,运动速度和幅度越小。通过步骤S202和S102的组合,本申请的实施例可以在检测运动对象时尽可能忽略用户手臂的运动,而使得运动区域主要包括用户拿取的物品和手部。综上,通过步骤S202和S102的组合,本申请的实施例可以用户拿取物品的动作有关的运动区域,从而提高获取运动区域的准确性。
在一些实施例中,步骤S102可以实施为方法300,
如图3所示,在步骤S301中,基于运动检测模型,得到运动检测结果。
在步骤S302中根据运动检测结果,确定运动区域。
在一些实施例中,步骤S301可以基于经过训练的背景减除模型,去除图像帧中背景区域,得到背景减除结果,并将背景减除结果作为运动检测结果。这里,背景减除模型例如可以是基于混合高斯模型的运动检测器等等减除背景的模型。本申请的实施例可以利用掩模图代表背景减除结果。本申请的实施例可以利用掩模图和图像帧确定背景减除结果中的像素点的坐标和颜色。
在一些实施例中,为了在步骤S102中应用背景减除模型。本申请的实施例可以在执行方法100之前执行方法400。
如图4所示,在步骤S401中,获取从目标场景采集的早于所述图像帧的图像帧序列。这里,目标场景是指待标注的图像帧的所处的场景。
在步骤S402中,根据步骤S401中图像帧序列,训练背景减除模型。另外说明的是,本申请实施例可以利用最新获取的图像帧更新背景减除模型。换言之,本申请的实施例可以在多次执行方法100而对多帧图像进行标注的过程中,也可以多帧图像对背景减除模型进行更新训练,从而提高背景减除模型的准确度。
在一些实施例中,步骤S302可以将运动检测结果对应的区域作为运动区域。
在一些实施例中,步骤S302可以实施为方法500。如图5A所示,在步骤S501中,对运动检测结果进行二值化处理,得到第一处理结果。第一处理结果为运动检测结果的二值图。例如图5B示出了图2B中图像帧对应的运动检测结果的二值图。
在步骤S502中,对第一处理结果进行滤波处理,得到第二处理结果。步骤S502可以采用中值滤波等各种滤波方式。通过步骤S501和S502的组合,方法500可以去除运动检测结果中的运动噪声。这里,运动噪声就是最终获取的运动区域之外的一些离散的像素点。例如图5C示出了对图5B进行滤波后的得到的第二处理结果的示意图。与图5B相比,图5C明显减少了大量噪声点。
在步骤S503中,对第二处理结果进行图像膨胀处理,得到运动区域。这里,通过进行图像膨胀处理,步骤S503可以连通第二处理结果中原本不连通的区域和孤立点,从而形成运动区域。例如图5D示出了从图2B中图像帧获取的运动区域501的掩模图。
综上,方法500通过对运动检测结果进行滤波和图像膨胀处理,可以提高获取运动区域的准确性。
在一些实施例中,步骤S103可以在图像帧的掩模图中标出边界框。图6A示出了图2B中运动区域的掩模图。如图6A所示,边界框601可以包括运动区域。图6B示出了图2B中图像帧标注边界框601后的示意图。
在一些实施例中,步骤S104可以实施为方法700。
如图7A所示,在步骤S701中,在运动区域内,检测与目标对象对应的候选区域。具体而言,步骤S701可以基于经过训练的目标检测器,检测目标对象对应的候选区域。以用户从售货柜拿取物品的场景为例,目标对象可以是人体的手部。这里,本申请的实施例可以收集关于人的训练数据来训练目标检测器。目标检测器具有泛化能力,可以检测人体、人体手部和人体的手臂等等目标对象。目标检测器例如可以是例如具有掩模输出区域的卷积神经网络(Mask RCNN),但不限于此。步骤S701在检测到候选区域时,还可以获取该候选区域是目标对象的置信度。
在步骤S702中,在候选区域的置信度达到置信度阈值时,将候选区域作为检测到的目标对象。这里,置信度阈值例如为0.5,但不限于此。综上,方法700可以获取置信度高的候选区域作为目标对象,从而提高对目标对象的监测准确度。例如,图7B示出了对图6B的边界框内的目标对象进行检测的结果示意图。
以图7B为例,步骤S105可以确定目标对象701在边界框内的像素点占比超过了占比阈值。因此,步骤S105确定边界框601不满足预定条件。本申请实施例的可以放弃将不满足预定条件的边界框601作为图像帧的标注。
图8示出了根据本申请一些实施例的图像标注装置800的示意图。终端设备可以包括图像标注装置800。服务器也可以包括图像标注装置800。
如图8所示,装置800可以包括:图像获取单元801、运动检测单元802、边界框确定单元803、对象检测单元804和样本过滤单元805。
图像获取单元801用于获取待标注的图像帧。在一些实施例中,图像获取单元801可以获取原始图像帧。图像获取单元801可以将原始图像帧直接作为待标注的图像帧。另外,图像获取单元801可以对原始图像帧进行下采样操作,得到待标注的图像帧。另外,图像获取单元801例如获取从自动售货柜等场景中采集的图像帧。
运动检测单元802用于确定图像帧中的运动区域。在一些实施例中,运动检测单元802可以基于运动检测模型,得到运动检测结果。例如,运动检测单元802可以基于经过训练的背景减除模型,去除图像帧中背景区域,得到背景减除结果,并将背景减除结果作为所述运动检测结果。
根据运动检测结果,运动检测单元802可以确定所述运动区域。具体而言,运动检测单元802可以首先对运动检测结果进行二值化处理,得到第一处理结果。然后,运动检测单元802可以对第一处理结果进行滤波处理,得到第二处理结果。最后,运动检测单元802对第二处理结果进行图像膨胀处理,得到运动区域。
边界框确定单元803用于确定运动区域在图像帧中的边界框。
对象检测单元804用于在运动区域内,对目标对象进行检测。在一些实施例中,对象检测单元804可以在运动区域内,检测与目标对象对应的候选区域。在候选区域的置信度达到置信度阈值时,对象检测单元804可以将候选区域作为检测到的目标对象。其中,对象检测单元804可以基于经过训练的目标检测器,检测目标对象对应的候选区域。
样本过滤单元805用于根据检测到的所述目标对象,确定所述边界框是否满足预定条件。在确定所述边界框满足预定条件时,样本过滤单元805可以将边界框和图像帧作为经过标注的图像样本。在一些实施例中,样本过滤单元805可以确定目标对象的轮廓区域在边界框内的像素点占比是否超过第一阈值。在确定像素点占比未超过第一阈值时,样本过滤单元805确定边界框满足预定条件。
在一些实施例中,装置800还可以包括模型训练单元806,用于获取从目标场景采集的早于待标注图像帧的图像帧序列。根据图像帧序列,模型训练单元806可以训练背景减除模型。装置800更具体的实施方式与方法100一致,这里不再赘述。
综上,装置800可以通过运动检测方式确定图像帧中边界框,从而可以自动标注图像。进一步,装置800可以对边界框是否满足预定条件进行判断,从而筛选出满足预定条件的经过标注的图像样本,从而可以筛选出高质量的经过标注的样本。简言之,装置800可以避免人工标注的麻烦,而可以自动获取高质量的经过标注的样本。
图9示出了一个计算设备的组成结构图。这里,计算设备例如可以实现为终端设备或者服务器。如图9所示,该计算设备包括一个或者多个处理器(CPU)902、通信模块904、存储器906、用户接口910,以及用于互联这些组件的通信总线908。
处理器902可通过通信模块904接收和发送数据以实现网络通信和/或本地通信。
用户接口910包括一个或多个输出设备912,其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口910也包括一个或多个输入设备914。用户接口910例如可以接收遥控器的指令,但不限于此。
存储器906可以是高速随机存取存储器,诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备;或者非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备,或其他非易失性固态存储设备。存储器906存储处理器902可执行的指令集,包括:操作系统916和应用918。
操作系统916包括用于处理各种基本系统服务和用于执行硬件相关任务的程序。在一些实施例中,应用918可以包括图8所示图像标注装置800。
另外,本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本申请。
此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本申请。存储介质可以使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质,其中存储有数据处理程序,该数据处理程序用于执行本申请上述图像标注方法的任意一种实施例。
另外,本申请所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的示例性实施例而已,并不用于限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (12)

1.一种图像标注方法,其特征在于,包括:
获取待标注的图像帧;所述图像帧是与用户从自动售货柜拿取物品有关的图像;
确定所述图像帧中的运动区域;其中,所述运动区域是与图像帧中与采集图像帧的场景中的运动目标对应的区域;所述运动区域包括用户手部和拿取的物品;
确定所述运动区域在所述图像帧中的边界框;
在所述运动区域内,对目标对象进行检测;所述目标对象为用户手部;
根据检测到的所述目标对象,确定所述边界框是否满足预定条件;以及
在确定所述边界框满足预定条件时,将所述边界框和所述图像帧作为经过标注的图像样本;
其中,所述根据检测到的所述目标对象,确定所述边界框是否满足预定条件,包括:确定所述目标对象的轮廓区域在所述边界框内的像素点占比是否超过第一阈值;在确定所述像素点占比未超过所述第一阈值时,确定所述边界框满足所述预定条件。
2.如权利要求1所述的图像标注方法,其特征在于,所述获取图像帧,包括:
获取原始图像帧;
对所述原始图像帧进行下采样操作,得到所述图像帧。
3.如权利要求1所述的图像标注方法,其特征在于,所述确定所述图像帧中的运动区域,包括:
基于运动检测模型,得到运动检测结果;
根据所述运动检测结果,确定所述运动区域。
4.如权利要求3所述的图像标注方法,其特征在于,所述基于运动检测模型,得到运动检测结果,包括:
基于经过训练的背景减除模型,去除所述图像帧中背景区域,得到背景减除结果,并将所述背景减除结果作为所述运动检测结果。
5.如权利要求4所述的图像标注方法,其特征在于,进一步包括:
获取从目标场景采集的早于所述图像帧的图像帧序列;
根据所述图像帧序列,训练所述背景减除模型。
6.如权利要求3所述的图像标注方法,其特征在于,所述根据所述运动检测结果,确定所述运动区域,包括:
对所述运动检测结果进行二值化处理,得到第一处理结果;
对所述第一处理结果进行滤波处理,得到第二处理结果;
对所述第二处理结果进行图像膨胀处理,得到所述运动区域。
7.如权利要求1所述的图像标注方法,其特征在于,所述在所述运动区域内,对目标对象进行检测,包括:
在所述运动区域内,检测与所述目标对象对应的候选区域;
在所述候选区域的置信度达到置信度阈值时,将所述候选区域作为检测到的所述目标对象。
8.如权利要求7所述的图像标注方法,其特征在于,所述在所述运动区域内,检测与所述目标对象对应的候选区域,包括:
基于经过训练的目标检测器,检测所述目标对象对应的候选区域。
9.如权利要求1所述的图像标注方法,其特征在于,所述获取图像帧,包括:
获取从自动售货柜场景中采集的所述图像帧。
10.一种图像标注装置,其特征在于,所述装置包括:
图像获取单元,用于获取待标注的图像帧;所述图像帧是与用户从自动售货柜拿取物品有关的图像;
运动检测单元,用于确定所述图像帧中的运动区域;其中,所述运动区域是与图像帧中与采集图像帧的场景中的运动目标对应的区域;所述运动区域包括用户手部和拿取的物品;
边界框确定单元,用于确定所述运动区域在所述图像帧中的边界框;
对象检测单元,用于在所述运动区域内,对目标对象进行检测;所述目标对象为用户手部;
样本过滤单元,用于根据检测到的所述目标对象,确定所述边界框是否满足预定条件,在确定所述边界框满足预定条件时,将所述边界框和所述图像帧作为经过标注的图像样本;
其中,所述样本过滤单元,具体用于确定所述目标对象的轮廓区域在所述边界框内的像素点占比是否超过第一阈值;在确定所述像素点占比未超过所述第一阈值时,确定所述边界框满足所述预定条件。
11.一种计算设备,其特征在于,包括:
处理器;
存储器;以及
一个或多个程序,存储在该存储器中并被配置为由所述处理器执行,所述一个或多个程序包括用于执行权利要求1-9中任一项所述的图像标注方法的指令。
12.一种存储介质,存储有一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行如权利要求1-9中任一项所述的图像标注方法。
CN201911100816.0A 2019-11-12 2019-11-12 图像标注方法、装置、计算设备及存储介质 Active CN112862855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100816.0A CN112862855B (zh) 2019-11-12 2019-11-12 图像标注方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911100816.0A CN112862855B (zh) 2019-11-12 2019-11-12 图像标注方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN112862855A CN112862855A (zh) 2021-05-28
CN112862855B true CN112862855B (zh) 2024-05-24

Family

ID=75984303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911100816.0A Active CN112862855B (zh) 2019-11-12 2019-11-12 图像标注方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN112862855B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343857B (zh) * 2021-06-09 2023-04-18 浙江大华技术股份有限公司 标注方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700430A (zh) * 2014-10-05 2015-06-10 安徽工程大学 机载显示器的运动检测方法
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法
CN109584266A (zh) * 2018-11-15 2019-04-05 腾讯科技(深圳)有限公司 一种目标检测方法及装置
CN110176027A (zh) * 2019-05-27 2019-08-27 腾讯科技(深圳)有限公司 视频目标跟踪方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107231B2 (en) * 2017-03-22 2021-08-31 Nec Corporation Object detection device, object detection method, and object detection program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700430A (zh) * 2014-10-05 2015-06-10 安徽工程大学 机载显示器的运动检测方法
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法
CN109584266A (zh) * 2018-11-15 2019-04-05 腾讯科技(深圳)有限公司 一种目标检测方法及装置
CN110176027A (zh) * 2019-05-27 2019-08-27 腾讯科技(深圳)有限公司 视频目标跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112862855A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109003390B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN108830780B (zh) 图像处理方法及装置、电子设备、存储介质
CN110675407B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN110335313B (zh) 音频采集设备定位方法及装置、说话人识别方法及系统
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN110428394B (zh) 用于目标移动侦测的方法、装置及计算机存储介质
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN109447022A (zh) 一种镜头类型识别方法及装置
CN117788798A (zh) 目标检测方法、装置、视觉检测系统及电子设备
CN112862855B (zh) 图像标注方法、装置、计算设备及存储介质
CN115035367A (zh) 图片识别方法、装置及电子设备
CN110969602A (zh) 一种图像清晰程度检测方法及装置
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN110298302A (zh) 一种人体目标检测方法及相关设备
WO2019165626A1 (en) Methods and apparatus to match images using semantic features
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN117237681A (zh) 图像处理方法、装置及相关设备
CN115620005A (zh) 一种图像识别方法、装置、设备及存储介质
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
WO2021049119A1 (ja) 学習装置、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体
CN114202719A (zh) 视频样本的标注方法、装置、计算机设备及存储介质
CN113807407A (zh) 目标检测模型训练方法、模型性能检测方法及装置
CN110740231A (zh) 视频数据标注方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant