CN111444945A - 样本信息过滤方法、装置、计算机设备及存储介质 - Google Patents
样本信息过滤方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111444945A CN111444945A CN202010199772.8A CN202010199772A CN111444945A CN 111444945 A CN111444945 A CN 111444945A CN 202010199772 A CN202010199772 A CN 202010199772A CN 111444945 A CN111444945 A CN 111444945A
- Authority
- CN
- China
- Prior art keywords
- information
- sample
- sample image
- article
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 125
- 230000004044 response Effects 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000002372 labelling Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 17
- 238000012550 audit Methods 0.000 abstract 1
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 239000008267 milk Substances 0.000 description 4
- 235000013336 milk Nutrition 0.000 description 4
- 210000004080 milk Anatomy 0.000 description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 235000008429 bread Nutrition 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 235000013618 yogurt Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种样本信息过滤方法、装置、计算机设备及存储介质,属于计算机技术领域。该方法包括:获取样本信息集合,从样本信息集合中获取第一样本图像及对应的标注物品信息,基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。可以基于物品检测模型,快速获取样本图像的检测物品信息,如果检测物品信息与标注物品信息不一致,即可进行过滤处理,方便快捷,不再需要技术人员审核样本信息集合中的每个样本图像,降低了人工成本,提高了过滤样本信息的效率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种样本信息过滤方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展,基于图像处理模型对图像进行处理的方式也越来越普遍,很多图像处理模型需要根据图像中的物品信息进行处理,则在应用该图像处理模型之前,需要标注样本图像中的物品信息,根据样本图像的标注物品信息训练图像处理模型,样本图像的标注准确与否,会影响到图像处理模型的准确性。
目前,为了保证样本图像的标注准确,在对样本图像进行标注之后,由技术人员检查每一个样本图像的标注物品信息,从而过滤出标注物品信息不准确的样本图像。但是,由技术人员进行人工过滤需要耗费较长的时间,效率较低。
发明内容
本申请实施例提供了一种样本信息过滤方法、装置、计算机设备及存储介质,可以提高过滤样本信息的效率。所述技术方案如下:
一方面,提供了一种样本信息过滤方法,所述方法包括:
获取样本信息集合,所述样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型;
从所述样本信息集合中获取第一样本图像及对应的标注物品信息,所述标注物品信息包括所述第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量;
基于物品检测模型,对所述第一样本图像进行检测,得到所述第一样本图像对应的检测物品信息,所述检测物品信息包括所述第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量;
响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
可选地,所述响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息之后,所述方法还包括:
当获取到所述第一样本图像更新后的标注物品信息时,将所述第一样本图像及更新后的标注物品信息重新添加至所述样本信息集合中。
可选地,所述响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息,包括:
响应于所述第一样本图像的至少一个检测物品类别与至少一个标注物品类别不完全一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息;或者,
响应于所述第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
可选地,所述检测物品信息还包括所述第一样本图像中的每个目标物品的检测区域,所述标注物品信息还包括所述第一样本图像中的每个目标物品的标注区域;所述响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息,包括:
根据所述检测物品信息及所述标注物品信息,获取每个目标物品的区域重叠度;
响应于任一目标物品的区域重叠度不大于预设阈值,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息;或者,
响应于所述第一样本图像中预设比例的目标物品的区域重叠度不大于预设阈值,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
可选地,所述根据所述检测物品信息及所述标注物品信息,获取每个目标物品的区域重叠度,包括:
对于所述第一样本图像中的每个目标物品,根据所述目标物品的检测区域及所述目标物品的标注区域,获取所述检测区域与所述标注区域的交集区域对应的第一面积,及所述检测区域与所述标注区域的并集区域对应的第二面积;
获取所述第一面积与所述第二面积之间的比值,将所述比值作为所述目标物品的区域重叠度。
可选地,所述样本信息集合包括样本图像子集合及标注信息子集合,所述从所述样本信息集合中获取第一样本图像及所述第一样本图像的标注物品信息,包括:
从所述样本图像子集合中获取所述第一样本图像及对应的样本图像标识;
根据所述样本图像标识,从所述标注信息子集合中查询所述样本图像标识对应的标注物品信息。
可选地,所述基于物品检测模型,对所述第一样本图像进行检测,得到所述第一样本图像对应的检测物品信息之前,所述方法还包括:
获取第二样本图像、所述第二样本图像中的至少一个样本物品的样本类别和样本区域;
根据所述第二样本图像、所述第二样本图像中的至少一个样本物品的样本类别和样本区域,训练所述物品检测模型。
另一方面,提供了一种样本信息过滤装置,所述装置包括:
集合获取模块,用于获取样本信息集合,所述样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型;
第一样本信息获取模块,用于从所述样本信息集合中获取第一样本图像及对应的标注物品信息,所述标注物品信息包括所述第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量;
检测信息获取模块,用于基于物品检测模型,对所述第一样本图像进行检测,得到所述第一样本图像对应的检测物品信息,所述检测物品信息包括所述第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量;
样本信息过滤模块,用于响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
可选地,所述装置还包括:
样本信息添加模块,用于当获取到所述第一样本图像更新后的标注物品信息时,将所述第一样本图像及更新后的标注物品信息重新添加至所述样本信息集合中。
可选地,所述样本信息过滤模块,包括:
第一过滤单元,用于响应于所述第一样本图像的至少一个检测物品类别与至少一个标注物品类别不完全一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息;或者,
第二过滤单元,用于响应于所述第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
可选地,所述检测物品信息还包括所述第一样本图像中的每个目标物品的检测区域,所述标注物品信息还包括所述第一样本图像中的每个目标物品的标注区域;所述样本信息过滤模块,包括:
重叠度获取单元,用于根据所述检测物品信息及所述标注物品信息,获取每个目标物品的区域重叠度;
第三过滤单元,用于响应于任一目标物品的区域重叠度不大于预设阈值,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息;或者,
第四过滤单元,用于响应于所述第一样本图像中预设比例的目标物品的区域重叠度不大于预设阈值,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
可选地,所述重叠度获取单元,还用于:
对于所述第一样本图像中的每个目标物品,根据所述目标物品的检测区域及所述目标物品的标注区域,获取所述检测区域与所述标注区域的交集区域对应的第一面积,及所述检测区域与所述标注区域的并集区域对应的第二面积;
获取所述第一面积与所述第二面积之间的比值,将所述比值作为所述目标物品的区域重叠度。
可选地,所述样本信息集合包括样本图像子集合及标注信息子集合,所述第一样本信息获取模块,包括:
样本图像获取单元,用于从所述样本图像子集合中获取所述第一样本图像及对应的样本图像标识;
标注信息获取单元,用于根据所述样本图像标识,从所述标注信息子集合中查询所述样本图像标识对应的标注物品信息。
可选地,所述装置还包括:
第二样本信息获取模块,用于获取第二样本图像、所述第二样本图像中的至少一个样本物品的样本类别和样本区域;
模型训练模块,用于根据所述第二样本图像、所述第二样本图像中的至少一个样本物品的样本类别和样本区域,训练所述物品检测模型。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如所述样本信息过滤方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如所述样本信息过滤方法中所执行的操作。
本申请实施例提供的方法、装置、计算机设备及存储介质,获取样本信息集合,从样本信息集合中获取第一样本图像及对应的标注物品信息,基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。本申请实施例提供了一种样本信息过滤方法,可以基于物品检测模型,快速获取样本图像的检测物品信息,比较检测物品信息与标注物品信息是否不一致,如果不一致即可对样本图像及对应的标注物品信息进行过滤,方便快捷,不再需要技术人员审核样本信息集合中的每个样本图像,降低了人工成本,提高了过滤样本信息的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种样本信息过滤方法的流程图。
图2是本申请实施例提供的另一种样本信息过滤方法的流程图。
图3是本申请实施例提供的一种物品检测模型训练方法的流程图。
图4是本申请实施例提供的一种目标物品的区域的示意图。
图5是本申请实施例提供的另一种样本信息过滤方法的流程图。
图6是本申请实施例提供的一种样本信息过滤装置的结构示意图。
图7是本申请实施例提供的另一种样本信息过滤装置的结构示意图。
图8是本申请实施例提供的一种终端的结构示意图。
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一样本图像称为第二样本图像,将第二样本图像称为第一样本图像。
本申请所使用的术语“每个”、“至少一个”等,每个是指对应的多个中的每一个,至少一个包括一个、两个或两个以上。举例来说,有20个物品类别,每个物品类别是指这20个物品类别中的每一个物品类别。
本申请实施例提供的样本信息过滤方法可以应用于多种场景下。
例如,应用于智能货柜对应的图像处理模型:
对于智能货柜对应的图像处理模型来说,采用本申请实施例提供的样本信息过滤方法,以保证样本信息集合中的每个样本图像对应的标注物品信息均是准确的,从而保证采用该样本信息集合中的样本图像及对应的标注物品信息训练的图像处理模型的准确性。其中,图像处理模型可以根据图像检测得到该图像中的物品信息,对物品信息进行处理。例如,在智能货柜场景下,图像处理模型可以根据用户未拿取物品时的第一图像及用户拿取物品之后的第二图像,得到第一图像对应的第一物品信息及第二图像对应的第二物品信息,对第一物品信息及第二物品信息进行处理,即可确定用户拿取的物品,为用户生成订单。
图1是本申请实施例提供的一种样本信息过滤方法的流程图。本申请实施例的执行主体为计算机设备,参见图1,该方法包括:
101、获取样本信息集合,样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型。
102、从样本信息集合中获取第一样本图像及对应的标注物品信息,标注物品信息包括第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量。
103、基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,检测物品信息包括第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量。
104、响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
本申请实施例提供的方法,获取样本信息集合,从样本信息集合中获取第一样本图像及对应的标注物品信息,基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。本申请实施例提供了一种样本信息过滤方法,可以基于物品检测模型,快速获取样本图像的检测物品信息,比较检测物品信息与标注物品信息是否不一致,如果不一致即可对样本图像及对应的标注物品信息进行过滤,方便快捷,不再需要技术人员审核样本信息集合中的每个样本图像,降低了人工成本,提高了过滤样本信息的效率。
可选地,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息之后,方法还包括:
当获取到第一样本图像更新后的标注物品信息时,将第一样本图像及更新后的标注物品信息重新添加至样本信息集合中。
可选地,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息,包括:
响应于第一样本图像的至少一个检测物品类别与至少一个标注物品类别不完全一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息;或者,
响应于第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
可选地,检测物品信息还包括第一样本图像中的每个目标物品的检测区域,标注物品信息还包括第一样本图像中的每个目标物品的标注区域;响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息,包括:
根据检测物品信息及标注物品信息,获取每个目标物品的区域重叠度;
响应于任一目标物品的区域重叠度不大于预设阈值,从样本信息集合中过滤第一样本图像及对应的标注物品信息;或者,
响应于第一样本图像中预设比例的目标物品的区域重叠度不大于预设阈值,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
可选地,根据检测物品信息及标注物品信息,获取每个目标物品的区域重叠度,包括:
对于第一样本图像中的每个目标物品,根据目标物品的检测区域及目标物品的标注区域,获取检测区域与标注区域的交集区域对应的第一面积,及检测区域与标注区域的并集区域对应的第二面积;
获取第一面积与第二面积之间的比值,将比值作为目标物品的区域重叠度。
可选地,样本信息集合包括样本图像子集合及标注信息子集合,从样本信息集合中获取第一样本图像及第一样本图像的标注物品信息,包括:
从样本图像子集合中获取第一样本图像及对应的样本图像标识;
根据样本图像标识,从标注信息子集合中查询样本图像标识对应的标注物品信息。
可选地,基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息之前,方法还包括:
获取第二样本图像、第二样本图像中的至少一个样本物品的样本类别和样本区域;
根据第二样本图像、第二样本图像中的至少一个样本物品的样本类别和样本区域,训练物品检测模型。
图2是本申请实施例提供的一种样本信息过滤方法的流程图。本申请实施例的执行主体为计算机设备,该计算机设备可以为终端,该终端可以为便携式、袖珍式、手持式等多种类型的终端,如手机、计算机、平板电脑等。或者,计算机设备也可以为服务器,该服务器可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。参见图2,该方法包括:
201、计算机设备获取样本信息集合,该样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型。
本申请实施例中,样本信息集合中包括样本图像及对应的标注物品信息,将样本图像及对应的标注物品信息作为样本信息,采用该样本信息训练图像处理模型,如果样本信息不准确,则训练出的图像处理模型的准确性较低。为了提高图像处理模型的准确性,采用本申请实施例提供的样本信息过滤方法,过滤样本信息集合中不准确的样本信息,以使样本信息集合中剩余的样本信息均为准确的样本信息,则采用该样本信息集合训练图像处理模型,能够保证图像处理模型的准确性。
本申请实施例中,任一图像中可以包括至少一个目标物品,图像的物品信息可以包括至少一个物品类别、每个物品类别对应的物品数量及目标物品的区域。其中,物品类别用于表示图像中的物品所属的类别,例如,对于各种饮料来说,物品类别可以包括矿泉水、牛奶、可乐或者其他类别。
其中,目标物品的区域用于表示目标物品在图像中所占的区域,该区域可以为长方形或者其他形状。
可选地,可以采用下述方式来表示目标物品的区域:将图像看作一个直角坐标系,以该图像的任一顶点作为直角坐标系的原点,以该顶点相连的两条边分别作为x轴和y轴。则目标物品的区域可以以目标物品标注的四个顶点的坐标来表示;或者,目标物品的区域可以以目标物品标注的长方形区域中任一对角线上的两个顶点的坐标来表示;或者还可以采用其他方式表示。
需要说明的是,本申请实施例仅是以区域为长方形为例进行说明,在另一实施例中,该区域如果为其他形状,可以采用其他方式进行表示,本申请实施例对区域的形状及区域的表示方式不做限制。
本申请实施例中,样本图像可以为任一图像,该样本图像中可以包括一个或多个物品。该样本图像对应的标注物品信息可以包括该样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量。
在一种可能实现方式中,样本图像对应的标注物品信息还包括样本图像中每个目标物品的标注区域,该标注区域用于标注出目标物品在样本图像中所占的区域。
可选地,样本图像中如果不包括任何物品,则该样本图像的标注物品信息可以为“无”,表示该样本图像没有对应的标注物品类别、标注物品数量及标注区域。
在一种可能实现方式中,样本信息集合包括样本图像子集合和标注信息子集合。其中,样本图像子集合中包括至少一个样本图像,且每个样本图像有唯一对应的样本图像标识,标注信息子集合中包括至少一个样本图像标识对应的标注物品信息。
并且,样本图像子集合与标注信息子集合相对应,也就是说,可以在标注信息子集合中查找到样本图像子集合中每个样本图像对应的标注物品信息,也可以在样本图像子集合中查找到标注信息子集合中每个标注物品信息对应的样本图像。
另外,在一种可能实现方式中,对于样本图像的标注过程,技术人员利用图像标注工具,可以采用长方形或者其他形状标注样本图像中每个物品的区域,标注每个区域中的物品的类别,并对每个物品类别的物品数量进行统计,从而实现对样本图像的标注。
202、计算机设备从样本信息集合中获取第一样本图像及对应的标注物品信息。
其中,第一样本图像为样本信息集合中的任一样本图像,标注物品信息包括第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量。在一种可能实现方式中,该标注物品信息还包括第一样本图像中的每个目标物品的标注区域。
可选地,在第一样本图像中不包括任何物品的情况下,该第一样本图像的标注物品信息不包括物品类别及物品数量,则该第一样本图像的标注物品类别可以为“无”,标注物品数量可以为“无”;或者,也可以采用其他方式表示不包括任何物品时的第一样本图像的标注物品信息。另外,在第一样本图像中包括至少一个物品,但是标注时认为不包括物品的情况下,第一样本图像的标注物品信息与不包括任何物品时的标注物品信息类似。
在一种可能实现方式中,当样本信息集合包括样本图像子集合和标注信息子集合时,计算机设备从样本图像子集合中获取第一样本图像及对应的样本图像标识;根据样本图像标识,从标注信息子集合中查询样本图像标识对应的标注物品信息。
203、计算机设备基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息。
本申请实施例中,计算机设备存储有训练完成的物品检测模型,获取存储的物品检测模型,从而基于物品检测而模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息。
其中,检测物品信息包括第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量。在一种可能实现方式中,第一样本图像对应的检测物品信息还包括第一样本图像中的目标物品的检测区域。
计算机设备将第一样本图像输入至物品检测模型,对该第一样本图像进行检测,可以检测出第一样本图像中每个目标物品的检测区域及对应的检测物品类别,统计第一样本图像中每个目标物品的检测物品类别,从而得到每个检测物品类别对应的检测物品数量。
可选地,在第一样本图像中不包括任何物品的情况下,该第一样本图像的检测物品信息不包括物品类别及物品数量,则该第一样本图像的检测物品类别可以为“无”,检测物品数量可以为“无”;或者,也可以采用其他方式表示不包括任何物品时的第一样本图像的检测物品信息。另外,在第一样本图像中包括至少一个物品,但是检测时认为不包括物品的情况下,第一样本图像的检测物品信息与不包括任何物品时的检测物品信息类似。
另外,计算机设备基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息之前,需要对物品检测模型进行训练,参加图3,物品检测模型的训练过程如下述步骤所示:
2031、计算机设备获取第二样本图像、第二样本图像中的至少一个样本物品的样本类别和样本区域。
2032、计算机设备根据第二样本图像、第二样本图像中的至少一个样本物品的样本类别和样本区域,训练物品检测模型。
其中,第二样本图像用于训练物品检测模型,第二样本图像与上述步骤中的第一样本图像类似,可选地,该第二样本图像也可以用于训练图像处理模型。
例如,计算机设备将第二样本图像输入至物品检测模型,基于物品检测模型,得到至少一个样本物品的预测类别和预测区域,比较每个样本物品的预测类别与样本类别之间的第一差异,比较每个样本物品的预测区域与样本区域之间的第二差异,根据第一差异和第二差异,调整物品检测模型中的各项参数,以减小第一差异和第二差异,以使物品检测模型学习到根据图像获取图像的物品信息的能力。其中,预测物品信息包括至少一个样本物品的预测类别与预测区域,样本物品信息包括至少一个样本物品的样本类别与样本区域。
在一种可能实现方式中,计算机设备获取用于训练物品检测模型的另一样本信息集合,该另一样本信息集合中包括样本图像及对应的标注物品信息,但是该另一样本信息集合与上述步骤201中的样本信息集合包含的样本信息可以不同。
将该另一样本信息集合中的样本信息,按照预设比例划分为两部分,将一部分样本信息作为训练集,将另一部分样本信息作为验证集。其中,训练集中的样本信息用于训练物品检测模型,验证集中的样本信息用于验证训练得到的物品检测模型的准确性,从而确定物品检测模型是否训练完成。
204、计算机设备响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
本申请实施例中,计算机设备通过对比第一样本图像的检测物品信息和标注物品信息,确定检测物品信息与标注物品信息是否一致,如果不一致,则从样本信息集合中过滤第一样本图像及对应的标注物品信息,即删除样本信息集合中的第一样本图像及对应的标注物品信息。
具体地,可以采用下述方式,确定检测物品信息与标注物品信息是否一致:
在一种可能实现方式中,计算机设备通过对比检测物品类别与标注物品类别,确定检测物品信息与标注物品信息是否一致。计算机设备响应于第一样本图像的至少一个检测物品类别与至少一个标注物品类别不完全一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
其中,不完全一致是指将至少一个检测物品类别与至少一个标注物品类别相比较,至少一个检测物品类别中不包括任一个或多个标注物品类别,或者至少一个标注物品类别中不包括任一个或多个检测物品类别。
例如,检测物品类别包括矿泉水、牛奶和面包,标注物品类别包括矿泉水、酸奶和面包,则物品检测模型检测到了牛奶,而标注物品信息中并没有牛奶,说明三个检测物品类别与三个标注物品类别不完全一致。
可选地,计算机设备对比检测物品类别的数量与标注物品类别的数量,如果检测类别的数量与标注类别的数量不同,则确定至少一个检测物品类别与至少一个标注物品类别不完全一致,即可确定检测物品信息与标注物品信息不一致,不需要对比具体的物品类别。如果检测类别的数量与标注类别的数量相同,则通过对比具体的物品类别,确定至少一个检测物品类别与至少一个标注物品类别是否完全一致。
在另一种可能实现方式中,计算机设备通过对任一物品类别对应的检测物品数量与标注物品数量,确定检测物品信息与标注物品信息是否一致。计算机设备响应于第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
可选地,计算机设备响应于第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息,包括:计算机设备响应于第一样本图像的至少一个检测物品类别与标注物品类别一致,而第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
在另一种可能实现方式中,当检测物品信息还包括第一样本图像中的每个目标物品的检测区域,标注物品信息还包括第一样本图像中的每个目标物品的标注区域时,计算机设备通过每个目标物品的检测区域与标注区域,确定检测物品信息与标注物品信息是否一致。
计算机设备根据检测物品信息及标注物品信息,获取每个目标物品的区域重叠度。其中,区域重叠度用于表示目标物品的标注区域的准确度,区域重叠度越大则目标物品的检测区域与标注区域的重叠区域越大,标注区域越准确。
计算机设备响应于任一目标物品的区域重叠度不大于预设阈值,从样本信息集合中过滤第一样本图像及对应的标注物品信息。也就是说,第一样本图像中如果有一个目标物品的区域重叠度不大于预设阈值,即可确定检测物品信息与标注物品信息不一致。其中,预设阈值为大于0小于1的任一数值,如果对标注区域的准确度要求较高,则可以设置一个较大的预设阈值,如果对标注区域的准确度要求较低,则可以设置一个较小的预设阈值。
可选地,计算机设备响应于第一样本图像中预设比例的目标物品的区域重叠度不大于预设阈值,从样本信息集合中过滤第一样本图像及对应的标注物品信息。其中,预设比例可以为任一比例。例如,预设比例可以为二分之一、三分之一或者其他比例。
例如,第一样本图像中包括20个目标物品,预设比例为二分之一,如果有10个或10个以上的目标物品的区域重叠度不大于预设阈值,确定检测物品信息与标注物品信息不一致。
可选地,计算机设备根据检测物品信息及标注物品信息,获取每个目标物品的区域重叠度,包括:对于第一样本图像中的每个目标物品,根据目标物品的检测区域及目标物品的标注区域,获取检测区域与标注区域的交集区域对应的第一面积,及检测区域与标注区域的并集区域对应的第二面积;获取第一面积与第二面积之间的比值,将比值作为目标物品的区域重叠度。
例如,参见图4,以第一样本图像400的左下角为直角坐标系的原点,图4中包括区域401、区域402和区域403,其中,检测区域包括区域401和区域402,标注区域包括区域402和区域403,交集区域为区域402,并集区域包括区域401、区域402和区域403,则目标物品的区域重叠度为区域402对应的第一面积与区域401、区域402和区域403对应的第二面积之间的比值。
另外,如果目标物品的检测区域与标注区域之间不存在重叠的部分,或者,没有检测到目标物品的检测区域,或者,没有标注目标物品的标注区域,则直接确定目标物品的区域重叠度为0。
可选地,可以采用IOU(Intersection over Union,交并比)来确定第一样本图像中目标物体的标注区域是否准确。
在一种可能实现方式中,计算机设备先对比检测物品类别与标注物品类别,如果检测物品类别与标注物品类别不一致,则进行过滤处理,如果检测物品类别与标注物品类别完全一致,对比任一个或多个物品类别对应的检测物品数量与标注物品数量,如果任一物品类别对应的检测物品数量与标注物品数量不一致,则进行过滤处理,如果每个物品类别对应的检测物品数量与标注物品数量均一致,则通过每个目标物品的检测区域与标注区域,确定是否从样本信息集合中过滤第一样本图像及对应的标注物品信息。
另外,检测物品信息与标注物品信息不一致时,包括三种情况:第一种是标注物品信息不准确,检测物品信息准确;第二种是标注物品信息准确,检测物品信息不准确;第三种是标注物品信息不准确,检测物品信息也不准确。无论是哪种情况,都需要从样本信息集合中过滤第一样本图像及对应的标注物品信息,由技术人员重新审核第一样本图像的标注物品信息。
205、当获取到第一样本图像更新后的标注物品信息时,计算机设备将第一样本图像及更新后的标注物品信息重新添加至样本信息集合中。
本申请实施例中,从样本信息集合中过滤第一样本图像及对应的标注物品信息后,由技术人员对过滤的第一样本图像的标注物品信息进行审核,如果物品信息标注错误,则重新对物品信息进行标注,得到第一样本图像更新后的标注物品信息,提交给计算机设备,计算机设备获取第一样本图像更新后的标注物品信息,将第一样本图像及更新后的标注物品信息重新添加至样本信息集合中。
在一种可能实现方式中,计算机设备将第一样本图像及更新后的标注物品信息重新添加至样本信息集合中之后,再次执行上述步骤202-步骤205,直至第一样本图像的检测物品信息与标注物品信息一致。
需要说明的是,本申请实施例仅是以一个第一样本图像为例进行说明,在另一实施例中,可以采用上述步骤202-205对样本信息集合中的多个样本图像及对应的标注物品信息进行过滤处理。
本申请实施例中提供的方法,获取样本信息集合,从样本信息集合中获取第一样本图像及对应的标注物品信息,基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。本申请实施例提供了一种样本信息过滤方法,可以基于物品检测模型,快速获取样本图像的检测物品信息,比较检测物品信息与标注物品信息是否不一致,如果不一致即可对样本图像及对应的标注物品信息进行过滤,方便快捷,不再需要技术人员审核样本信息集合中的每个样本图像,降低了人工成本,提高了过滤样本信息的效率。
另外,图5是本申请实施例提供的另一种样本信息过滤方法的流程图,参见图5,该方法包括:
501、获取样本信息集合,样本信息集合中包括样本图像及对应的标注物品信息,该样本信息集合中的样本信息及对应的标注物品信息用于训练图像处理模型。
502、将样本信息集合分为第一样本信息集合和第二样本信息集合。例如,第一样本信息集合中的样本信息用于训练物品检测模型;第二样本信息集合中的样本信息为待检测的样本信息。
503、利用第一样本信息集合中的样本图像及对应的标注物品信息训练物品检测模型。
504、利用训练完成的物品检测模型对第二样本信息集合中的样本图像进行检测,得到检测物品信息。
505、判断检测物品信息与标注物品信息是否一致,如果否,则执行步骤506,如果是,则执行步骤508。
506、审核样本图像的标注物品信息是否准确,如果否,则执行步骤507,如果是,则执行步骤508。
507、更新样本图像的标注物品信息。
508、更新第二样本信息集合。更新第二样本信息集合包括:将样本图像及更新后的标注物品信息重新添加至第二样本信息集合,得到更新后的第二样本信息集合;或者,样本图像的检测物品信息与标注物品信息一致,或审核之后确定样本图像的标注物品信息是准确的,则不需要更新样本图像的标注物品信息。
509、判断样本信息集合中的全部样本图像对应的标注物品信息是否已经检测完成,如果是,则完成对样本信息集合的过滤处理,后续可以根据该样本信息集合中的样本图像及对应的标注物品信息训练图像处理模型。
如果否,则再次执行步骤502,对样本信息集合中未检测的样本图像进行检测。也就是说,再次将样本信息集合分为第一样本信息集合和第二样本信息集合,第一样本信息集合中的样本信息仍然用于训练物品检测模型,第二样本信息集合中的样本信息仍然是待检测的样本信息,不同的是,再次划分得到的第二样本信息集合中的样本信息是未采用物品检测模型检测过的样本信息,且第一样本信息集合中包括已经检测完成的样本信息。
例如,将样本信息集合分为第一子集合、第二子集合及第三子集合三个子集合,任两个子集合中包括的样本信息不同,对样本信息集合中的样本信息进行迭代检测。即利用第二子集合和第三子集合中的样本信息训练物品检测模型,利用训练完成的物品检测模型检测第一子集合中的样本信息,对第一子集合中的样本信息进行更新;然后利用更新后的第一子集合和第三子集合中的样本信息训练新的物品检测模型,利用训练完成的物品检测模型检测第二子集合中的样本信息,对第二子集合中的样本信息进行更新;然后利用更新后的第一子集合和更新后的第二子集合中的样本信息训练新的物品检测模型,利用训练完成的物品检测模型检测第三子集合中的样本信息,对第三子集合中的样本信息进行更新,从而完成对样本信息集合中的全部样本信息的检测。
图5所示的实施例中样本信息过滤方法的具体实施方式与上述图2所示的实施例中的具体实施方式类似,在此不再赘述。
图6是本申请实施例提供的一种样本信息过滤装置的结构示意图。参见图6,该装置包括:
集合获取模块601,用于获取样本信息集合,样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型;
第一样本信息获取模块602,用于从样本信息集合中获取第一样本图像及对应的标注物品信息,标注物品信息包括第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量;
检测信息获取模块603,用于基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,检测物品信息包括第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量;
样本信息过滤模块604,用于响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
本申请实施例提供的装置,获取样本信息集合,从样本信息集合中获取第一样本图像及对应的标注物品信息,基于物品检测模型,对第一样本图像进行检测,得到第一样本图像对应的检测物品信息,响应于检测物品信息与标注物品信息不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。该装置可以基于物品检测模型,快速获取样本图像的检测物品信息,比较检测物品信息与标注物品信息是否不一致,如果不一致即可对样本图像及对应的标注物品信息进行过滤,方便快捷,不再需要技术人员审核样本信息集合中的每个样本图像,降低了人工成本,提高了过滤样本信息的效率。
可选地,参见图7,该装置还包括:
样本信息添加模块605,用于当获取到第一样本图像更新后的标注物品信息时,将第一样本图像及更新后的标注物品信息重新添加至样本信息集合中。
可选地,参见图7,样本信息过滤模块604,包括:
第一过滤单元6041,用于响应于第一样本图像的至少一个检测物品类别与至少一个标注物品类别不完全一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息;或者,
第二过滤单元6042,用于响应于第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
可选地,检测物品信息还包括第一样本图像中的每个目标物品的检测区域,标注物品信息还包括第一样本图像中的每个目标物品的标注区域;参见图7,样本信息过滤模块604,包括:
重叠度获取单元6043,用于根据检测物品信息及标注物品信息,获取每个目标物品的区域重叠度;
第三过滤单元6044,用于响应于任一目标物品的区域重叠度不大于预设阈值,从样本信息集合中过滤第一样本图像及对应的标注物品信息;或者,
第四过滤单元6045,用于响应于第一样本图像中预设比例的目标物品的区域重叠度不大于预设阈值,从样本信息集合中过滤第一样本图像及对应的标注物品信息。
可选地,参见图7,重叠度获取单元603,还用于:
对于第一样本图像中的每个目标物品,根据目标物品的检测区域及目标物品的标注区域,获取检测区域与标注区域的交集区域对应的第一面积,及检测区域与标注区域的并集区域对应的第二面积;
获取第一面积与第二面积之间的比值,将比值作为目标物品的区域重叠度。
可选地,样本信息集合包括样本图像子集合及标注信息子集合,参见图7,第一样本信息获取模块601,包括:
样本图像获取单元6011,用于从样本图像子集合中获取第一样本图像及对应的样本图像标识;
标注信息获取单元6012,用于根据样本图像标识,从标注信息子集合中查询样本图像标识对应的标注物品信息。
可选地,参见图7,该装置还包括:
第二样本信息获取模块606,用于获取第二样本图像、第二样本图像中的至少一个样本物品的样本类别和样本区域;
模型训练模块607,用于根据第二样本图像、第二样本图像中的至少一个样本物品的样本类别和样本区域,训练物品检测模型。
需要说明的是:上述实施例提供的样本信息过滤装置在进行样本信息过滤时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的样本信息过滤装置与样本信息过滤方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8示出了本申请一个示例性实施例提供的终端800的结构示意图。终端800用于执行上述实施例中的样本信息过滤方法。
通常,终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所具有以实现本申请中方法实施例提供的样本信息过滤方法。
在一些实施例中,终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端800的前面板,后置摄像头设置在终端800的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于应用或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、应用控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商标志集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图9是本申请实施例提供的一种服务器的结构示意图,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)901和一个或一个以上的存储器902,其中,存储器902中存储有至少一条指令,该至少一条指令由处理器901加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器900可以用于执行上述样本信息过滤方法中计算机设备所执行的步骤。
本申请实施例还提供了一种用于直播教学的计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的样本信息过滤方法中所执行的操作。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的样本信息过滤方法中所执行的操作。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的样本信息过滤方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种样本信息过滤方法,其特征在于,所述方法包括:
获取样本信息集合,所述样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型;
从所述样本信息集合中获取第一样本图像及对应的标注物品信息,所述标注物品信息包括所述第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量;
基于物品检测模型,对所述第一样本图像进行检测,得到所述第一样本图像对应的检测物品信息,所述检测物品信息包括所述第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量;
响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息之后,所述方法还包括:
当获取到所述第一样本图像更新后的标注物品信息时,将所述第一样本图像及更新后的标注物品信息重新添加至所述样本信息集合中。
3.根据权利要求1所述的方法,其特征在于,所述响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息,包括:
响应于所述第一样本图像的至少一个检测物品类别与至少一个标注物品类别不完全一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息;或者,
响应于所述第一样本图像的任一物品类别对应的检测物品数量与标注物品数量不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
4.根据权利要求1所述的方法,其特征在于,所述检测物品信息还包括所述第一样本图像中的每个目标物品的检测区域,所述标注物品信息还包括所述第一样本图像中的每个目标物品的标注区域;所述响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息,包括:
根据所述检测物品信息及所述标注物品信息,获取每个目标物品的区域重叠度;
响应于任一目标物品的区域重叠度不大于预设阈值,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息;或者,
响应于所述第一样本图像中预设比例的目标物品的区域重叠度不大于预设阈值,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述检测物品信息及所述标注物品信息,获取每个目标物品的区域重叠度,包括:
对于所述第一样本图像中的每个目标物品,根据所述目标物品的检测区域及所述目标物品的标注区域,获取所述检测区域与所述标注区域的交集区域对应的第一面积,及所述检测区域与所述标注区域的并集区域对应的第二面积;
获取所述第一面积与所述第二面积之间的比值,将所述比值作为所述目标物品的区域重叠度。
6.根据权利要求1所述的方法,其特征在于,所述样本信息集合包括样本图像子集合及标注信息子集合,所述从所述样本信息集合中获取第一样本图像及所述第一样本图像的标注物品信息,包括:
从所述样本图像子集合中获取所述第一样本图像及对应的样本图像标识;
根据所述样本图像标识,从所述标注信息子集合中查询所述样本图像标识对应的标注物品信息。
7.根据权利要求1所述的方法,其特征在于,所述基于物品检测模型,对所述第一样本图像进行检测,得到所述第一样本图像对应的检测物品信息之前,所述方法还包括:
获取第二样本图像、所述第二样本图像中的至少一个样本物品的样本类别和样本区域;
根据所述第二样本图像、所述第二样本图像中的至少一个样本物品的样本类别和样本区域,训练所述物品检测模型。
8.一种样本信息过滤装置,其特征在于,所述装置包括:
集合获取模块,用于获取样本信息集合,所述样本信息集合中的样本图像及对应的标注物品信息用于训练图像处理模型;
样本信息获取模块,用于从所述样本信息集合中获取第一样本图像及对应的标注物品信息,所述标注物品信息包括所述第一样本图像的至少一个标注物品类别和每个标注物品类别对应的标注物品数量;
检测信息获取模块,用于基于物品检测模型,对所述第一样本图像进行检测,得到所述第一样本图像对应的检测物品信息,所述检测物品信息包括所述第一样本图像的至少一个检测物品类别和每个检测物品类别对应的检测物品数量;
样本信息过滤模块,用于响应于所述检测物品信息与所述标注物品信息不一致,从所述样本信息集合中过滤所述第一样本图像及对应的标注物品信息。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至7任一权利要求所述的样本信息过滤方法中所执行的操作。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至7任一权利要求所述的样本信息过滤方法中所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010199772.8A CN111444945A (zh) | 2020-03-20 | 2020-03-20 | 样本信息过滤方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010199772.8A CN111444945A (zh) | 2020-03-20 | 2020-03-20 | 样本信息过滤方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111444945A true CN111444945A (zh) | 2020-07-24 |
Family
ID=71654157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010199772.8A Pending CN111444945A (zh) | 2020-03-20 | 2020-03-20 | 样本信息过滤方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444945A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000808A (zh) * | 2020-09-29 | 2020-11-27 | 迪爱斯信息技术股份有限公司 | 一种数据处理方法及装置、可读存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734296A (zh) * | 2017-04-21 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 优化监督学习的训练数据的方法、装置、电子设备和介质 |
CN108830329A (zh) * | 2018-06-22 | 2018-11-16 | 北京字节跳动网络技术有限公司 | 图片处理方法和装置 |
CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
CN109635110A (zh) * | 2018-11-30 | 2019-04-16 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备以及计算机可读存储介质 |
CN109670437A (zh) * | 2018-12-14 | 2019-04-23 | 腾讯科技(深圳)有限公司 | 年龄预估模型训练方法、面部图像识别方法及装置 |
CN109697468A (zh) * | 2018-12-24 | 2019-04-30 | 苏州科达科技股份有限公司 | 样本图像的标注方法、装置及存储介质 |
US20190279017A1 (en) * | 2018-03-09 | 2019-09-12 | Ricoh Co., Ltd. | User Interface for Object Detection and Labeling |
CN110443366A (zh) * | 2019-07-30 | 2019-11-12 | 上海商汤智能科技有限公司 | 神经网络的优化方法及装置、目标检测方法及装置 |
CN110443212A (zh) * | 2019-08-12 | 2019-11-12 | 睿魔智能科技(深圳)有限公司 | 用于目标检测的正样本获取方法、装置、设备及存储介质 |
CN110598757A (zh) * | 2019-08-23 | 2019-12-20 | 国网山东省电力公司电力科学研究院 | 一种输电线路的施工机械隐患检测方法 |
CN110610175A (zh) * | 2019-08-06 | 2019-12-24 | 深圳市华付信息技术有限公司 | 一种ocr数据误标注清洗方法 |
CN110796201A (zh) * | 2019-10-31 | 2020-02-14 | 深圳前海达闼云端智能科技有限公司 | 一种标注框的修正方法、电子设备及存储介质 |
CN110866476A (zh) * | 2019-11-06 | 2020-03-06 | 南京信息职业技术学院 | 一种基于自动标注和迁移学习的密集堆垛目标检测方法 |
-
2020
- 2020-03-20 CN CN202010199772.8A patent/CN111444945A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734296A (zh) * | 2017-04-21 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 优化监督学习的训练数据的方法、装置、电子设备和介质 |
US20190279017A1 (en) * | 2018-03-09 | 2019-09-12 | Ricoh Co., Ltd. | User Interface for Object Detection and Labeling |
CN108830329A (zh) * | 2018-06-22 | 2018-11-16 | 北京字节跳动网络技术有限公司 | 图片处理方法和装置 |
CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
CN109635110A (zh) * | 2018-11-30 | 2019-04-16 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备以及计算机可读存储介质 |
CN109670437A (zh) * | 2018-12-14 | 2019-04-23 | 腾讯科技(深圳)有限公司 | 年龄预估模型训练方法、面部图像识别方法及装置 |
CN109697468A (zh) * | 2018-12-24 | 2019-04-30 | 苏州科达科技股份有限公司 | 样本图像的标注方法、装置及存储介质 |
CN110443366A (zh) * | 2019-07-30 | 2019-11-12 | 上海商汤智能科技有限公司 | 神经网络的优化方法及装置、目标检测方法及装置 |
CN110610175A (zh) * | 2019-08-06 | 2019-12-24 | 深圳市华付信息技术有限公司 | 一种ocr数据误标注清洗方法 |
CN110443212A (zh) * | 2019-08-12 | 2019-11-12 | 睿魔智能科技(深圳)有限公司 | 用于目标检测的正样本获取方法、装置、设备及存储介质 |
CN110598757A (zh) * | 2019-08-23 | 2019-12-20 | 国网山东省电力公司电力科学研究院 | 一种输电线路的施工机械隐患检测方法 |
CN110796201A (zh) * | 2019-10-31 | 2020-02-14 | 深圳前海达闼云端智能科技有限公司 | 一种标注框的修正方法、电子设备及存储介质 |
CN110866476A (zh) * | 2019-11-06 | 2020-03-06 | 南京信息职业技术学院 | 一种基于自动标注和迁移学习的密集堆垛目标检测方法 |
Non-Patent Citations (3)
Title |
---|
BIN-BIN GAO等: "Deep Label Distribution Learning With Label Ambiguity", 《ARXIV:1611.01731V2》 * |
廖祥文等: "结合表示学习和迁移学习的跨领域情感分类", 《北京大学学报(自然科学版)》 * |
张雲轲: "基于深度学习的车辆检测算法研究及系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000808A (zh) * | 2020-09-29 | 2020-11-27 | 迪爱斯信息技术股份有限公司 | 一种数据处理方法及装置、可读存储介质 |
CN112000808B (zh) * | 2020-09-29 | 2024-04-16 | 迪爱斯信息技术股份有限公司 | 一种数据处理方法及装置、可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110798790B (zh) | 麦克风异常检测方法、装置及存储介质 | |
CN110490179B (zh) | 车牌识别方法、装置及存储介质 | |
CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
CN109522863B (zh) | 耳部关键点检测方法、装置及存储介质 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN111127509A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN112270718A (zh) | 摄像头标定方法、装置、系统及存储介质 | |
CN110647881A (zh) | 确定图像对应的卡片类型的方法、装置、设备及存储介质 | |
CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN113627413A (zh) | 数据标注方法、图像比对方法及装置 | |
CN111586279B (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN111192072A (zh) | 用户分群方法及装置、存储介质 | |
CN111753606A (zh) | 一种智能模型的升级方法及装置 | |
CN111127541A (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN110990728B (zh) | 兴趣点信息的管理方法、装置、设备及存储介质 | |
CN111723124B (zh) | 数据碰撞分析的方法、装置、电子设备和存储介质 | |
CN111444945A (zh) | 样本信息过滤方法、装置、计算机设备及存储介质 | |
CN112804481B (zh) | 监控点位置的确定方法、装置及计算机存储介质 | |
CN114598992A (zh) | 信息交互方法、装置、设备及计算机可读存储介质 | |
CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
CN111294320B (zh) | 数据转换的方法和装置 | |
CN110728275B (zh) | 车牌识别方法、装置及存储介质 | |
CN112990424A (zh) | 神经网络模型训练的方法和装置 | |
CN111159168A (zh) | 数据处理方法和装置 | |
CN112135256A (zh) | 移动轨迹的确定方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200724 |