CN110110594B - 一种产品分布识别方法和装置 - Google Patents

Abstract

本发明公开了一种产品分布识别方法，包括：判断待检测图像中是否含有第一目标产品；当待检测图像中含有第一目标产品时，获取第一目标产品的产品信息；根据第一目标产品的产品信息判断第一目标产品在待检测图像中是否处于密集分布状态；当第一目标产品在待检测图像中处于密集分布状态时，对待检测图像进行分割，以得到若干个局部块图像；对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；融合第一目标产品的产品信息和第二目标产品的产品信息，输出产品分布的识别结果。本发明还公开了一种产品分布识别装置。本发明实施例能够提升检测精度和提高数据准确性。

Description

一种产品分布识别方法和装置

技术领域

本发明涉及图像识别领域，尤其涉及一种产品分布识别方法和装置。

背景技术

随着大数据的广泛应用，各生产厂家为了快速准确获取相关产品在市场上的销售信息，需要从各销售网点搜集大量的数据，其中一个主要信息就是产品在销售网点的摆放信息，包括产品(含竞品)在货架和冰箱、以及产品在MIT(普通地堆)和割箱上的摆放信息等，但是生产厂家从各销售网点获得的数据多为图像数据，为了将图像转化成便于统计的数字信息，需要花费大量的人员对海量图像数据进行分析，少则几十G，多则几百G，让人眼花缭乱，且人工分析会出现查不准、瞒报错报和时效性差等现象，影响生产厂家获取数据准确性和时效性，最终影响到商机预测。人工对海量图像数据影响到收集数据的准确性和时效性，且现有图像识别技术对密集目标和小目标的检测效果较差，无法准确识别。

发明内容

本发明实施例的目的是提供一种产品分布识别方法和装置，能够避免人为因素影响，提升产品识别的检测精度以及提高分析数据的准确性。

为实现上述目的，本发明实施例提供了一种产品分布识别方法，包括：

判断待检测图像中是否含有第一目标产品；

当待检测图像中含有第一目标产品时，获取第一目标产品的产品信息；

根据第一目标产品的产品信息判断第一目标产品在待检测图像中是否处于密集分布状态；

当第一目标产品在待检测图像中处于密集分布状态时，对待检测图像进行分割，以得到若干个局部块图像；

对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；

融合第一目标产品的产品信息和第二目标产品的产品信息，以删除重复检测的产品后输出产品分布的识别结果。

与现有技术相比，本发明公开的产品分布识别方法通过对获取的待检测图像进行多次识别，使目标检测精度大大提升，当目标产品在待检测图像中处于密集分布时，采用对待检测图像进行分割的方法后进一步识别，能够提高分析数据的准确性。解决了现有技术中采用人工对海量图像数据进行处理，无法准确识别产品的问题，能够避免人为因素影响，提升产品识别的检测精度以及提高分析数据的准确性。

作为上述方案的改进，方法还包括：

当待检测图像中不含有第一目标产品时，对待检测图像进行分割，以得到若干个局部块图像；

对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；

输出第二目标产品的产品信息为产品分布的识别结果。

作为上述方案的改进，方法还包括：

当第一目标产品在待检测图像中处于非密集分布状态时，输出第一目标产品的产品信息为产品分布的识别结果。

与现有技术相比，本发明公开的产品分布识别方法在产品的尺寸过小而导致在待检测图片中无法识别出来时，直接对待检测图像进行分割，从而对分割后的局部块图像进行识别，进而获取目标产品，不会遗漏掉待检测图像中过小的产品，提高检测精度。

作为上述方案的改进，判断获取的待检测图像中是否含有第一目标产品，包括：

判断待检测图像中产品的检测率是否大于预设的第一置信度；

若是，则判定检测率大于第一置信度的产品为第一目标产品；若否，则判定待检测图像中不含有第一目标产品。

作为上述方案的改进，对每一局部块图像进行识别，具体包括：

获取局部块图像中检测率大于第二置信度的产品为第二目标产品。

作为上述方案的改进，根据第一目标产品的产品信息判断第一目标产品在待检测图像中是否处于密集分布状态，包括：

获取待检测图像中横向尺寸最小的第一目标产品；

根据第一目标产品的最小横向尺寸计算待检测图像的密集值；

判断密集值是否小于预设的密集阈值；

若是，则判定第一目标产品在待检测图像中处于密集分布状态；若否，则判定第一目标产品在待检测图像中处于非密集分布状态。

作为上述方案的改进，根据第一目标产品的最小横向尺寸计算待检测图像的密集值，包括：

获取第一目标产品的最小横向尺寸与待检测图像的横向尺寸的比值为待检测图像的密集值。

作为上述方案的改进，当第一目标产品在待检测图像中处于密集分布状态时，对待检测图像进行分割，包括：

根据预设尺寸对待检测图像进行分割；其中，预设尺寸为最小横向尺寸与预设比例的乘积。

与现有技术相比，本发明公开的产品分布识别方法通过以第一目标产品的最小横向尺寸作为切割待检测图像的依据，能够保证切割后的局部块图像的尺寸适中，从而提高识别目标产品的识别速度。

作为上述方案的改进，融合第一目标产品的产品信息和第二目标产品的产品信息，输出产品分布的识别结果，包括：

判断第一目标产品与第二目标产品的重复率是否大于预设重复率阈值；

若是，则删除与第一目标产品重复的第二目标产品；若否，则保留第二目标产品；

输出第一目标产品的产品信息和第二目标产品的产品信息为产品分布的识别结果。

本发明实施例还提供了一种产品分布识别装置，包括：

第一目标产品判断模块，用于判断待检测图像中是否含有第一目标产品；

第一目标产品获取模块，用于当待检测图像中含有第一目标产品时，获取第一目标产品的产品信息；

密集状态判断模块，用于根据第一目标产品的产品信息判断第一目标产品在待检测图像中是否处于密集分布状态；

待检测图像分割模块，用于当第一目标产品在待检测图像中处于密集分布状态时，对待检测图像进行分割，以得到若干个局部块图像；

第二目标产品获取模块，用于对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；

识别结果输出模块，用于融合第一目标产品的产品信息和第二目标产品的产品信息，以删除重复检测的产品后输出产品分布的识别结果。

与现有技术相比，本发明公开的产品分布识别方法和装置使目标检测精度大大提升，提高分析数据的准确性。解决了现有技术中采用人工对海量图像数据进行处理，无法准确识别产品的问题，能够避免人为因素影响，提升产品识别的检测精度以及提高分析数据的准确性。

附图说明

图1是本发明实施例提供的一种产品分布识别方法的流程图；

图2是本发明实施例提供的一种产品分布识别方法中步骤S13的流程图；

图3是本发明实施例提供的另一种产品分布识别方法的流程图；

图4是本发明实施例提供的一种产品分布识别方法的另一流程图；

图5是本发明实施例提供的一种产品分布识别装置10的结构示意图。

具体实施方式

实施例一

参见图1，一种产品分布识别方法的流程图；包括：

S11、判断待检测图像中是否含有第一目标产品；

S12、当待检测图像中含有第一目标产品时，获取第一目标产品的产品信息；

S13、根据第一目标产品的产品信息判断第一目标产品在待检测图像中是否处于密集分布状态；

S14、当第一目标产品在待检测图像中处于密集分布状态时，对待检测图像进行分割，以得到若干个局部块图像；

S15、对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；

S16、融合第一目标产品的产品信息和第二目标产品的产品信息，以删除重复检测的产品后输出产品分布的识别结果。

具体的，在步骤S11中，通过手机或其他终端采集仪器获取商品图像作为待检测图像，待检测图像的图像尺寸信息记为Width、Height，并采用基于深度学习的目标检测技术(比如：训练后的模式识别的神经网络算法)进行预检测，即将待检测图像作为输入，初次识别得到不同产品的产品信息。优选的，产品信息包括但不限于产品的类型、坐标信息和尺寸信息。优选的，产品的类型为饮料食品，比如：康师傅冰红茶、脉动饮料等瓶装饮料。

优选的，判断获取的待检测图像中是否含有第一目标产品，包括：判断待检测图像中产品的检测率是否大于预设的第一置信度；若是，则判定检测率大于第一置信度的产品为第一目标产品；若否，则判定待检测图像中不含有第一目标产品。

第一置信度可以设为T1＝0.9，即当检测到待检测图像中的产品时，判断是否能够提取出当前产品在待检测图像的起始坐标以及尺寸(长度、宽度)，此时，产品的检测率可以根据当前产品检测到的起始坐标、长度和宽度来设定。比如，若当前产品能够检测到起始坐标、长度和宽度，则判定当前产品的检测率大于第一置信度；若当前产品仅能够检测到起始坐标和宽度，无法检测长度，则判定当前产品的检测率小于第一置信度。

具体的，在步骤S12中，当判定待检测图像中含有第一目标产品时，获取第一目标产品的产品信息，此时所有第一目标产品的集合表示为G1＝[a,b,c,d,e...]，其中a表示G1中的任一个第一目标产品，a在待检测图像上的起始位置坐标Xa、Ya,尺寸为Wa、Ha，以此类推；

具体的，在步骤S13中，参见图2，进一步判断第一目标产品在待检测图像中是否处于密集分布状态；包括：

S131、获取待检测图像中横向尺寸最小的第一目标产品；

S132、根据第一目标产品的最小横向尺寸计算待检测图像的密集值；

S133、判断密集值是否小于预设的密集阈值；

S134、若是，则判定第一目标产品在待检测图像中处于密集分布状态；若否，则判定第一目标产品在待检测图像中处于非密集分布状态。

优选的，获取第一目标产品的最小横向尺寸与待检测图像的横向尺寸的比值为待检测图像的密集值。

利用货物摆放规律，将所有第一目标产品中横向尺寸最小的用于密集值的计算，假如第一目标产品a＝min(G1)的最小横向尺寸为Wa，则密集值为Ma＝Wa/Width。优选的，预设的密集阈值可以设为Mamax＝0.1，当Ma<0.1时，则判定第一目标产品在待检测图像中处于密集分布状态；当Ma≥0.1时，判定第一目标产品在待检测图像中处于非密集分布状态。

具体的，在步骤S14中，根据预设尺寸对待检测图像进行分割；其中，预设尺寸为最小横向尺寸与预设比例的乘积。

通过二次识别区域划分实现多分辨率检测，先进行横方向区域划分,每局部块的横方向尺寸为Lw＝Wa*10，其中，Wa为步骤S13中得到的最小横向尺寸，预设比例设为10；每张图像横方向用Lw块大小进行平分，最后一块不足Lw，向左补齐，横向被分成Nw＝(Width/Lw+0.5)个局部块，局部块纵方向尺寸和横方向尺寸一致为Lh＝Lw,同样原理计算出纵方向局部块个数Nh，所以原始的待检测图像被细分成Nw*Nh个局部块图像。

优选的，当判定第一目标产品在待检测图像中处于非密集分布状态时，输出第一目标产品的产品信息为产品分布的识别结果。此时表明待检测图像识别的结果较为准确，无需再进一步对待检测图像进行分割。

具体的，在步骤S15中，对每一局部块图像进行识别，具体包括：获取局部块图像中检测率大于第二置信度的产品为第二目标产品。

具体的，在识别每一局部块图像中的第二目标产品时，同样是需要通过置信度来确定。判断局部块图像中是否含有第二目标产品，包括：判断局部块图像中产品的检测率是否大于预设的第二置信度；若是，则判定检测率大于第二置信度的产品为第二目标产品；若否，则判定局部块图像中不含有第二目标产品，此时得到第二目标产品的合集为G2＝[A,B,C,D,E...]；其中，A表示G2中的任一个第二目标产品。第二置信度可以设为T2＝0.7(T1>T2,其中阈值T1是保证检出的所有目标尽量准确，阈值T2目的是尽量检测全所有目标)，具体的产品的检测率根据具体情况来设定，本发明对此不作具体限定。

具体的，在步骤S16中，融合第一目标产品的产品信息和第二目标产品的产品信息，输出产品分布的识别结果，包括：

S161、判断第一目标产品与第二目标产品的重复率是否大于预设重复率阈值；

S162、若是，则删除与第一目标产品重复的第二目标产品；若否，则保留第二目标产品；

S163、输出第一目标产品的产品信息和第二目标产品的产品信息为产品分布的识别结果。

融合两次识别结果G1和G2，目的是删除G2中重复检测的目标，包括删除G2自己的重复目标以及G1、G2之间的重复目标，其中是否为重复目标是通过计算两个目标区域的IOU来判断，预设重复率阈值可以设为0.2，IOU计算方式为：

如果IOU>0.2则删除G2中对应的目标，反之IOU≤0.2则保留。最后输出所有目标区域G＝G1+G2，G即为产品分布的识别结果。

进一步的，在步骤S11中当判定待检测图像中不含有第一目标产品时，此时可能因为产品的尺寸较小，在待检测图片中无法识别出来，因此，需要对待检测图像进行分割，以得到若干个局部块图像。参见图3，本发明实施例提供的另一种产品分布识别方法的流程图，包括：

S21、当待检测图像中不含有第一目标产品时，对待检测图像进行分割，以得到若干个局部块图像；

S22、对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；

S23、输出第二目标产品的产品信息为产品分布的识别结果。

此时分割的待检测图像的方法为：根据预设数量对待检测图像进行分割；其中，预设数量为预先设定的，比如预设数量为Nw*Nh，Nw＝2,Nh＝2；将Nw*Nh个局部块图像作为输入进行二次识别，再次得到不同产品的类型、坐标信息和尺寸信息。

进一步的，结合图4以识别饮料产品A的过程进行说明，通过相机拍摄货架上的产品时，判断图片中是否含有产品A，此时识别结果包括以下几种：

1、含有产品A的情况，此时获取产品A的产品信息，进一步判断图片中产品A是否密集分布，此时识别结果包括两种：

1.1当产品A在图像中处于密集分布时，对图片进行分割，得到局部块图像，对获取到的局部块图像进一步获取产品A的产品信息，并且与前面1中获取到的产品信息进行融合，以删除重复获取的产品A的产品信息后输出产品分布识别的结果；

1.2当产品A在图像中处于非密集分布时，直接输出1中产品A的产品信息为产品分布识别的结果；

2、不含有产品A的情况，此时直接对图片进行分割，得到局部块图像，对获取到的局部块图像进一步获取产品A，此时获取产品A的产品信息为产品分布识别的结果。

与现有技术相比，本发明公开的产品分布识别方法，解决了现有技术中采用人工对海量图像数据进行处理，无法准确识别产品的问题，能够避免人为因素影响，提升产品识别的检测精度以及提高分析数据的准确性。

实施例二

参见图5，一种产品分布识别装置10的结构示意图；包括：

第一目标产品判断模块1，用于判断待检测图像中是否含有第一目标产品；

第一目标产品获取模块2，用于当待检测图像中含有第一目标产品时，获取第一目标产品的产品信息；

密集状态判断模块3，用于根据第一目标产品的产品信息判断第一目标产品在待检测图像中是否处于密集分布状态；

待检测图像分割模块4，用于当第一目标产品在待检测图像中处于密集分布状态时，对待检测图像进行分割，以得到若干个局部块图像；

第二目标产品获取模块5，用于对每一局部块图像进行识别，获取每一局部块图像中第二目标产品的产品信息；

识别结果输出模块6，用于融合第一目标产品的产品信息和第二目标产品的产品信息，以删除重复检测的产品后输出产品分布的识别结果。

具体的产品分布识别装置10中各个模块的具体功能请参考上述实施例一产品分布识别方法的各个过程，在此不再赘述。

与现有技术相比，本发明公开的产品分布识别装置，解决了现有技术中采用人工对海量图像数据进行处理，无法准确识别产品的问题，能够避免人为因素影响，提升产品识别的检测精度以及提高分析数据的准确性。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种产品分布识别方法，其特征在于，包括：

判断待检测图像中是否含有第一目标产品；

当所述待检测图像中含有第一目标产品时，获取所述第一目标产品的产品信息；

根据所述第一目标产品的产品信息判断所述第一目标产品在所述待检测图像中是否处于密集分布状态；其中，通过获取第一目标产品的最小横向尺寸与待检测图像的横向尺寸的比值为密集值，并根据所述密集值确定所述第一目标产品在所述待检测图像中是否处于密集分布状态；

当所述第一目标产品在所述待检测图像中处于密集分布状态时，对所述待检测图像进行分割，以得到若干个局部块图像；

对每一所述局部块图像进行识别，获取每一所述局部块图像中第二目标产品的产品信息；

融合所述第一目标产品的产品信息和所述第二目标产品的产品信息，输出产品分布的识别结果。

2.如权利要求1所述的产品分布识别方法，其特征在于，所述方法还包括：

当所述待检测图像中不含有第一目标产品时，对所述待检测图像进行分割，以得到若干个局部块图像；

对每一所述局部块图像进行识别，获取每一所述局部块图像中第二目标产品的产品信息；

输出所述第二目标产品的产品信息为产品分布的识别结果。

3.如权利要求1所述的产品分布识别方法，其特征在于，所述方法还包括：

当所述第一目标产品在所述待检测图像中处于非密集分布状态时，输出所述第一目标产品的产品信息为产品分布的识别结果。

4.如权利要求1所述的产品分布识别方法，其特征在于，所述判断待检测图像中是否含有第一目标产品，包括：

判断所述待检测图像中产品的检测率是否大于预设的第一置信度；

若是，则判定检测率大于所述第一置信度的产品为所述第一目标产品；若否，则判定所述待检测图像中不含有所述第一目标产品。

5.如权利要求1或2所述的产品分布识别方法，其特征在于，所述对每一所述局部块图像进行识别，具体包括：

获取所述局部块图像中检测率大于第二置信度的产品为第二目标产品。

6.如权利要求1所述的产品分布识别方法，其特征在于，所述根据所述第一目标产品的产品信息判断所述第一目标产品在所述待检测图像中是否处于密集分布状态，包括：

获取所述待检测图像中横向尺寸最小的所述第一目标产品；

根据所述第一目标产品的最小横向尺寸计算所述待检测图像的密集值；

判断所述密集值是否小于预设的密集阈值；

若是，则判定所述第一目标产品在所述待检测图像中处于密集分布状态；若否，则判定所述第一目标产品在所述待检测图像中处于非密集分布状态。

7.如权利要求6所述的产品分布识别方法，其特征在于，所述根据所述第一目标产品的最小横向尺寸计算所述待检测图像的密集值，包括：

获取所述第一目标产品的最小横向尺寸与所述待检测图像的横向尺寸的比值为所述待检测图像的密集值。

8.如权利要求6所述的产品分布识别方法，其特征在于，当所述第一目标产品在所述待检测图像中处于密集分布状态时，所述对所述待检测图像进行分割，包括：

根据预设尺寸对所述待检测图像进行分割；其中，所述预设尺寸为所述最小横向尺寸与预设比例的乘积。

9.如权利要求1所述的产品分布识别方法，其特征在于，所述融合所述第一目标产品的产品信息和所述第二目标产品的产品信息，输出产品分布的识别结果，包括：

判断所述第一目标产品与所述第二目标产品的重复率是否大于预设重复率阈值；

若是，则删除与所述第一目标产品重复的所述第二目标产品；若否，则保留所述第二目标产品；

输出所述第一目标产品的产品信息和所述第二目标产品的产品信息为产品分布的识别结果。

10.一种产品分布识别装置，其特征在于，包括：

第一目标产品判断模块，用于判断待检测图像中是否含有第一目标产品；

第一目标产品获取模块，用于当待检测图像中含有所述第一目标产品时，获取所述第一目标产品的产品信息；

密集状态判断模块，用于根据所述第一目标产品的产品信息判断所述第一目标产品在所述待检测图像中是否处于密集分布状态；其中，通过获取第一目标产品的最小横向尺寸与待检测图像的横向尺寸的比值为密集值，并根据所述密集值确定所述第一目标产品在所述待检测图像中是否处于密集分布状态；

待检测图像分割模块，用于当所述第一目标产品在所述待检测图像中处于密集分布状态时，对所述待检测图像进行分割，以得到若干个局部块图像；

第二目标产品获取模块，用于对每一所述局部块图像进行识别，获取每一所述局部块图像中第二目标产品的产品信息；

识别结果输出模块，用于融合所述第一目标产品的产品信息和所述第二目标产品的产品信息，输出产品分布的识别结果。

Images