CN116721338B - 一种基于目标检测的地堆本品占地面积计算方法及装置 - Google Patents
一种基于目标检测的地堆本品占地面积计算方法及装置 Download PDFInfo
- Publication number
- CN116721338B CN116721338B CN202310237567.XA CN202310237567A CN116721338B CN 116721338 B CN116721338 B CN 116721338B CN 202310237567 A CN202310237567 A CN 202310237567A CN 116721338 B CN116721338 B CN 116721338B
- Authority
- CN
- China
- Prior art keywords
- pile
- ground
- ground pile
- sku
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000009499 grossing Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于目标检测的地堆本品占地面积计算方法及装置，该方法包括：获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，对地堆侧面的边线进行平滑处理；对地堆图像中的本品SKU进行检测，计算地堆侧面的所有本品SKU的底边中点坐标；基于SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度，再将二者相乘，得到地堆本品占地面积。本申请通过采用神经网络模型进行图像分割和SKU检测，操作简单灵活，通过采用本品实际长度计算地堆面积，提高了地堆面积计算的准确性。
Description
技术领域
本申请涉及计算机视觉分析技术领域，尤其涉及一种基于目标检测的地堆本品占地面积计算方法及装置。
背景技术
在快速消费领域，快消企业为保证铺货数量、确保己方产品在地堆等陈列形式中占据有利比例、或了解地堆区域中某类商品的铺货是否充分利用地堆面积，需要对地堆中该类商品铺货的面积进行监控和调整。为了便于描述，通常将这类被选定需要了解铺货面积的目标商品称为本品，将与本品可构成竞争关系的商品称为竞品。
目前，传统的企业主要通过人工巡店的方式考察本品的铺货情况，然而这种方式需要巡店员人为对地堆面积进行测量，不仅费时费力，且容易产生数据造假或计算不准确的问题。此外，这种依赖人工巡店的方式，还存在信息更新慢、对市场反馈不及时等缺点，不能满足企业对数据情况实时了解的需求。
发明内容
本申请的目的在于提供一种基于目标检测的地堆本品占地面积计算方法及装置，以解决现有的地堆中本品占地面积的计算方法存在的耗时长、成本高且计算结果不准确的问题。
为实现上述目的，本申请提供一种基于目标检测的地堆本品占地面积计算方法，包括：
获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，并对地堆侧面的边线进行平滑处理；
对地堆图像中的本品SKU进行检测，计算地堆侧面沿边线方向的所有本品SKU的底边中点坐标；
基于预先获取的SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的边线的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度；
将第一地堆侧面边线长度和第二地堆侧面边线长度相乘，得到地堆本品占地面积。
进一步地，作为优选地，所述对地堆图像中的本品SKU进行检测，包括：
识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对地堆图像中的本品SKU进行检测采用的深度网络模型包括Mask-Rcnn和Yolo模型。
进一步地，作为优选地，所述利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面。
进一步地，作为优选地，在确定所述目标地堆侧面之后，还包括确定目标地堆侧面的边线，包括：
确定地堆侧面的形心坐标，计算每条边相对于形心的位置：
将中点位于形心左侧且与x轴夹角在60°～120°的边定为左侧边；
将中点位于形心右侧且与x轴夹角在60°～120°的边定为右侧边；
计算其余的边当横坐标为地堆侧面的形心的横坐标时对应的纵坐标，如果大于形心的纵坐标，则判为上侧边，否则为下侧边。
进一步地，作为优选地，确定所述第一地堆侧面边线长度，包括：
确定位于同一地堆侧面的边线的本品SKU的中点，以位于地堆侧面的边线的一端的本品SKU为起点，沿地堆侧面的边线的另一端方向，选取相邻的预设个本品SKU的中点；
计算两两本品SKU的中点的连线角度，当连线角度处于预设角度范围内，保留连线，并以被连接SKU的底边中点为起点，继续沿着边线另一端方向确定本品SKU的中点并连线，直至连接到地堆侧面的边线的另一端的终点，得到第一地堆侧面边线长度。
进一步地，作为优选地，所述分割模型为根据神经网络算法训练得到的模型，所述神经网络算法包括Mask-Rcnn或Yolo。
进一步地，作为优选地，所述对地堆侧面的边线进行平滑处理，还包括：
利用轨迹压缩算法对地堆侧面的边线进行平滑处理，所述轨迹压缩算法包括Douglas-Peucker算法。
本申请还提供一种基于目标检测的地堆本品占地面积计算装置，包括：
地堆场景分割单元，用于获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，并对地堆侧面的边线进行平滑处理；
本品SKU检测单元，用于对地堆图像中的本品SKU进行检测，计算地堆侧面沿边线方向的所有本品SKU的底边中点坐标；
边线长度计算单元，用于基于预先获取的SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的边线的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度；
地堆面积计算单元，用于将第一地堆侧面边线长度和第二地堆侧面边线长度相乘，得到地堆本品占地面积。
本申请还提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的基于目标检测的地堆本品占地面积计算方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的基于目标检测的地堆本品占地面积计算方法。
相对于现有技术，本申请的有益效果在于：
1)本申请完全根据本品实际长度计算地堆面积，能够大大提高地堆占地面积计算结果的准确性。
2)分别基于神经网络算法训练出分割模型和SKU识别模型，识别速度快且效果好，端到端的训练不需进行额外的数据处理，降低了运算成本。
3)本申请不仅可以应用在通过两张地堆侧面照片来估算面积的场景，还可以通过单张照片估算面积，应用灵活，操作简单。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某一实施例提供的基于目标检测的地堆本品占地面积计算方法的流程示意图；
图2是本申请某一实施例提供的地堆场景和地堆侧面的标注示意图；
图3是本申请某一实施例提供的sku标注示意图
图4是本申请某一实施例提供的地堆侧面的上侧边示意图
图5是本申请某一实施例提供的地堆侧面横坐标范围示意图
图6是本申请某一实施例提供的sku的中心点C与底部中心点B示意图
图7是本申请某一实施例提供的最长连接线示意图
图8是本申请某一实施例提供的基于目标检测的地堆本品占地面积计算方法的原理流程图；
图9是本申请某一实施例提供的基于目标检测的地堆本品占地面积计算装置的结构示意图；
图10是本申请某一实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本申请某一实施例提供一种基于目标检测的地堆本品占地面积计算方法。如图1所示，该基于目标检测的地堆本品占地面积计算方法包括步骤S10至步骤S30。各步骤具体如下：
S10、获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，并对地堆侧面的边线进行平滑处理。
在一个实施方式中，所述分割模型为根据神经网络算法训练得到的模型，所述神经网络算法包括Mask-Rcnn或Yolo模型等。
需要说明的是，本实施例中利用深度分割网络模型，如Mask-Rcnn或Yolo模型对图像中的地堆场景区域和地堆的侧面进行检测，得到其类别和分割区域。参见图2，图2提供了本实施例中的地堆场景和地堆侧面的标注示意图。由图2可知，此处需要建立特定的标注数据。在图2中，由一个不规则的封闭边界线包围的图像则为地堆场景，在步骤S10中，分割模型的作用就是将这样的地堆场景分割出来，而图2中也有其他干扰背景，这部分图像则无需保留。在得到地堆场景的同时对场景中的地堆侧面进行识别，如图2的两个不规则四边形圈出的范围所示。
在一个优选地实施例中，所述对地堆侧面的边线进行平滑处理，还包括利用轨迹压缩算法对地堆侧面的边线进行平滑处理，所述轨迹压缩算法包括Douglas-Peucker算法。可以理解的是，此处利用轨迹压缩算法进行平滑处理后，能够得到更平滑更均匀的边界线。
S20、对地堆图像中的本品SKU进行检测，计算地堆侧面沿边线方向的所有本品SKU的底边中点坐标。
具体地，本步骤中所述对地堆图像中的本品SKU进行检测，包括
识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对地堆图像中的本品SKU进行检测采用的深度网络模型包括Mask-Rcnn和Yolo模型等。
本实施例中，利用一种深度网络，如Mask-Rcnn、Yolo等对图像中的本品SKU进行检测。其中，本实施例中主要是依据商品的面图像，来进行SKU的识别。需要说明的是，同一SKU的不同大小/图像的面要当作不同SKU进行标注，具体标注方式如图3所示。
具体地，图3中给出了两种类型的舒客牙膏，则将这两件商品先定义为不同类型的商品，在图3中，分别用sku1和sku2表示这两件不同商品。进一步地，每个商品包含不同的面，对于不同大小的面也要将其视为不同的SKU，例如图3中，位于上方的商品左侧面、右侧面的标注分别为sku1-A、sku1-B。位于下方的商品左侧面、右侧面的标注分别为sku2-A、sku2-B；位于下方的商品后面被挡住的位置，与下方商品的右侧面为完全相同的面，因此该面也标注为sku2-B。
示例性地，此步骤中所使用的神经网络，也可以和步骤S10中的网络为同一网络，即基于Mask-Rcnn或Yolo算法训练出目标检测网络。
在一个实施例中，所述利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面。
进一步，作为优选地，在确定所述目标地堆侧面之后，还包括确定目标地堆侧面的边线，包括：
确定地堆侧面的形心坐标，计算每条边相对于形心的位置：
将中点位于形心左侧且与x轴夹角在60°～120°的边定为左侧边；
将中点位于形心右侧且与x轴夹角在60°～120°的边定为右侧边；
计算其余的边当横坐标为地堆侧面的形心的横坐标时对应的纵坐标，如果大于形心的纵坐标，则判为上侧边，否则为下侧边。
可以理解，上述实施例主要的目标是对检测到的地堆场景和地堆侧面进行处理，以确定出目标地堆侧面和用于计算面积的地堆边线，具体地，包括以下步骤：
1)按照预设条件选取目标地堆，将其余地堆场景删除。示例性地，选择图像中处在图像中央的地堆作为目标地堆，也可选择图像中面积最大的地堆作为目标地堆，可根据实际业务需求而决定，其余地堆删除；
2)依次计算检测到的每个地堆侧面与目标地堆的交并比(IOU)，IOU大于预设阈值，此处优选设为0.9的则保留，作为隶属于目标地堆的地堆侧面；
另外，根据拍摄角度的不同，属于同一个地堆的侧面数量n一般为1(正拍)、2(侧拍)。特殊情况下可能有n＝0或n>2以上的情况，作为容错，当n＝0时可当作正拍且地堆边缘线为水平的情况，当n>2时可能为特殊形状地堆，此时选择最大的两个地堆侧面作为计算的侧面。
2)对每个地堆侧面(多边形)依次进行以下计算：
首先取其形心(xc，yc)，然后计多边形每条边相对于形心的位置，中点位于形心左/右侧且与x轴夹角在60°～120°的边判定为左侧/右侧边，然后计算其余的边当横坐标为xc时对应的纵坐标，如果大于yc则判为上侧边，否则为下侧边。
进一步地，根据实际地堆情况选取上侧边或下侧边作为地堆方向的主要参考边，若地堆下侧边容易被其他物品遮挡，则选择上侧边为主要参考边，本实施例优选以上侧边为例进行说明。其中，上侧边可能不止一条，示例性地，本实施例选择最长的一条作为地堆边缘的表示。由此可以得到1(正拍)或2(侧拍)条地堆边缘表示线。其中，地堆侧面的上侧边示意图如图4所示。
S30、基于预先获取的SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的边线的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度。
在一个具体地实施例中，确定所述第一地堆侧面边线长度，包括：
确定位于同一地堆侧面的边线的本品SKU的底边中点，以位于地堆侧面的边线的一端的本品SKU为起点，沿地堆侧面的边线的另一端方向，选取相邻的预设个本品SKU的底边中点；
计算两两本品SKU的底边中点的连线角度，当连线角度处于预设角度范围内，保留连线，并以被连接SKU的底边中点为起点，继续沿着边线另一端方向确定本品SKU的底边中点并连线，直至连接到地堆侧面的边线的另一端的终点，得到第一地堆侧面边线长度。
下面将结合图示对于此步骤进行详细阐述：
对检测到的sku进行处理并计算地堆长度。这里假设地堆为侧拍，得到两条地堆边缘表示线，左边的为L1，角度为α1；右边的为L2，角度为α2(若正拍，则每张图片计算一条地堆边缘表示线)。如图4所示。首先找到沿着L1方向摆放的sku，方法具体如下：
1)首先记录地堆左侧面的所有顶点横坐标中的最小值xmin1和最大值xmax1，如图5所示。对于检测到的所有sku，将中点横坐标在(xmin1，xmax1)区间并且同时在地堆场景多边形中的sku存放于列表skuList中，按sku中点横坐标由小到大的顺序排列；同时计算这些sku底部中点B的坐标，如图6所示。
具体地，计算方法为：首先计算sku中心点坐标C(cx,cy)，然后计算sku多边形各边端点的横坐标是否处于C点横坐标的两侧，如果是则进一步计算该边与直线x＝cx的交点B’的纵坐标是否小于cy，如果是则B’＝B。
2)选第一个sku A，由于此时没有任何一个sku与之连接，则将这个sku记为起始sku。计算在其右侧且与其距离最近的k个sku，此处优选为k＝3，将其底边中点依次与k个sku的底边的中点相连，计算连线角度α，若|α-α1|>αthr，此处优选取αthr＝10°，则舍弃；反之选择与之距离最近的sku作为其连接sku，并将这个sku进行与sku A同样的操作。然后重复以上操作，直至进行到某个sku时没有可连接的sku，将这个sku记为sku B。此时得到一条从A到B的连接线(折线)AB。所有被连接线连接过的sku从skuList中去除。
3)继续从skuList中剩余的sku中选取起始sku，记为sku A’，进行与2)中同样的操作，得到连接线A’B’；循环寻找连接线直到不再有起始sku，由此得到AB、A’B’、A”B”...多条连接线。
4)计算所有AB、A’B’、A”B”...上连接过的sku，通过检测到的sku的长宽比得到其是横放还是竖放，进而从尺寸表中读取对应的长或宽，将连接线经过的sku的宽度相加，得到这条连接线上本品的总长度。选择所有连接线中最长的记为ABmax1，其总长度len1作为L1的长度，最后得到的ABmax1如图7所示。
5)按照同样地方法，计算地堆右侧面的长度len2。
S40、将第一地堆侧面边线长度和第二地堆侧面边线长度相乘，得到地堆本品占地面积。
最后，将计算出的len1、len2相乘，得到计算的地堆本品占地面积。
参见图8，图8为本申请某一实施例提供的地堆本品占地面积计算的原理流程图，由图8可知，首先获取地堆图片，分别进行地堆检测和sku检测，以获得地堆场景、地堆侧面以及本品sku。然后，对于地堆场景进行平滑计算上侧边，根据sku计算场景中sku底边中点，根据上侧边连接sku，进一步地根据sku尺寸表和连接后的结果得到len1、len2，最后将计算出的len1、len2相乘，得到计算的地堆本品占地面积。
综上所述，本申请实施例提供的基于目标检测的地堆本品占地面积计算方法，通过采用神经网络模型进行图像分割和SKU检测，使用简单灵活，通过采用本品实际长度计算地堆面积，大大提高了地堆面积计算结果的准确性。
请参阅图9，本申请某一实施例还提供一种基于目标检测的地堆本品占地面积计算装置，包括：
地堆场景分割单元01，用于获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，并对地堆侧面的边线进行平滑处理；
本品SKU检测单元02，用于对地堆图像中的本品SKU进行检测，计算地堆侧面沿边线方向的所有本品SKU的底边中点坐标；
边线长度计算单元03，用于基于预先获取的SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的边线的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度；
地堆面积计算单元04，用于将第一地堆侧面边线长度和第二地堆侧面边线长度相乘，得到地堆本品占地面积。
可以理解的是，上述的基于目标检测的地堆本品占地面积计算装置可实施上述方法实施例的基于目标检测的地堆本品占地面积计算方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
请参阅图10，本申请某一实施例提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于目标检测的地堆本品占地面积计算方法。
处理器用于控制该终端设备的整体操作，以完成上述的基于目标检测的地堆本品占地面积计算方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的基于目标检测的地堆本品占地面积计算方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供一种包括计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现如上述任一项实施例所述的基于目标检测的地堆本品占地面积计算方法的步骤。例如，该计算机可读存储介质可以为上述包括计算机程序的存储器，上述计算机程序可由终端设备的处理器执行以完成如上述任一项实施例所述的基于目标检测的地堆本品占地面积计算方法，并达到如上述方法一致的技术效果。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
Claims (7)
1.一种基于目标检测的地堆本品占地面积计算方法，其特征在于，包括：
获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，并对地堆侧面的边线进行平滑处理；
对地堆图像中的本品SKU进行检测，计算地堆侧面的所有本品SKU的底边中点坐标；
基于预先获取的SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度；
将第一地堆侧面边线长度和第二地堆侧面边线长度相乘，得到地堆本品占地面积；
利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面；
在确定所述目标地堆侧面之后，还包括确定目标地堆侧面的边线，包括：
确定地堆侧面的形心坐标，计算每条边相对于形心的位置：
将中点位于形心左侧且与x轴夹角在60°～120°的边定为左侧边；
将中点位于形心右侧且与x轴夹角在60°～120°的边定为右侧边；
计算其余的边当横坐标为地堆侧面的形心的横坐标时对应的纵坐标，如果大于形心的纵坐标，则判为上侧边，否则为下侧边；
确定所述第一地堆侧面边线长度，包括：
确定位于同一地堆侧面的边线的本品SKU的中点，以位于地堆侧面的边线的一端的本品SKU为起点，沿地堆侧面的边线的另一端方向，选取相邻的预设个本品SKU的中点；
计算两两本品SKU的中点的连线角度，当连线角度处于预设角度范围内，保留连线，并以被连接SKU的底边中点为起点，继续沿着边线另一端方向确定本品SKU的中点并连线，直至连接到地堆侧面的边线的另一端的终点，得到第一地堆侧面边线长度。
2.根据权利要求1所述的基于目标检测的地堆本品占地面积计算方法，其特征在于，所述对地堆图像中的本品SKU进行检测，包括：
识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对地堆图像中的本品SKU进行检测采用的深度网络模型包括Mask-Rcnn和Yolo模型。
3.根据权利要求1所述的基于目标检测的地堆本品占地面积计算方法，其特征在于，所述分割模型为根据神经网络算法训练得到的模型，所述神经网络算法包括Mask-Rcnn或Yolo。
4.根据权利要求1所述的基于目标检测的地堆本品占地面积计算方法，其特征在于，所述对地堆侧面的边线进行平滑处理，还包括：
利用轨迹压缩算法对地堆侧面的边线进行平滑处理，所述轨迹压缩算法包括Douglas-Peucker算法。
5.一种基于目标检测的地堆本品占地面积计算装置，其特征在于，包括：
地堆场景分割单元，用于获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，并对地堆侧面的边线进行平滑处理；
本品SKU检测单元，用于对地堆图像中的本品SKU进行检测，计算地堆侧面沿边线方向的所有本品SKU的底边中点坐标；
边线长度计算单元，用于基于预先获取的SKU尺寸表和本品SKU的底边中点坐标，分别将位于同一地堆侧面的边线的本品SKU的底边中点连接起来，得到第一地堆侧面边线长度和第二地堆侧面边线长度；
地堆面积计算单元，用于将第一地堆侧面边线长度和第二地堆侧面边线长度相乘，得到地堆本品占地面积；
利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面；
在确定所述目标地堆侧面之后，还包括确定目标地堆侧面的边线，包括：
确定地堆侧面的形心坐标，计算每条边相对于形心的位置：
将中点位于形心左侧且与x轴夹角在60°～120°的边定为左侧边；
将中点位于形心右侧且与x轴夹角在60°～120°的边定为右侧边；
计算其余的边当横坐标为地堆侧面的形心的横坐标时对应的纵坐标，如果大于形心的纵坐标，则判为上侧边，否则为下侧边；
确定所述第一地堆侧面边线长度，包括：
确定位于同一地堆侧面的边线的本品SKU的中点，以位于地堆侧面的边线的一端的本品SKU为起点，沿地堆侧面的边线的另一端方向，选取相邻的预设个本品SKU的中点；
计算两两本品SKU的中点的连线角度，当连线角度处于预设角度范围内，保留连线，并以被连接SKU的底边中点为起点，继续沿着边线另一端方向确定本品SKU的中点并连线，直至连接到地堆侧面的边线的另一端的终点，得到第一地堆侧面边线长度。
6.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述的基于目标检测的地堆本品占地面积计算方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的基于目标检测的地堆本品占地面积计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310237567.XA CN116721338B (zh) | 2023-03-13 | 2023-03-13 | 一种基于目标检测的地堆本品占地面积计算方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310237567.XA CN116721338B (zh) | 2023-03-13 | 2023-03-13 | 一种基于目标检测的地堆本品占地面积计算方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116721338A CN116721338A (zh) | 2023-09-08 |
| CN116721338B true CN116721338B (zh) | 2024-05-31 |
Family
ID=87863773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310237567.XA Active CN116721338B (zh) | 2023-03-13 | 2023-03-13 | 一种基于目标检测的地堆本品占地面积计算方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721338B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784172A (zh) * | 2018-12-14 | 2019-05-21 | 上海扩博智能技术有限公司 | 商场中地堆商品占地面积估算方法、系统、设备及介质 |
| CN113034574A (zh) * | 2021-05-25 | 2021-06-25 | 广州市玄武无线科技股份有限公司 | 一种基于目标检测的商品地堆面积计算方法及系统 |
| CN115272446A (zh) * | 2022-09-27 | 2022-11-01 | 南京掌控网络科技有限公司 | 一种堆头占地面积计算的方法和系统 |
-
2023
- 2023-03-13 CN CN202310237567.XA patent/CN116721338B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784172A (zh) * | 2018-12-14 | 2019-05-21 | 上海扩博智能技术有限公司 | 商场中地堆商品占地面积估算方法、系统、设备及介质 |
| CN113034574A (zh) * | 2021-05-25 | 2021-06-25 | 广州市玄武无线科技股份有限公司 | 一种基于目标检测的商品地堆面积计算方法及系统 |
| CN115272446A (zh) * | 2022-09-27 | 2022-11-01 | 南京掌控网络科技有限公司 | 一种堆头占地面积计算的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于深度神经网络的货架商品识别方法》;刘照邦 等;《包装工程》(01);159-165 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116721338A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020124988A1 (zh) | 一种基于视觉的车位检测方法及装置 | |
| US7327888B2 (en) | Geometric hashing method for model-based recognition of an object | |
| US20200074665A1 (en) | Object detection method, device, apparatus and computer-readable storage medium | |
| US7965893B2 (en) | Method, apparatus and storage medium for detecting cardio, thoracic and diaphragm borders | |
| Salve et al. | Shape matching and object recognition using shape contexts | |
| CN109448045B (zh) | 基于slam的平面多边形物体测量方法及机器可读存储介质 | |
| CN111161346B (zh) | 将商品在货架中进行分层的方法、装置和电子设备 | |
| CN111738995A (zh) | 一种基于rgbd图像的目标检测方法、装置及计算机设备 | |
| CN113034574B (zh) | 一种基于目标检测的商品地堆面积计算方法及系统 | |
| CN113689429B (zh) | 一种基于计算机视觉的木板缺陷检测方法 | |
| CN110458855A (zh) | 图像提取方法及相关产品 | |
| CN109300104B (zh) | 角点检测方法、装置 | |
| CN112991374B (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
| EP3321845A1 (en) | Ship identification system and method | |
| CN115272446B (zh) | 一种堆头占地面积计算的方法和系统 | |
| Kanezaki et al. | High-speed 3d object recognition using additive features in a linear subspace | |
| CN116311219B (zh) | 一种基于透视变换的地堆本品占地面积计算方法及装置 | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
| CN116721338B (zh) | 一种基于目标检测的地堆本品占地面积计算方法及装置 | |
| CN113128346B (zh) | 起重机施工现场的目标识别方法、系统、装置及存储介质 | |
| CN114170521A (zh) | 一种叉车托盘对接识别定位方法 | |
| JP2021111423A5 (zh) | ||
| CN107480710A (zh) | 特征点匹配结果处理方法和装置 | |
| CN111553927A (zh) | 棋盘格角点检测方法、检测系统、计算机装置及存储介质 | |
| CN114372993B (zh) | 一种基于图像矫正的斜拍货架分层检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |