CN111814628B - 陈列立柜识别方法、装置、设备以及存储介质 - Google Patents
陈列立柜识别方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN111814628B CN111814628B CN202010608382.1A CN202010608382A CN111814628B CN 111814628 B CN111814628 B CN 111814628B CN 202010608382 A CN202010608382 A CN 202010608382A CN 111814628 B CN111814628 B CN 111814628B
- Authority
- CN
- China
- Prior art keywords
- image
- display cabinet
- partition plate
- initial
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005192 partition Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000926 separation method Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 238000003709 image segmentation Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 238000003702 image correction Methods 0.000 claims description 2
- 238000005549 size reduction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
本申请公开一种陈列立柜识别方法、装置、设备以及存储介质，涉及图像处理、深度学习技术领域，尤其涉及人工智能和计算机视觉等技术领域。具体实现方案为：根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域；基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类；根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果。根据本申请的技术提高了陈列立柜层数的识别准确率。
Description
技术领域
本申请实施例涉及图像处理、深度学习技术领域，尤其涉及人工智能和计算机视觉等技术领域。具体地，本申请实施例提供一种陈列立柜识别方法、装置、设备以及存储介质。
背景技术
在商品巡检工作中，陈列货架层数识别是访销中较为通用的业务需求。主要原因是在快消行业中，商品在陈列货架中的位置不同，品牌商的支出也不同。所以品牌商在做商品陈列审核时，需要能够识别出商品陈列中货架层数，以此来判断商品在货架的层数。
发明内容
本公开提供了一种陈列立柜识别方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种陈列立柜识别方法，该方法包括：
根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域；
基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类；
根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果。
根据本公开的另一方面，提供了一种陈列立柜识别装置，该装置包括：
裁切模块，用于根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域；
聚类模块，用于基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类；
校正模块，用于根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果。
根据本公开的又一方面，提供了一种电子设备，其中，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。
根据本公开的又一方面，提供了一种储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。
根据本申请的技术提高了陈列立柜层数的识别准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种陈列立柜识别方法的流程图；
图2是本申请实施例提供的另一种陈列立柜识别方法的流程图；
图3是本申请实施例提供的初始识别结果的显示效果示意图；
图4是本申请实施例提供的最终识别结果的显示效果示意图；
图5是本申请提供的又一种陈列立柜识别方法的流程图；
图6是本申请实施例提供的又一种陈列立柜识别方法的流程图；
图7是本申请实施例提供的又一种陈列立柜识别方法的流程图；
图8是本申请实施例提供的又一种陈列立柜识别方法的流程图；
图9是本申请实施例提供的一种陈列立柜图像的显示效果示意图；
图10是本申请实施例提供的一种图像分割效果示意图；
图11是本申请实施例提供的一种形变校正结果示意图；
图12是本申请实施例提供的一种分隔板标注示意图；
图13是本申请实施例提供的一种陈列立柜识别装置的结构示意图；
图14是根据本申请实施例的陈列立柜识别方法的电子设备框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本申请实施例提供的一种陈列立柜识别方法的流程图。本实施例可适用于对陈列立柜进行层数和分隔板位置识别的情况。该方法可以由一种陈列立柜识别装置来执行。该装置可以由软件和/或硬件的方式实现。参见图1，本申请实施例提供的陈列立柜识别方法包括：
S110、根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域。
其中，陈列立柜是指用于陈列物品的立柜。该立柜包括至少一层分隔板，用于对物品进行分层陈列，且该立柜的顶部不陈列物品。
示例性地，陈列立柜可以是超市中存储冷鲜产品的立式冷鲜柜。
初始识别结果是陈列立柜初始的识别结果。
该识别结果中包括陈列立柜的层数和各层分隔板的位置信息。
可选地，初始识别结果的识别逻辑可以是任意识别逻辑，本实施例对此并不进行任何限制。
顶层分隔板是指陈列立柜中距离地面最远的分割板。
次顶层分隔板是指位于顶层分隔板下方，与顶层分隔版相邻的分隔板。
陈列立柜图像是采集的包括陈列立柜的图像。
陈列立柜是指具有至少两个分隔板结构，且用于陈列物品的设备。例如，陈列立柜可以是货架，也可以是具有分隔板的储物立柜。
第一图像区域是指位于陈列立柜图像中顶层分隔板上的图像区域。
第二图像是指位于陈列立柜图像中顶层分隔板与次顶层分割板之间的图像区域。
其中第一图像区域和第二图像区域的具体位置可以根据实际需要确定。
可选地，在一个实施例中，第一图像区域可以是以顶层分隔板为图像底边，以设定高度为图像高度的区域。
在另一个实施例中，第一图像区域也可以是将向上移动设定距离的顶层分隔板为图像底边，以设定高度为图像高度的区域。
类似地，在一个实施例中，第二图像区域可以是以次顶层分隔板为图像底边，以顶层分割板为图像顶边的区域。
在另一个实施例中，第二图像区域也可以是以次顶层分隔板为图像底边，以设定高度为图像高度的区域。
S120、基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类。
其中，颜色信息可以是颜色的任意可分类的信息。
在一个实施例中，颜色信息可以是颜色密度、颜色值、颜色的饱和度和颜色的亮度等中的至少一种。
S130、根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到陈列立柜的最终识别结果。
其中，聚类结果是指对第一图像区域中的像素点和第二图像区域中的像素点进行聚类得到的结果。
对初始识别结果进行校正包括，滤除初始识别结果中的错误信息或对初始识别结果中的错误信息进行修正。
在一个实施例中，若聚类结果中的第一类别数量满足设定分隔板条件，则确定顶层分隔板为陈列立柜的顶部分隔板，第一类别数量是指对第一图像区域中的像素点进行聚类得到的类别数量。
其中，设定分隔板条件是指顶层分隔板属于陈列立柜分隔板时，第一类别数量需要满足的条件。
可选地，设定分隔板条件可以是设定数量阈值，也可以是与第二类别数据的设定比例。
第二类别数量是指对第二图像区域中的像素点进行聚类得到的类别数量。
本申请实施例的技术方案，通过基于颜色信息，对陈列立柜顶层分隔板上的第一图像区域以及次顶层分隔板与顶层分隔板之间的第二图像区域进行聚类；并根据聚类结果，对初始识别结果中的顶层分隔板进行校正，从而提高陈列立柜识别结果的准确率。
图2是本申请实施例提供的另一种陈列立柜识别方法的流程图。本实施例是在上述方案的基础上，对步骤“根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到陈列立柜的最终识别结果”的具体优化。参见图2，本方案提供的陈列立柜识别方法包括：
S210、根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域。
S220、基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类。
S230、若聚类结果中的第一类别数量满足设定条件，则确定所述顶层分隔板为陈列立柜的顶部边缘，所述第一类别数量是指对所述第一图像区域中的像素点进行聚类得到的类别数量。
其中，设定条件是指顶层分隔板属于陈列立柜顶部边缘时，第一类别数量需要满足的条件。
该设定条件可以根据实际需要设定。
可选地，在一个实施例中，所述设定条件可以是设定数量阈值。
在另一个实施例中，所述设定条件为：所述第一类别数量小于第二类别数量的一半。
其中，第二类别数量是指对所述第二图像区域中的像素点进行聚类得到的类别数量。
陈列立柜的顶部边缘是指陈列立柜顶部结构的外边缘。
S240、从所述初始识别结果中滤除所述顶层分隔板，得到最终识别结果。
具体效果参见图3和图4，其中图3是对立柜中分隔板的初始识别结果。其中将立柜顶部边缘301误判为顶层分隔板。图4是滤除初始结果中误判为顶层分隔板的顶部边缘后的最终识别结果。
本方案通过根据图像区域的聚类结果，确定识别得到的顶层分隔板是否是陈列立柜的顶部边缘；滤除初始识别结果中误判为顶层分隔板的顶部边缘，从而提高最终识别结果的准确率。
图5是本申请提供的又一种陈列立柜识别方法的流程图。本实施例是在上述实施例的基础上，对方案的进一步扩展。参见图5，本申请实施例提供的陈列立柜识别方法，包括：
S310、若待矫正图像的图像尺寸大于设定尺寸，则确定缩小尺寸。
其中，待矫正图像是指待矫正的陈列立柜的图像。
设定尺寸是指设定的可以进行矫正的图像尺寸的最大值。
缩小尺寸是指待矫正图像待缩小到的图像尺寸。
为避免缩放导致的图像形变，确定缩小尺寸，包括：
根据待矫正图像的图像比例，确定缩小尺寸。
其中，图像比例是指图像的宽高比。
S320、根据确定的缩小尺寸对所述待矫正图像进行缩小。
本实施例对上述缩小方法不做限定，可以是任意可实现图像缩小的算法。
可选地，可以通过抽取图像像素点的方法实现缩小，也可以通过裁切的方法实现缩小。
S330、对缩小后的图像进行矫正，得到所述陈列立柜图像。
其中，矫正是对缩放后的图像进行形变矫正。
本实施例对上述矫正方法不做限定，可以是任意可实现图像形变矫正的算法。
S340、根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域。
S350、基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类。
S360、根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到陈列立柜的最终识别结果。
本方案通过对待矫正图像进行缩小，然后对缩小后的图像进行矫正，从而减少因图像过大导致的矫正计算量大的问题。
图6是本申请实施例提供的又一种陈列立柜识别方法的流程图。本实施例是在上述实施例的基础上，对方案的进一步扩展。参见图6，本方案包括：
S410、将陈列立柜图像输入图像分割模型，根据输出结果确定陈列立柜的初始识别结果。
其中，图像分割模型是指用于分割陈列立柜图像中分隔板的模型。
该模型可以是任意种类的深度学习模型。
典型地，该模型是以DeepLabV3Plus为模型框架，该模型框架中选择Xception65进行特征提取，选择ASPP(Astrous Spatial Pyramid Pooling，空洞空间卷积池化金字塔)进行分类。
其中，Xception65是一种用于进行特征提取的神经网络模型。
ASPP是一种根据提取的特征进行目标分类的网络模型。
上述图像分割模型的训练包括：
基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像；
利用所述原样本图像和所述新样本图像，对初始识别模型进行训练，得到上述图像分割模型。
在一个实施例中，随机缩放尺寸的确定包括：基于随机算法，根据设定的最小尺寸和最大尺寸以及设定缩放步长确定随机缩放尺寸。
S420、根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域。
S430、基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类。
S440、根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到陈列立柜的最终识别结果。
本方案通过基于随机缩放尺寸对原样本图像进行尺寸缩放，从而实现对样本数据的扩充，进而提高图像分割的准确率。
为提高新样本图像的准确率，所述基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像，包括：
根据随机缩放尺寸对原样本图像进行缩放，得到初始样本图像；
若所述初始样本图像的尺寸小于设定裁切尺寸，则对所述初始样本图像进行边界填充；
根据设定裁切尺寸，对填充后的初始样本图像进行裁切，得到所述新样本图像。
基于该技术特征，本方案通过根据设定裁切尺寸，对填充后的初始样本图像进行裁切，相比直接进行缩放，本申请实施例可以有效避免缩放导致的图像形变，提高新样本图像的准确率。
图7是本申请实施例提供的又一种陈列立柜识别方法的流程图。本方案是在上述方案的基础上，对方案的进一步扩展。参见图7，本申请实施例提供的陈列立柜识别方法包括：
S510、基于模型的网络层，对陈列立柜图像进行预处理。
其中，预处理可以是对图像的任意预处理操作。
示例性地，上述预处理操作包括：缩放、去噪和形变矫正等。
该网络层中仅包括预处理的执行逻辑，不包括训练参数。
S520、基于模型的其他网络层，根据预处理后的陈列立柜图像，确定所述初始识别结果。
其中，其他网络层是指模型中除用于预处理的网络层以外的网络层。
由GPU(Graphics Processing Unit，图形处理器)执行所述模型的处理逻辑。
S530、根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域。
S540、基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类。
S550、根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到陈列立柜的最终识别结果。
本方案通过基于模型的网络层，对陈列立柜图像进行预处理，从而实现基于GPU对陈列立柜图像的预处理，相比基于CPU(central processing unit，中央处理器)对图像的预处理，本方案可以提高图像预处理的处理效率。
图8是本申请实施例提供的又一种陈列立柜识别方法的流程图。本方案是在上述实施例的基础上，提供的一种可选方案。参见图8，本方案提供的陈列立柜识别方法包括：
S610、按照待识别图像的图像比例，将待识别图像缩放至设定的第一图像尺寸，得到第一缩放图像。
其中，待识别图像为上述陈列立柜图像。
S620、将第一缩放图像输入图像分割模型，输出以分隔板为前景，其他区域为背景的二值图像。
示例性地，第一缩放图像的显示效果参见图9。该二值图像的显示效果参见图10。
S630、基于待识别图像的图像比例，将上述二值图像缩放至设定的第二图像尺寸，得到第二缩放图像。
其中，第一图像尺寸和第二图像尺寸可以相同，也可以不同。
在第一图像尺寸和第二图像尺寸相同时，S630的操作可以省略。
S640、对第二缩放图像进行形变矫正。
继续以图9为例，形变校正结果参见图11。
S650、根据矫正后的图像，计算陈列立柜的数量、陈列立柜中分隔板的层数，以及分隔板的位置信息，并将计算得到的信息作为陈列立柜的初始识别结果。
继续以图9为例，参见图12将识别得到的分隔板利用加粗黑线标注在待识别图像中。
S660、根据初始识别结果中的顶层分隔板和次顶层分隔板，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域。
S670、基于颜色密度，对第一图像区域中的像素点和第二图像区域中的像素点进行聚类。
S680、根据聚类结果，判断顶层分隔板是否为陈列立柜的顶部边缘。
S690、若是，则删除顶层分隔板，将其他分隔板进行重新排序，得到陈列立柜的最终识别结果。
其中，上述图像分割模型的训练包括：
基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像；
利用所述原样本图像和所述新样本图像，对初始识别模型进行训练，得到所述图像分割模型。
上述步骤“按照待识别图像的图像比例，将待识别图像缩放至设定的第一图像尺寸，得到第一缩放图像”属于对待识别图像的预处理逻辑，该逻辑由GPU完成。
本方案通过在进行图像形变矫正前，按照待识别图像的图像比例和设定的第二图像尺寸，对待矫正图像进行缩放，以减少矫正的计算量。
通过基于颜色密度，对顶层分隔板上的第一图像区域中的像素点以及次顶层分隔板与顶层分隔板之间的第二图像区域中的像素点进行聚类，从而过滤掉陈列立柜顶部边界的干扰。
通过由GPU完成在将第一缩放图像输入图像分割模型之前，对待识别图像的处理逻辑，从而提高运算效率。
通过基于随机尺寸对原样本图像进行尺寸伸缩，从而实现对样本数据的扩充。
图13是本申请实施例提供的一种陈列立柜识别装置的结构示意图。参见图13，本申请实施例提供的陈列立柜识别装置1300，包括：裁切模块1301、聚类模块1302和校正模块1303。
其中，裁切模块1301，用于根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域；
聚类模块1302，用于基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类；
校正模块1303，用于根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果。
本申请实施例的技术方案，通过基于颜色信息，对陈列立柜顶层分隔板上的第一图像区域以及次顶层分隔板与顶层分隔板之间的第二图像区域进行聚类；并根据聚类结果，对初始识别结果中的顶层分隔板进行校正，从而提高陈列立柜识别结果的准确率。
进一步地，所述校正模块，包括：
边缘确定单元，用于若聚类结果中的第一类别数量满足设定条件，则确定所述顶层分隔板为所述陈列立柜的顶部边缘；
其中所述第一类别数量是指对所述第一图像区域中的像素点进行聚类得到的类别数量；
边缘滤除单元，用于从所述初始识别结果中滤除所述顶层分隔板，得到所述最终识别结果。
进一步地，所述设定条件为：所述第一类别数量小于第二类别数量的二分之一；
所述第二类别数量是指对所述第二图像区域中的像素点进行聚类得到的类别数量。
进一步地，所述装置还包括：
尺寸确定模块，用于所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，若待矫正图像的图像尺寸大于设定尺寸，则确定缩小尺寸；
图像缩小模块，用于根据确定的缩小尺寸对所述待矫正图像进行缩小；
图像矫正模块，用于对缩小后的图像进行矫正，得到所述陈列立柜图像。
进一步地，所述装置还包括：
模型输入模块，用于所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，将所述陈列立柜图像输入图像分割模型，根据输出结果确定所述初始识别结果；
其中所述图像分割模型的训练包括：
图像缩放模块，用于基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像；
模型训练模块，用于利用所述原样本图像和所述新样本图像，对初始识别模型进行训练，得到所述图像分割模型。
进一步地，所述图像缩放模块，包括：
图像缩放单元，用于根据随机缩放尺寸对所述原样本图像进行缩放，得到初始样本图像；
边界填充单元，用于若所述初始样本图像的尺寸小于设定裁切尺寸，则对所述初始样本图像进行边界填充；
图像裁切单元，用于根据设定裁切尺寸，对填充后的初始样本图像进行裁切，得到所述新样本图像。
进一步地，所述装置还包括：
预处理模块，用于所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，基于模型的网络层，对所述陈列立柜图像进行预处理；
识别模块，用于基于模型的其他网络层，根据预处理后的陈列立柜图像，确定所述初始识别结果；
其中由GPU图形处理器执行所述模型的处理逻辑。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图14所示，是根据本申请实施例的陈列立柜识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图14所示，该电子设备包括：一个或多个处理器1401、存储器1402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器1401为例。
存储器1402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的陈列立柜识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的陈列立柜识别方法。
存储器1402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的陈列立柜识别方法对应的程序指令/模块(例如，附图13所示的裁切模块1301、聚类模块1302和校正模块1303)。处理器1401通过运行存储在存储器1402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的陈列立柜识别方法。
存储器1402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据陈列立柜识别电子设备的使用所创建的数据等。此外，存储器1402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1402可选包括相对于处理器1401远程设置的存储器，这些远程存储器可以通过网络连接至陈列立柜识别电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
陈列立柜识别方法的电子设备还可以包括：输入装置1403和输出装置1404。处理器1401、存储器1402、输入装置1403和输出装置1404可以通过总线或者其他方式连接，图14中以通过总线连接为例。
输入装置1403可接收输入的数字或字符信息，以及产生与陈列立柜识别电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请的技术提高了陈列立柜层数的识别准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种陈列立柜识别方法，包括：
根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域；其中，所述初始识别结果包括陈列立柜的层数和各层分隔板的位置信息；
基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类；
根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果；
其中，所述根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，包括：
根据所述聚类结果，确定所述顶层分隔板是否是所述陈列立柜的顶部边缘，以滤除所述初始识别结果中误判为顶层分隔板的顶部边缘。
2.根据权利要求1所述的方法，其中，所述根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果，包括：
若聚类结果中的第一类别数量满足设定条件，则确定所述顶层分隔板为所述陈列立柜的顶部边缘；
其中所述第一类别数量是指对所述第一图像区域中的像素点进行聚类得到的类别数量；
从所述初始识别结果中滤除所述顶层分隔板，得到所述最终识别结果。
3.根据权利要求2所述的方法，其中，所述设定条件为：所述第一类别数量小于第二类别数量的二分之一；
所述第二类别数量是指对所述第二图像区域中的像素点进行聚类得到的类别数量。
4.根据权利要求1-3中任一所述的方法，所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，所述方法还包括：
若待矫正图像的图像尺寸大于设定尺寸，则确定缩小尺寸；
根据确定的缩小尺寸对所述待矫正图像进行缩小；
对缩小后的图像进行矫正，得到所述陈列立柜图像。
5.根据权利要求1-3中任一所述的方法，所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，所述方法还包括：
将所述陈列立柜图像输入图像分割模型，根据输出结果确定所述初始识别结果；
其中所述图像分割模型的训练包括：
基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像；
利用所述原样本图像和所述新样本图像，对初始识别模型进行训练，得到所述图像分割模型。
6.根据权利要求5所述的方法，其中，所述基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像，包括：
根据随机缩放尺寸对所述原样本图像进行缩放，得到初始样本图像；
若所述初始样本图像的尺寸小于设定裁切尺寸，则对所述初始样本图像进行边界填充；
根据设定裁切尺寸，对填充后的初始样本图像进行裁切，得到所述新样本图像。
7.根据权利要求1-3中任一所述的方法，所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，所述方法还包括：
基于模型的网络层，对所述陈列立柜图像进行预处理；
基于模型的其他网络层，根据预处理后的陈列立柜图像，确定所述初始识别结果；
其中由GPU图形处理器执行所述模型的处理逻辑。
8.一种陈列立柜识别装置，包括：
裁切模块，用于根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域，以及位于次顶层分隔板与所述顶层分隔板之间的第二图像区域；其中，所述初始识别结果包括陈列立柜的层数和各层分隔板的位置信息；
聚类模块，用于基于颜色信息，对所述第一图像区域中的像素点和所述第二图像区域中的像素点进行聚类；
校正模块，用于根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，得到所述陈列立柜的最终识别结果；
其中，所述根据聚类结果，对所述初始识别结果中的顶层分隔板进行校正，包括：
根据所述聚类结果，确定所述顶层分隔板是否是所述陈列立柜的顶部边缘，以滤除所述初始识别结果中误判为顶层分隔板的顶部边缘。
9.根据权利要求8所述的装置，其中，所述校正模块，包括：
边缘确定单元，用于若聚类结果中的第一类别数量满足设定条件，则确定所述顶层分隔板为所述陈列立柜的顶部边缘；
其中所述第一类别数量是指对所述第一图像区域中的像素点进行聚类得到的类别数量；
边缘滤除单元，用于从所述初始识别结果中滤除所述顶层分隔板，得到所述最终识别结果。
10.根据权利要求9所述的装置，其中，所述设定条件为：所述第一类别数量小于第二类别数量的二分之一；
所述第二类别数量是指对所述第二图像区域中的像素点进行聚类得到的类别数量。
11.根据权利要求8-10中任一所述的装置，所述装置还包括：
尺寸确定模块，用于所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，若待矫正图像的图像尺寸大于设定尺寸，则确定缩小尺寸；
图像缩小模块，用于根据确定的缩小尺寸对所述待矫正图像进行缩小；
图像矫正模块，用于对缩小后的图像进行矫正，得到所述陈列立柜图像。
12.根据权利要求8-10中任一所述的装置，所述装置还包括：
模型输入模块，用于所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，将所述陈列立柜图像输入图像分割模型，根据输出结果确定所述初始识别结果；
其中所述图像分割模型的训练包括：
图像缩放模块，用于基于随机缩放尺寸对原样本图像进行缩放，得到新样本图像；
模型训练模块，用于利用所述原样本图像和所述新样本图像，对初始识别模型进行训练，得到所述图像分割模型。
13.根据权利要求12所述的装置，所述图像缩放模块，包括：
图像缩放单元，用于根据随机缩放尺寸对所述原样本图像进行缩放，得到初始样本图像；
边界填充单元，用于若所述初始样本图像的尺寸小于设定裁切尺寸，则对所述初始样本图像进行边界填充；
图像裁切单元，用于根据设定裁切尺寸，对填充后的初始样本图像进行裁切，得到所述新样本图像。
14.根据权利要求8-10中任一所述的装置，所述装置还包括：
预处理模块，用于所述根据陈列立柜的初始识别结果，从陈列立柜图像中裁切位于顶层分隔板上的第一图像区域之前，基于模型的网络层，对所述陈列立柜图像进行预处理；
识别模块，用于基于模型的其他网络层，根据预处理后的陈列立柜图像，确定所述初始识别结果；
其中由GPU图形处理器执行所述模型的处理逻辑。
15. 一种电子设备，其中，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608382.1A CN111814628B (zh) | 2020-06-29 | 2020-06-29 | 陈列立柜识别方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608382.1A CN111814628B (zh) | 2020-06-29 | 2020-06-29 | 陈列立柜识别方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814628A CN111814628A (zh) | 2020-10-23 |
| CN111814628B true CN111814628B (zh) | 2024-02-27 |
Family
ID=72855630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010608382.1A Active CN111814628B (zh) | 2020-06-29 | 2020-06-29 | 陈列立柜识别方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814628B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464758A (zh) * | 2020-11-16 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 用于手势识别的数据增强方法、装置、计算机设备及存储介质 |
| CN114411399B (zh) * | 2021-12-27 | 2023-01-13 | 珠海格力电器股份有限公司 | 衣物湿度的展示方法、模组、智能设备和可读存储介质 |
| CN115482533B (zh) * | 2022-09-19 | 2023-06-16 | 北京百度网讯科技有限公司 | 陈列柜的拆分方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930264A (zh) * | 2012-09-29 | 2013-02-13 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析系统及方法 |
| WO2019134252A1 (zh) * | 2018-01-03 | 2019-07-11 | 东南大学 | 结构裂缝自动化描绘及宽度精准测量方法与设备 |
| CN110334768A (zh) * | 2019-07-08 | 2019-10-15 | 创新奇智(重庆)科技有限公司 | 一种冰柜陈列检测方法、系统及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508580B (zh) * | 2017-09-15 | 2022-02-25 | 阿波罗智能技术(北京)有限公司 | 交通信号灯识别方法和装置 |
-
2020
- 2020-06-29 CN CN202010608382.1A patent/CN111814628B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930264A (zh) * | 2012-09-29 | 2013-02-13 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析系统及方法 |
| WO2019134252A1 (zh) * | 2018-01-03 | 2019-07-11 | 东南大学 | 结构裂缝自动化描绘及宽度精准测量方法与设备 |
| CN110334768A (zh) * | 2019-07-08 | 2019-10-15 | 创新奇智(重庆)科技有限公司 | 一种冰柜陈列检测方法、系统及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 耦合颜色和纹理特征的矿物图像数据深度学习模型与智能识别方法;李明超;刘承照;张野;朱月琴;;大地构造与成矿学(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814628A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814628B (zh) | 陈列立柜识别方法、装置、设备以及存储介质 | |
| US20220383535A1 (en) | Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium | |
| EP3926526A2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
| CN111709878B (zh) | 人脸超分辨率实现方法、装置、电子设备及存储介质 | |
| US11748986B2 (en) | Method and apparatus for recognizing key identifier in video, device and storage medium | |
| CN111814633B (zh) | 陈列场景检测方法、装置、设备以及存储介质 | |
| US11354887B2 (en) | Coin identification method, device, and cash register | |
| CN112528976A (zh) | 文本检测模型的生成方法和文本检测方法 | |
| CN110659600A (zh) | 物体检测方法、装置及设备 | |
| JP7242994B2 (ja) | ビデオイベント識別方法、装置、電子デバイス及び記憶媒体 | |
| CN111967490A (zh) | 用于地图检测的模型训练方法和地图检测方法 | |
| CN112184837A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
| CN111709428A (zh) | 图像中关键点位置的识别方法、装置、电子设备及介质 | |
| CN111950345A (zh) | 摄像头的识别方法、装置、电子设备和存储介质 | |
| CN113033346B (zh) | 文本检测方法、装置和电子设备 | |
| CN112749701B (zh) | 车牌污损分类模型的生成方法和车牌污损分类方法 | |
| CN112016523B (zh) | 跨模态人脸识别的方法、装置、设备和存储介质 | |
| CN112784102A (zh) | 视频检索方法、装置和电子设备 | |
| CN111932530A (zh) | 三维对象检测方法、装置、设备和可读存储介质 | |
| CN114187488B (zh) | 图像处理方法、装置、设备、介质 | |
| CN111680628B (zh) | 文字框融合方法、装置、设备以及存储介质 | |
| CN114330576A (zh) | 模型处理方法、装置、图像识别方法及装置 | |
| CN111832459A (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN111368794B (zh) | 障碍物检测方法、装置、设备和介质 | |
| CN114863143B (zh) | 图像检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |