CN110334768B - 一种冰柜陈列检测方法、系统及电子设备 - Google Patents

一种冰柜陈列检测方法、系统及电子设备 Download PDF

Info

Publication number
CN110334768B
CN110334768B CN201910612506.0A CN201910612506A CN110334768B CN 110334768 B CN110334768 B CN 110334768B CN 201910612506 A CN201910612506 A CN 201910612506A CN 110334768 B CN110334768 B CN 110334768B
Authority
CN
China
Prior art keywords
image
ice chest
position information
refrigerator
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910612506.0A
Other languages
English (en)
Other versions
CN110334768A (zh
Inventor
张发恩
宋亮
秦永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Chongqing Technology Co ltd
Original Assignee
Ainnovation Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Chongqing Technology Co ltd filed Critical Ainnovation Chongqing Technology Co ltd
Priority to CN201910612506.0A priority Critical patent/CN110334768B/zh
Publication of CN110334768A publication Critical patent/CN110334768A/zh
Application granted granted Critical
Publication of CN110334768B publication Critical patent/CN110334768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及零售业管理技术领域，特别涉及一种冰柜陈列检测方法、系统及电子设备，包括如下步骤：提供待测图像，待测图像包括背景区域和冰柜区域；利用图像语义分割模型对待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；利用位置信息和/或分类信息将待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；通过单应性变换算法将冰柜图像进行矫正以获得矫正图像；及基于所述矫正图像中的所有像素的位置信息和分类信息获得所述冰柜中的内容和所述冰柜的层数，并结合预存的样品模板进行比较，进而判定所述冰柜是否陈列合规，基于矫正图像判定所述冰柜的陈列内容是否合规能很好的提高分析准确性，避免出现不必要的偏差且节省人力和财力。

Description

一种冰柜陈列检测方法、系统及电子设备
【技术领域】
本发明涉及零售业管理技术领域，特别涉及一种冰柜陈列检测方法、系统及电子设备。
【背景技术】
随着经济的发展以及互联网的普及，很多零售业通过加盟合伙的方式进行运营，或者在不同的区域规划多个分销点，由管控中心按照设定的标准统一管理。为了方便管理，比如现有的冰柜或者无人货柜中，通常要求每个合伙加盟商按照集团规定的标准陈列商品，比如冰柜中每一层应该放什么东西，每一种物品之间的排列顺序等都是有设定的规则的。一旦出现不是按照规定排列时，需要通知商户进行调整。现有的检查冰柜的方式通常是利用摄像设备对冰柜进行拍摄以获得图像，对图像进行分析以判定所述冰柜的陈列方式是否合规，常常在拍摄过程中，由于拍摄角度难以控制，拍摄出来的图像容易出现倾斜，导致不能完全清楚的显示冰柜中的内容，导致分析结果可靠性低。
【发明内容】
为克服目前的冰柜陈列检测方法存在的可靠性低的技术问题，本发明提供一种冰柜陈列检测方法、系统及电子设备。
为了解决上述技术问题提供一种冰柜陈列检测方法，用于对冰柜中陈列的商品进行分析以判定所述冰柜的陈列方式是否合规，包括如下步骤：步骤S1、提供待测图像，所述待测图像包括背景区域和冰柜区域；步骤S2、利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；步骤S3、利用所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；步骤S4、通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像；及步骤S5、基于所述矫正图像中的所有像素的位置信息和/或分类信息获得所述冰柜中的内容和所述冰柜的层数，并结合预存的样品模板进行比较，进而判定所述冰柜是否陈列合规，所述预存的样品模板为每个像素对应的位置信息、分类信息和样品种类之间的映射关系。
优选地，在所述步骤S1中，所述图像语义分割模型包括像素级的决策树分类模型或者全卷积神经网络模型中的任一种。
优选地，所述步骤S3中，进一步基于所述冰柜的外形结合所述位置信息和分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像。
优选地，所述步骤S4包括如下步骤：步骤S41、基于所述步骤S2中获得的位置信息选定多个参考点；步骤S42，根据所述参考点计算获得单应性矩阵；及步骤S43、根据单应性矩阵对所述冰柜图像进行矫正以获得矫正图像。
本发明为了解决上述技术问题还提供一种冰柜陈列检测系统，包括：图像获取模块，配置用于对待测冰柜进行拍照以获得待测图像；图像语义分割模块，配置用于利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；图像分离模块，配置用于基于所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；图像校正模块：配置用于通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像；分析模块：配置用于基于所述矫正图像中的所有像素的位置信息和/或分类信息获得所述冰柜的层数，并结合预存的样品模板获知所述冰柜中每层样品的陈列是否合规，所述预存的样品模板为每个像素对应的位置信息、分类信息和样品种类之间的映射关系。
优选地，所述图像校正模块包括：选取单元：配置用于基于图像语义分割模块获得的与每个像素点对应的位置信息选择多个参考点；计算单元：配置用于根据所述参考点计算获得单应性矩阵。
本发明为了解决上述技术问题，还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行如上所述的冰柜陈列检测方法；所述处理器被设置为通过所述计算机程序执行如上所述的冰柜陈列检测方法。
相对于现有技术，在本发明所提供的冰柜陈列检测方法中，利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息，利用所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像，从而能很好的缩小需要对图像进行处理的区域，提高对图像的处理效率，通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像且基于所述矫正图像分析获得所述冰柜中的内容，基于矫正图像判定所述冰柜的陈列内容是否合规能很好的提高分析准确性，避免出现不必要的偏差且节省人力和财力；同时，在连锁超市以及无人货柜日趋流行和普遍的趋势下，对冰柜以及无人货柜的管控将更加严格且其工作量也相对较大，通过这种基于拍摄的图片即可自动分析商品的陈列是否合规，智能化程度更高，将更好的适应现有以及未来商业发展的需求。
冰柜通常为长方体状，进一步基于冰箱的外形结合所述位置信心和分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像，能很好的提高分离效率。
基于所述矫正图像中的所有像素的位置信息和分类信息获得所述冰柜的层数；及基于所述位置信息和/或分类信息结合预存的样品模板获知所述冰柜中每层样品的陈列是否合规，逐一的通过每一层进行比对判定是否合规，缩小了比对范围，能很好的提高分析的速度和准确性。
本发明提供的冰柜陈列检测系统和电子设备具有和所述基于冰柜陈列检测方法相同的有益效果。
【附图说明】
图1是本发明第一实施例中提供的冰柜陈列检测方法的流程示意图；
图2是本发明第一实施例中提供的冰柜陈列检测方法中变形实施例中的流程示意图；
图3是本发明第一实施例中提供的冰柜陈列检测方法步骤S4的细节流程示意图；
图4a是本发明第一实施例中提供的冰柜陈列检测方法中冰柜图像的示意图；
图4b是本发明第一实施例中提供的冰柜陈列检测方法中矫正图像的示意图；
图5是本发明第一实施例中提供的冰柜陈列检测方法步骤S5的细节流程示意图；
图6是本发明第二实施例中提供的冰柜陈列检测系统的模块示意图；
图7是本发明第三实施例中提供的电子设备的模块示意图；
图8是本发明第四实施例中提供适于用来实现本发明实施例的服务器的计算机系统的结构示意图。
附图标识说明：
50、冰柜陈列检测系统；501、图像获取模块；502、图像语义分割模块；503、图像分离模块；504、图像矫正模块；5041、选取单元；5042、计算单元；505、分析模块；60、电子设备；601、存储器；602、处理器；800、计算机系统；801、中央处理单元(CPU)；802、存储器(ROM)；803、RAM；804、总线；805、I/O接口；806、输入部分；807、输出部分；808、存储部分；809、通信部分；810、驱动器；811、可拆卸介质。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种冰柜陈列检测方法，用于对冰柜中陈列的商品进行分析以判定所述冰柜的陈列方式是否合规，包括如下步骤：
S1、提供待测图像，所述待测图像包括背景区域和冰柜区域；
S2、利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；
S3、利用所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；
S4、通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像；及
S5、基于所述矫正图像中的所有像素的位置信息和分类信息获得所述冰柜中的内容和所述冰柜的层数，并结合预存的样品模板进行比较，进而判定所述冰柜是否陈列合规。在所述步骤S1中，待测图像为拍摄获得的图像，可以通过相机、手机或者其他拍照设备获得。通常，在需要对一个冰柜进行检查，评判冰柜中摆放的商品是否合格时，需要先打开冰柜的柜门，然后对整个冰柜进行拍摄，拍摄获得的图像包括整个冰柜的全部区域和背景区域。可以理解的是，评判冰柜中摆放的商品是否合规，是结合每个用户的需求制定的标准进行的。比如，一个冰柜有多层，用户可以规定每一层放同样的商品，当某一层被检查出放入不同类商品时，则认为不合格；还可以是，每一层中放置不同类型的商品，每个不同类别的商品的放置位置是固定的，当某个商品放置的位置错误时，则认为陈列不合格。
在所述步骤S2中，利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息。
具体地，在上述步骤S2中，所述图像语义分割模型包括像素级的决策树分类模型或全卷积神经网络模型(Fully Convolutional Network，FCN)中的任一种。在本发明中，所述图像语义分割模型在处理图像时，可具体到像素级别，也就是说，该模型会将图像中每个像素分配到某个对象类别。在本发明中以全卷积神经网络模型为例做具体说明，在具体的应用过程中，将卷积神经网络中的全连接层替换为卷积层来输出一种空间域映射，从而将现存、周知的分类模型，如AlexNet模型，VGG模型，GoogleNet模型和ResNet模型等，转化为全连接的模型。这些映射用分数阶卷积(fractionally stridedconvolutions，又称为反卷积)来产生像素级标签输出。基于此，可将卷积神经网络应用于端到端图像分割问题的训练，从而可实现对任意大小图像进行密集预测(densepredictions)，以对图像的每个像素点都做分类，并可同时获知对应像素点的位置信息。
在所述步骤S3中，利用所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像。
在本步骤中，可以是结合每个像素的位置信息以及冰柜的形状进行分析以将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像。可以理解的是，冰柜通常为长方形，获得该冰柜四个角对应的位置信息即可将冰柜区域分离出来。
或者，基于位置信息和分类信息的结合以将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像，可以理解的是，冰柜边框上的像素是属于同一类别的，再基于位置信息将相邻的像素点构建成连通域，从而使得冰柜区域和背景分离。
请参阅图2，本发明提供的一种冰柜检测方法还包括步骤：
步骤S30、利用矩形框将所述冰柜图像框定。
所述步骤S30在所述步骤S3和步骤S4之间。
在所述步骤S4中，通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像。由于在拍摄图像的过程中，由于拍摄角度的把控问题，拍摄出来的图像容易出现倾斜，导致冰柜中商品显示不完全，对商品进行判定时容易出现偏差，因此需要对冰柜图像进行矫正。
请参阅图3，单应性变换又称投影变换，所述步骤S4具体包括如下步骤：
S41、基于所述步骤S2中获得的位置信息选定多个参考点；
步骤S42，根据所述参考点计算获得单应性矩阵；及
步骤S43、根据单应性矩阵结合单应性变换算法对所述冰柜图像进行矫正以获得矫正图像。
所述步骤S42中获得单应性矩阵的过程一般如下：
假设单应性矩阵为H：
假设已知点对(a，b)作为参考点，则有下面的公式：
b＝HaT
即：
由上面这个公式1＝h31x+h32y+h33可得到下面这个线性方程：
通过求解该线性方程即可获得单应性矩阵H。
可以理解，在步骤S43中对所述冰柜图像进行矫正之后获得的矫正图像的每个像素的位置信息和分类信息均发生改变。可以理解的是，在拍摄获得的待测图像很多情况下是倾斜的，使得冰柜图像也是倾斜的，如图4a所示。当通过单应性变换矫正之后，就类似是正对冰柜拍出来的图像，如图4b所示。矫正之后的冰柜图像每个层区的区域能正确反应该区域的轮廓同时能将该区域的商品全部展示出来。
请参阅图5，所述步骤S5包括如下步骤：
步骤S51、基于所述位置信息和/或分类信息结合预存的样品模板获知所述冰柜中每层样品的陈列是否合规。
由于矫正图像后，其相当是正对冰柜拍摄获得的图像，因此，冰柜轮廓以及每一层都对应为一个矩形框，因此，在所述步骤S5中，基于所有像素的位置信息和分类信息即可获得冰柜的层数。
在所述步骤S51中的预存的样品模板为：每个像素对应的位置信息、分类信息和样品种类之间的映射关系。
比如，映射关系为：
位置信息为(01，01)、分类信息为(A1，A2)时，对应的样品种类为：矿泉水；
位置信息为(02，02)、分类信息为(B1，B2)时，对应的样品种类为：果汁；
那么，矫正图像中像素的位置信息为：(01，01)、分类信息为(A1，A2)时，则可以得出对应的样品种类为：矿泉水，判定该位置处商品的陈列复合规定。
若，矫正图像中像素的位置信息为：(01，01)、分类信息为(B1，B2)时，则认为冰柜的陈列不符合规定。
请参阅图6，本发明的第二实施例提供一种冰柜陈列检测系统50，其包括：图像获取模块501、图像语义分割模块502、图像分离模块503、图像矫正模块504以及分析模块505。
图像获取模块501，配置用于对待测冰柜进行拍照以获得待测图像；
图像语义分割模块502，配置用于利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；
图像分离模块503，配置用于基于所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；
图像矫正模块504，配置用于通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像；
分析模块505：配置用于基于所述矫正图像分析获得所述冰柜中的内容，进而判定所述冰柜是否陈列合格。
所述图像校正模块504包括，选取单元5041和计算单元5042。
选取单元5041，配置用于基于图像语义分割模块获得的与每个像素点对应的位置信息选择多个参考点；
计算单元5042，配置用于根据所述参考点计算获得单应性矩阵。
所述分析模块505包括：区域划分单元5051和判断单元5052。区域划分单元5051配置用于基于所述矫正图像中的所有像素的位置信息和分类信息获得所述冰柜的层数；判断单元5052配置用于基于所述位置信息和/或分类信息结合预存的样品模板获知所述冰柜中每层样品的陈列是否合规。
第二实施例包括第一实施例中所述的冰柜陈列检测方法中具体的实施细节，在此不再赘述。
请参阅图7，本发明的第三实施例提供一种电子设备60，包括存储器601和处理器602，所述存储器601中存储有计算机程序，所述计算机程序被设置为运行时执行如第一实施例所述的冰柜陈列检测方法；
所述处理器602被设置为通过所述计算机程序执行如第一实施例所述的冰柜陈列检测方法。
下面参考图8，其示出了适于用来实现本申请实施例的终端设备/服务器的计算机系统800的结构示意图。图8示出的终端设备/服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“如“语言或类似的程序设计语言。程序代码可以完全地在管理端计算机上执行、部分地在管理端计算机上执行、作为一个独立的软件包执行、部分在管理端计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)域连接到管理端计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
相对于现有技术，在本发明所提供的冰柜陈列检测方法中，利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息，利用所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像，从而能很好的缩小需要对图像进行处理的区域，提高对图像的处理效率，通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像且基于所述矫正图像分析获得所述冰柜中的内容，基于矫正图像判定所述冰柜的陈列内容是否合规能很好的提高分析准确性，避免出现不必要的偏差且节省人力和财力。
冰柜通常为长方体状，进一步基于冰箱的外形结合所述位置信息和分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像，能很好的提高分离效率。
基于所述矫正图像中的所有像素的位置信息和分类信息获得所述冰柜的层数；及基于所述位置信息和/或分类信息结合预存的样品模板获知所述冰柜中每层样品的陈列是否合规，逐一的通过每一层进行比对判定是否合规，缩小了比对范围，能很好的提高分析的速度和准确性。
本发明提供的冰柜陈列检测系统和电子设备具有和所述基于冰柜陈列检测方法相同的有益效果。
以上所述仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (7)

1.一种冰柜陈列检测方法，其特征在于：用于对冰柜中陈列的商品进行分析以判定所述冰柜的陈列方式是否合规，包括如下步骤：
S1、提供待测图像，所述待测图像包括背景区域和冰柜区域；
S2、利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；
S3、利用所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；
S4、通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像；及
S5、基于所述矫正图像中的所有像素的位置信息和/或分类信息获得所述冰柜中的内容和所述冰柜的层数，并结合预存的样品模板进行比较，进而判定所述冰柜是否陈列合规，所述预存的样品模板为每个像素对应的位置信息、分类信息和样品种类之间的映射关系。
2.如权利要求1所述的冰柜陈列检测方法，其特征在于：在所述步骤S1中，所述图像语义分割模型包括像素级的决策树分类模型或者全卷积神经网络模型中的任一种。
3.如权利要求1所述的冰柜陈列检测方法，其特征在于：所述步骤S3中，进一步基于所述冰柜的外形结合所述位置信息和分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像。
4.如权利要求1所述的冰柜陈列检测方法，其特征在于：所述步骤S4包括如下步骤：
步骤S41、基于所述步骤S2中获得的位置信息选定多个参考点；
步骤S42、根据所述参考点计算获得单应性矩阵；及
步骤S43、根据单应性矩阵结合单应性变换算法对所述冰柜图像进行矫正以获得矫正图像。
5.一种冰柜陈列检测系统，其特征在于，包括：
图像获取模块，配置用于对待测冰柜进行拍照以获得待测图像；
图像语义分割模块，配置用于利用图像语义分割模型对所述待测图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；
图像分离模块，配置用于基于所述位置信息和/或分类信息将所述待测图像中的冰柜区域与背景区域进行分离以获得冰柜图像；
图像矫正模块：配置用于通过单应性变换算法将所述冰柜图像进行矫正以获得矫正图像；
分析模块：配置用于基于所述矫正图像中的所有像素的位置信息和/或分类信息获得所述冰柜的层数，并结合预存的样品模板获知所述冰柜中每层样品的陈列是否合规，所述预存的样品模板为每个像素对应的位置信息、分类信息和样品种类之间的映射关系。
6.如权利要求5所述的一种冰柜陈列检测系统，其特征在于，所述图像矫正模块包括：
选取单元：配置用于基于图像语义分割模块获得的与每个像素点对应的位置信息选择多个参考点；
计算单元：配置用于根据所述参考点计算获得单应性矩阵。
7.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的冰柜陈列检测方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至4任一项中所述的冰柜陈列检测方法。
CN201910612506.0A 2019-07-08 2019-07-08 一种冰柜陈列检测方法、系统及电子设备 Active CN110334768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910612506.0A CN110334768B (zh) 2019-07-08 2019-07-08 一种冰柜陈列检测方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910612506.0A CN110334768B (zh) 2019-07-08 2019-07-08 一种冰柜陈列检测方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN110334768A CN110334768A (zh) 2019-10-15
CN110334768B true CN110334768B (zh) 2023-08-22

Family

ID=68143304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910612506.0A Active CN110334768B (zh) 2019-07-08 2019-07-08 一种冰柜陈列检测方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110334768B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738260A (zh) * 2019-10-16 2020-01-31 名创优品（横琴）企业管理有限公司 一种零售门店太空箱摆放检测方法、装置和设备
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN111814628B (zh) * 2020-06-29 2024-02-27 北京百度网讯科技有限公司 陈列立柜识别方法、装置、设备以及存储介质
CN113536989B (zh) * 2021-06-29 2024-06-18 广州博通信息技术有限公司 基于摄像视频逐帧分析的制冷机结霜监控方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
JP2018099317A (ja) * 2016-12-20 2018-06-28 大日本印刷株式会社 陳列棚、陳列棚システム、情報処理装置及びプログラム
CN109241883A (zh) * 2018-08-23 2019-01-18 深圳码隆科技有限公司 一种基于自动售货机的退货控制方法及其装置
CN109784227A (zh) * 2018-12-29 2019-05-21 深圳爱莫科技有限公司 图像检测识别方法和装置
CN109784193A (zh) * 2018-12-20 2019-05-21 上海扩博智能技术有限公司 用于智能冰箱的终端数据采集装置及系统
CN109886301A (zh) * 2019-01-16 2019-06-14 深圳创新奇智科技有限公司 一种图像特征排布判断方法及其系统、终端设备
CN109919211A (zh) * 2019-02-26 2019-06-21 南京旷云科技有限公司 商品识别方法、装置、系统和计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
JP2018099317A (ja) * 2016-12-20 2018-06-28 大日本印刷株式会社 陳列棚、陳列棚システム、情報処理装置及びプログラム
CN109241883A (zh) * 2018-08-23 2019-01-18 深圳码隆科技有限公司 一种基于自动售货机的退货控制方法及其装置
CN109784193A (zh) * 2018-12-20 2019-05-21 上海扩博智能技术有限公司 用于智能冰箱的终端数据采集装置及系统
CN109784227A (zh) * 2018-12-29 2019-05-21 深圳爱莫科技有限公司 图像检测识别方法和装置
CN109886301A (zh) * 2019-01-16 2019-06-14 深圳创新奇智科技有限公司 一种图像特征排布判断方法及其系统、终端设备
CN109919211A (zh) * 2019-02-26 2019-06-21 南京旷云科技有限公司 商品识别方法、装置、系统和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于全卷积神经网络的遥感影像修复方法研究;石斌斌;《中国优秀硕士学位论文全文数据库基础科学辑》;20181215(第（2018）12期);A008-116 *

Also Published As

Publication number Publication date
CN110334768A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334768B (zh) 一种冰柜陈列检测方法、系统及电子设备
US11321578B2 (en) Analysis of a captured image to determine a test outcome
EP3509014A1 (en) Detecting objects in images
US9014467B2 (en) Image processing method and image processing device
CN109829397B (zh) 一种基于图像聚类的视频标注方法、系统以及电子设备
US20190370551A1 (en) Object detection and tracking delay reduction in video analytics
CN108228761B (zh) 支持区域自定义的图像检索方法和装置、设备、介质
US20130170760A1 (en) Method and System for Video Composition
WO2020107951A1 (zh) 一种基于图像的商品结算方法、装置、介质及电子设备
US20220114396A1 (en) Methods, apparatuses, electronic devices and storage media for controlling image acquisition
Zhang et al. A vision-based container position measuring system for ARMG
CN110781823A (zh) 录屏检测方法、装置、可读介质及电子设备
US11861668B2 (en) Method, device, electronic apparatus and storage medium for generating order
CN112750162A (zh) 一种目标识别定位方法和装置
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
CN115423795A (zh) 静帧检测方法、电子设备及存储介质
CN112989768B (zh) 连线题批改方法、装置、电子设备及存储介质
CN112687211B (zh) 一种显示面板的拖影测量方法及装置、存储介质
CN113496513A (zh) 一种目标对象检测方法及装置
CN116958035A (zh) 产品零件缺陷检测方法、装置、介质及电子设备
CN114677649A (zh) 图像识别方法、装置、设备和介质
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
US11508143B2 (en) Automated salience assessment of pixel anomalies
CN108447107B (zh) 用于生成视频的方法和装置
CN113269730A (zh) 图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant