CN117292104B - 基于图像识别的货架陈列检测方法及系统 - Google Patents
基于图像识别的货架陈列检测方法及系统 Download PDFInfo
- Publication number
- CN117292104B CN117292104B CN202311565547.1A CN202311565547A CN117292104B CN 117292104 B CN117292104 B CN 117292104B CN 202311565547 A CN202311565547 A CN 202311565547A CN 117292104 B CN117292104 B CN 117292104B
- Authority
- CN
- China
- Prior art keywords
- feature matrix
- matrix
- shelf
- similarity
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 254
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于图像识别的货架陈列检测方法及系统，所述方法包括：基于预先设置的货架陈列方案，构建至少一个模板图像；针对每一张所述模板图像，构建第一特征矩阵；响应于用户的操作请求，采集目标货架图像；基于所述目标货架图像，构建原始特征矩阵；以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；确定所述第二特征矩阵与所述第一特征矩阵的相似度；基于所述相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。本发明能够对货架陈列是否符合预设方案进行自动化检测，相较于人工检查，能够提高效率和准确度，节省人力成本。
Description
技术领域
本发明涉及计算机领域，具体涉及一种基于图像识别的货架陈列检测方法及系统。
背景技术
当前企业检查货架陈列时需要人工现场检查或通过照片人工核对货架陈列是否符合陈列要求，如：商品摆放次序，是否连续摆放，是否中间有空位等等。由于人工检查陈列情况，一方面需要耗费大量人力，另一方面由于计算规则复杂，人工检查时容易出错。为解决该问题，专利CN108549870A提出一种对物品陈列进行鉴别的方法及装置，该方法通过在货架上按照标准样式摆放物品，构建出模板图像，再通过图像识别技术对采集图像和模板图像中相同位置处的物品进行一致性比对。但是，该方案的模板图像构建过于繁琐，每更新一次摆放规则就需要对作为模板的货架重新摆放一次，若在摆放规则更新频繁或者货架很多的场景下，这样的方式工作量太大，且后续一致性比对计算过程比较复杂，难以部署在实际场景中。
发明内容
发明目的：本发明旨在提出一种基于图像识别的货架陈列检测方法及系统，能够基于图像识别技术实现货架陈列的自动化检测。
发明内容：为实现上述目的，本发明提出以下技术方案：
第一方面，提供了一种基于图像识别的货架陈列检测方法，包括：
基于预先设置的货架陈列方案，构建至少一个模板图像；所述货架陈列方案是由预设的货架陈列规则构建得到的；
针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；
响应于用户的操作请求，采集目标货架图像；
基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；
以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；
确定所述第二特征矩阵与所述第一特征矩阵的相似度；
基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。
作为第一方面所述方法的一种可选实施方式，基于所述目标货架图像构建所述原始特征矩阵，具体包括：
对所述目标货架图像中的物品进行目标检测，将每个检测框的中心点坐标作为相应物品的二维位置坐标；
若相邻的两个物品的纵坐标之差小于预设的第一阈值，则将所述两个物品作为同一行，若相邻的两个物品的横坐标之差小于预设的第二阈值，则将所述两个物品作为同一列；至此，得到所述原始特征矩阵中各元素与所述目标货架中的物品位置的对应关系；
对所述每个检测框中的物品进行特征提取，将提取出的特征作为所述原始特征矩阵中相应位置的元素的值；
将所述原始特征矩阵中未赋值的元素设置为0，得到所述原始特征矩阵。
进一步的，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，具体包括：
遍历所述原始特征矩阵中的元素，将每一个元素的值与所述货架陈列方案所规定的物品特征进行比对，若所述元素的值对应的物品特征与所述货架陈列方案所规定的物品特征一致，则将相应元素的值设置为1；若不一致，则将相应元素的值设置为0。
作为第一方面所述方法的一种可选实施方式，所述第一特征矩阵为单特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：
将所述第二特征矩阵进行切片，得到与所述第一特征矩阵的行和列一致的第一子矩阵；
针对每一个所述第一特征矩阵，确定所述第一子矩阵与所述第一特征矩阵之间的子相似度；
将所述第一子矩阵与所述第一特征矩阵的子相似度的最大值作为所述第二特征矩阵与所述第一特征矩阵之间的相似度。
进一步的，所述第一子矩阵与所述第一特征矩阵之间的子相似度采用以下计算方式得到：
其中，表示第一特征矩阵，/>表示由所述第二特征矩阵切片得到的第/>个第一子矩阵，/>表示第一特征矩阵/>与第一子矩阵/>之间的相似度。
作为第一方面所述方法的一种可选实施方式，所述第一特征矩阵为组合特征矩阵，确定所述第二特征矩阵与所述第一特征矩阵之间的相似度，具体包括：
将所述第一特征矩阵分解为相同大小的单特征矩阵；
将所述第二特征矩阵进行切片，得到与所述单特征矩阵的行和列一致的第二子矩阵；
针对每一个所述第二子矩阵，计算该第二子矩阵与各个单特征矩阵之间的子相似度；若该第二子矩阵与各个单特征矩阵之间的子相似度均大于预设的第三阈值，则取该第二子矩阵与各个单特征矩阵之间的子相似度的平均值，作为该第二子矩阵与所述第一特征矩阵的相似度；否则，将该第二子矩阵与所述第一特征矩阵的相似度设置为0；
选取所述第二子矩阵与所述第一特征矩阵的相似度的最大值，作为所述第二特征矩阵与所述第一特征矩阵之间的相似度。
作为第一方面所述方法的一种可选实施方式，基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案，具体包括：
针对每一个所述第一特征矩阵，设置权重系数；
将所述第二特征矩阵与所述第一特征矩阵的相似度与所述权重系数进行加权求和，得到所述目标货架中物品陈列情况与所述货架陈列方案之间的匹配度；
若所述匹配度大于预设的第四阈值，则确定所述目标货架中物品陈列符合所述货架陈列方案，否则，确定所述目标货架中物品陈列不符合所述货架陈列方案。
进一步的，所述方法还包括：
当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息。
第二方面，提供了一种基于图像识别的货架陈列检测系统，包括：
第一数据获取模块，配置为获取用户输入的货架陈列方案；
第二数据获取模块，配置为响应于用户的操作请求，获取目标货架图像；
第一生成模块，配置为基于所述货架陈列方案，构建至少一个模板图像；以及针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；
第二生成模块，配置为基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；以及，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；
第一计算模块，配置为确定所述第二特征矩阵与所述第一特征矩阵的相似度；
第二计算模块，配置为基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。
作为第二方面所述系统的一种可选实施方式，所述系统还包括：
告警模块，配置为当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息。
有益效果：与现有技术相比，本发明具有以下优势：
本发明基于图像识别技术，采集目标货架图像，并将目标货架图像编码为二进制矩阵，同时，将货架陈列方案也转换为二进制矩阵，从而将货架陈列情况的检查转换成求解矩阵相似度的问题。基于相似度计算，即可获知货架陈列是否符合货架陈列方案的规定，相较于人工检测，本方案方便快捷、效率高、准确率高，能够节省大量的人工成本。
附图说明
图1为实施例涉及的基于图像识别的货架陈列检测方法的流程示意图；
图2为实施例涉及的基于图像识别的货架陈列检测方法在一种场景下的流程示意图；
图3为实施例涉及的基于图像识别的货架陈列检测系统的结构图。
具体实施方式
下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是，本发明可以以各种形式实施，以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例，并不意图将本发明限制于所说明的具体实施例。
应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外的实施例。此外，本发明所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。
本实施例旨在基于图像识别技术和矩阵编码技术，提出一种易于部署实现且检测准确率高的基于图像识别的货架陈列检测方法及系统。
请参考图1，本实施例提出一种基于图像识别的货架陈列检测方法，其流程包括以下步骤：
S101、基于预先设置的货架陈列方案，构建至少一个模板图像。
S102、针对每一个模板图像，构建第一特征矩阵。
S103、响应于用户的操作请求，采集目标货架图像。
S104、基于目标货架图像，构建原始特征矩阵。
S105、以货架陈列方案所规定的物品特征为基准，对原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵。
S106、确定第二特征矩阵与第一特征矩阵的相似度。
S107、基于第二特征矩阵与第一特征矩阵的相似度，判断目标货架中物品陈列是否符合货架陈列方案。
下面，将结合图2所示的场景，对上述流程中的每一个步骤进行详细解释。
S101、基于预先设置的货架陈列方案，构建至少一个模板图像。
请参考图2，货架陈列方案是由预设的货架陈列规则构建得到的。货架陈列规则是指对于货架上陈列的货品的位置、种类、形状、颜色等的具体要求，比如相同种类的货物排在货架的同一行，相同颜色的货物排在一起等。
具体来说，不同场景下，货架陈列方案的要求都不同，在进行针对目标货架的陈列情况检测时，应当预先设置好针对该目标货架的货架陈列方案。
设置好的货架陈列方案中可能包含多条陈列规则，可以对每一条陈列规则构建一个或多个模板图像，该模板图像就作为后续目标货架陈列情况的比对模板。
S102、针对每一个模板图像，构建第一特征矩阵。
其中，第一特征矩阵为二进制矩阵，第一特征矩阵的元素位置表征模板图像中的物品位置，第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征。
请继续参考图2，在实际操作中，获取模板图像后，可以对模板图像中的物品进行目标识别，得到物品检测框。模板图像中的每一行物品对应第一特征矩阵中的每一行，模板图像中的每一列物品对应第一特征矩阵中的每一列。
具体来说，可以将模板图像构建成一个二维坐标系，图中货架的高度方向设置为y轴，图中货架的宽度方向设置为x轴。然后计算每个物品检测框的中心点在该二维坐标系中的位置坐标，将该中心点的位置坐标作为对应物品的位置坐标。根据物品的位置坐标，将纵坐标偏差在一个标准物品高度单位的以内的物品整理为第一特征矩阵的同一行，将横坐标偏差在一个标准物品宽度以内的商品整理为矩阵的同一列
在模板图像中的每一行中，若物品之间出现宽度方向的间隔，则可以根据该间隔的宽度对第一特征矩阵中对应的一行进行补位。即若物品之间出现的间隔的宽度大于等于一个标准物品宽度，则确定需要补位。补位时，将物品之间出现的间隔的宽度对标准物品宽度进行取整，按照取整结果来补0。例如，若物品1和物品2之间出现的间隔宽度为2.5个标准物品宽度，则物品之间出现的间隔宽度对标准物品宽度进行取整的结果是2，就在第一特征矩阵中物品1对应的元素和物品2对应的元素之间补2个0。这里的标准物品宽度可以根据情况设置，本发明对此不作限制。
同理，在模板图像中的每一列中，若物品之间出现高度方向的间隔，则可以根据该间隔的高度对第一特征矩阵中对应的一列进行补位。即若物品之间出现的间隔的高度大于等于一个标准物品高度，则确定需要补位。补位时，将物品之间出现的间隔的高度对标准物品高度进行取整，按照取整结果来补0。例如，若物品3和物品4之间出现的高度间隔为3个标准物品高度，则该高度间隔对标准物品高度进行取整的结果是3，就在第一特征矩阵中物品3对应的元素和物品4对应的元素之间补3个0。这里的标准物品高度可以根据情况设置，本发明对此不作限制。
对于第一特征矩阵中元素的值，可以采用以下方式设置：
模板图像是根据陈列规则构建的，而陈列规则规定了各个位置的物品所需要具备的特征，由此，可以将第一特征矩阵中元素（除了之前补位为0的元素）的取值问题转换为判断相应位置的物品是否具有陈列规则规定的物品特征的问题，而该问题实际上是一个二分类问题，具体来说，若一个物品具备陈列规则规定的物品特征，则将该物品在第一特征矩阵中对应的元素设置为1。而若一个物品不具备陈列规则规定的物品特征，则将该物品在第一特征矩阵中对应的元素设置为0。由此，得到了一个二进制的第一特征矩阵。
S103、响应于用户的操作请求，采集目标货架图像。
本检测方法的启动由用户的操作请求触发，该操作请求可以是用户实时操作系统生成的请求信号，也可以是用于预先编辑并在特定时间点触发的请求信号。
相应的，目标货架图像的采集，可以是在接收到用户的操作请求之后进行的实时采集操作，也可以是基于用户的操作请求读取的预先采集好的指定图像。
S104、基于目标货架图像，构建原始特征矩阵。
其中，原始特征矩阵中元素位置表征目标货架中的物品位置，原始特征矩阵中元素的值表征相应物品的物品特征。
请继续参考图2，在实际操作中，获取目标货架图像，可以对目标货架图像的物品进行目标识别，得到物品检测框。
将目标货架图像构建为二维坐标系，图中货架的高度方向设置为y轴，图中货架的宽度方向设置为x轴。然后计算每个物品检测框的中心点在该二维坐标系中的位置坐标，将该中心点的位置坐标作为对应物品的位置坐标。根据物品的位置坐标，将纵坐标偏差在一个标准物品高度单位的以内的物品整理为第一特征矩阵的同一行，将横坐标偏差在一个标准物品宽度以内的商品整理为矩阵的同一列。
整理后补充空置坐标点，也就是说，对于目标货架图像中物品之间存在的间隔，采用0进行补齐。具体来说，若物品之间出现的间隔的宽度大于等于一个标准物品宽度，则确定需要补位。补位时，将物品之间出现的间隔的宽度对标准物品宽度进行取整，按照取整结果来补0。这里的标准物品宽度可以根据情况设置，本发明对此不作限制。
同理，若物品之间出现高度方向的间隔，则可以根据该间隔的高度对第一特征矩阵中对应的一列进行补位。即若物品之间出现的间隔的高度大于等于一个标准物品高度，则确定需要补位。补位时，将物品之间出现的间隔的高度对标准物品高度进行取整，按照取整结果来补0。这里的标准物品高度可以根据情况设置，本发明对此不作限制。
总的来说，原始特征矩阵P中每一行元素的个数，会大于等于目标货架图像中相应行中物品的个数，因为存在用0补齐的间隔。而原始特征矩阵中除了补0位外，每一个元素都表征了对应物品的物品特征，该物品特征可以通过特征编码器对检测框中的物品图像进行编码得到。
S105、以货架陈列方案所规定的物品特征为基准，对原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵。
由于第一特征矩阵是一个二进制矩阵，相应地，需要将原始特征矩阵转换为二进制矩阵，以便计算与第一特征矩阵之间的相似度。
具体来说， 对原始特征矩阵中元素的值进行二值化处理可以采用以下方式：
遍历原始特征矩阵中的元素，将每一个元素的值与货架陈列方案所规定的物品特征进行比对，若元素的值对应的物品特征与货架陈列方案所规定的物品特征一致，则将相应元素的值设置为1；若不一致，则将相应元素的值设置为0。
由此，可以得到二进制的第二特征矩阵。
S106、确定第二特征矩阵与第一特征矩阵的相似度。
设第一特征矩阵的数量为N，则第个第一特征矩阵表示为/>，/>。设第二矩阵为B。
在一种可能的场景下，第一特征矩阵为单特征矩阵，即第一特征矩阵对应的规则只有一条。则在该场景下，计算第二特征矩阵B与第一特征矩阵的相似度的具体步骤为：
（11）将第二特征矩阵B切片为行、列与第一特征矩阵相等的第一子矩阵,。切片的具体方式可以为：采用与第一特征矩阵相同的采样窗口，遍历第二特征矩阵B进行采样，从而切分出第一子矩阵。
（12）分别计算至/>与第一特征矩阵/>的相似度，其中，/>与/>的相似度表达式为：
其中，表示/>与/>的相似度。
通过上述过程，得到至/>与第一特征矩阵/>的相似度分别为：/>。
（13）取中的最大值作为第二特征矩阵B与第一特征矩阵/>之间的相似度/>，即/>。
在另一种可能的场景下，第一特征矩阵为组合特征矩阵，即第一特征矩阵对应的规则有多条。则在该场景下，计算第二特征矩阵B与第一特征矩阵的相似度的具体步骤为：
（21）将第一特征矩阵分解为/>的单特征矩阵，记为/>，T为单特征矩阵的个数。
（22）将第二特征矩阵B进行切片，得到与单特征矩阵的行和列一致的第二子矩阵，记为至/>，/>为第二子矩阵的个数。
（23）计算每个第二子矩阵与之间的子相似度。
以为例，计算/>与/>之间的子相似度，：
。
由上述计算方式，得到：
与/>之间的子相似度/>；
与/>之间的子相似度/>；
与/>之间的子相似度/>。
（24）计算每个第二子矩阵与第一特征矩阵的相似度。
以为例，若/>与/>之间的子相似度/>均大于预设的第三阈值，则取/>的平均值，作为/>与第一特征矩阵/>的相似度，否则，将/>与第一特征矩阵/>的相似度设置为0。
假设每个第二子矩阵与之间的子相似度均大于预设的第三阈值，则采用以上方式，可以得到每个第二子矩阵与第一特征矩阵/>的相似度：
。
（25）选取第二子矩阵与第一特征矩阵的相似度的最大值，作为第二特征矩阵B与第一特征矩阵/>之间的相似度，则有：/>。
S107、基于第二特征矩阵与第一特征矩阵的相似度，判断目标货架中物品陈列是否符合货架陈列方案。
具体来说，可以针对每一个第一特征矩阵，设置权重系数。然后第二特征矩阵与第一特征矩阵的相似度与权重系数进行加权求和，得到目标货架中物品陈列情况与货架陈列方案之间的匹配度。
例如，假设第一特征矩阵的个数为，则第二特征矩阵与第一特征矩阵的相似度分别为/>。为/>分别设置权重系数，记为/>，则目标货架中物品陈列情况与货架陈列方案之间的匹配度/>的计算公式为：
。
若匹配度大于预设的第四阈值，则确定目标货架中物品陈列符合货架陈列方案，否则，确定目标货架中物品陈列不符合货架陈列方案。
由此可知，在上述方法中，可以通过图像识别和编码技术，将待识别的目标货架图像和货架陈列方案转换为二进制的编码矩阵，从而将货架陈列检测任务转换为求解矩阵相似度的问题。基于相似度计算，即可获知货架陈列是否符合货架陈列方案的规定，相较于人工检测，本方案方便快捷、效率高、准确率高，能够节省大量的人工成本。
在一些优选的实施方式中，还包括：
当确定目标货架中物品陈列不符合货架陈列方案时，生成告警信息，以便提醒检测人员更正货架上陈列错误的物品。
与上述检测方法相对应的，本实施例还提供了一种基于图像识别的货架陈列检测系统，其结构如图3所示，包括：
第一数据获取模块，配置为获取用户输入的货架陈列方案；
第二数据获取模块，配置为响应于用户的操作请求，获取目标货架图像；
第一生成模块，配置为基于货架陈列方案，构建至少一个模板图像；以及针对每一个模板图像，构建第一特征矩阵；第一特征矩阵为二进制矩阵，第一特征矩阵的元素位置表征模板图像中的物品位置，第一特征矩阵中元素的值表征相应物品是否具有货架陈列方案所规定的物品特征；
第二生成模块，配置为基于目标货架图像，构建原始特征矩阵；原始特征矩阵中元素位置表征目标货架中的物品位置，原始特征矩阵中元素的值表征相应物品的物品特征；以及，以货架陈列方案所规定的物品特征为基准，对原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；
第一计算模块，配置为确定第二特征矩阵与第一特征矩阵的相似度；
第二计算模块，配置为基于第二特征矩阵与第一特征矩阵的相似度，判断目标货架中物品陈列是否符合货架陈列方案。
进一步的，所述系统还可以包括：
告警模块，配置为当确定目标货架中物品陈列不符合货架陈列方案时，生成告警信息。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于图像识别的货架陈列检测方法，其特征在于，包括：
基于预先设置的货架陈列方案，构建至少一个模板图像；所述货架陈列方案是由预设的货架陈列规则构建得到的；
针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；
响应于用户的操作请求，采集目标货架图像；
对所述目标货架图像中的物品进行目标检测，将每个检测框的中心点坐标作为相应物品的二维位置坐标；
若相邻的两个物品的纵坐标之差小于预设的第一阈值，则将所述两个物品作为同一行，若相邻的两个物品的横坐标之差小于预设的第二阈值，则将所述两个物品作为同一列；至此，得到原始特征矩阵中各元素与所述目标货架中的物品位置的对应关系；
对所述每个检测框中的物品进行特征提取，将提取出的特征作为所述原始特征矩阵中相应位置的元素的值；
将所述原始特征矩阵中未赋值的元素设置为0，得到所述原始特征矩阵；
以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；
若所述第一特征矩阵为单特征矩阵，则将所述第二特征矩阵进行切片，得到与所述第一特征矩阵的行和列一致的第一子矩阵；针对每一个所述第一特征矩阵，确定所述第一子矩阵与所述第一特征矩阵之间的子相似度；将所述第一子矩阵与所述第一特征矩阵的子相似度的最大值作为所述第二特征矩阵与所述第一特征矩阵之间的相似度；
若所述第一特征矩阵为组合特征矩阵，则将所述第一特征矩阵分解为相同大小的单特征矩阵；将所述第二特征矩阵进行切片，得到与所述单特征矩阵的行和列一致的第二子矩阵；针对每一个所述第二子矩阵，计算该第二子矩阵与各个单特征矩阵之间的子相似度；若该第二子矩阵与各个单特征矩阵之间的子相似度均大于预设的第三阈值，则取该第二子矩阵与各个单特征矩阵之间的子相似度的平均值，作为该第二子矩阵与所述第一特征矩阵的相似度；否则，将该第二子矩阵与所述第一特征矩阵的相似度设置为0；选取所述第二子矩阵与所述第一特征矩阵的相似度的最大值，作为所述第二特征矩阵与所述第一特征矩阵之间的相似度；
基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。
2.如权利要求1所述的方法，其特征在于，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，具体包括：
遍历所述原始特征矩阵中的元素，将每一个元素的值与所述货架陈列方案所规定的物品特征进行比对，若所述元素的值对应的物品特征与所述货架陈列方案所规定的物品特征一致，则将相应元素的值设置为1；若不一致，则将相应元素的值设置为0。
3.如权利要求1所述的方法，其特征在于，所述第一子矩阵与所述第一特征矩阵之间的子相似度采用以下计算方式得到：
其中，A表示第一特征矩阵，Bm表示由所述第二特征矩阵切片得到的第m个第一子矩阵，similarty(A，Bm)表示第一特征矩阵A与第一子矩阵Bm之间的相似度。
4.如权利要求1所述的方法，其特征在于，基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案，具体包括：
针对每一个所述第一特征矩阵，设置权重系数；
将所述第二特征矩阵与所述第一特征矩阵的相似度与所述权重系数进行加权求和，得到所述目标货架中物品陈列情况与所述货架陈列方案之间的匹配度；
若所述匹配度大于预设的第四阈值，则确定所述目标货架中物品陈列符合所述货架陈列方案，否则，确定所述目标货架中物品陈列不符合所述货架陈列方案。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息。
6.一种基于图像识别的货架陈列检测系统，用于实现权利要求1至5任一项所述的方法，其特征在于，包括：
第一数据获取模块，配置为获取用户输入的货架陈列方案；
第二数据获取模块，配置为响应于用户的操作请求，获取目标货架图像；
第一生成模块，配置为基于所述货架陈列方案，构建至少一个模板图像；以及针对每一个所述模板图像，构建第一特征矩阵；所述第一特征矩阵为二进制矩阵，所述第一特征矩阵的元素位置表征所述模板图像中的物品位置，所述第一特征矩阵中元素的值表征相应物品是否具有所述货架陈列方案所规定的物品特征；
第二生成模块，配置为基于所述目标货架图像，构建原始特征矩阵；所述原始特征矩阵中元素位置表征目标货架中的物品位置，所述原始特征矩阵中元素的值表征相应物品的物品特征；以及，以所述货架陈列方案所规定的物品特征为基准，对所述原始特征矩阵中元素的值进行二值化处理，得到第二特征矩阵；
第一计算模块，配置为确定所述第二特征矩阵与所述第一特征矩阵的相似度；
第二计算模块，配置为基于所述第二特征矩阵与所述第一特征矩阵的相似度，判断目标货架中物品陈列是否符合所述货架陈列方案。
7.如权利要求6所述的系统，其特征在于，所述系统还包括：
告警模块，配置为当确定所述目标货架中物品陈列不符合所述货架陈列方案时，生成告警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311565547.1A CN117292104B (zh) | 2023-11-22 | 2023-11-22 | 基于图像识别的货架陈列检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311565547.1A CN117292104B (zh) | 2023-11-22 | 2023-11-22 | 基于图像识别的货架陈列检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117292104A CN117292104A (zh) | 2023-12-26 |
| CN117292104B true CN117292104B (zh) | 2024-02-27 |
Family
ID=89244697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311565547.1A Active CN117292104B (zh) | 2023-11-22 | 2023-11-22 | 基于图像识别的货架陈列检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292104B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139663A (ja) * | 2004-11-15 | 2006-06-01 | Ritsumeikan | 密度が高い部分行列データをコンピュータによって抽出する方法、そのコンピュータシステム及びコンピュータプログラム |
| CN102541736A (zh) * | 2011-11-30 | 2012-07-04 | 北京航空航天大学 | 一种软件可靠性执行过程加速测试方法 |
| CN103353865A (zh) * | 2013-04-25 | 2013-10-16 | 杭州电子科技大学 | 一种基于位置的易货电子交易商品推荐方法 |
| CN103455874A (zh) * | 2013-08-02 | 2013-12-18 | 苏州两江科技有限公司 | 基于货架价值地图的超市货架陈列方法 |
| CN108549870A (zh) * | 2018-04-16 | 2018-09-18 | 图麟信息科技（深圳）有限公司 | 一种对物品陈列进行鉴别的方法及装置 |
| CN110427792A (zh) * | 2019-06-24 | 2019-11-08 | 广西中烟工业有限责任公司 | 一种遮挡二维码的识读匹配方法及其应用 |
| CN113377981A (zh) * | 2021-06-29 | 2021-09-10 | 山东建筑大学 | 基于多任务深度哈希学习的大规模物流商品图像检索方法 |
| CN113792946A (zh) * | 2021-11-18 | 2021-12-14 | 北京每日菜场科技有限公司 | 物品陈列方法、装置、电子设备和计算机可读介质 |
| CN116628242A (zh) * | 2023-07-20 | 2023-08-22 | 北京中交兴路信息科技股份有限公司 | 一种货车存证数据校验系统和方法 |
| CN116993785A (zh) * | 2023-08-31 | 2023-11-03 | 东之乔科技有限公司 | 目标对象视觉跟踪方法、装置、电子设备及存储介质 |
-
2023
- 2023-11-22 CN CN202311565547.1A patent/CN117292104B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139663A (ja) * | 2004-11-15 | 2006-06-01 | Ritsumeikan | 密度が高い部分行列データをコンピュータによって抽出する方法、そのコンピュータシステム及びコンピュータプログラム |
| CN102541736A (zh) * | 2011-11-30 | 2012-07-04 | 北京航空航天大学 | 一种软件可靠性执行过程加速测试方法 |
| CN103353865A (zh) * | 2013-04-25 | 2013-10-16 | 杭州电子科技大学 | 一种基于位置的易货电子交易商品推荐方法 |
| CN103455874A (zh) * | 2013-08-02 | 2013-12-18 | 苏州两江科技有限公司 | 基于货架价值地图的超市货架陈列方法 |
| CN108549870A (zh) * | 2018-04-16 | 2018-09-18 | 图麟信息科技（深圳）有限公司 | 一种对物品陈列进行鉴别的方法及装置 |
| CN110427792A (zh) * | 2019-06-24 | 2019-11-08 | 广西中烟工业有限责任公司 | 一种遮挡二维码的识读匹配方法及其应用 |
| CN113377981A (zh) * | 2021-06-29 | 2021-09-10 | 山东建筑大学 | 基于多任务深度哈希学习的大规模物流商品图像检索方法 |
| CN113792946A (zh) * | 2021-11-18 | 2021-12-14 | 北京每日菜场科技有限公司 | 物品陈列方法、装置、电子设备和计算机可读介质 |
| CN116628242A (zh) * | 2023-07-20 | 2023-08-22 | 北京中交兴路信息科技股份有限公司 | 一种货车存证数据校验系统和方法 |
| CN116993785A (zh) * | 2023-08-31 | 2023-11-03 | 东之乔科技有限公司 | 目标对象视觉跟踪方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| A Comparative Study of Image Features and Similarity Measurement Methods in Cross-modal Retrieval of Commodity Images;Baoxing Qiao等;《2020 IEEE International Conference on Advances in Electrical Engineering and Computer Applications( AEECA)》;809-816 * |
| Revisiting Binary Code Similarity Analysis Using Interpretable Feature Engineering and Lessons Learned;Dongkwan Kim等;《IEEE TRANSACTIONS ON SOFTWARE ENGINEERING》;第49卷(第4期);1661-1682 * |
| 面向单域及跨域任务的图像分类方法研究;徐冰瑢;《中国博士学位论文全文数据库 (信息科技辑)》(第02期);I138-190 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117292104A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551453B2 (en) | Method and apparatus for shelf feature and object placement detection from shelf images | |
| CN105787923B (zh) | 用于平面表面分割的视觉系统和分析方法 | |
| KR100730051B1 (ko) | 결함 검출장치 및 결함 검출방법 | |
| CN112735094B (zh) | 基于机器学习的地质灾害预测方法、装置和电子设备 | |
| CN110781839A (zh) | 一种基于滑窗的大尺寸图像中小目标识别方法 | |
| CN111814739B (zh) | 快递包裹体积的检测方法、装置、设备及存储介质 | |
| US20130101205A1 (en) | Label detecting system, apparatus and method thereof | |
| CN113688965B (zh) | 一种自动仓储扫码检测的方法和货物管理系统 | |
| CN110766095A (zh) | 基于图像灰度特征的缺陷检测方法 | |
| CN114511718B (zh) | 一种建筑施工用物料智能管理方法及系统 | |
| CN110580481A (zh) | 一种基于epi的光场图像关键位置检测方法 | |
| CN111310706A (zh) | 一种商品价签识别方法及装置、电子设备、存储介质 | |
| CN112508988A (zh) | 一种遥感影像镶嵌线精确提取方法及装置 | |
| CN114004899B (zh) | 一种栈板位姿识别方法、存储介质及设备 | |
| CN117292104B (zh) | 基于图像识别的货架陈列检测方法及系统 | |
| CN107369179B (zh) | 一种高精度图像定位方法 | |
| CN112036232B (zh) | 一种图像表格结构识别方法、系统、终端以及存储介质 | |
| CN112084804A (zh) | 针对信息缺失条形码智能获取补足像素的工作方法 | |
| CN104268571B (zh) | 一种基于最小树聚类的红外多目标分割方法 | |
| CN109753982B (zh) | 障碍点检测方法、装置和计算机可读存储介质 | |
| CN114240928B (zh) | 板卡质量的分区检测方法、装置、设备及可读存储介质 | |
| CN111739106B (zh) | 角点编码方法、标定方法、装置、电子设备和存储介质 | |
| US20210205061A1 (en) | Occlusal pressure analysis program | |
| CN104484869A (zh) | 面向排序测度特征的图像匹配方法及系统 | |
| CN110110594B (zh) | 一种产品分布识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |