CN115482533A - 陈列柜的拆分方法、装置、电子设备及存储介质 - Google Patents

陈列柜的拆分方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115482533A
CN115482533A CN202211140643.7A CN202211140643A CN115482533A CN 115482533 A CN115482533 A CN 115482533A CN 202211140643 A CN202211140643 A CN 202211140643A CN 115482533 A CN115482533 A CN 115482533A
Authority
CN
China
Prior art keywords
detection result
image
partition plate
feature map
display cabinet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211140643.7A
Other languages
English (en)
Other versions
CN115482533B (zh
Inventor
安容巧
倪子涵
姚锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211140643.7A priority Critical patent/CN115482533B/zh
Publication of CN115482533A publication Critical patent/CN115482533A/zh
Application granted granted Critical
Publication of CN115482533B publication Critical patent/CN115482533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种陈列柜的拆分方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及计算机视觉、深度学习等人工智能技术领域。包括：获取待处理图像，待处理图像中包含陈列柜；对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果；对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果；根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以从第一角点检测结果及第一间隙检测结果中选择较优的检测结果，准确地将陈列柜拆分成多个子陈列柜，为确定商品在陈列柜中的具体位置提供了条件。

Description

陈列柜的拆分方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及计算机视觉、深度学习等人工智能技术领域，具体涉及一种陈列柜的拆分方法、装置、电子设备及存储介质。
背景技术
在快消行业中，品牌方可以通过商品在陈列柜(如货架、端架、立柜等)中的具体位置，确定商品在陈列柜中的牌面占比、空位数、缺货率等指标数据，进而对商品进行管理。一排陈列柜可以由多个子陈列柜组成，但每个子陈列柜之间的差异较小，难以区分。因此，确定商品在陈列柜中的具体位置(如，XX子陈列柜的XX层)的前提需要对陈列柜进行准确地拆分。
发明内容
本公开提供了一种陈列柜的拆分方法、装置、电子设备及存储介质。
根据本公开的第一方面，提供了一种陈列柜的拆分方法，包括：
获取待处理图像，其中，所述待处理图像中包含陈列柜；
对所述待处理图像进行语义分割及角点回归检测，以获取所述陈列柜对应的第一分隔板图像及第一角点检测结果；
对所述待处理图像进行分隔板间隙检测，以获取所述陈列柜对应的第一间隙检测结果；
根据所述第一角点检测结果或所述第一间隙检测结果，对所述第一分隔板图像中包含的第一分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜。
根据本公开的第二方面，提供了一种陈列柜的拆分装置，包括：
第一获取模块，用于获取待处理图像，其中，所述待处理图像中包含陈列柜；
第二获取模块，用于对所述待处理图像进行语义分割及角点回归检测，以获取所述陈列柜对应的第一分隔板图像及第一角点检测结果；
第三获取模块，用于对所述待处理图像进行分隔板间隙检测，以获取所述陈列柜对应的第一间隙检测结果；
确定模块，用于根据所述第一角点检测结果或所述第一间隙检测结果，对所述第一分隔板图像中包含的第一分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的陈列柜的拆分方法。
根据本公开第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的陈列柜的拆分方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令在被处理器执行时实现如第一方面所述的陈列柜的拆分方法的步骤。
本公开提供的陈列柜的拆分方法、装置、电子设备及存储介质，存在如下有益效果：
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以针对待处理图像中陈列柜的复杂场景，从第一角点检测结果及第一间隙检测结果中，选择较优的检测结果，对第一分隔板图像中的第一分隔板进行拆分，从而可以准确地将待处理图像中的陈列柜拆分成多个子陈列柜，进而为确定商品在陈列柜中的具体位置提供了条件。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一实施例提供的一种陈列柜的拆分方法的流程示意图；
图2是根据本公开一实施例提供的一种第一分隔板图像的示意图；
图3是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；
图4是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；
图5是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；
图6是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；
图7是根据本公开一实施例提供的一种基于角点检测的语义分隔模型的结构示意图，
图8是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；
图9是根据本公开一实施例提供的一种陈列柜的拆分装置的结构示意图；
图10是用来实现本公开实施例的陈列柜的拆分方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例涉及计算机视觉、深度学习等人工智能技术领域。
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
计算机视觉，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
下面参考附图描述本公开实施例的陈列柜的拆分方法、装置、电子设备及存储介质。
其中，需要说明的是，本实施例的陈列柜的拆分方法的执行主体为陈列柜的拆分装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
图1是根据本公开一实施例提供的一种陈列柜的拆分方法的流程示意图。
如图1所示，该陈列柜的拆分方法包括：
S101：获取待处理图像，其中待处理图像中包含陈列柜。
其中，陈列柜是指用于陈列物品的立柜。该陈列柜可以包括至少两个分隔板，用于对物品进行分层陈列。
示例性地，陈列柜可以是货架、也可以是具有分隔板的储物立柜。比如超市中用于存储冷鲜产品的立式冷鲜柜。
可选的，待处理图像可以为商超中部署的图像采集设备(如，摄像头)采集的包含陈列柜的图像。或者，待处理图像也可以为品牌方的员工通过图像采集设备采集的包含陈列柜的图像。
S102：对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果。
其中，第一分隔板图像可以为只包含陈列柜分隔板区域的图像。
可选的，第一分隔板图像可以为二值图像。第一分隔板图像可以如图2所示，图2示出了本公开一实施例提供的一种第一分隔板图像的示意图。
其中，第一角点检测结果可以包含陈列柜中各子陈列柜的角点对应的位置信息。
可选的，可以将待处理图像输入预先训练好的语义分割模型中，以使语义分割模型将待处理图像中包含的分隔板与背景区域分割开，从而获取陈列柜对应的第一分隔板图像。
可选的，可以将待处理图像输出预先训练好的角点检测模型中，以使角点检测模型对陈列柜中的角点进行检测，以获取第一角点检测结果。
S103：对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果。
其中，第一间隙检测结果中可以包含相邻两个子陈列柜的分隔板之间的间隙位置。
可选的，可以将待处理图像输入预先训练好的目标检测模型中，以使目标检测模型对待处理图像中的间隙进行检测，以获取第一间隙检测结果。
其中，预先训练好的目标检测模型的模型架构可以为PP-YOLO(PaddlePaddle-YouOnly Look Once)系列的模型结构，比如PP-YOLOv5、PP-YOLOv4等，或者也可以为区域卷积神经网络(Region-Convolutional Neural Network，R-CNN)。本公开对此不做限定。
本公开实施例中，步骤S102及步骤S103可以为同步进行的，从而可以节省获取第一间隙检测结果、第一分隔板图像及第一角点检测结果的时间，进而提高了对陈列柜拆分的效率。
S104：根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。
需要说明的是，由于陈列柜中商品摆放的场景较为复杂，比如，各子陈列柜之间的间隙被遮挡，导致检测的间隙不完整。或者，子陈列柜的边角被遮挡，导致陈列柜的角点检测结果不太准确。因此，本公开实施例中，可以对第一角点检测结果及第一间隙检测结果进行比较，从中选择较好的拆分依据，对第一分隔板图像中包含的第一分隔板进行拆分处理。从而可以提高对第一分隔板图像中包含的第一分隔板进行拆分处理的准确性。
可以理解的是，在第一间隙检测结果中包含间隙的情况下，说明间隙的两侧为不同的子陈列柜，基于间隙对第一分隔板进行拆分处理是比较准确的。因此，在第一间隙检测结果中包含的间隙的数量大于第一阈值的情况下，基于第一间隙检测结果，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
其中，第一阈值可以预先设置的数值，比如，第一阈值可以为1个、2个等。本公开对此不做限定。
或者，在第一间隙检测结果中包含的间隙的数量小于或等于第一阈值，且第一角点检测结果中包含的角点数量大于第二阈值的情况下，基于第一角点检测结果，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
需要说明的是，四个角点可以组成一个陈列柜所在的区域，当待处理图像中包含两个子陈列柜的情况下，才会对第一分隔板图像中的第一分隔板进行拆分。因此，本公开实施例中，第二阈值可以为4个。本公开对此不做限定。
本公开实施例中，若第一间隙检测结果中包含的间隙的数量小于或等于第一阈值，且第一角点检测结果中包含的角点数量小于或等于第二阈值，则说明待处理图像中只包含一个子陈列柜，不需要对其拆分。
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以针对待处理图像中陈列柜的复杂场景，从第一角点检测结果及第一间隙检测结果中，选择较优的检测结果，对第一分隔板图像中的第一分隔板进行拆分，从而可以准确地将待处理图像中的陈列柜拆分成多个子陈列柜，进而为确定商品在陈列柜中的具体位置提供了条件。
图3是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图。如图3所示，该陈列柜的拆分方法包括：
S301：获取待处理图像，其中，待处理图像中包含陈列柜。
S302：对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果。
S303：对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果。
其中，步骤S301至步骤S303的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
S304：在第一间隙检测结果中包含的间隙的数量大于第一阈值，且第一间隙检测结果中至少两个间隙分别对应的第一方向坐标之间的差值小于第三阈值的情况下，根据至少两个间隙分别对应的第二方向坐标，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
其中，第一方向坐标，可以为间隙在第一分隔板图像中的横坐标。第二方向坐标可以为间隙在第一分隔板图像中的纵坐标。
其中，第三阈值可以为预设的数值。比如，第三阈值可以为1厘米(cm)、或者5毫米(mm)等。本公开对此不做限定。
需要说明的是，若至少两个间隙分别对应的第一方向坐标之间的差值小于第三阈值，说明至少两个间隙为两个子陈列柜之间的一组间隙，可以基于这一组间隙分别对应的第二方向坐标，对第一分隔板进行拆分，从而获取陈列柜中包含的各子陈列柜，进一步地还可以对每个子陈列柜进行编号，以获取每个子陈列柜对应的编号。从而可以避免第一方向坐标之间的差值小于第三阈值对应的间隙只有一个的情况下，对第一分隔板进行误拆分的情况，从而提高了对第一分隔板拆分的准确性。
可选的，可以先确定第一分隔板图像中陈列柜对应的分隔板层数，若至少两个间隙的数量小于分隔板层数，则根据至少两个间隙分别对应的第二方向坐标，确定分割线，之后基于分割线，对第一分隔板图像中的第一分隔板进行拆分。由此，避免了子陈列柜之间的间隙被其他物体遮挡，导致检测到的间隙数量不足，进行导致对第一分隔板的拆分不完整的问题，从而提高了对第一分隔板拆分的完整性。
可选的，在根据至少两个间隙分别对应的第二方向坐标，确定分割线时，若至少两个间隙分别对应的第一方向坐标相同，则确定至少两个间隙中的任一间隙对应的第二方向坐标的延长线为分割线。
可以理解的是，若至少两个间隙分别对应的第一方向坐标相同，则说明至少两个间隙在一条直线上，因此，可以确定至少两个间隙中的任一间隙对应的第二方向坐标的延长线，为这条直线，也即分割线。
或者，若至少两个间隙分别对应的第一方向坐标不同，对至少两个间隙分别对应的第二方向坐标进行拟合，以确定分割线。
可以理解的是，若至少两个间隙分别对应的第一方向坐标不同，则说明至少两个间隙不在同一条直线上，此时，需要对至少两个间隙进行拟合，以准确地确定分割线，进而可以基于分割线，准确地对第一分隔板图像中的第一分隔板进行拆分。
可选的，在确定分割线之后，还可以先确定分割线与第一分隔板之间的交点，在任一交点不与至少两个间隙中的每个间隙重合，确定任一交点为目标交点。基于目标交点及至少两个间隙对第一分隔板图像中的第一分隔板进行拆分。
可选的，在确定目标交点之后，还可以基于预设的尺寸，将目标交点扩展为矩形，基于目标交点及至少两个间隙对第一分隔板图像中的第一分隔板进行拆分。
其中，预设的尺寸可以为2mm、3mm等，本公开对此不做限定。
本公开实施例中，在确定了至少两个间隙及目标交点对应的矩形之后，还可以确定至少两个间隙中的每个间隙及每个矩形与第一分隔板的相交面积，之后确定每个相交面积与对应的间隙或矩形的面积之间的比值，在任一间隙或任一矩形对应的比值大于第四阈值的情况下，基于任一间隙或任一矩形，对任一间隙或任一矩形所在的第一分隔板进行拆分。从而可以避免检测出来的间隙与第一分隔板的重叠区域较小，而导致对第一分隔板的拆分出现误差。
其中，第四阈值可以为预设的数值，比如，第四阈值可以为0.5、0.6等。本公开对此不做限定。
本公开实施例中，在对第一分隔板进行拆分之后，还可以基于拆分后的分隔板的长度、及中心点的位置，对拆分结果进行检验。具体地，确定同一个子陈列柜对应的多个分隔板的中心位置及长度，在子陈列柜中每两个分隔板的长度小于第五阈值，且每两个分隔板的中心位置的第一方向坐标之间的差值小于第六阈值的情况下，说明拆分结果准确。
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后在第一间隙检测结果中包含的间隙的数量大于第一阈值，且第一间隙检测结果中至少两个间隙分别对应的第一方向坐标之间的差值小于第三阈值的情况下，根据至少两个间隙分别对应的第二方向坐标，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。由此，在第一间隙检测结果中包含的间隙的数量大于第一阈值的情况下，可以基于陈列柜中包含的间隙的位置，确定是否有至少两个间隙属于相邻两个子陈列柜之间的间隙，在至少两个间隙属于相邻两个子陈列柜之间的间隙的情况下，基于至少两个间隙对第一分隔板进行准确地拆分，为确定商品在陈列柜中的具体位置提供了条件。
图4是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；如图4所示，该陈列柜的拆分方法包括：
S401：获取待处理图像，其中，待处理图像中包含陈列柜。
S402：对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果。
S403：对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果。
其中，步骤S401至步骤S403的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
S404：在第一间隙检测结果中包含的间隙的数量小于或等于第一阈值，且第一角点检测结果中包含的角点数量大于第二阈值的情况下，根据第一角点检测结果中包含的每个角点的位置，确定每个子陈列柜所在的目标区域。
可以理解的是，在第一间隙检测结果中包含的间隙的数量小于或等于第一阈值，且第一角点检测结果中包含的角点数量大于第二阈值的情况下，说明待处理图像中包含至少两个子陈列柜，但基于间隙对第一分隔板进行拆分，拆分结果的误差较大，因此，基于第一角点检测结果对第一分隔板图像中的第一分隔板进行拆分。
具体地，可以先根据第一角点检测结果中包含的每个角点的位置，确定第一角点检测结果所能组成的区域，每个区域所在的位置即为每个子陈列柜所在的目标区域。
S405：基于目标区域的边界线，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
本公开实施例中，在确定了陈列柜包含的子陈列柜对应的目标区域之后，即可基于目标区域的边界线，对第一分隔板进行拆分，从而可以得到陈列柜中包含的各子陈列柜，之后还可以对每个子陈列柜进行编号，以获取每个子陈列柜对应的编号。
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后在第一间隙检测结果中包含的间隙的数量小于或等于第一阈值，且第一角点检测结果中包含的角点数量大于第二阈值的情况下，根据第一角点检测结果中包含的每个角点的位置，确定每个子陈列柜所在的目标区域，基于目标区域的边界线，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。由此，可以在检测到的间隙数量较少的情况下，根据第一角点检测结果，确定每个子陈列柜的目标区域，从而可以基于目标区域，准确地确定陈列柜中包含的子陈列柜，为确定商品在陈列柜中的具体位置提供了条件。
图5是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；如图5所示，该陈列柜的拆分方法包括：
S501：获取待处理图像，其中，待处理图像中包含陈列柜。
S502：对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果。
S503：对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果。
其中，步骤S501至步骤S503的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
S504：对第一分隔板图像进行形变矫正，以获取矫正后的第二分隔板图像。
可以理解的是，由于待处理图像的拍摄角度问题，可能导致第一分隔板图像中的第一分隔板所在的直线不能平行于图像的边缘，即一条第一分隔板上的点的第二方向坐标不相同，且第一分隔板宽度不均匀。因此，本公开实施例中，可以对第一分隔板图像进行形变矫正，以使矫正得到的第二分隔板图像中的每个分隔板上的点的第二方向坐标相同，且分隔板宽度均匀。
可选的，可以采用霍夫变换，对第一分隔板图像进行形变矫正。本公开对此不做限定。
S505：确定将第一分隔板图像转换至第二分隔板图像对应的单应性矩阵。
本公开实施例中，在确定了第一分隔板图像及矫正后的第二分隔板图像之后，即可确定将第一分隔板图像中的坐标转换至第二分隔板图像中对应的坐标之间的映射关系，即单应性矩阵。
S506：基于单应性矩阵，分别将第一间隙检测结果中包含的每个间隙的位置及第一角点检测结果中包含的每个角点的位置进行转换，以获取转换后的第二间隙检测结果及转换后的第二角点检测结果。
本公开实施例中，在确定了单应性矩阵之后，即可将间隙的位置，及交点的位置转换至第二分隔板图像中，为之后基于第二角点检测结果或第二间隙检测结果，对第二分隔板图像中包含的第二分隔板进行拆分处理提供了条件。
S507：根据第二角点检测结果或第二间隙检测结果，对第二分隔板图像中包含的第二分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。
本公开实施例中，根据第二角点检测结果或第二间隙检测结果，对第二分隔板图像中包含的第二分隔板进行拆分处理的具体步骤，可参照本公开其他各实施例中根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理的详细描述，此处不在具体表述。
本公开实施例中，在获取陈列柜对应的第一分隔板图像、第一角点检测结果及第一间隙检测结果之后，可以先对第一分隔板图像进行形变矫正，以获取矫正后的第二分隔板图像，并确定第一分隔板图像转换至第二分隔板图像对应的单应性矩阵，之后基于单应性矩阵，分别将第一间隙检测结果中包含的每个间隙的位置及第一角点检测结果中包含的每个角点的位置进行转换，以获取转换后的第二间隙检测结果及转换后的第二角点检测结果，最后根据第二角点检测结果或第二间隙检测结果，对第二分隔板图像中包含的第二分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，通过对第一分隔板图像进行形变矫正，并将第一间隙检测结果及第一角点检测结果转换至矫正后的第二分隔板图像中，进而基于第二角点检测结果或第二间隙检测结果，对第二分隔板图像中包含的第二分隔板进行拆分处理，从而可以避免分隔板形变导致的拆分误差，从而进一步提高了将待处理图像中的陈列柜拆分成多个子陈列柜的准确性。
图6是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；如图6所示，该陈列柜的拆分方法包括：
S601：获取待处理图像，其中，待处理图像中包含陈列柜。
S602：将待处理图像输入基于角点检测的语义分隔模型中，以获取基于角点检测的语义分隔模型输出的第一分隔板图像及第一角点检测结果。
其中，基于角点检测的语义分隔模型可以同时对待处理图像进行角点检测及语义分割，且语义分割任务和角点检测任务可以共用一个编码器，从而提高了获取第一分隔板图像及第一角点检测结果的效率，进而进一步提高了对陈列柜拆分的效率。
可选的，基于角点检测的语义分隔模型可以包括编码器、第一解码器及第二解码器。
可选的，基于角点检测的语义分隔模型对待处理图像的处理过程可以包括：
(1)将待处理图像输入基于角点检测的语义分割模型的编码器中，以获取编码器输出的第一特征图及第二特征图，其中，第一特征图对应的第一分辨率小于第二特征图对应的第二分辨率。
图7是根据本公开一实施例提供的一种基于角点检测的语义分隔模型的结构示意图，如图7所示，编码器可以包括4个编码块(stage)，第三个编码块(stage3)输出第一特征图，第四个编码块(stage4)输出第二特征图。第二特征图包含更高级的语义特征，第一特征图包含较低级的语义特征。
(2)将第一特征图输入基于角点检测的语义分割模型的第一解码器中，以获取第一解码器输出的第一角点分割结果。
如图7所示，由于角点检测任务需要对较低级的语义特征进行解码，以获取准确的第一角点检测结果，因此，将第一特征图输入基于角点检测的语义分割模型的第一解码器中以获取第一解码器输出的第一角点分割结果。
可选的，也可以将第二个编码块(stage2)输出特征图，或第一个编码块(stage1)输出的特征图，作为第一解码器的输入，但将第三个编码块(stage3)输出第一特征图作为第一解码器的输入，得到的第一角点分割结果效果最好。
(3)将第二特征图输入基于角点检测的语义分割模型的第二解码器中，以获取第二解码器输出的第一分隔板图像。
可选的，在对基于角点检测的语义分隔模型训练的过程中，可以先获取样本数据集，其中，样本数据集中包括样本图像对应的角点标签，及分隔板标签，将样本图像输入基于角点检测的语义分隔模型中，得到角点预测结果及分隔板预测结果，根据分隔板预测结果与分隔板标签之间的差异，对编码器及第二解码器进行修正。根据角点标签与角点预测结果之间的差异，对第一解码器进行修正。
可选的，还可以基于角点标签及分隔板标签，确定角点标签中相邻两个角点的连线与分隔板标签中每个分隔板所在直线之间的第一交点，基于角点预测结果及分隔板预测结果，确定角点预测结果中相邻两个角点的连线与分隔板预测结果中每个分隔板所在直线之间的第二交点，根据第一交点与第二交点之间的差异，及角点标签与角点预测结果之间的差异，对第一解码器进行修正，从而进一步提高了第一解码器的性能。
S603：对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果。
S604：根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。
其中，步骤S603至步骤S604的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后将待处理图像输入基于角点检测的语义分隔模型中，以获取基于角点检测的语义分隔模型输出的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以基于预先训练的基于角点检测的语义分隔模型同时对待处理图像进行语义分割及角点回归检测，从而提高了获取第一分隔板图像及第一角点检测结果的效率，进而不仅可以准确地将待处理图像中的陈列柜拆分成多个子陈列柜，而且还提高了拆分效率。
图8是根据本公开又一实施例提供的一种陈列柜的拆分方法的流程示意图；如图8所示，该陈列柜的拆分方法包括：
S801：获取待处理图像，其中，待处理图像中包含陈列柜。
S802：对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果。
其中，步骤S801至步骤S802的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
S803：将待处理图像输入分隔板间隙检测模型，以获取分隔板间隙检测模型输出的第一间隙检测结果。
可选的，分隔板间隙检测模型可以以ppyolo模型为基准模型。但是ppyolo模型在头部(head)模块采用的空间金字塔池化(Spatial Pyramid Pooling，SPP)层，其中用的是上采样模块，上采样模块对于小目标物体会出现位置精度损失大，上采样之后的不对齐问题。因此，本公开实施例中，针对上述问题，做了如下改进：
(1)将待处理图像输入分隔板间隙检测模型的特征金字塔网络中，以获取特征金字塔网络输出的第三特征图、第四特征图及第五特征图，其中，第三特征图对应的第三分辨率大于第四特征图对应的第四分辨率，第四分辨率大于第五特征图对应的第五分辨率。
具体地，第三特征图可以为特征金字塔网络输出的P3层特征。第四特征图以为特征金字塔网络输出的P4层特征。第五特征图可以为特征金字塔网络输出的P5层特征。
(2)基于第四分辨率，对第五特征图进行上采样，以获取与第四分辨率相同的第六特征图。
举例来说，若第四特征图对应的第四分辨率为21*21，第五特征图对应的第五分辨率为13*13，则对第五特征图进行上采样，得到分辨率为21*21的第六特征图。
(3)根据第四特征图与第六特征图之间的差异，对第四特征图进行修正。
可选的，可以根据第六特征图中目标的位置(即间隙的位置)，与第四特征图中目标的位置之间的差异，对第四特征图中目标的位置进行修正。具体地，可以通过最小平法误差损失函数计算目标在第四特征图与第六特征图之间相对偏差，根据相对偏差，对第四特征图进行修正。
(4)将第三特征图、修正后的第四特征图及第五特征图输入分隔板间隙检测模型的解码器中，以获取第一间隙检测结果。
本公开实施例中，根据第五特征图上采样得到的第六特征图对第四特征图进行修正，从而降低了解码过程中，上采样模块对于小目标物体会出现位置精度损失大，上采样之后的不对齐问题，从而提高了获取的第一间隙检测结果的准确性。
需要说明的是，在对分隔板间隙检测模型进行训练的过程中，可以将特征金字塔网络中输出的P4层特征与P5层特征之间的损失值，加入分隔板间隙检测模型的全局损失函数中，从而可以进一步提高分隔板间隙检测模型的性能，为准确地检测出陈列柜的第一间隙检测结果提供了条件。
本公开实施例中，在对分隔板间隙检测模型进行训练的过程中，还可以对分隔板间隙检测模型进行pact量化，通过多次训练进行参数调试后，固定了超参学习率的设置为0.0001，训练15个周期后完成收敛，分隔板间隙检测模型的对间隙的预测的平均准确率AP@0.5的准确率为94.7％，分隔板间隙检测模型的平均预测耗时由40ms压缩至31ms，同时采用Tensorrt的int8量化，耗时从31ms压缩至26ms。因此，模型在服务中耗时压缩比35％，加速服务预测，从而提高了第一间隙检测结果输出的效率。
S804：根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，将待处理图像输入分隔板间隙检测模型，以获取分隔板间隙检测模型输出的第一间隙检测结果，最后根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以基于预先训练的分隔板间隙检测模型对待处理图像进行间隙检测，提高了获取第一间隙检测结果的效率及准确率，进而不仅进一步提高了将待处理图像中的陈列柜拆分成多个子陈列柜的准确率，而且还提高了拆分效率。
图9是根据本公开一实施例提供的一种陈列柜的拆分装置的结构示意图；如图9所示，该陈列柜的拆分装置900，包括：
第一获取模块910，用于获取待处理图像，其中，待处理图像中包含陈列柜；
第二获取模块920，用于对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果；
第三获取模块930，用于对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果；
确定模块940，用于根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。
在本公开的一些实施例中，其中，确定模块940，具体用于：
响应于第一间隙检测结果中包含的间隙的数量大于第一阈值，基于第一间隙检测结果，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号；或者，
响应于第一间隙检测结果中包含的间隙的数量小于或等于第一阈值，且第一角点检测结果中包含的角点数量大于第二阈值，基于第一角点检测结果，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
在本公开的一些实施例中，其中，确定模块940，还具体用于：
响应于第一间隙检测结果中至少两个间隙分别对应的第一方向坐标之间的差值小于第三阈值，根据至少两个间隙分别对应的第二方向坐标，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
在本公开的一些实施例中，其中，确定模块940，还具体用于：
确定第一分隔板图像中陈列柜对应的分隔板层数；
响应于至少两个间隙的数量小于分隔板层数，根据至少两个间隙分别对应的第二方向坐标，确定分割线；
基于分割线，对第一分隔板图像中的第一分隔板进行拆分。
在本公开的一些实施例中，其中，确定模块940，还具体用于：
响应于至少两个间隙分别对应的第一方向坐标相同，确定至少两个间隙中的任一间隙对应的第二方向坐标的延长线为分割线；或者，
响应于至少两个间隙分别对应的第一方向坐标不同，对至少两个间隙分别对应的第二方向坐标进行拟合，以确定分割线。
在本公开的一些实施例中，其中，确定模块940，还具体用于：
根据第一角点检测结果中包含的每个角点的位置，确定每个子陈列柜所在的目标区域；
基于目标区域的边界线，对第一分隔板图像中的第一分隔板进行拆分，以确定陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
在本公开的一些实施例中，其中，确定模块940，还具体用于：
对第一分隔板图像进行形变矫正，以获取矫正后的第二分隔板图像；
确定将第一分隔板图像转换至第二分隔板图像对应的单应性矩阵；
基于单应性矩阵，分别将第一间隙检测结果中包含的每个间隙的位置及第一角点检测结果中包含的每个角点的位置进行转换，以获取转换后的第二间隙检测结果及转换后的第二角点检测结果；
根据第二角点检测结果或第二间隙检测结果，对第二分隔板图像中包含的第二分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。
在本公开的一些实施例中，其中，第二获取模块920，具体用于：
将待处理图像输入基于角点检测的语义分隔模型中，以获取基于角点检测的语义分隔模型输出的第一分隔板图像及第一角点检测结果。
在本公开的一些实施例中，其中，第二获取模块920，还具体用于：
将待处理图像输入基于角点检测的语义分割模型的编码器中，以获取编码器输出的第一特征图及第二特征图，其中，第一特征图对应的第一分辨率小于第二特征图对应的第二分辨率；
将第一特征图输入基于角点检测的语义分割模型的第一解码器中，以获取第一解码器输出的第一角点分割结果；
将第二特征图输入基于角点检测的语义分割模型的第二解码器中，以获取第二解码器输出的第一分隔板图像。
在本公开的一些实施例中，其中，第二获取模块930，具体用于：
将待处理图像输入分隔板间隙检测模型，以获取分隔板间隙检测模型输出的第一间隙检测结果。
在本公开的一些实施例中，其中，第三获取模块930，还具体用于：
将待处理图像输入分隔板间隙检测模型的特征金字塔网络中，以获取特征金字塔网络输出的第三特征图、第四特征图及第五特征图，其中，第三特征图对应的第三分辨率大于第四特征图对应的第四分辨率，第四分辨率大于第五特征图对应的第五分辨率；
基于第四分辨率，对第五特征图进行上采样，以获取与第四分辨率相同的第六特征图；
根据第四特征图与第六特征图之间的差异，对第四特征图进行修正；
将第三特征图、修正后的第四特征图及第五特征图输入分隔板间隙检测模型的解码器中，以获取第一间隙检测结果。
需要说明的是，前述对陈列柜的拆分方法的解释说明也适用于本实施例的陈列柜的拆分装置，此处不再赘述。
本公开实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以针对待处理图像中陈列柜的复杂场景，从第一角点检测结果及第一间隙检测结果中，选择较优的检测结果，对第一分隔板图像中的第一分隔板进行拆分，从而可以准确地将待处理图像中的陈列柜拆分成多个子陈列柜，进而为确定商品在陈列柜中的具体位置提供了条件。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如陈列柜的拆分方法。例如，在一些实施例中，陈列柜的拆分方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的陈列柜的拆分方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行陈列柜的拆分方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
本实施例中，可以先获取包含陈列柜的待处理图像，之后对待处理图像进行语义分割及角点回归检测，以获取陈列柜对应的第一分隔板图像及第一角点检测结果，对待处理图像进行分隔板间隙检测，以获取陈列柜对应的第一间隙检测结果，最后根据第一角点检测结果或第一间隙检测结果，对第一分隔板图像中包含的第一分隔板进行拆分处理，以确定陈列柜中包含的各子陈列柜。由此，可以针对待处理图像中陈列柜的复杂场景，从第一角点检测结果及第一间隙检测结果中，选择较优的检测结果，对第一分隔板图像中的第一分隔板进行拆分，从而可以准确地将待处理图像中的陈列柜拆分成多个子陈列柜，进而为确定商品在陈列柜中的具体位置提供了条件。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本公开的描述中，所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“在……情况下”。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种陈列柜的拆分方法，包括：
获取待处理图像，其中，所述待处理图像中包含陈列柜；
对所述待处理图像进行语义分割及角点回归检测，以获取所述陈列柜对应的第一分隔板图像及第一角点检测结果；
对所述待处理图像进行分隔板间隙检测，以获取所述陈列柜对应的第一间隙检测结果；
根据所述第一角点检测结果或所述第一间隙检测结果，对所述第一分隔板图像中包含的第一分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜。
2.根据权利要求1所述的方法，其中，所述根据所述第一角点检测结果或所述第一间隙检测结果，对所述第一分隔板图像中包含的第一分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜，包括：
响应于所述第一间隙检测结果中包含的间隙的数量大于第一阈值，基于所述第一间隙检测结果，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号；或者，
响应于所述第一间隙检测结果中包含的间隙的数量小于或等于所述第一阈值，且所述第一角点检测结果中包含的角点数量大于第二阈值，基于所述第一角点检测结果，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
3.根据权利要求2所述的方法，其中，所述基于所述第一间隙检测结果，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号，包括：
响应于所述第一间隙检测结果中至少两个间隙分别对应的第一方向坐标之间的差值小于第三阈值，根据所述至少两个间隙分别对应的第二方向坐标，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
4.根据权利要求3所述的方法，其中，所述根据所述至少两个间隙分别对应的第二方向坐标，对所述第一分隔板图像中的所述第一分隔板进行拆分，包括：
确定所述第一分隔板图像中所述陈列柜对应的分隔板层数；
响应于所述至少两个间隙的数量小于所述分隔板层数，根据所述至少两个间隙分别对应的第二方向坐标，确定分割线；
基于所述分割线，对所述第一分隔板图像中的所述第一分隔板进行拆分。
5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两个间隙分别对应的第二方向坐标，确定分割线，包括：
响应于所述至少两个间隙分别对应的第一方向坐标相同，确定所述至少两个间隙中的任一间隙对应的第二方向坐标的延长线为所述分割线；或者，
响应于所述至少两个间隙分别对应的第一方向坐标不同，对所述至少两个间隙分别对应的第二方向坐标进行拟合，以确定所述分割线。
6.根据权利要求2所述的方法，其中，所述基于所述第一角点检测结果，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号，包括：
根据所述第一角点检测结果中包含的每个角点的位置，确定每个所述子陈列柜所在的目标区域；
基于所述目标区域的边界线，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
7.根据权利要求1所述的方法，其中，所述根据所述第一角点检测结果或所述第一间隙检测结果，对所述第一分隔板图像中包含的第一分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜，包括：
对所述第一分隔板图像进行形变矫正，以获取矫正后的第二分隔板图像；
确定将所述第一分隔板图像转换至所述第二分隔板图像对应的单应性矩阵；
基于所述单应性矩阵，分别将所述第一间隙检测结果中包含的每个间隙的位置及所述第一角点检测结果中包含的每个角点的位置进行转换，以获取转换后的第二间隙检测结果及转换后的第二角点检测结果；
根据所述第二角点检测结果或所述第二间隙检测结果，对所述第二分隔板图像中包含的第二分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜。
8.根据权利要求1所述的方法，其中，所述对所述待处理图像进行语义分割及角点回归检测，以获取所述陈列柜对应的第一分隔板图像及第一角点检测结果，包括：
将所述待处理图像输入基于角点检测的语义分隔模型中，以获取所述基于角点检测的语义分隔模型输出的所述第一分隔板图像及所述第一角点检测结果。
9.根据权利要求8所述的方法，其中，所述将所述待处理图像输入基于角点检测的语义分隔模型中，以获取所述基于角点检测的语义分隔模型输出的所述第一分隔板图像及所述第一角点检测结果，包括：
将所述待处理图像输入所述基于角点检测的语义分割模型的编码器中，以获取所述编码器输出的第一特征图及第二特征图，其中，所述第一特征图对应的第一分辨率小于所述第二特征图对应的第二分辨率；
将所述第一特征图输入所述基于角点检测的语义分割模型的第一解码器中，以获取所述第一解码器输出的所述第一角点分割结果；
将所述第二特征图输入所述基于角点检测的语义分割模型的第二解码器中，以获取所述第二解码器输出的第一分隔板图像。
10.根据权利要求1所述的方法，其中，所述对所述待处理图像进行分隔板间隙检测，以获取所述陈列柜对应的第一间隙检测结果，包括：
将所述待处理图像输入分隔板间隙检测模型，以获取所述分隔板间隙检测模型输出的所述第一间隙检测结果。
11.根据权利要求10所述的方法，其中，所述将所述待处理图像输入分隔板间隙检测模型，以获取所述分隔板间隙检测模型输出的所述第一间隙检测结果，包括：
将所述待处理图像输入所述分隔板间隙检测模型的特征金字塔网络中，以获取所述特征金字塔网络输出的第三特征图、第四特征图及第五特征图，其中，所述第三特征图对应的第三分辨率大于所述第四特征图对应的第四分辨率，所述第四分辨率大于所述第五特征图对应的第五分辨率；
基于所述第四分辨率，对所述第五特征图进行上采样，以获取与所述第四分辨率相同的第六特征图；
根据所述第四特征图与所述第六特征图之间的差异，对所述第四特征图进行修正；
将所述第三特征图、修正后的第四特征图及所述第五特征图输入所述分隔板间隙检测模型的解码器中，以获取所述第一间隙检测结果。
12.一种陈列柜的拆分装置，包括：
第一获取模块，用于获取待处理图像，其中，所述待处理图像中包含陈列柜；
第二获取模块，用于对所述待处理图像进行语义分割及角点回归检测，以获取所述陈列柜对应的第一分隔板图像及第一角点检测结果；
第三获取模块，用于对所述待处理图像进行分隔板间隙检测，以获取所述陈列柜对应的第一间隙检测结果；
确定模块，用于根据所述第一角点检测结果或所述第一间隙检测结果，对所述第一分隔板图像中包含的第一分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜。
13.根据权利要求12所述的装置，其中，所述确定模块，具体用于：
响应于所述第一间隙检测结果中包含的间隙的数量大于第一阈值，基于所述第一间隙检测结果，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号；或者，
响应于所述第一间隙检测结果中包含的间隙的数量小于或等于所述第一阈值，且所述第一角点检测结果中包含的角点数量大于第二阈值，基于所述第一角点检测结果，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
14.根据权利要求13所述的装置，其中，所述确定模块，还具体用于：
响应于所述第一间隙检测结果中至少两个间隙分别对应的第一方向坐标之间的差值小于第三阈值，根据所述至少两个间隙分别对应的第二方向坐标，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
15.根据权利要求14所述的装置，其中，所述确定模块，还具体用于：
确定所述第一分隔板图像中所述陈列柜对应的分隔板层数；
响应于所述至少两个间隙的数量小于所述分隔板层数，根据所述至少两个间隙分别对应的第二方向坐标，确定分割线；
基于所述分割线，对所述第一分隔板图像中的所述第一分隔板进行拆分。
16.根据权利要求15所述的装置，其特征在于，所述确定模块，还具体用于：
响应于所述至少两个间隙分别对应的第一方向坐标相同，确定所述至少两个间隙中的任一间隙对应的第二方向坐标的延长线为所述分割线；或者，
响应于所述至少两个间隙分别对应的第一方向坐标不同，对所述至少两个间隙分别对应的第二方向坐标进行拟合，以确定所述分割线。
17.根据权利要求13所述的装置，其中，所述确定模块，还具体用于：
根据所述第一角点检测结果中包含的每个角点的位置，确定每个所述子陈列柜所在的目标区域；
基于所述目标区域的边界线，对所述第一分隔板图像中的所述第一分隔板进行拆分，以确定所述陈列柜中包含的各子陈列柜及每个子陈列柜对应的编号。
18.根据权利要求12所述的装置，其中，所述确定模块，还具体用于：
对所述第一分隔板图像进行形变矫正，以获取矫正后的第二分隔板图像；
确定将所述第一分隔板图像转换至所述第二分隔板图像对应的单应性矩阵；
基于所述单应性矩阵，分别将所述第一间隙检测结果中包含的每个间隙的位置及所述第一角点检测结果中包含的每个角点的位置进行转换，以获取转换后的第二间隙检测结果及转换后的第二角点检测结果；
根据所述第二角点检测结果或所述第二间隙检测结果，对所述第二分隔板图像中包含的第二分隔板进行拆分处理，以确定所述陈列柜中包含的各子陈列柜。
19.根据权利要求12所述的装置，其中，所述第二获取模块，具体用于：
将所述待处理图像输入基于角点检测的语义分隔模型中，以获取所述基于角点检测的语义分隔模型输出的所述第一分隔板图像及所述第一角点检测结果。
20.根据权利要求19所述的装置，其中，所述第二获取模块，还具体用于：
将所述待处理图像输入所述基于角点检测的语义分割模型的编码器中，以获取所述编码器输出的第一特征图及第二特征图，其中，所述第一特征图对应的第一分辨率小于所述第二特征图对应的第二分辨率；
将所述第一特征图输入所述基于角点检测的语义分割模型的第一解码器中，以获取所述第一解码器输出的所述第一角点分割结果；
将所述第二特征图输入所述基于角点检测的语义分割模型的第二解码器中，以获取所述第二解码器输出的第一分隔板图像。
21.根据权利要求12所述的装置，其中，所述第三获取模块，具体用于：
将所述待处理图像输入分隔板间隙检测模型，以获取所述分隔板间隙检测模型输出的所述第一间隙检测结果。
22.根据权利要求21所述的装置，其中，所述第三获取模块，还具体用于：
将所述待处理图像输入所述分隔板间隙检测模型的特征金字塔网络中，以获取所述特征金字塔网络输出的第三特征图、第四特征图及第五特征图，其中，所述第三特征图对应的第三分辨率大于所述第四特征图对应的第四分辨率，所述第四分辨率大于所述第五特征图对应的第五分辨率；
基于所述第四分辨率，对所述第五特征图进行上采样，以获取与所述第四分辨率相同的第六特征图；
根据所述第四特征图与所述第六特征图之间的差异，对所述第四特征图进行修正；
将所述第三特征图、修正后的第四特征图及所述第五特征图输入所述分隔板间隙检测模型的解码器中，以获取所述第一间隙检测结果。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
25.一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现权利要求1-11中任一项所述方法的步骤。
CN202211140643.7A 2022-09-19 2022-09-19 陈列柜的拆分方法、装置、电子设备及存储介质 Active CN115482533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211140643.7A CN115482533B (zh) 2022-09-19 2022-09-19 陈列柜的拆分方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211140643.7A CN115482533B (zh) 2022-09-19 2022-09-19 陈列柜的拆分方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115482533A true CN115482533A (zh) 2022-12-16
CN115482533B CN115482533B (zh) 2023-06-16

Family

ID=84392394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211140643.7A Active CN115482533B (zh) 2022-09-19 2022-09-19 陈列柜的拆分方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115482533B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156276A1 (en) * 2017-08-07 2019-05-23 Standard Cognition, Corp Realtime inventory tracking using deep learning
US20190156277A1 (en) * 2017-08-07 2019-05-23 Standard Cognition, Corp Realtime inventory location management using deep learning
WO2020138803A1 (ko) * 2018-12-24 2020-07-02 (주)제이엘케이 영상 분석 장치 및 방법
CN111768409A (zh) * 2020-09-03 2020-10-13 腾讯科技（深圳）有限公司 基于人工智能的箱式结构检测方法及装置
CN111814628A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 陈列立柜识别方法、装置、设备以及存储介质
CN111814633A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 陈列场景检测方法、装置、设备以及存储介质
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置
US10943287B1 (en) * 2019-10-25 2021-03-09 7-Eleven, Inc. Topview item tracking using a sensor array
CN113627508A (zh) * 2021-08-03 2021-11-09 北京百度网讯科技有限公司 陈列场景识别方法、装置、设备以及存储介质
CN113947770A (zh) * 2021-12-13 2022-01-18 广州微林软件有限公司 一种识别物体放置于智能箱柜不同区域的方法
WO2022024341A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体
CN114049499A (zh) * 2021-11-18 2022-02-15 南昌黑鲨科技有限公司 用于连续轮廓的目标对象检测方法、设备及存储介质
KR102365370B1 (ko) * 2021-05-17 2022-02-23 주식회사농심 매대 정보 산출 시스템
WO2022042507A1 (zh) * 2020-08-31 2022-03-03 威海新北洋数码科技有限公司 商品盘点方法和自动售货机
CN114202537A (zh) * 2021-12-16 2022-03-18 元气森林(北京)食品科技集团有限公司 摄像头成像缺陷检测方法、陈列柜以及存储介质
CN114998347A (zh) * 2022-08-04 2022-09-02 创新奇智(成都)科技有限公司 一种半导体面板角点定位方法及装置
CN115063781A (zh) * 2022-07-14 2022-09-16 黑芝麻智能科技有限公司 车位检测方法、装置、设备和存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156277A1 (en) * 2017-08-07 2019-05-23 Standard Cognition, Corp Realtime inventory location management using deep learning
US20190156276A1 (en) * 2017-08-07 2019-05-23 Standard Cognition, Corp Realtime inventory tracking using deep learning
WO2020138803A1 (ko) * 2018-12-24 2020-07-02 (주)제이엘케이 영상 분석 장치 및 방법
US10943287B1 (en) * 2019-10-25 2021-03-09 7-Eleven, Inc. Topview item tracking using a sensor array
CN111814628A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 陈列立柜识别方法、装置、设备以及存储介质
CN111814633A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 陈列场景检测方法、装置、设备以及存储介质
WO2022024341A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体
WO2022042507A1 (zh) * 2020-08-31 2022-03-03 威海新北洋数码科技有限公司 商品盘点方法和自动售货机
CN111768409A (zh) * 2020-09-03 2020-10-13 腾讯科技（深圳）有限公司 基于人工智能的箱式结构检测方法及装置
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置
KR102365370B1 (ko) * 2021-05-17 2022-02-23 주식회사농심 매대 정보 산출 시스템
CN113627508A (zh) * 2021-08-03 2021-11-09 北京百度网讯科技有限公司 陈列场景识别方法、装置、设备以及存储介质
CN114049499A (zh) * 2021-11-18 2022-02-15 南昌黑鲨科技有限公司 用于连续轮廓的目标对象检测方法、设备及存储介质
CN113947770A (zh) * 2021-12-13 2022-01-18 广州微林软件有限公司 一种识别物体放置于智能箱柜不同区域的方法
CN114202537A (zh) * 2021-12-16 2022-03-18 元气森林(北京)食品科技集团有限公司 摄像头成像缺陷检测方法、陈列柜以及存储介质
CN115063781A (zh) * 2022-07-14 2022-09-16 黑芝麻智能科技有限公司 车位检测方法、装置、设备和存储介质
CN114998347A (zh) * 2022-08-04 2022-09-02 创新奇智(成都)科技有限公司 一种半导体面板角点定位方法及装置

Also Published As

Publication number Publication date
CN115482533B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN112785625A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113378958A (zh) 自动标注方法、装置、设备、存储介质及计算机程序产品
CN113223113A (zh) 车道线处理方法、装置、电子设备和云控平台
CN112528995B (zh) 用于训练目标检测模型的方法、目标检测方法及装置
CN112652057A (zh) 生成人体三维模型的方法、装置、设备以及存储介质
CN112528858A (zh) 人体姿态估计模型的训练方法、装置、设备、介质及产品
CN111814628B (zh) 陈列立柜识别方法、装置、设备以及存储介质
CN113537374A (zh) 一种对抗样本生成方法
CN114359932A (zh) 文本检测方法、文本识别方法及装置
CN113362314A (zh) 医学图像识别方法、识别模型训练方法及装置
CN113705362A (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
US20220198743A1 (en) Method for generating location information, related apparatus and computer program product
CN115482533B (zh) 陈列柜的拆分方法、装置、电子设备及存储介质
CN114973333B (zh) 人物交互检测方法、装置、设备以及存储介质
CN115187995B (zh) 文档矫正方法、装置、电子设备和存储介质
CN114187488B (zh) 图像处理方法、装置、设备、介质
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN115527069A (zh) 物品识别和物品识别系统构建方法及装置
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
CN113139463B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN114494597A (zh) 一种平面图生成方法、装置以及计算机可读存储介质
CN113936158A (zh) 一种标签匹配方法及装置
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant