CN115359065B - 一种排面图像的倾斜检测方法和装置 - Google Patents

一种排面图像的倾斜检测方法和装置 Download PDF

Info

Publication number
CN115359065B
CN115359065B CN202211298984.7A CN202211298984A CN115359065B CN 115359065 B CN115359065 B CN 115359065B CN 202211298984 A CN202211298984 A CN 202211298984A CN 115359065 B CN115359065 B CN 115359065B
Authority
CN
China
Prior art keywords
layers
image
cabinet body
mask information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211298984.7A
Other languages
English (en)
Other versions
CN115359065A (zh
Inventor
袁智徽
丁明
王杰
许洁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202211298984.7A priority Critical patent/CN115359065B/zh
Publication of CN115359065A publication Critical patent/CN115359065A/zh
Application granted granted Critical
Publication of CN115359065B publication Critical patent/CN115359065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种排面图像的倾斜检测方法和装置，所述方法包括：获取图像中待检测柜体所有层的mask信息；通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像是否存在倾斜；其中，所述主方向角度与各层分别一一对应。相比于现有技术，通过所有层的mask信息进而获得轮廓信息，并基于主方向角度与预设值的比较实现倾斜检测，而不需要通过灰度图进行检测，减少了对光线、排面外观、结构等因素的限制，提高了图像中有效信息的比例以及倾斜检测的准确率。

Description

一种排面图像的倾斜检测方法和装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种排面图像的倾斜检测方法和装置。
背景技术
随着图像识别技术的快速发展，基于图像处理技术的排面识别正逐步取代人工的排面计算。市面上现有的智能柜为了获取排面图像，通常将摄像头安装于柜门上，并根据用户的开门角度触发拍照系统进行拍照，通过深度学习技术进行识别，获取排面的识别结果。
而由于用户开门力度、开门速度、开启拍摄时的开门角度，以及拍照的延时等因素，拍摄获得的图像排面存在倾斜或图像不全的问题，层与层之间的矩形框的重合度过大，进而导致后续的排面识别错误，并影响后续图像处理的精度。现有的倾斜检测方法主要采用霍夫变换检测排面图像中陈列架层的直线角度，但是由于该方法需要获取柜体中陈列架的灰度图，而灰度图对不同环境的光线、陈列架的外观、结构不敏感，包含陈列架的有效信息过少，因此会影响到倾斜检测的准确性。
发明内容
本发明提供了一种排面图像的倾斜检测方法和装置，以解决如何提高倾斜检测的准确性的技术问题。
为了解决上述技术问题，本发明实施例提供了一种排面图像的倾斜检测方法，包括：
获取图像中待检测柜体所有层的mask信息；
通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；
根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应。
作为优选方案，在所述获取图像中待检测柜体所有层的mask信息之前，还包括：
获取图像中所有柜体的mask信息和所有层的mask信息；
根据所有柜体mask信息，计算所有柜体mask的面积；
将最大的面积的mask对应的柜体作为所述待检测柜体；其中，所述待检测柜体为当前摄像头对应柜体；
根据所述所有层的mask和当前柜体的mask的重合度，确定所述待检测柜体对应的所有层。
作为优选方案，在所述获取图像中所有柜体的mask信息和所有层的mask信息之前，还包括：
获取所述当前摄像头的源图像；其中，所述当前摄像头的源图像在接收到门体开门信号时进行拍照获取；
基于训练好的位置分割器的输出，获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息。
作为优选方案，在所述获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息之前，还包括：
获取源图像数据集；其中，所述源图像数据集包括多个摄像头获取的源图像；
对源图像数据集中所有源图像中的所有柜体以及所有层进行轮廓标注；
采用yolact深度学习分割模型作为基础模型，通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。
作为优选方案，所述根据所述所有层的轮廓信息，分别计算各层的主方向角度，具体为：
通过主成分分析方法，根据所述所有层的轮廓信息，分别计算每个层的主方向特征向量，进而分别计算每个层的主方向角度。
相应的，本发明实施例还提供了一种排面图像的倾斜检测装置，包括信息获取模块、轮廓获取模块和倾斜检测模块；其中，
所述信息获取模块，用于获取图像中待检测柜体所有层的mask信息；
所述轮廓获取模块，用于通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；
所述倾斜检测模块，用于根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应。
作为优选方案，所述倾斜检测装置还包括识别模块，所述识别模块用于在所述获取图像中待检测柜体所有层的mask信息之前，
获取图像中所有柜体的mask信息和所有层的mask信息；
根据所有柜体mask信息，计算所有柜体mask的面积；
将最大的面积的mask对应的柜体作为所述待检测柜体；其中，所述待检测柜体为当前摄像头对应柜体；
根据所述所有层的mask和当前柜体的mask的重合度，确定所述待检测柜体对应的所有层。
作为优选方案，所述倾斜检测装置还包括图像分割模块，所述图像分割模块用于在所述获取图像中所有柜体的mask信息和所有层的mask信息之前，
获取所述当前摄像头的源图像；其中，所述当前摄像头的源图像在接收到门体开门信号时进行拍照获取；
基于训练好的位置分割器的输出，获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息。
作为优选方案，所述倾斜检测装置还包括模型训练模块，所述模型训练模块用于在所述获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息之前，
获取源图像数据集；其中，所述源图像数据集包括多个摄像头获取的源图像；
对源图像数据集中所有源图像中的所有柜体以及所有层进行轮廓标注；
采用yolact深度学习分割模型作为基础模型，通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。
作为优选方案，所述倾斜检测模块根据所述所有层的轮廓信息，分别计算各层的主方向角度，具体为：
所述倾斜检测模块通过主成分分析方法，根据所述所有层的轮廓信息，分别计算每个层的主方向特征向量，进而分别计算每个层的主方向角度。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种排面图像的倾斜检测方法和装置，所述方法包括：获取图像中待检测柜体所有层的mask信息；通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应。相比于现有技术，通过所有层的mask信息进而获得轮廓信息，并基于主方向角度与预设值的比较实现倾斜检测，而不需要通过灰度图进行检测，因此解决了图像识别过程中对光线、排面的外观、结构等因素不敏感的问题，减少了对这些因素的限制，提高了图像中有效信息的比例，相比现有技术具有更高的检测准确性和更高的识别成功率；并且适用于更多的应用场景，具有更优的通用性。
附图说明
图1：为本发明提供的正常拍照排面图像示意图。
图2：为本发明提供的存在倾斜的排面图像示意图。
图3：为本发明基于排面图像的倾斜检测方法提供的一种实施例的流程示意图。
图4：为本发明提供的经过轮廓标注的图像示意图。
图5：为本发明基于排面图像的倾斜检测装置提供的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一:
根据相关技术记载，由于用户开门力度、开门速度、开启拍摄时的开门角度，以及拍照的延时等因素，拍摄获得的图像排面存在倾斜或图像不全的问题，进而导致后续的排面识别错误。参照图1至图2，图1为正常拍照图像的示意图，图2为存在倾斜的排面图像的示意图。
而需要说明的是，排面指的是陈列商品或货物的排面，通常意义上考虑的是最外面一层的商品或货物，而不需要考虑里面被遮挡的商品。排面拍摄的意义主要在于对货物或者商品进行识别，该技术的应用可以确定是否售出或被取走等。当使用矩形框系列算法检测排面各层时，倾斜会导致层与层之间的矩形框的重合度过大，并影响后续图像处理的精度，导致物品的分层可能会出错。同时，也可能会存在大量排面倾斜导致的不合格图像，进而导致后续识别任务的资源浪费和后续图像处理、数据处理的大量工作量。
而现有技术的倾斜检测方法主要采用霍夫变换直线检测技术，但是由于该方法使用的前提是需要获取柜体中陈列架的灰度图，而灰度图对不同环境的光线、陈列架的外观、结构不敏感（譬如陈列架是纯白色的，陈列架可能会很薄，尤其是冰柜中的托架等），包含陈列架的有效信息过少，因此会影响到倾斜检测的有效性和准确性。
针对上述一个或多个技术问题，请参照图3，图3为本发明实施例提供的一种排面图像的倾斜检测方法，包括步骤S1至步骤S3；其中，
步骤S1，获取图像中待检测柜体所有层的mask信息。
步骤S2，通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息。
步骤S3，根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应。
在本实施例中，步骤S1之前，首先通过摄像头获取待检测柜体的源图像，具体地：
获取所述当前摄像头的用于倾斜检测的源图像；其中，所述当前摄像头的源图像在接收到门体开门信号时，触发摄像头开启拍照进行获取；
基于训练好的位置分割器的输出，获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息。
所述位置分割器的训练过程如下：
获取源图像数据集；其中，所述源图像数据集包括多个摄像头获取的源图像；
对源图像数据集中所有源图像中的所有柜体以及所有层进行轮廓标注（参照图4）；通过标注源图像中柜体、层的轮廓点，设定为柜体类、层类两种类别。
采用yolact深度学习分割模型作为基础模型，通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。
其中，所述基础模型的输入分辨率为550，本实施例以resnet18作为backbone，从而减少模型的大小。FPN采用输入通道[64,128,256,512]，以适配resnet18 backbone 的输出。
由于本实施例对mask的要求较高，将mask_head 的loss 权重配置为7，box的loss权重减少为1.0。模板掩码个数设置为32，以适当减少参数。Base_sizes根据柜体和层的轮廓大小统计计算后进行设置，其余参数按照yolact的默认参数进行配置。
在训练的超参数方面：采用SGD作为优化器，momentum=0.9,weight_decay=5×10-4，初始学习率lr为10-3，设置step学习率更新策略，最大epoch设置为50。通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。将所述训练好的位置分割器部署到端侧（譬如嵌入端、手机端）平台，在检测时通过摄像头获取用于检测的源图像（无需标注），只需将所述当前摄像头的源图像（无需标注）输入至所述训练好的位置分割器的，就可以输出识别并分割好的所有柜体的mask信息和所有层的mask信息，也可以为输出的图像包含类别信息（区分为柜体和层两种类别）和mask信息。
进一步地，在实际应用中，每个柜体通常都会有一个对应的用于检测的摄像头，但是，柜体对应的摄像头有可能拍摄到不止一个柜体，譬如，在用户对智能柜进行开关门操作时，在某些拍摄角度下，可能会拍摄到除对应的当前柜体以外，在当前柜体斜后方的其他柜体。
因此，为了解决该问题：获取图像中所有柜体的mask信息和所有层的mask信息；
根据所有类别为柜体的mask信息，计算所有柜体mask的面积；
将最大的面积的mask对应的柜体作为所述待检测柜体；其中，所述待检测柜体为当前摄像头对应柜体；
同时，遍历计算所有类别为层的mask和当前柜体的mask的重合度，确定所述待检测柜体对应的所有层。作为本实施例的一种举例，重合度的计算可以采用位与运算。
作为一种优选实施方式，上述步骤S3中，所述根据所述所有层的轮廓信息，分别计算各层的主方向角度，具体为：
通过主成分分析方法，根据所述所有层的轮廓信息，分别计算每个层的主方向特征向量，进而分别计算每个层的主方向角度。采用本实施方式，主要考虑的是智能柜的陈列架的层通常为长方形的特点，基于层轮廓的主成分分析方法，可以获取轮廓对应的中心点、特征值和特征向量等。通过该方法获得每个层的主方向特征向量，进而可以根据下式计算出各层的主方向角度：
angle=arctan(vector[0,1]/vector[0,0]);
其中，vector为一个二维的特征向量，且可以表示为[[x1,y1],[x2,y2]]，当取vector第一个主方向量的第一个量x1时则为vector[0,0]，当取vector第一个主方向量的第二个量y1时则为vector[0,1]；angle为角度值。通过该式可以计算得到当前柜体中各层的轮廓主方向角度，譬如θ1、θ2、θ3、…、θn，筛选出其中的最大者θmax，当θmax大于预设值时，判断所述待检测柜体的排面图像存在倾斜；反之（当θmax小于等于预设值时），则确定所述待检测柜体的排面图像不存在倾斜，从而可以进行后续的陈列识别任务。
对于本实施例步骤S2，采用了膨胀运算和腐蚀运算（图像形态学的基本算子），获取膨胀图像-腐蚀图像作为层的轮廓图像（所述轮廓信息，或轮廓点）。在使用位置分割器时，位置分割器输出的是层和柜体的mask信息，此时是没有轮廓点以及轮廓信息的，例如，层的mask就是一张和图片同样大小的全黑图片，预测为层的地方可以设置为255，则层的mask就是一张二值图；同样地，柜体的mask也是一张二值图。因此本实施例采用了膨胀运算和腐蚀运算，进行轮廓的提取，腐蚀运算可以消除噪点，同时消除部分边界值，导致目标图像整体缩小，膨胀运算可以使目标特征值增大，导致目标图像整体放大，两者的组合可以达到较好的分割以及轮廓提取的效果，从而，减少后续处理过程中的数据量和运算量，有效提高后续处理的效率。
相应的，参照图5，本发明实施例还提供了一种排面图像的倾斜检测装置，包括信息获取模块101、轮廓获取模块102和倾斜检测模块103；其中，
所述信息获取模块101，用于获取图像中待检测柜体所有层的mask信息；
所述轮廓获取模块102，用于通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；
所述倾斜检测模块103，用于根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应。
作为一种优选实施方式，所述倾斜检测装置还包括识别模块，所述识别模块用于在所述获取图像中待检测柜体所有层的mask信息之前，
获取图像中所有柜体的mask信息和所有层的mask信息；
根据所有柜体mask信息，计算所有柜体mask的面积；
将最大的面积的mask对应的柜体作为所述待检测柜体；其中，所述待检测柜体为当前摄像头对应柜体；
根据所述所有层的mask和当前柜体的mask的重合度，确定所述待检测柜体对应的所有层。
作为一种优选实施方式，所述倾斜检测装置还包括图像分割模块，所述图像分割模块用于在所述获取图像中所有柜体的mask信息和所有层的mask信息之前，
获取所述当前摄像头的源图像；其中，所述当前摄像头的源图像在接收到门体开门信号时进行拍照获取；
基于训练好的位置分割器的输出，获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息。
作为一种优选实施方式，所述倾斜检测装置还包括模型训练模块，所述模型训练模块用于在所述获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息之前，
获取源图像数据集；其中，所述源图像数据集包括多个摄像头获取的源图像；
对源图像数据集中所有源图像中的所有柜体以及所有层进行轮廓标注；
采用yolact深度学习分割模型作为基础模型，通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。
作为一种优选实施方式，所述倾斜检测模块103根据所述所有层的轮廓信息，分别计算各层的主方向角度，具体为：
所述倾斜检测模块103通过主成分分析方法，根据所述所有层的轮廓信息，分别计算每个层的主方向特征向量，进而分别计算每个层的主方向角度。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种排面图像的倾斜检测方法和装置，所述方法包括：获取图像中待检测柜体所有层的mask信息；通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；根据所述所有层的轮廓信息，分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应。相比于现有技术，通过所有层的mask信息进而获得轮廓信息，并基于主方向角度与预设值的比较实现倾斜检测，而不需要通过灰度图进行检测，因此解决了图像识别过程中对光线、排面的外观、结构等因素不敏感的问题，减少了对这些因素的限制，提高了图像中有效信息的比例，相比现有技术具有更高的检测准确性和更高的识别成功率；并且适用于更多的应用场景，具有更优的通用性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种排面图像的倾斜检测方法，其特征在于，包括：
利用位置分割器获取图像中待检测柜体所有层的mask信息；
通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；
通过主成分分析方法，根据所述所有层的轮廓信息，分别计算每个层的主方向特征向量，进而分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应；
其中，各层的主方向角度的计算公式为：
angle=arctan(vector[0,1]/vector[0,0])
其中，vector为一个二维的主方向特征向量；angle为角度值。
2.如权利要求1所述的一种排面图像的倾斜检测方法，其特征在于，在所述获取图像中待检测柜体所有层的mask信息之前，还包括：
获取图像中所有柜体的mask信息和所有层的mask信息；
根据所有柜体mask信息，计算所有柜体mask的面积；
将最大的面积的mask对应的柜体作为所述待检测柜体；其中，所述待检测柜体为当前摄像头对应柜体；
根据所述所有层的mask和当前柜体的mask的重合度，确定所述待检测柜体对应的所有层。
3.如权利要求2所述的一种排面图像的倾斜检测方法，其特征在于，在所述获取图像中所有柜体的mask信息和所有层的mask信息之前，还包括：
获取所述当前摄像头的源图像；其中，所述当前摄像头的源图像在接收到门体开门信号时进行拍照获取；
基于训练好的位置分割器的输出，获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息。
4.如权利要求3所述的一种排面图像的倾斜检测方法，其特征在于，在所述获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息之前，还包括：
获取源图像数据集；其中，所述源图像数据集包括多个摄像头获取的源图像；
对源图像数据集中所有源图像中的所有柜体以及所有层进行轮廓标注；
采用yolact深度学习分割模型作为基础模型，通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。
5.一种排面图像的倾斜检测装置，其特征在于，包括信息获取模块、轮廓获取模块和倾斜检测模块；其中，
所述信息获取模块，用于利用位置分割器获取图像中待检测柜体所有层的mask信息；
所述轮廓获取模块，用于通过膨胀运算和腐蚀运算，根据所述所有层的mask信息，获得所述所有层的轮廓信息；
所述倾斜检测模块，用于通过主成分分析方法，根据所述所有层的轮廓信息，分别计算每个层的主方向特征向量，进而分别计算各层的主方向角度，当所有层中最大的主方向角度大于预设值，确定所述待检测柜体的排面图像存在倾斜；反之，确定所述待检测柜体的排面图像不存在倾斜；其中，所述主方向角度与各层分别一一对应；
其中，各层的主方向角度的计算公式为：
angle=arctan(vector[0,1]/vector[0,0])
其中，vector为一个二维的主方向特征向量；angle为角度值。
6.如权利要求5所述的一种排面图像的倾斜检测装置，其特征在于，所述倾斜检测装置还包括识别模块，所述识别模块用于在所述获取图像中待检测柜体所有层的mask信息之前，
获取图像中所有柜体的mask信息和所有层的mask信息；
根据所有柜体mask信息，计算所有柜体mask的面积；
将最大的面积的mask对应的柜体作为所述待检测柜体；其中，所述待检测柜体为当前摄像头对应柜体；
根据所述所有层的mask和当前柜体的mask的重合度，确定所述待检测柜体对应的所有层。
7.如权利要求6所述的一种排面图像的倾斜检测装置，其特征在于，所述倾斜检测装置还包括图像分割模块，所述图像分割模块用于在所述获取图像中所有柜体的mask信息和所有层的mask信息之前，
获取所述当前摄像头的源图像；其中，所述当前摄像头的源图像在接收到门体开门信号时进行拍照获取；
基于训练好的位置分割器的输出，获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息。
8.如权利要求7所述的一种排面图像的倾斜检测装置，其特征在于，所述倾斜检测装置还包括模型训练模块，所述模型训练模块用于在所述获取所述当前摄像头的源图像中所有柜体的mask信息和所有层的mask信息之前，
获取源图像数据集；其中，所述源图像数据集包括多个摄像头获取的源图像；
对源图像数据集中所有源图像中的所有柜体以及所有层进行轮廓标注；
采用yolact深度学习分割模型作为基础模型，通过经过标注的源图像数据集进行训练，获得所述训练好的位置分割器。
CN202211298984.7A 2022-10-24 2022-10-24 一种排面图像的倾斜检测方法和装置 Active CN115359065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211298984.7A CN115359065B (zh) 2022-10-24 2022-10-24 一种排面图像的倾斜检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211298984.7A CN115359065B (zh) 2022-10-24 2022-10-24 一种排面图像的倾斜检测方法和装置

Publications (2)

Publication Number Publication Date
CN115359065A CN115359065A (zh) 2022-11-18
CN115359065B true CN115359065B (zh) 2023-04-07

Family

ID=84007784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211298984.7A Active CN115359065B (zh) 2022-10-24 2022-10-24 一种排面图像的倾斜检测方法和装置

Country Status (1)

Country Link
CN (1) CN115359065B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882606A (zh) * 2020-07-01 2020-11-03 上海品览数据科技有限公司 一种基于深度学习的货架商品分层方法
CN112258426A (zh) * 2020-11-27 2021-01-22 福州大学 一种基于Mask RCNN的脚手架图像自动倾斜校正的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898610B (zh) * 2018-07-20 2020-11-20 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN111652205B (zh) * 2020-06-04 2023-05-16 广东小天才科技有限公司 基于深度学习的文本矫正方法、装置、设备和介质
CN112446437A (zh) * 2020-12-11 2021-03-05 上海品览数据科技有限公司 一种基于机器视觉的货架商品规格识别方法
CN114372993B (zh) * 2021-12-20 2022-10-28 广州市玄武无线科技股份有限公司 一种基于图像矫正的斜拍货架分层检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882606A (zh) * 2020-07-01 2020-11-03 上海品览数据科技有限公司 一种基于深度学习的货架商品分层方法
CN112258426A (zh) * 2020-11-27 2021-01-22 福州大学 一种基于Mask RCNN的脚手架图像自动倾斜校正的方法

Also Published As

Publication number Publication date
CN115359065A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN111696128B (zh) 一种高速多目标检测跟踪和目标图像优选方法及存储介质
Javed et al. Tracking and object classification for automated surveillance
CN109882019B (zh) 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN112287866A (zh) 一种基于人体关键点的人体动作识别方法及装置
CN101887518B (zh) 人体检测装置与方法
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN112287867B (zh) 一种多摄像头的人体动作识别方法及装置
CN112541434B (zh) 一种基于中心点跟踪模型的人脸识别方法
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
CN103093458B (zh) 关键帧的检测方法及装置
CN112287868A (zh) 一种人体动作识别方法及装置
CN110287907A (zh) 一种对象检测方法和装置
US20070025592A1 (en) Target-region detection apparatus, method and program
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN114782770A (zh) 一种基于深度学习的车牌检测与车牌识别方法及系统
CN111914627A (zh) 一种车辆识别与追踪方法及装置
Lee et al. Real-time automatic vehicle management system using vehicle tracking and car plate number identification
CN113256683B (zh) 目标跟踪方法及相关设备
CN112990115B (zh) 一种用于冰柜陈列识别的拍摄方法及系统
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN115359065B (zh) 一种排面图像的倾斜检测方法和装置
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN111881775B (zh) 一种人脸实时识别方法和装置
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
US20030044067A1 (en) Apparatus and methods for pattern recognition based on transform aggregation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant