CN116740550B - 一种冰柜图像完整性识别方法及系统 - Google Patents
一种冰柜图像完整性识别方法及系统 Download PDFInfo
- Publication number
- CN116740550B CN116740550B CN202311024767.3A CN202311024767A CN116740550B CN 116740550 B CN116740550 B CN 116740550B CN 202311024767 A CN202311024767 A CN 202311024767A CN 116740550 B CN116740550 B CN 116740550B
- Authority
- CN
- China
- Prior art keywords
- image
- ice chest
- cabinet
- coordinates
- integrity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000002347 injection Methods 0.000 claims abstract description 9
- 239000007924 injection Substances 0.000 claims abstract description 9
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 9
- 238000007667 floating Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 210000000038 chest Anatomy 0.000 description 104
- 238000013473 artificial intelligence Methods 0.000 description 10
- 235000013361 beverage Nutrition 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 239000000243 solution Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010008469 Chest discomfort Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种冰柜图像完整性识别方法及系统，涉及图像识别技术领域，解决了冰柜图像的拍摄容易存在柜格完整性的问题，导致识别准确性较差的技术问题。该方法包括以下步骤：基于冰柜样本图像、冰柜标签、柜格标签得到柜格检测模块；将待识别冰柜图像输入柜格检测模块，输出冰柜图像、柜格标注图像，通过同名点提取模块筛选出参考柜格图像；将参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，输入透视畸变矫正模块解得透视变换矩阵，得到去畸变冰柜图像；基于去畸变冰柜图像及柜格坐标，不完整柜格检测模块得到识别结果。本发明对冰柜图像拍摄完整性的识别不受透视畸变影响，从而识别精度更高，场景适用度更好。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种冰柜图像完整性识别方法及系统。
背景技术
在深度分销模式下，冰柜等制冷设备可以显著提高饮料销量。因此，大型饮料企业将大量冰柜分配到终端门店，为旗下产品陈列份额提供硬件保障。通常，饮料企业会要求冰柜陈列SKU（Stock Keeping Unit，最小存货单位）的90%~100%为旗下产品。但真实场景中，旗下产品经常会被利润更高的其他新品取代，所以能够达到这个标准的门店很少。随着AI（Artificial Intelligence，人工智能）技术的发展，饮料企业逐渐采用AI平台快速计算本品纯净度、冰柜占比、冰柜饱满度等考察指标，以指导业务员及时做出调整，并结合大数据分析提升销量。
在进行AI审核之前，需要向AI平台提供冰柜的照片，通过AI技术来解决海量图片的审核问题。目前是由业务员进店拍摄冰柜照片，然后通过手机APP等方式上传到AI平台，实现对冰柜照片的审核。这个过程中，照片的质量完全由业务员把控。在实际执行过程中，业务员的拍摄行为很难被统一约束，经常出现拍摄距离过近、没有正拍等情况，导致拍摄的冰柜图像尤其是柜格部分的图像不完整，严重影响AI识别结果的准确性。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
冰柜图像的拍摄容易存在柜格完整性的问题，导致AI平台识别结果的准确性较差，无法快速准确获取特定饮料所需的各种指标。
发明内容
本发明的目的在于提供一种冰柜图像完整性识别方法及系统，以解决现有技术中存在的冰柜图像的拍摄容易存在柜格完整性的问题，导致AI平台识别结果的准确性较差，无法快速准确获取特定饮料所需的各种指标的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
为实现上述目的，本发明提供了以下技术方案：
本发明提供的一种冰柜图像完整性识别方法，用于对待识别冰柜图像中冰柜柜格拍摄的完整性进行检测，包括以下步骤：S100：获取多张已拍摄的冰柜样本图像，并对每张所述冰柜样本图像中的冰柜整体进行标注得到冰柜标签、每个柜格进行标注得到柜格标签，基于所述冰柜样本图像、冰柜标签、柜格标签进行训练得到柜格检测模块；S200：将所述待识别冰柜图像输入所述柜格检测模块，输出冰柜图像、以及对柜格进行标注后的多个柜格标注图像，通过同名点提取模块筛选出符合条件的所述柜格标注图像作为参考柜格图像；S300：将所述参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，并输入透视畸变矫正模块解得透视变换矩阵，通过所述透视变换矩阵对所述冰柜图像去畸变，得到去畸变冰柜图像；S400：基于所述去畸变冰柜图像及柜格坐标，不完整柜格检测模块对所述待识别冰柜图像的冰柜柜格拍摄完整性进行判断，得到识别结果；
所述S300步骤中，所述去畸变冰柜图像中的去畸变像素坐标为(x, y)，通过透视逆变换得到对应的所述冰柜图像的原始像素坐标为(x’, y’)，所述去畸变像素坐标、原始像素坐标均为浮点数坐标，两者的变换关系为：，
其中，M∈R3x3为透视逆变换矩阵，Mij是透视逆变换矩阵M的元素，i=1, 2, 3，j=1,2, 3；
所述S400步骤具体包括：S410：将所述去畸变冰柜图像的非零像素赋值为零，零像素赋值为255，得到冰柜图像二值图；S420：将所述冰柜图像二值图进行欧式距离变换，得到冰柜图像距离图；S430：在所述冰柜图像距离图中，从所述冰柜图像距离图中获取所述去畸变冰柜图像中每一个柜格的顶点距离有效像素区域的距离；S440：若该距离超过N个像素，不完整柜格检测模块判定所述待识别冰柜图像的拍摄不完整，否则判定为拍摄完整；
所述S430步骤中，有效像素区域的判定公式为：，
其中，整数坐标(x’F,y’F)由所述冰柜图像的浮点数坐标(x’, y’)向下圆整后得到，点(x’F,y’F)的像素值为p1，点(x’F+1,y’F)的像素值为p2，点(x’F,y’F+1)的像素值为p3，点(x’F+1,y’F+1)的像素值为p4，点(x’,y’)的像素值为p，round表示圆整函数，和/>为中间变量，若p值为零，则将其置一，非零像素值的区域在所述去畸变冰柜图像中的对应区域为有效像素区域。
优选的，所述S100步骤中，所述柜格检测模块采用Hourglass或HRNet关键点检测算法。
优选的，所述S200步骤中，所述同名点提取模块的筛选过程中，将距离所述冰柜图像的任意一条边的距离小于M个像素的对应柜格、以及最上层柜格和最下层柜格进行排除。
优选的，所述S200步骤中，在所述参考柜格图像中，将左上角和左下角之间中点到右上角和右下角之间中点的距离作为所述参考柜格图像的宽度，将左上角和右上角之间中点到左下角和右下角之间中点的距离作为所述参考柜格图像的高度，得到去畸变后的所述参考柜格图像的尺寸。
优选的，所述S200步骤中，所述参考柜格图像的四个顶点坐标的平均值为去畸变时的固定点(xc, yc)，去畸变后所述参考柜格图像的宽度为w、高度为h，去畸变后所述参考柜格图像的四个顶点坐标分别为：(xc-0.5w, yc-0.5h)、(xc+0.5w, yc-0.5h)、(xc+0.5w, yc+0.5h)、(xc-0.5w, yc+0.5h)。
优选的，若所述原始像素坐标超出所述冰柜图像的坐标范围，将对应的去畸变像素坐标置零，否则搜索距离所述去畸变像素坐标最近的四个整数坐标，通过双线性插值算法得到去畸变像素整数坐标。
一种冰柜图像完整性识别系统，用于以上任一项所述的一种冰柜图像完整性识别方法，包括柜格检测模块、同名点提取模块、透视畸变矫正模块和不完整柜格检测模块；所述柜格检测模块用于检测所述待识别冰柜图像，得到柜格标注图像及其四个顶点；所述同名点提取模块从所述柜格标注图像中筛选出完整的柜格标注图像，并提取四组同名点；所述透视畸变矫正模块通过逆透视变换对所述待识别冰柜图像去畸变，得到去畸变冰柜图像；所述不完整柜格检测模块根据每个所述柜格标注图像的顶点距离有效像素区域的最短距离，判断所述待识别冰柜图像中冰柜柜格拍摄是否完整。
实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：
本发明从柜格标注图像中筛选出参考柜格图像，计算得到待识别冰柜图像的透视变换矩阵，可将待识别冰柜图像还原为平视图像，从而对冰柜柜格图像拍摄完整性的识别不受透视畸变的影响，识别精度更高，同时还通过不完整柜格检测模块对待识别冰柜图像的拍摄完整性进行完整性判断，提高了本发明适用的场景及运行速度，快速准确获取到特定饮料所需的本品纯净度、冰柜占比、冰柜饱满度等指标。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
图1是本发明实施例一中的冰柜图像完整性识别方法的流程图；
图2是本发明实施例一中S400步骤的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
实施例一：本发明提供了一种冰柜图像完整性识别方法，用于对待识别冰柜图像中冰柜柜格拍摄的完整性进行识别，本申请中的冰柜优选为立式冰柜，柜格数量一般为4-6个，如图1所示，包括以下步骤。S100：获取多张已拍摄的冰柜样本图像，冰柜样本图像的拍摄环境、拍摄角度尽量多样，以提高柜格检测模块识别的准确性，具体数量可根据需要进行选择，如100000张以上以获取较为精准的柜格检测模块，并对每张冰柜样本图像中的冰柜整体、每个柜格进行标注（一般为人工标注，将每个柜格标注为四个顶点组成的四边形）得到柜格标签，基于冰柜样本图像、柜格标签进行训练得到柜格检测模块，训练过程为采用基于深度学习的关键点检测算法检测已经标注的冰柜整体、每个柜格的四个顶点。S200：将待识别冰柜图像输入柜格检测模块，输出冰柜图像、以及对柜格进行标注后的柜格标注图像，柜格检测模块首先会对整个冰柜进行识别，获取到冰柜对应的全部图像信息，即为冰柜图像，并可对冰柜图像外的部分进行灰度填充以避免干扰，同时，柜格检测模块还输出对柜格进行标注后的多个柜格标注图像（柜格标注图像的数量与柜格数量一致，由预测的每个柜格顶点所组成的四边形，柜格顶点可能在待识别冰柜图像的冰柜内，也可能冰柜的外部），通过同名点提取模块筛选出符合条件的参考柜格图像，参考柜格图像为拍摄最完整的柜格图像。S300：将参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，显然每个顶点与对应的顶点为一组，如参考柜格图像的左上角顶点对应去畸变后参考柜格图像的左上角顶点，并输入透视畸变矫正模块解得透视变换矩阵，参考柜格图像畸变前后的像素之间有对应关系，这种对应关系可通过透视变换矩阵来表示，由于一张图片中整体的透视变换关系是一致的，通过透视变换矩阵对冰柜图像去畸变，得到去畸变冰柜图像，去畸变冰柜图像即为对透视矫正后的冰柜图像，该图为平视图，不再有透视，从而可以通过该图获取准确的位置信息、坐标信息、距离信息。透视畸变矫正减小了柜格检测算法预测的柜格顶点和真实的柜格顶点之间的误差，提高了待识别冰柜图像中冰柜柜格拍摄完整性检测的精度。S400：基于去畸变冰柜图像及柜格坐标，显然此处的柜格坐标应为冰柜图像中全部柜格的坐标，尤其是柜格顶点的坐标，可以将去畸变冰柜图像的左下角作为坐标原点建立坐标系，全部的坐标均位于第一象限，不完整柜格检测模块对待识别冰柜图像的冰柜柜格拍摄完整性进行判断，得到识别结果。本发明从柜格标注图像中筛选出参考柜格图像，计算得到待识别冰柜图像的透视变换矩阵，可将待识别冰柜图像还原为平视图像，从而对冰柜柜格图像拍摄完整性的识别不受透视畸变的影响，识别精度更高，同时还可通过不完整柜格检测模块对待识别冰柜图像的拍摄完整性进行完整性判断，提高了本发明适用的场景及运行速度，便于快速准确获取到特定饮料所需的本品纯净度、冰柜占比、冰柜饱满度等。
作为可选的实施方式，S100步骤中，柜格检测模块采用Hourglass或HRNet关键点检测算法。Hourglass可有效地利用图像多个尺度的空间信息，其基础网络为残差网络模块，并通过级联多个基础网络提高估计的准确性和实时性，可以很好地应用于关键点检测等任务。HRNet通过多尺度信息融合实现高分辨率特征图的提取，并在不同层次上同时保留高分辨率和低分辨率特征，从而大幅提高了模型精度，是一种既保留了高分辨率特征信息又具备良好通用性和可迁移性的深度神经网络结构，在关键点检测领域取得了很好的效果。
作为可选的实施方式，S200步骤中，同名点提取模块的筛选过程中，将距离柜格图像的任意一条边的距离小于M个像素的对应柜格、以及最上层柜格和最下层柜格进行排除。当待识别冰柜图像拍摄完整时，显然每个柜格标注图像中任意一条边距离应该小于冰柜边缘（即冰柜框体）的距离，这个距离在柜格标注图像中对应若干个像素，当该距离小于M个像素时，冰柜柜格的顶点即在图像之外，应当排除。M的值优选为16，可以在大部分场景中实现较为准确的筛选。同名点提取模块的主要目的是获取透视变换矩阵，这个过程计算一个柜格标注图像即可实现，因此，筛选中所选择的柜格标注图像优选为最中间的柜格，由于最上方及最下方的柜格最容易拍摄不完整，排除最上方及最下方的柜格，以获取到更准确的透视变换信息。
作为可选的实施方式，S200步骤中，在参考柜格图像中，将左上角和左下角之间中点到右上角和右下角之间中点的距离作为参考柜格图像的宽度w，将左上角和右上角之间中点到左下角和右下角之间中点的距离作为参考柜格图像的高度h，得到去畸变后的参考柜格图像的尺寸。去畸变的尺寸通过参考中间点的方式得到，能够准确的反应参考柜格图像的尺寸信息。
作为可选的实施方式，S200步骤中，参考柜格图像的四个顶点坐标的平均值为去畸变时的固定点(xc, yc)，去畸变后参考柜格图像的四个顶点坐标分别为：(xc-0.5w, yc-0.5h)、(xc+0.5w, yc-0.5h)、(xc+0.5w, yc+0.5h)、(xc-0.5w, yc+0.5h)，分别为左下角、右下角、右上角、左上角。通过对去畸变后参考柜格图像的四个顶点坐标进行设定，便于进行透视畸变矫正计算。
作为可选的实施方式，S300步骤中，去畸变冰柜图像中的去畸变像素坐标为(x,y)，即去畸变边柜图像中任意一点的坐标，通过透视逆变换得到对应的冰柜图像的原始像素坐标为(x’, y’)，透视逆变换即将平视图（去畸变后的图）变换为透视图（冰柜图像），去畸变像素坐标、原始像素坐标均为浮点数坐标，两者的变换关系为：
，
其中，M∈R3x3为透视逆变换矩阵，Mij是透视逆变换矩阵M的元素，i=1, 2, 3，j=1,2, 3。通过透视逆变换矩阵M，即可得到透视变换矩阵，从而可实现对冰柜图像的去畸变。若得到的原始像素坐标超出冰柜图像的坐标范围（表明该像素的坐标只在去畸变冰柜图像中存在，而冰柜图像中不存在），即为越界像素，将对应的去畸变像素坐标置零，而其他区域即为有效像素区域，从而达到了像素区分的目的。否则搜索距离去畸变像素坐标最近的四个整数坐标，通过双线性插值算法得到去畸变像素整数坐标（即将浮点数坐标变换为了整数坐标），若双线性插值算法计算得到的像素值结果也为零，则将其置一，以便和前文的越界像素的零值进行区分。双线性插值算法是图像插值算法中的一种，通过四个最近邻像素值的加权和计算得到，便于进行快速计算。
作为可选的实施方式，如图2所示，S400步骤具体包括。S410：将去畸变冰柜图像的非零像素赋值为零（为黑色），非零像素即对应去畸变冰柜图像中的有效像素，零像素赋值为255（为白色），即为有效像素以外的区域，得到冰柜图像二值图，此时大部分为黑色，即去畸变冰柜图像中的冰柜轮廓，小部分为白色，即冰柜轮廓以外的区域，二值图便于进行距离计算。S420：将冰柜图像二值图进行欧式距离变换，即将前景中的像素的值（即赋值为零对应的像素）转化为该点到达最近的背景点的距离，得到冰柜图像距离图。S430：在冰柜图像距离图中，获取去畸变冰柜图像中每一个柜格的顶点距离有效像素区域的距离。S440：若该距离超过N个像素，此时柜格的顶点在冰柜图像外，显然该柜格拍摄不完整，只有部分柜格在待识别冰柜图像中，不完整柜格检测模块判定待识别冰柜图像的拍摄不完整，否则判定为拍摄完整。N的值优选为16，确保了绝大多数情形下判断的准确性。S430步骤中，有效像素区域的判定公式为：
，
其中，整数坐标(x’F,y’F)由冰柜图像的浮点数坐标(x’, y’)向下圆整后得到（即对浮点数坐标进行数据修正得到整数坐标），点(x’F,y’F)的像素值为p1，点(x’F+1,y’F)的像素值为p2，点(x’F,y’F+1)的像素值为p3，点(x’F+1,y’F+1)的像素值为p4，点(x’,y’)的像素值为p，round表示圆整函数，和/>为中间变量，若p值为零，此时只是计算结果为零，而非像素值本身为零，也是有效像素，则将其置一，以便与越界像素区分，非零像素值的区域在去畸变冰柜图像中的对应区域为有效像素区域，即待识别冰柜图像中非零像素值的区域通过透视逆变换矩阵变换得到的去畸变冰柜图像中的区域为对应区域。
实施例仅是一个特例，并不表明本发明就这样一种实现方式。
实施例二：一种冰柜图像完整性识别系统，用于运行实施例一中的一种冰柜图像完整性识别方法，包括柜格检测模块、同名点提取模块、透视畸变矫正模块和不完整柜格检测模块。柜格检测模块用于检测待识别冰柜图像，得到柜格标注图像及其四个顶点；同名点提取模块从柜格标注图像中筛选出完整的柜格标注图像，并提取四组同名点；透视畸变矫正模块通过逆透视变换对待识别冰柜图像去畸变，得到去畸变冰柜图像；不完整柜格检测模块根据每个柜格标注图像的顶点距离有效像素区域的最短距离，判断待识别冰柜图像中冰柜柜格拍摄是否完整。本系统可通过透视畸变矫正模块将待识别冰柜图像中的透视图转换为正常平视图，可以消除透视畸变的影响，从而识别精度高、运行速度快，可快速判断拍摄的照片没有完整覆盖到冰柜的全部柜格，具有优良的场景适应性。
以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
Claims (7)
1.一种冰柜图像完整性识别方法，其特征在于，用于对待识别冰柜图像中冰柜柜格拍摄的完整性进行识别，包括以下步骤：
S100：获取多张已拍摄的冰柜样本图像，并对每张所述冰柜样本图像中的冰柜整体进行标注得到冰柜标签、每个柜格进行标注得到柜格标签，基于所述冰柜样本图像、冰柜标签、柜格标签进行训练得到柜格检测模块；
S200：将所述待识别冰柜图像输入所述柜格检测模块，输出冰柜图像、以及对柜格进行标注后的多个柜格标注图像，通过同名点提取模块筛选出符合条件的所述柜格标注图像作为参考柜格图像；
S300：将所述参考柜格图像去畸变前后的四组顶点坐标组成四组同名点，并输入透视畸变矫正模块解得透视变换矩阵，通过所述透视变换矩阵对所述冰柜图像去畸变，得到去畸变冰柜图像；
S400：基于所述去畸变冰柜图像及柜格坐标，不完整柜格检测模块对所述待识别冰柜图像的冰柜柜格拍摄完整性进行判断，得到识别结果；
所述S300步骤中，所述去畸变冰柜图像中的去畸变像素坐标为(x,y)，通过透视逆变换得到对应的所述冰柜图像的原始像素坐标为(x’, y’)，所述去畸变像素坐标、原始像素坐标均为浮点数坐标，两者的变换关系为：，
其中，M∈R3x3为透视逆变换矩阵，Mij是透视逆变换矩阵M的元素，i=1, 2, 3，j=1, 2,3；
所述S400步骤具体包括：S410：将所述去畸变冰柜图像的非零像素赋值为零，零像素赋值为255，得到冰柜图像二值图；S420：将所述冰柜图像二值图进行欧式距离变换，得到冰柜图像距离图；S430：在所述冰柜图像距离图中，从所述冰柜图像距离图中获取所述去畸变冰柜图像中每一个柜格的顶点距离有效像素区域的距离；S440：若该距离超过N个像素，不完整柜格检测模块判定所述待识别冰柜图像的拍摄不完整，否则判定为拍摄完整；
所述S430步骤中，有效像素区域的判定公式为：，
其中，整数坐标(x’F,y’F)由所述冰柜图像的浮点数坐标(x’, y’)向下圆整后得到，点(x’F,y’F)的像素值为p1，点(x’F+1,y’F)的像素值为p2，点(x’F,y’F+1)的像素值为p3，点(x’F+1,y’F+1)的像素值为p4，点(x’,y’)的像素值为p，round表示圆整函数，和/>为中间变量，若p值为零，则将其置一，非零像素值的区域在所述去畸变冰柜图像中的对应区域为有效像素区域。
2.根据权利要求1所述的一种冰柜图像完整性识别方法，其特征在于，所述S100步骤中，所述柜格检测模块采用Hourglass或HRNet关键点检测算法。
3.根据权利要求1所述的一种冰柜图像完整性识别方法，其特征在于，所述S200步骤中，所述同名点提取模块的筛选过程中，将距离所述冰柜图像的任意一条边的距离小于M个像素的对应柜格、以及最上层柜格和最下层柜格进行排除。
4.根据权利要求1所述的一种冰柜图像完整性识别方法，其特征在于，所述S200步骤中，在所述参考柜格图像中，将左上角和左下角之间中点到右上角和右下角之间中点的距离作为所述参考柜格图像的宽度，将左上角和右上角之间中点到左下角和右下角之间中点的距离作为所述参考柜格图像的高度，得到去畸变后的所述参考柜格图像的尺寸。
5.根据权利要求3所述的一种冰柜图像完整性识别方法，其特征在于，所述S200步骤中，所述参考柜格图像的四个顶点坐标的平均值为去畸变时的固定点(xc, yc)，去畸变后所述参考柜格图像的宽度为w、高度为h，去畸变后所述参考柜格图像的四个顶点坐标分别为：(xc-0.5w, yc-0.5h)、(xc+0.5w, yc-0.5h)、(xc+0.5w, yc+0.5h)、(xc-0.5w, yc+0.5h)。
6.根据权利要求5所述的一种冰柜图像完整性识别方法，其特征在于，若所述原始像素坐标超出所述冰柜图像的坐标范围，将对应的去畸变像素坐标置零，否则搜索距离所述去畸变像素坐标最近的四个整数坐标，通过双线性插值算法得到去畸变像素整数坐标。
7.一种冰柜图像完整性识别系统，其特征在于，用于运行权利要求1-6中任一项所述的一种冰柜图像完整性识别方法，包括柜格检测模块、同名点提取模块、透视畸变矫正模块和不完整柜格检测模块；所述柜格检测模块用于检测所述待识别冰柜图像，得到柜格标注图像及其四个顶点；所述同名点提取模块从所述柜格标注图像中筛选出完整的柜格标注图像，并提取四组同名点；所述透视畸变矫正模块通过逆透视变换对所述待识别冰柜图像去畸变，得到去畸变冰柜图像；所述不完整柜格检测模块根据每个所述柜格标注图像的顶点距离有效像素区域的最短距离，判断所述待识别冰柜图像中冰柜柜格拍摄是否完整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024767.3A CN116740550B (zh) | 2023-08-15 | 2023-08-15 | 一种冰柜图像完整性识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024767.3A CN116740550B (zh) | 2023-08-15 | 2023-08-15 | 一种冰柜图像完整性识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740550A CN116740550A (zh) | 2023-09-12 |
| CN116740550B true CN116740550B (zh) | 2023-12-08 |
Family
ID=87915503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311024767.3A Active CN116740550B (zh) | 2023-08-15 | 2023-08-15 | 一种冰柜图像完整性识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740550B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006086822A (ja) * | 2004-09-16 | 2006-03-30 | Sanyo Electric Co Ltd | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
| CN113191347A (zh) * | 2021-05-25 | 2021-07-30 | 广东技术师范大学 | 一种基于圆形完整度修正的柑橘识别方法 |
| CN113971738A (zh) * | 2021-10-28 | 2022-01-25 | 成都数之联科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN114565929A (zh) * | 2022-02-14 | 2022-05-31 | 南京红松信息技术有限公司 | 一种基于梯度变换的导线循迹识别方法 |
| CN115761289A (zh) * | 2022-11-25 | 2023-03-07 | 深圳爱莫科技有限公司 | 一种商品陈列柜格计算方法、装置、储存介质及设备 |
-
2023
- 2023-08-15 CN CN202311024767.3A patent/CN116740550B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006086822A (ja) * | 2004-09-16 | 2006-03-30 | Sanyo Electric Co Ltd | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
| CN113191347A (zh) * | 2021-05-25 | 2021-07-30 | 广东技术师范大学 | 一种基于圆形完整度修正的柑橘识别方法 |
| CN113971738A (zh) * | 2021-10-28 | 2022-01-25 | 成都数之联科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN114565929A (zh) * | 2022-02-14 | 2022-05-31 | 南京红松信息技术有限公司 | 一种基于梯度变换的导线循迹识别方法 |
| CN115761289A (zh) * | 2022-11-25 | 2023-03-07 | 深圳爱莫科技有限公司 | 一种商品陈列柜格计算方法、装置、储存介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740550A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN105608230B (zh) | 一种基于图像检索的商家信息推荐系统及方法 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN108846401A (zh) | 商品检测终端、方法、系统以及计算机设备、可读介质 | |
| CN105701519A (zh) | 基于超像素的图像的实际货架图景象分析 | |
| KR20150079576A (ko) | 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성 | |
| EP1958458A1 (en) | Method for determining scattered disparity fields in stereo vision | |
| CN114155527A (zh) | 一种场景文本识别方法和装置 | |
| CN109741551B (zh) | 一种商品识别结算方法、装置及系统 | |
| US20160247259A1 (en) | Image processing apparatus and image processing method | |
| CN111161295B (zh) | 一种菜品图像背景剥离方法 | |
| CN111553422A (zh) | 手术器械自动识别回收方法及系统 | |
| CN111461101A (zh) | 工服标志的识别方法、装置、设备及存储介质 | |
| CN111783885A (zh) | 一种基于局部增强的毫米波图像的质量分类模型构建方法 | |
| CN110969202A (zh) | 基于颜色分量和感知哈希算法的人像采集环境验证方法及系统 | |
| CN114862764A (zh) | 瑕疵检测模型训练方法、装置、设备和存储介质 | |
| CN115471741A (zh) | 一种融合MSRCP预处理算法与改进YOLOv5的雾天船舶检测方法 | |
| CN111597875A (zh) | 一种交通标志识别方法、装置、设备及存储介质 | |
| CN114494786A (zh) | 一种基于多层协调卷积神经网络的细粒度图像分类方法 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| CN111507119A (zh) | 标识码识别方法、装置、电子设备及计算机可读存储介质 | |
| CN117557784A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| KR20190142931A (ko) | 위조 영상 인쇄물 감식을 통한 코드인증방법과 그 응용 시스템 | |
| CN113362390A (zh) | 一种基于椭圆检测的快速圆形目标定位视频处理方法 | |
| CN116740550B (zh) | 一种冰柜图像完整性识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |