CN113469216A - 零售终端海报识别与完整性判断方法、系统及存储介质 - Google Patents

零售终端海报识别与完整性判断方法、系统及存储介质 Download PDF

Info

Publication number
CN113469216A
CN113469216A CN202110600590.1A CN202110600590A CN113469216A CN 113469216 A CN113469216 A CN 113469216A CN 202110600590 A CN202110600590 A CN 202110600590A CN 113469216 A CN113469216 A CN 113469216A
Authority
CN
China
Prior art keywords
poster
target
integrity
area
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110600590.1A
Other languages
English (en)
Other versions
CN113469216B (zh
Inventor
单宇翔
陆海良
金泳
岑涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Tobacco Zhejiang Industrial Co Ltd
Original Assignee
China Tobacco Zhejiang Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Tobacco Zhejiang Industrial Co Ltd filed Critical China Tobacco Zhejiang Industrial Co Ltd
Priority to CN202110600590.1A priority Critical patent/CN113469216B/zh
Publication of CN113469216A publication Critical patent/CN113469216A/zh
Application granted granted Critical
Publication of CN113469216B publication Critical patent/CN113469216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种零售终端海报识别与完整性判断方法、系统及存储介质，所述方法包括如下步骤：(1)获取零售终端海报区域的图像信息，对目标海报进行定位；(2)对目标海报进行初步处理及目标模板匹配；(3)将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；(4)根据预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域，并计算目标海报的全局完整性及局部完整性；(5)根据所述全局完整性及局部完整性确定该目标海报的综合完整性。该发明可以对任意品牌的海报进行完整性检测，且其既有重点关注到关键元素区域，同时也考虑了其它区域大面积遮挡/缺失的可能，检测结果客观可靠。

Description

零售终端海报识别与完整性判断方法、系统及存储介质
技术领域
本发明涉及一种图像完整性判断方法，具体地说，是涉及一种零售终端海报识别与完整性判断方法。
背景技术
在实体零售环节，品牌方为了扩大品牌或产品的知名度和影响力，通常会与零售门店合作开展一些营销活动，在店铺内张贴或悬挂品牌海报是其中一种行之有效的方法。然而，在实际执行中，由于零售门店海报张贴面积限制以及商品陈列的复杂性，存在品牌海报内容不完整或者被其它物体遮挡的情况，未能达到最好的营销效果。依靠人力判别审核海报是否存在以及海报画面的完整性不仅耗时耗力，也会引入较多的主观因素，无法统一量化标准。
此外，同一品牌的海报在内容上通常具有比较固定的关键元素(比如：logo、宣传语、特定图案)来展示该品牌的文化特征和品牌特性，在不同零售门店进行品牌海报投放时，可能在关键元素大小以及排版方式上存在一些差异，这就使得全局完整性及包含关键元素的局部完整性均会对海报呈现效果造成影响，基于此，零售终端海报的完整性判断需要综合判断，目前，现有技术中尚不具有对零售终端海报的完整性判断方法。
发明内容
为了解决上述技术问题，本发明的第一目的是提供一种零售终端海报识别与完整性判断方法，该方法可以对任意品牌的海报进行完整性检测，且其既有重点关注到关键元素区域，同时也考虑了其它区域大面积遮挡/缺失的可能，检测结果客观可靠。
本发明的第二目的是提供一种零售终端海报识别与完整性判断系统，该系统用于执行上述的零售终端海报识别与完整性判断方法。
本发明的第三目的是提供一种存储介质，该存储介质中存储有执行上述方法的计算机程序。
基于上述目的，本发明的一个方面，提供一种零售终端海报识别与完整性判断方法，该方法包括如下步骤：
(1)获取零售终端海报区域的图像信息，对目标海报进行定位；
(2)对目标海报进行初步处理及目标模板匹配；
(3)将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；
(4)根据预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域，并计算目标海报的全局完整性及局部完整性；
(5)根据所述全局完整性及局部完整性确定该目标海报的综合完整性。
作为优选，步骤(1)中，采用目标检测法对目标海报的4个顶点进行检测及定位。
作为优选，步骤(2)中，所述初步处理包括对目标海报进行正则化处理。
作为优选，步骤(2)中，对目标海报进行目标模板匹配的具体方法为：
预先对海报模板数据库中的所有的海报模板进行特征提取，得到相应海报模板的特征描述向量；
对经过初步处理的目标海报采用相同的特征提取模型进行特征提取，得到相同数据维度的描述向量；
计算目标海报的描述向量与海报模板数据库中所有特征描述向量的相似度，相似度最高的海报模板即为目标模板。
作为优选，步骤(3)中，将目标海报和与其匹配的目标模板进行图像对齐的具体方法为：
在检测到的海报图像和模板图像中提取SIFT特征点，进行特征点的特征描述；
结合特征描述进行特征点的匹配，根据特征点的匹配关系，求解两幅图像的单应性矩阵；
通过透视变换将目标海报与目标模板对齐。
作为优选，步骤(4)中，
所述遮挡物分割模型的训练方法为：
基于真实海报图片，随机张贴不同的物体图片来构建模型遮挡海报模板数据库；
结合图像分割算法，对海报图片内容本身和干扰进行区分，从而训练得到遮挡物分割模型；
所述对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域的具体方法为：将目标海报输入至遮挡物分割模型中，将海报内容进行像素级判断，若相应像素不属于海报，则判定为遮挡物，遮挡物所在区域为遮挡区域，其他为非遮挡区域。
作为优选，步骤(4)中，计算目标海报的全局完整性a1的具体方法为：
Figure RE-GDA0003241937270000031
计算目标海报的局部完整性a2的具体方法为：
Figure RE-GDA0003241937270000032
其中，U1为非遮挡区域面积，ui*为第i个关键元素的非遮挡区域的面积，ui为第i个关键元素的区域总面积，ui为第i个关键元素的所占区域的总体面积；U为整体面积，ωi为第i个关键元素所在区域的重要性权重。
作为优选，所述综合完整性C的确定方法为：
C＝α*a1+β*a2
其中，a1为全局完整性，a2为局部完整性，α为全局完整性的重要性占比，β为局部完整性的重要性占比。
本发明的另一个方面，提供一种零售终端海报识别与完整性判断系统，该系统包括：
图像信息获取单元，用于获取零售终端海报区域的图像信息；
图像定位单元，用于对目标海报进行定位；
初步处理单元，用于对目标海报进行初步处理；
模板匹配单元，用于将目标海报与海报模板数据库中的海报模板进行匹配，获得目标模板；
关键点匹配单元，用于将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；
图像分割单元，用于预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域；
完整性计算单元，用于根据非遮挡区域计算目标海报的全局完整性及局部完整性，并根据所述全局完整性及局部完整性计算该目标海报的综合完整性。
本发明还提供一种存储介质，其存储有计算机程序，该计算机程序被处理执行时，实现如上所述的零售终端海报识别与完整性判断方法。
与现有技术相比，本发明的有益效果为：
本发明可以对任意品牌的海报进行完整性检测，且对不同的场景(广告牌、墙壁、陈列柜)具有很好的适应性，检测结果客观可靠。
采用海报遮挡分割方法，无论遮挡物为何物，都可以实现遮挡物的区域分割，可以处理复杂的遮挡情况。另外，采用全局完整性和局部完整性互为补充，既有重点关注到关键元素区域，同时也考虑了其它区域大面积遮挡/缺失的可能，且该方法的鲁棒性较好。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。
图1是本发明实施例中所述方法的流程示意图；
图2(a)是本发明实施例中的零售终端海报区域的图像信息；
图2(b)的带框部分为对图2(a)中检测定位的结果示意图；
图3是对图2(b)中目标海报的正则化处理结果；
图4是目标图像与其目标模板的匹配过程示意图；
图5是将目标模版按照计算的变化关系变换到实际场景中本应该呈现的外观示意图；
图6为对图3进行遮挡物分割的结果示意图；
图7为对图6进行变化关系变换后的分割结果示意图；
图8是本实施例中目标海报的局部完整性示意图；
图9是本实施例中目标海报完整性判断效果示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供一种零售终端海报识别与完整性判断方法，该方法包括如下步骤：
(1)获取零售终端海报区域的图像信息，对目标海报进行定位；
(2)对目标海报进行初步处理及目标模板匹配；
(3)将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；
(4)根据预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域，并计算目标海报的全局完整性及局部完整性；
(5)根据所述全局完整性及局部完整性确定该目标海报的综合完整性。
作为一种较优的实施方案，步骤(1)中，采用目标检测法对目标海报的4个顶点进行检测及定位。
优选地，零售终端海报区域的图像信息获取方式为：实体店铺的工作人员通过手持设备或者店铺的摄像头对实体店铺品牌海报区域进行图片拍摄，采用计算机视觉方法从拍摄图片中定位品牌海报的区域。根据品牌海报的通常是矩形特性，采用深度学习方法对海报的4个顶点进行检测。具体地，首先构建训练数据集，该数据集分为真实数据集和虚拟数据集两部分。构建真实数据集部分，从真实场景中采集带有品牌海报的图片，对海报的四个顶点进行人工标注，形成真实数据集；从海报模板数据库里选择更多的海报图像数据，对人工标注的区域纹理进行变形和替换，生成大批量的虚拟数据，形成虚拟数据集。在真实和虚拟数据的支撑下，构建深度学习网络，采用基于关键点的目标检测方法(该方法在Centernet:Duan, Kaiwen,et al."Centernet:Keypoint triplets for objectdetection."Proceedings of the IEEE/CVF International Conference on ComputerVision.2019.中具有说明，在此不再赘述)，训练得到海报关键点检测的方法，从而通过四个顶点对海报区域进行定位。
海报区域检测效果图2(a)和图2(b)所示，其中，图2(b)中边框标所示区域为检测区域。
作为一种较优的实施方案，步骤(2)中，所述初步处理包括对目标海报进行正则化处理。优选地，由于大部分的海报都是正立的矩形设计，但是由于拍摄角度等问题，使得海报区域在实际图像中呈现的形式并不一定规则，这样，在检测到海报区域后，采用图像仿射变换将该区域进行正则化处理，得到正则化的图像，效果图3所示。
作为一种较优的实施方案，步骤(2)中，对目标海报进行目标模板匹配的具体方法为：
预先对海报模板数据库中的所有的海报模板进行特征提取，得到相应海报模板的特征描述向量；
对经过初步处理的目标海报采用相同的特征提取模型进行特征提取，得到相同数据维度的描述向量；
计算目标海报的描述向量与海报模板数据库中所有特征描述向量的相似度，相似度最高的海报模板即为目标模板。
优选地，上述过程可以为：预先建立品牌商的海报模板数据集，该步骤是将通过以上步骤得到的图像信息进行海报身份的判别，即该海报内容属于模板数据集里的哪一个模版，或者不在该品牌的数据集中。为了在图片具有角度、遮挡、模糊等变化下都可以有效而且快速的寻找到所对应的模版，本实施例预先训练了深度学习模型进行图像提取特征，首先对已预先存储到模板海报模板数据库的所有的海报图像进行特征提取，得到该图像的特征描述向量，然后对检测到且经过正则变化的图像采用相同的特征提取模型进行特征提取，得到相同数据维度的描述向量，然后计算该向量与海报模板数据库中所有向量的相似度，相似度计算方法采用两个向量的余弦相似性，相似度最高且大于设定阈值的模板即为目标模板，余弦相似度大于0.6的阈值可以确定该海报的模版身份。如果最高的相似度低于设定阈值0.6，可判定该海报内容不在模版海报模板数据库中。
作为一种较优的实施方案，步骤(3)中，将目标海报和与其匹配的目标模板进行图像对齐的具体方法为：
在检测到的海报图像和模板图像中提取SIFT特征点，进行特征点的特征描述；
结合特征描述进行特征点的匹配，根据特征点的匹配关系，求解两幅图像的单应性矩阵；
通过透视变换将目标海报与目标模板对齐。
需要说明，由于海报检测4个顶点的误差或者海报内容的缺失，基于前面步骤得到的正则化后的目标海报和模板图片并不能完全对齐，为了方便后续的完整性判断，需要将海报图片和模板图片进行对齐。尽管真实海报图片可能存在遮挡，但只要有部分内容与模板一致，就能通过特征匹配建立二者之间的对应关系。具体做法为：在检测到的海报图像和模版图像中提取SIFT特征点，进行特征点的特征描述，然后进行特征点的匹配，根据特征点的匹配关系，求解两幅图像的单应性矩阵，基于SIFT特征点的检测与匹配过程参考Lowe,D.G.. "Object recognition from scale-invariant keypoints."Proc.InternationalConf.Computer Vision, 1999.一文，具体实现方式采用OpenCV的SIFT关键点匹配方法可参考 https://docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html，在此均不再赘述。从而获取一个2D图像变换到另一个2D图像的变换关系，得到变换矩阵之后，通过透视变换即可将海报画面对齐到模板。
单应性矩阵H是3x3的矩阵，它建立起原图和目标图坐标之间的对应关系。
Figure RE-GDA0003241937270000071
dst(i)＝(x'i,y'i),src(i)＝(xi,yi)
单应性矩阵求解也就是通过两组匹配的特征点坐标，求解一组参数使得原图坐标经过透视变换之后与目标图坐标尽可能接近。
Figure RE-GDA0003241937270000072
上述公式中，dis(i)为目标模板第i个点的图像的x坐标和y坐标(x'i,y'i)，src(i)为待匹配模板第i个点的图像x坐标和y坐标(xi,yi)，si为尺度变化参数，hi,j指的是H矩阵中的第i行第j列的元素数值。图像匹配过程如图4所示。图5为目标海报变换到目标模板的示意图，黑色部分为缺失内容或被遮挡内容。
作为一种较优的实施方案，步骤(4)中，
所述遮挡物分割模型的训练方法为：
基于真实海报图片，随机张贴不同的物体图片来构建模型遮挡海报模板数据库；
结合图像分割算法，对海报图片内容本身和干扰进行区分，从而训练得到遮挡物分割模型；
所述对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域的具体方法为：将目标海报输入至遮挡物分割模型中，将海报内容进行像素级判断，若相应像素不属于海报，则判定为遮挡物，遮挡物所在区域为遮挡区域，其他为非遮挡区域。
该步骤实现的是在图像中实现外物干扰的海报区域的判定，即所识别的遮挡区域为非海报内容。本实施例将该问题转化为一个背景与前景的分割问题，输入为整个图像，通过深度学习模型，将不属于海报的内容进行像素级判断，即该像素属于海报内容还是干扰。这需要预先基于真实海报图片，随机张贴不同的物体图片来进行遮挡海报模板数据库的构建，然后训练图像分割算法，对海报图片内容本身和干扰进行区分，从而实现模型的训练。图6是对遮挡区域的预测结果，其输入原图为图3，图6中的黑白图像为海报(黑色)与遮挡物(白色)的分割结果，图7为对目标海报进行变换后的示意图。
作为一种较优的实施方案，步骤(4)中，计算目标海报的全局完整性a1的具体方法为：
Figure RE-GDA0003241937270000081
计算目标海报的局部完整性a2的具体方法为：
Figure RE-GDA0003241937270000082
其中，U1为非遮挡区域面积，ui*为第i个关键元素的非遮挡区域的面积，ui为第i个关键元素的区域总面积，ui为第i个关键元素的所占区域的总体面积；U为整体面积，ωi为第i个关键元素所在区域的重要性权重，图7为整体完整性的计算结果图示，图8为局部完整性的计算结果图示。
需要说明：全局完整性指的是海报内容的整体完整性，将海报的全部内容当成一个整体，任何一个地方的缺失或者遮挡，都对全局完整性造成影响。缺失或者遮挡得越多，全局完整性越差，反之，如果没有缺失或者遮挡，全局完整性就为100％。基于前面步骤得到的与模板对齐的遮挡分割，计算非遮挡区域与整个海报的面积占比得到海报的全局完整性指标，即黑色区域占这个区域的像素比例。局部完整性是对海报中的关键要素(如：品牌名称、logo等)的完整性就行判断，在海报中有一些关键元素对海报对信息传达起到至关重要的作用，比如海报中的品牌名称，品牌的logo等位置，虽然占据海报面积的比例可能不大，但是一旦缺失就使得海报的传达效果大打折扣。所以，非常有必要在全局完整性的基础上，对局部的关键元素是否缺失或者遮挡进行判断，即局部完整性计算。首先在模版上对关键元素进行标注，并可以对每个关键元素进行权重系数设置，在标注的位置和系数确定后，与全局完整性的计算方式类似即可计算局部完整性。
作为优选，所述综合完整性C的确定方法为：
C＝α*a1+β*a2其中，a1为全局完整性，a2为局部完整性，α为全局完整性的重要性占比，β为局部完整性的重要性占比。
本实施例还提供一种零售终端海报识别与完整性判断系统，该系统包括：
图像信息获取单元，用于获取零售终端海报区域的图像信息；
图像定位单元，用于对目标海报进行定位；
初步处理单元，用于对目标海报进行初步处理；
模板匹配单元，用于将目标海报与海报模板数据库中的海报模板进行匹配，获得目标模板；
关键点匹配单元，用于将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；
图像分割单元，用于预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域；
完整性计算单元，用于根据非遮挡区域计算目标海报的全局完整性及局部完整性，并根据所述全局完整性及局部完整性计算该目标海报的综合完整性。
本实施例还提供一种存储介质，其存储有计算机程序，该计算机程序被处理执行时，实现如上所述的零售终端海报识别与完整性判断方法。
综上，本发明可以对任意品牌的海报进行完整性检测，且对不同的场景(广告牌、墙壁、陈列柜)具有很好的适应性，检测结果客观可靠。
此外，采用海报遮挡分割方法，无论遮挡物为何物，都可以实现遮挡物的区域分割，可以处理复杂的遮挡情况。另外，采用全局完整性和局部完整性互为补充，既有重点关注到关键元素区域，同时也考虑了其它区域大面积遮挡/缺失的可能，且该方法的鲁棒性较好。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种零售终端海报识别与完整性判断方法，其特征在于，该方法包括如下步骤：
(1)获取零售终端海报区域的图像信息，对目标海报进行定位；
(2)对目标海报进行初步处理及目标模板匹配；
(3)将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；
(4)根据预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域，并计算目标海报的全局完整性及局部完整性；
(5)根据所述全局完整性及局部完整性确定该目标海报的综合完整性。
2.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，步骤(1)中，采用目标检测法对目标海报的4个顶点进行检测及定位。
3.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，步骤(2)中，所述初步处理包括对目标海报进行正则化处理。
4.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，步骤(2)中，对目标海报进行目标模板匹配的具体方法为：
预先对海报模板数据库中的所有的海报模板进行特征提取，得到相应海报模板的特征描述向量；
对经过初步处理的目标海报采用相同的特征提取模型进行特征提取，得到相同数据维度的描述向量；
计算目标海报的描述向量与海报模板数据库中所有特征描述向量的相似度，相似度最高的海报模板即为目标模板。
5.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，步骤(3)中，将目标海报和与其匹配的目标模板进行图像对齐的具体方法为：
在检测到的海报图像和模板图像中提取SIFT特征点，进行特征点的特征描述；
结合特征描述进行特征点的匹配，根据特征点的匹配关系，求解两幅图像的单应性矩阵；
通过透视变换将目标海报与目标模板对齐。
6.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，步骤(4)中，
所述遮挡物分割模型的训练方法为：
基于真实海报图片，随机张贴不同的物体图片来构建模型遮挡海报模板数据库；
结合图像分割算法，对海报图片内容本身和干扰进行区分，从而训练得到遮挡物分割模型；
所述对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域的具体方法为：将目标海报输入至遮挡物分割模型中，将海报内容进行像素级判断，若相应像素不属于海报，则判定为遮挡物，遮挡物所在区域为遮挡区域，其他为非遮挡区域。
7.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，步骤(4)中，计算目标海报的全局完整性a1的具体方法为：
Figure FDA0003092565430000021
计算目标海报的局部完整性a2的具体方法为：
Figure FDA0003092565430000022
其中，U1为非遮挡区域面积，ui*为第i个关键元素的非遮挡区域的面积，ui为第i个关键元素的区域总面积，ui为第i个关键元素的所占区域的总体面积；U为整体面积，ωi为第i个关键元素所在区域的重要性权重。
8.根据权利要求1所述的一种零售终端海报识别与完整性判断方法，其特征在于，所述综合完整性C的确定方法为：
c＝α*a1+β*a2
其中，a1为全局完整性，a2为局部完整性，α为全局完整性的重要性占比，β为局部完整性的重要性占比。
9.一种零售终端海报识别与完整性判断系统，其特征在于，该系统包括：
图像信息获取单元，用于获取零售终端海报区域的图像信息；
图像定位单元，用于对目标海报进行定位；
初步处理单元，用于对目标海报进行初步处理；
模板匹配单元，用于将目标海报与海报模板数据库中的海报模板进行匹配，获得目标模板；
关键点匹配单元，用于将目标海报和与其匹配的目标模板进行图像对齐及关键点匹配；
图像分割单元，用于预先训练的遮挡物分割模型，对目标海报的遮挡内容进行分割得到遮挡区域及非遮挡区域；
完整性计算单元，用于根据非遮挡区域计算目标海报的全局完整性及局部完整性，并根据所述全局完整性及局部完整性计算该目标海报的综合完整性。
10.一种存储介质，存储有计算机程序，其特征在于，该计算机程序被处理执行时，实现如权利要求1-8中任一项所述的零售终端海报识别与完整性判断方法。
CN202110600590.1A 2021-05-31 2021-05-31 零售终端海报识别与完整性判断方法、系统及存储介质 Active CN113469216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600590.1A CN113469216B (zh) 2021-05-31 2021-05-31 零售终端海报识别与完整性判断方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600590.1A CN113469216B (zh) 2021-05-31 2021-05-31 零售终端海报识别与完整性判断方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113469216A true CN113469216A (zh) 2021-10-01
CN113469216B CN113469216B (zh) 2024-02-23

Family

ID=77871788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600590.1A Active CN113469216B (zh) 2021-05-31 2021-05-31 零售终端海报识别与完整性判断方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113469216B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821619A (zh) * 2022-04-25 2022-07-29 中国平安人寿保险股份有限公司 画报模板风格自动提取方法、系统、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004086751A2 (en) * 2003-03-27 2004-10-07 Sergei Startchik Method for estimating logo visibility and exposure in video
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN111310624A (zh) * 2020-02-05 2020-06-19 腾讯科技（深圳）有限公司 遮挡识别方法、装置、计算机设备及存储介质
CN112101448A (zh) * 2020-09-10 2020-12-18 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112200109A (zh) * 2020-10-16 2021-01-08 北京澎思科技有限公司 面部属性识别方法、电子设备以及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004086751A2 (en) * 2003-03-27 2004-10-07 Sergei Startchik Method for estimating logo visibility and exposure in video
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN111310624A (zh) * 2020-02-05 2020-06-19 腾讯科技（深圳）有限公司 遮挡识别方法、装置、计算机设备及存储介质
CN112101448A (zh) * 2020-09-10 2020-12-18 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112200109A (zh) * 2020-10-16 2021-01-08 北京澎思科技有限公司 面部属性识别方法、电子设备以及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821619A (zh) * 2022-04-25 2022-07-29 中国平安人寿保险股份有限公司 画报模板风格自动提取方法、系统、设备和介质

Also Published As

Publication number Publication date
CN113469216B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
Zhang et al. Detecting and extracting the photo composites using planar homography and graph cut
CN103299610A (zh) 用于视频插入的方法和设备
CN104537376B (zh) 一种识别台标的方法及相关设备、系统
CN108038826B (zh) 透视变形的搁架图像的校正方法和装置
CN110033463B (zh) 一种前景数据生成及其应用方法、相关装置和系统
Kalia et al. An analysis of the effect of different image preprocessing techniques on the performance of SURF: Speeded Up Robust Features
Kawai et al. Diminished reality for AR marker hiding based on image inpainting with reflection of luminance changes
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
CN113469216A (zh) 零售终端海报识别与完整性判断方法、系统及存储介质
CN112465702B (zh) 一种多路超高清视频同步自适应拼接显示处理方法
US11501404B2 (en) Method and system for data processing
CN107194306B (zh) 视频中球员追踪方法和装置
US20120170861A1 (en) Image processing apparatus, image processing method and image processing program
CN109448010B (zh) 一种基于内容特征的四方连续纹样自动生成方法
Zhang et al. Video shadow removal using spatio‐temporal illumination transfer
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
JP4181313B2 (ja) シーン内容情報付加装置及びシーン内容情報付加プログラム
CN110070490A (zh) 图像拼接方法和装置
Avazov et al. Automatic moving shadow detection and removal method for smart city environments
CN113840135A (zh) 色偏检测方法、装置、设备及存储介质
CN111723802A (zh) 一种基于ai的二维码识别方法、装置、设备和介质
CN113159037A (zh) 图片矫正方法、装置、计算机设备及存储介质
JP2011113177A (ja) 被写体３次元モデルを構築する方法およびプログラム
Jurca et al. A modern approach for positional football analysis using computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant