CN116052062B - 一种鲁棒的烟草陈列图像处理方法和装置 - Google Patents

一种鲁棒的烟草陈列图像处理方法和装置 Download PDF

Info

Publication number
CN116052062B
CN116052062B CN202310207927.1A CN202310207927A CN116052062B CN 116052062 B CN116052062 B CN 116052062B CN 202310207927 A CN202310207927 A CN 202310207927A CN 116052062 B CN116052062 B CN 116052062B
Authority
CN
China
Prior art keywords
cigarette
frame
detection
frame image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310207927.1A
Other languages
English (en)
Other versions
CN116052062A (zh
Inventor
龙涛
杨恒
李轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aimo Technology Co ltd
Original Assignee
Shenzhen Aimo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aimo Technology Co ltd filed Critical Shenzhen Aimo Technology Co ltd
Priority to CN202310207927.1A priority Critical patent/CN116052062B/zh
Publication of CN116052062A publication Critical patent/CN116052062A/zh
Application granted granted Critical
Publication of CN116052062B publication Critical patent/CN116052062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种鲁棒的烟草陈列图像处理方法和装置，涉及深度学习技术领域，解决了现有获取香烟实时售卖数据的方法对香烟规格识别不稳定，识别准确率不高的技术问题。该方法包括：S100：在采集到烟柜区域的K帧图像之后，获取K帧图像的香烟检测表和K帧图像中的每一帧图像的香烟检测信息，香烟检测信息包括香烟检测框和香烟规格；S200：获取第K+1帧图像，并将第K+1帧图像与第K帧图像进行匹配，得到第K+1帧的检测框匹配结果；S300：若检测框匹配结果为第K帧图像上的检测框与第K+1帧图像上的检测框相对应，则将第K+1帧图像增加至香烟检测表中，并输出第K+1帧图像的香烟规格。本发明用于提供一种鲁棒的烟草陈列图像处理方法和装置。

Description

一种鲁棒的烟草陈列图像处理方法和装置
技术领域
本发明涉及深度学习技术领域，尤其涉及一种鲁棒的烟草陈列图像处理方法和装置。
背景技术
在烟草售卖过程中，各大烟草公司需要获取零售店铺的香烟实时售卖数据，结合售卖人群分析消费人群画像，总结香烟售卖的规律，并以此来改进零售店铺的香烟售卖方式，优化香烟推广策略。
为获取零售店铺的香烟实时售卖数据，常用的技术方案为在零售店铺的烟柜位置架设摄像头，通过摄像头实时采集烟柜区域画面，将采集到的烟柜图片送入已训练好的香烟检测模型，获取烟柜内所有在售香烟的位置及香烟的规格，此处的香烟检测模型一般为基于深度学习技术的目标检测模型，如yolo、centernet等。但直接使用深度学习模型实时获取零售店铺烟柜中所有的香烟规格还存在诸多问题，例如使用香烟检测模型对视频流上的香烟规格进行检测识别时，由于销售人员对烟柜进行整理或其他操作时造成遮挡，容易出现漏检和误检，导致烟柜内的香烟规格识别不稳定，降低其识别准确率。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有获取零售店铺的香烟实时售卖数据的方法受外部环境因素影响，容易出现漏检和误检，导致烟柜内的香烟规格识别不稳定，降低其识别准确率。
发明内容
本发明的目的在于提供一种鲁棒的烟草陈列图像处理方法和装置，以解决现有技术中存在的获取零售店铺的香烟实时售卖数据的方法受外部环境因素影响，容易出现漏检和误检，导致烟柜内的香烟规格识别不稳定，降低其识别准确率的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
为实现上述目的，本发明提供了以下技术方案：
本发明提供的一种鲁棒的烟草陈列图像处理方法，包括步骤：
S100：在采集到烟柜区域的K帧图像之后，获取所述K帧图像的香烟检测表和所述K帧图像中的每一帧图像的香烟检测信息，所述香烟检测信息包括香烟检测框和香烟规格；其中，K为不小于1的整数；
S200：获取第K+1帧图像，并将所述第K+1帧图像与第K帧图像进行匹配，得到所述第K+1帧的检测框匹配结果；
S300：若所述检测框匹配结果为所述第K帧图像上的检测框与所述第K+1帧图像上的检测框相对应，则将所述第K+1帧图像增加至所述香烟检测表中，并输出所述第K+1帧图像的所述香烟规格。
优选的，若所述检测框匹配结果为所述第K帧图像上的检测框与所述第K+1帧图像上的检测框未相对应，则将所述第K+1帧图像更新至所述香烟检测表中。
优选的，若所述检测框匹配结果为所述第K帧图像上的检测框少于所述第K+1帧图像上的检测框，则在所述香烟检测表中新增第一新增检测框，并将所述第K+1帧图像增加至所述表中，以及处理所述第K+1帧图像，输出处理后的所述第K+1帧图像的香烟规格。
优选的，所述处理所述第K+1帧图像，输出处理后的所述第K+1帧图像的香烟规格的步骤为：
S311：获取所述第一新增检测框在所述第K+1帧图像上对应的所述检测框的所述香烟规格，作为第一香烟规格；
S312：将所述第一新增检测框在所述香烟检测表中的之前所述K帧图像的所述香烟规格均赋值成所述第一香烟规格；
S313：对包括所述第K+1帧图像的K个所述香烟规格进行投票，得到所述第一新增检测框的投票规格，并标记为新增规格；
S314：输出处理后的所述第K+1帧图像中除了所述投票规格为新增规格以外的所有所述香烟规格。
优选的，若要输出所述投票规格为“新增规格”的所述香烟规格，则
获取所述第K+1帧图像之后的连续K-1帧图像，将所述连续K-1帧图像与所述第K+1帧图像进行匹配；
若所述第一新增检测框与第K+2帧图像的所述检测框相对应，则将所述第K+2帧图像的所述检测框的所述香烟规格替换掉所述第一新增检测框的K个所述第一香烟规格的最末一位；以此类推，对连续K-1帧图像的香烟规格进行更新；
将更新后的所述第一新增检测框的所述香烟规格重新进行投票，得到所述第一新增检测框的新的所述投票规格；
若新的所述投票规格不为“未知”，对处理后的第2K帧图像上的所述第一新增检测框取消“新增规格”标记，并输出其新的所述投票规格。
优选的，若所述检测框匹配结果为所述第K帧图像上的检测框多于所述第K+1帧图像上的检测框，则在所述香烟检测表中对所述第K帧图像进行处理，并将所述第K+1帧图像增加至所述表中，根据处理后的所述第K帧图像与所述第K+1帧图像进行相似度比较，输出比较后的所述第K+1帧图像的香烟规格。
优选的，所述输出比较后的所述第K+1帧图像的香烟规格为：
S321：根据所述第K帧图像上未与所述第K+1帧图像上相匹配的所述检测框，将该所述检测框在所述K帧图像上的投票规格作为第二香烟规格；
S322：根据该所述检测框在所述K帧图像上对应的K个所述香烟规格，寻找所述K个所述香烟规格中与所述第二香烟规格相同且距离所述第K+1帧图像最近的所述香烟规格，并保存其所对应的第i帧图像；
S323：将该所述检测框在所述第i帧图像上的对应的区域图像截取为第一子图，该所述检测框在所述第K+1帧图像上的对应的区域图像截取为第二子图；
S324：计算所述第一子图与所述第二子图的相似度，若该相似度高于第一相似阈值，则在所述香烟检测表中将所述第K+1帧图像上所述第二子图对应的所述香烟检测框的所述香烟规格赋值为所述第二香烟规格；
S325：对包括K+1帧图像的所述K个所述香烟规格进行投票，输出比较后的所述第K+1帧图像中除了所述投票规格为新增规格以外的所有所述香烟规格。
优选的，所述步骤S100中，所述输出所述第K+1帧图像的所述香烟规格包括：
对所述K+1帧图像在所述香烟检测表中K个所述香烟规格进行投票，得到投票规格；
其中，投票规则为若所述K个所述香烟规格中有超过K/2个所述香烟规格为同一规格时，则该同一规格为所述K个所述香烟规格的所述投票规格；反之，所述投票规格为未知；
输出所述第K+1帧图像中不为“未知”的所述投票规格。
优选的，所述步骤S100中，获取所述K帧图像的香烟检测表的步骤为：
根据所述K帧图像中的每一帧图像的每一个香烟的所述香烟检测信息，在所述香烟检测表上记录每一个所述香烟在所述K帧图像中对应的K个所述香烟检测框和K个所述香烟规格；
其中，所述香烟检测表包括香烟检测框队列和香烟规格队列；所述香烟检测框队列与香烟规格队列均为长度为K的先进先出队列，K为不小于1的整数。
此外，本发明还提供了一种鲁棒的烟草陈列图像处理装置，包括获取模块、第一匹配模块、更新模块、投票模块和输出模块；
所述获取模块、第一匹配模块、更新模块、投票模块、输出模块通信连接；
所述获取模块，用于采集烟柜区域的实时视频流，获取K帧图像的香烟检测表和所述K帧图像中的每一帧图像的香烟检测信息；
所述第一匹配模块，用于第K帧图像与第K+1帧图像进行检测框匹配，得到所述第K+1帧的检测框匹配结果；
所述更新模块，用于根据所述检测框匹配结果，对所述香烟检测表上的所述第K+1帧的所述香烟检测信息进行更新；
所述投票模块，用于对所述香烟检测表上更新后的所述香烟检测信息重新进行投票，得到所述香烟检测表上的所述第K+1帧的投票规格；
所述输出模块，用于输出重新投票后的所述第K+1帧中不为“未知”的所述投票规格。实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：
本发明利用现有的目标检测识别技术，通过采集烟柜区域的实时视频流，对采集到的视频帧进行目标检测，得到每个视频帧中的香烟检测信息和香烟检测表。针对连续多帧视频流，将当前帧图像与其上一帧图像的香烟检测信息进行匹配，根据检测框匹配结果对香烟检测表进行更新，并将当前帧增加至香烟检测表，经过投票处理后输出当前帧稳定的香烟检测信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
图1是本发明实施例一的方法流程图；
图2是本发明实施例一的步骤S300的流程图一；
图3是本发明实施例一的步骤S300的流程图二；
图4是本发明实施例二的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
实施例一：如图1所示，本发明提供了一种鲁棒的烟草陈列图像处理方法，包括步骤：S100：在采集到烟柜区域的K帧图像之后，获取K帧图像的香烟检测表和K帧图像中的每一帧图像的香烟检测信息，香烟检测信息包括香烟检测框和香烟规格；其中，K为不小于1的整数；S200：获取第K+1帧图像，并将第K+1帧图像与第K帧图像进行匹配，得到第K+1帧的检测框匹配结果；S300：若检测框匹配结果为第K帧图像上的检测框与第K+1帧图像上的检测框相对应，则将第K+1帧图像增加至香烟检测表中，并输出第K+1帧图像的香烟规格。具体的，本发明利用现有的目标检测识别技术，通过采集烟柜区域的实时视频流，对采集到的视频帧进行目标检测，得到每个视频帧中的香烟检测信息和香烟检测表。针对连续多帧视频流，将当前帧图像与其上一帧图像的香烟检测信息进行匹配，根据检测框匹配结果对香烟检测表进行更新，并将当前帧增加至香烟检测表，经过投票处理后输出当前帧稳定的香烟检测信息。
本发明可以通过在零售店烟柜位置安装摄像头，以便获取烟柜区域的实时视频流，其不为获取烟柜区域图像的唯一方式。针对获取的实时视频流，从中提取连续K帧图像，对该K帧图像进行目标检测，得到每帧图像上的每个香烟的香烟检测信息。其中，香烟检测信息包括香烟检测框和香烟规格。
其中，对第K+1帧图像与第K帧图像进行检测框匹配的方法可以为KM匹配算法。例如，分别获取两帧图像中的所有检测框并进行分组，将第K帧图像上的所有检测框作为第一组检测框，将第K+1帧图像上的所有检测框视为第二组检测框，匹配第一组检测框与第二组检测框。匹配方式为，先计算第一组检测框与第二组检测框中两两检测框之间的重叠框面积（IOU），得到两组检测框基于重叠框面积的代价矩阵，之后根据上述代价矩阵使用KM算法（Kuhn-Munkres算法）计算两组检测框的最佳匹配结果。此处提到的KM算法指scipy库中提供的改进的KM匹配算法，相比于原始KM算法，该方法支持不平衡问题的匹配，即第一组检测框数量与第二组检测框数量不需要一致。
而KM算法是用来求带权二分图最优匹配的一种常见算法，且匹配过程中使用的代价矩阵计算方式不唯一，也可以由两组检测框之间各检测框中心点的欧式距离计算得到。
作为可选的实施方式，步骤S100中，获取K帧图像的香烟检测表的步骤为：根据K帧图像中的每一帧图像的每一个香烟的香烟检测信息，在香烟检测表上记录每一个香烟在K帧图像中对应的K个香烟检测框和K个香烟规格；其中，香烟检测表包括香烟检测框队列和香烟规格队列；香烟检测框队列与香烟规格队列均为长度为K的先进先出队列，K为不小于1的整数。具体的，本发明的K值优选范围为4～9。其中，k值越大，结果越稳定，输出结果滞后越明显；k值越小，结果越不稳定，输出结果越趋近于实时。
作为可选的实施方式，步骤S100中，输出第K+1帧图像的香烟规格包括：对K+1帧图像在香烟检测表中K个香烟规格进行投票，得到投票规格；其中，投票规则为若K个香烟规格中有超过K/2个香烟规格为同一规格时，则该同一规格为K个香烟规格的投票规格；反之，投票规格为未知；输出第K+1帧图像中不为“未知”的投票规格。
具体的，需要说明的是，根据K帧图像所建立的香烟检测表上只保留在连续K帧图像上的香烟检测框均能匹配上的香烟结果。也即，只有在K帧图像中的同一位置均能匹配检测到一个检测框，则将该多个检测框所代表的香烟集在香烟检测表上新建一个香烟行或香烟列。该香烟行或香烟列内保存有该K帧图像上代表的某个香烟的K个香烟检测框与K个香烟规格，其中，香烟检测框与香烟规格相对应。进一步的，K个香烟检测框与K个香烟规格分别组成该香烟集所代表的香烟的香烟检测框队列和香烟规格队列，该香烟检测框队列与香烟规格队列为长度为K的先进先出队列。
由于本发明是为了获取稳定输出的香烟规格，针对另一部分未能在连续K帧图像上的香烟检测框均能匹配上的香烟集，该未能完全匹配的香烟集不能作为一个香烟行或香烟列保存在香烟检测表中。
获取K帧图像的下一帧图像，也即第K+1帧图像，将第K+1帧图像与香烟检测表上的第K帧图像进行检测框匹配。此时会存在三种检测框匹配结果，根据不同的检测框匹配结果，将第K+1帧图像增加至香烟检测表中，通过先进先出的香烟检测框队列与香烟规格队列对香烟检查表进行更新，对更新后的香烟规格队列进行重新投票，即可获取第K+1帧图像上的稳定的香烟规格。
进一步的，若第K+1帧图像与香烟检测表上的第K帧图像的检测框均能完全匹配到，则将第K+1帧图像上的香烟检测框与香烟规格在香烟检测表上对应的香烟检测框队列与香烟规格队列根据先进先出的原则进行更新。根据更新后的香烟检测框队列与香烟规格队列，对香烟检测表上的每个香烟行或香烟列进行香烟规格投票，得到新的投票规格。
需要说明的是，投票规格为“未知”的香烟检测框队列和香烟规格队列（香烟行或香烟列）需要在香烟检测表上删除，之后才能输出其他新的投票规格。
作为可选的实施方式，若检测框匹配结果为第K帧图像上的检测框与第K+1帧图像上的检测框未相对应，则将第K+1帧图像更新至香烟检测表中。具体的，若检测框匹配结果为第K帧图像上的检测框与第K+1帧图像上的检测框未相对应，此时存在两种情况：一种为第K帧图像上的检测框少于第K+1帧图像上的检测框；另一种为第K帧图像上的检测框多于第K+1帧图像上的检测框。
作为可选的实施方式，若检测框匹配结果为第K帧图像上的检测框少于第K+1帧图像上的检测框，则在香烟检测表中新增第一新增检测框，并将第K+1帧图像增加至表中，以及处理第K+1帧图像，输出处理后的第K+1帧图像的香烟规格。
如图2所示，作为可选的实施方式，处理第K+1帧图像，输出处理后的第K+1帧图像的香烟规格的步骤为：S311：获取第一新增检测框在第K+1帧图像上对应的检测框的香烟规格，作为第一香烟规格；S312：将第一新增检测框在香烟检测表中的之前K帧图像的香烟规格均赋值成第一香烟规格；S313：对包括第K+1帧图像的K个香烟规格进行投票，得到第一新增检测框的投票规格，并标记为新增规格；S314：输出处理后的第K+1帧图像中除了投票规格为新增规格以外的所有香烟规格。具体的，针对第K帧图像上的检测框少于第K+1帧图像上的检测框，将第K+1帧图像上未能匹配到的检测框视为新检测到的香烟。例如，新检测到的香烟的数量为1时，在香烟检测表中新增一个香烟行或香烟列，以此表示该新检测到的香烟。
将该新检测到的香烟所代表的检测框视为第一新增检测框，该第一新增检测框对应的香烟规格视为第一香烟规格。此时，将第一新增检测框在该香烟检测表中的香烟规格队列中的K个香烟规格均赋值为第一香烟规格。由于该香烟规格队列的香烟规格均为第一香烟规格，对该香烟规格队列进行投票，得到第一新增检测框的投票规格也即第一香烟规格。由于该第一新增检测框仅在第K+1帧图像中出现，并不能算作稳定的检测框，需要对该第一新增检测框的投票规格标记为“新增规格”，最终输出稳定的香烟规格时，会滤除香烟检测表中的“新增规格”，不予输出。
作为可选的实施方式，若要输出投票规格为“新增规格”的香烟规格，则获取第K+1帧图像之后的连续K-1帧图像，将连续K-1帧图像与第K+1帧图像进行匹配；若第一新增检测框与第K+2帧图像的检测框相对应，则将第K+2帧图像的检测框的香烟规格替换掉第一新增检测框的K个第一香烟规格的最末一位；以此类推，对连续K-1帧图像的香烟规格进行更新；将更新后的第一新增检测框的香烟规格重新进行投票，得到第一新增检测框的新的投票规格；若新的投票规格不为“未知”，对处理后的第2K帧图像上的第一新增检测框取消“新增规格”标记，并输出其新的投票规格。具体的，若投票规格为“新增规格”的香烟规格为第一新增检测框的香烟规格，即在第K+1帧图像中首次检测到该检测框。为了输出该检测框的稳定香烟规格，需要以该第K+1帧图像作为新的连续K帧图像的第一帧图像，重新获取K帧图像的K个香烟检测框和香烟规格后，再进行投票，进而得到其稳定的香烟规格。
获取第K+1帧图像之后的连续K-1帧图像，与第K+1帧图像组成2K帧图像；将第一新增检测框与之后的连续K-1帧图像进行同一位置的检测框匹配，若均匹配成功，则确认该第一新增检测框为新增香烟。若未能完全匹配，则该第一新增检测框可能为误判或误检，非新增香烟，需要将该第一新增检测框所代表的香烟行或香烟列从香烟检测表中删除。
其中，香烟检测表的更新过程为：针对第K+2帧图像，将第一新增检测框与第K+2帧图像的检测框进行匹配，若第一新增检测框与第K+2帧图像的检测框相对应，在香烟检查表中根据先进先出的原则将第K+2帧图像的检测框的香烟规格替换掉第一新增检测框的K个第一香烟规格的最末一位。以此类推，直至第一新增检测框的K个第一香烟规格仅剩第一个（第K+1帧图像上对应的香烟规格）未更新，其余均被替换成第K+1帧图像之后的连续K-1帧图像上同一位置的检测框对应的香烟规格。此时，对第K+1帧图像到第2K帧图像的第一新增检测框所代表的K个香烟规格重新进行投票，得到新的投票规格，该新的投票规格即为第2K帧图像上该第一新增检测框所代表的稳定香烟规格。该稳定香烟规格能够取消“新增规格”标记，并在第2K帧图像的输出结果中输出。
作为可选的实施方式，若检测框匹配结果为第K帧图像上的检测框多于第K+1帧图像上的检测框，则在香烟检测表中对第K帧图像进行处理，并将第K+1帧图像增加至表中，根据处理后的第K帧图像与第K+1帧图像进行相似度比较，输出比较后的第K+1帧图像的香烟规格。
如图3所示，作为可选的实施方式，输出比较后的第K+1帧图像的香烟规格为：S321：根据第K帧图像上未与第K+1帧图像上相匹配的检测框，将该检测框在K帧图像上的投票规格作为第二香烟规格；S322：根据该检测框在K帧图像上对应的K个香烟规格，寻找K个香烟规格中与第二香烟规格相同且距离第K+1帧图像最近的香烟规格，并保存其所对应的第i帧图像；S323：将该检测框在第i帧图像上的对应的区域图像截取为第一子图，该检测框在第K+1帧图像上的对应的区域图像截取为第二子图；S324：计算第一子图与第二子图的相似度，若该相似度高于第一相似阈值，则在香烟检测表中将第K+1帧图像上第二子图对应的香烟检测框的香烟规格赋值为第二香烟规格；S325：对包括K+1帧图像的K个香烟规格进行投票，输出比较后的第K+1帧图像中除了投票规格为新增规格以外的所有香烟规格。具体的，针对第K帧图像上的检测框多于第K+1帧图像上的检测框，将第K帧图像上未能匹配到的检测框视为第二检测框，获取该第二检测框在香烟检测表上对应的香烟行或香烟列的投票规格，并将该投票规格作为第二香烟规格。
获取该第二检测框在香烟检测表上对应的香烟规格队列，在该香烟规格队列中寻找与第二香烟规格相同且距离第K+1帧图像最近的香烟规格，并保存其所对应的第i帧图像。使用第二检测框坐标在第i视频帧上截取检测框区域图片视为第一子图，第二检测框坐标在第K+1帧图像上的对应的区域图像截取为第二子图。计算第一子图与第二子图的相似度，相似度得分高于第一相似阈值时，在香烟检测表中将第K+1帧图像上第二子图对应的香烟检测框的香烟规格赋值为第二香烟规格。之后对更新后的香烟规格队列重新投票，得到新的投票规格。若该新的投票规格不为“未知”和“新增规格”，即可输出该投票规格。若第一子图与第二子图的相似度得分低于第一相似阈值时，则该第二检测框上对应的香烟可能为误检，香烟检测表上不予输出该香烟的投票规格。
其中，上述提到的第一子图与第二子图的相似度计算方式为基于归一化相关系数匹配的模板匹配算法，用于在一张图片中寻找与另一张模板图像最相似（匹配）部分，考虑到香烟陈列场景中相邻视频帧之间烟盒变化幅度较小，本发明用该方法来计算两张相同尺寸图片的相似（匹配）度，第一相似阈值可设置为0.7。而计算图片相似度的方法不唯一，例如还可通过MSE（Mean Squared Error，均方误差）、PSNR（Peak Signal to Noise Ratio，峰值信噪比）等方法来确定图片的相似度。
实施例仅是一个特例，并不表明本发明就这样一种实现方式。
实施例二：如图4所示，本发明还提供一种鲁棒的烟草陈列图像处理装置，包括获取模块、匹配模块、更新模块、投票模块和输出模块；获取模块、匹配模块、更新模块、投票模块、输出模块通信连接；获取模块，用于采集烟柜区域的实时视频流，获取K帧图像的香烟检测表和K帧图像中的每一帧图像的香烟检测信息；匹配模块，用于第K帧图像与第K+1帧图像进行检测框匹配，得到第K+1帧的检测框匹配结果；更新模块，用于根据检测框匹配结果，对香烟检测表上的第K+1帧的香烟检测信息进行更新；投票模块，用于对香烟检测表上更新后的香烟检测信息重新进行投票，得到香烟检测表上的第K+1帧的投票规格；输出模块，用于输出重新投票后的第K+1帧的香烟规格。具体的，将提升香烟陈列场景识别稳定性的装置实现的步骤如实施例一。
以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (7)

1.一种鲁棒的烟草陈列图像处理方法，其特征在于，包括步骤：
S100：在采集到烟柜区域的K帧图像之后，获取所述K帧图像的香烟检测表和所述K帧图像中的每一帧图像的香烟检测信息，所述香烟检测信息包括香烟检测框和香烟规格；其中，K为不小于1的整数；
S200：获取第K+1帧图像，并将所述第K+1帧图像与第K帧图像进行匹配，得到所述第K+1帧的检测框匹配结果；
S300：若所述检测框匹配结果为所述第K帧图像上的检测框与所述第K+1帧图像上的检测框相对应，则将所述第K+1帧图像增加至所述香烟检测表中，并输出所述第K+1帧图像的所述香烟规格；
若所述检测框匹配结果为所述第K帧图像上的检测框与所述第K+1帧图像上的检测框未相对应，则将所述第K+1帧图像更新至所述香烟检测表中；
若所述检测框匹配结果为所述第K帧图像上的检测框少于所述第K+1帧图像上的检测框，则在所述香烟检测表中新增第一新增检测框，并将所述第K+1帧图像增加至所述表中，以及处理所述第K+1帧图像，输出处理后的所述第K+1帧图像的香烟规格；
所述处理所述第K+1帧图像，输出处理后的所述第K+1帧图像的香烟规格的步骤为：
S311：获取所述第一新增检测框在所述第K+1帧图像上对应的所述检测框的所述香烟规格，作为第一香烟规格；
S312：将所述第一新增检测框在所述香烟检测表中的之前所述K帧图像的所述香烟规格均赋值成所述第一香烟规格；
S313：对包括所述第K+1帧图像的K个所述香烟规格进行投票，得到所述第一新增检测框的投票规格，并标记为新增规格；
S314：输出处理后的所述第K+1帧图像中除了所述投票规格为新增规格以外的所有所述香烟规格。
2.根据权利要求1所述的一种鲁棒的烟草陈列图像处理方法，其特征在于，若要输出所述投票规格为“新增规格”的所述香烟规格，则
获取所述第K+1帧图像之后的连续K-1帧图像，将所述连续K-1帧图像与所述第K+1帧图像进行匹配；
若所述第一新增检测框与第K+2帧图像的所述检测框相对应，则将所述第K+2帧图像的所述检测框的所述香烟规格替换掉所述第一新增检测框的K个所述第一香烟规格的最末一位；以此类推，对连续K-1帧图像的香烟规格进行更新；
将更新后的所述第一新增检测框的所述香烟规格重新进行投票，得到所述第一新增检测框的新的所述投票规格；
若新的所述投票规格不为“未知”，对处理后的第2K帧图像上的所述第一新增检测框取消“新增规格”标记，并输出其新的所述投票规格。
3.根据权利要求1所述的一种鲁棒的烟草陈列图像处理方法，其特征在于，若所述检测框匹配结果为所述第K帧图像上的检测框多于所述第K+1帧图像上的检测框，则在所述香烟检测表中对所述第K帧图像进行处理，并将所述第K+1帧图像增加至所述表中，根据处理后的所述第K帧图像与所述第K+1帧图像进行相似度比较，输出比较后的所述第K+1帧图像的香烟规格。
4.根据权利要求3所述的一种鲁棒的烟草陈列图像处理方法，其特征在于，所述输出比较后的所述第K+1帧图像的香烟规格为：
S321：根据所述第K帧图像上未与所述第K+1帧图像上相匹配的所述检测框，将该所述检测框在所述K帧图像上的投票规格作为第二香烟规格；
S322：根据该所述检测框在所述K帧图像上对应的K个所述香烟规格，寻找所述K个所述香烟规格中与所述第二香烟规格相同且距离所述第K+1帧图像最近的所述香烟规格，并保存其所对应的第i帧图像；
S323：将该所述检测框在所述第i帧图像上的对应的区域图像截取为第一子图，该所述检测框在所述第K+1帧图像上的对应的区域图像截取为第二子图；
S324：计算所述第一子图与所述第二子图的相似度，若该相似度高于第一相似阈值，则在所述香烟检测表中将所述第K+1帧图像上所述第二子图对应的所述香烟检测框的所述香烟规格赋值为所述第二香烟规格；
S325：对包括K+1帧图像的所述K个所述香烟规格进行投票，输出比较后的所述第K+1帧图像中除了所述投票规格为新增规格以外的所有所述香烟规格。
5.根据权利要求1所述的一种鲁棒的烟草陈列图像处理方法，其特征在于，所述步骤S100中，所述输出所述第K+1帧图像的所述香烟规格包括：
对所述K+1帧图像在所述香烟检测表中K个所述香烟规格进行投票，得到投票规格；
其中，投票规则为若所述K个所述香烟规格中有超过K/2个所述香烟规格为同一规格时，则该同一规格为所述K个所述香烟规格的所述投票规格；反之，所述投票规格为未知；
输出所述第K+1帧图像中不为“未知”的所述投票规格。
6.根据权利要求1所述的一种鲁棒的烟草陈列图像处理方法，其特征在于，所述步骤S100中，获取所述K帧图像的香烟检测表的步骤为：
根据所述K帧图像中的每一帧图像的每一个香烟的所述香烟检测信息，在所述香烟检测表上记录每一个所述香烟在所述K帧图像中对应的K个所述香烟检测框和K个所述香烟规格；
其中，所述香烟检测表包括香烟检测框队列和香烟规格队列；所述香烟检测框队列与香烟规格队列均为长度为K的先进先出队列，K为不小于1的整数。
7.一种鲁棒的烟草陈列图像处理装置，其特征在于，包括获取模块、匹配模块、更新模块、投票模块和输出模块；
所述获取模块、匹配模块、更新模块、投票模块、输出模块通信连接；
所述获取模块，用于采集烟柜区域的实时视频流，获取K帧图像的香烟检测表和所述K帧图像中的每一帧图像上的每一香烟的香烟检测信息；所述香烟检测信息包括香烟检测框和香烟规格；其中，K为不小于1的整数；
所述匹配模块，用于第K帧图像与第K+1帧图像进行检测框匹配，得到所述第K+1帧的检测框匹配结果；
所述更新模块，用于根据所述检测框匹配结果，对所述香烟检测表上的所述第K+1帧的所述香烟检测信息进行更新；
所述投票模块，用于对所述香烟检测表上更新后的每一所述香烟的K个所述香烟规格重新进行投票，得到所述香烟检测表上的所述第K+1帧的每一所述香烟的投票规格；
所述输出模块，用于输出重新投票后的所述第K+1帧中不为“未知”的所述投票规格。
CN202310207927.1A 2023-03-07 2023-03-07 一种鲁棒的烟草陈列图像处理方法和装置 Active CN116052062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310207927.1A CN116052062B (zh) 2023-03-07 2023-03-07 一种鲁棒的烟草陈列图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310207927.1A CN116052062B (zh) 2023-03-07 2023-03-07 一种鲁棒的烟草陈列图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN116052062A CN116052062A (zh) 2023-05-02
CN116052062B true CN116052062B (zh) 2023-06-16

Family

ID=86113546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310207927.1A Active CN116052062B (zh) 2023-03-07 2023-03-07 一种鲁棒的烟草陈列图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN116052062B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499471A (zh) * 2011-10-25 2012-06-20 中国电子科技集团公司第四十一研究所 一种基于机器视觉技术的烟支空头检测方法
CN108985199A (zh) * 2018-07-02 2018-12-11 百度在线网络技术（北京）有限公司 商品取放操作的检测方法、装置及存储介质
CN114359973A (zh) * 2022-03-04 2022-04-15 广州市玄武无线科技股份有限公司 基于视频的商品状态识别方法、设备及计算机可读介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636707B (zh) * 2013-11-07 2018-03-23 同方威视技术股份有限公司 自动检测香烟的方法
CN109859239B (zh) * 2019-05-05 2019-07-19 深兰人工智能芯片研究院（江苏）有限公司 一种目标追踪的方法及设备
CN110276305B (zh) * 2019-06-25 2021-06-15 广州众聚智能科技有限公司 一种动态商品识别方法
CN110335291A (zh) * 2019-07-01 2019-10-15 腾讯科技（深圳）有限公司 人物追踪方法及终端
CN110390673B (zh) * 2019-07-22 2021-04-27 福州大学 一种监控场景下基于深度学习的香烟自动检测方法
CN111528652B (zh) * 2020-07-09 2021-11-09 北京每日优鲜电子商务有限公司 识别智能货柜中商品的方法和装置
CN112767597A (zh) * 2020-07-31 2021-05-07 支付宝(杭州)信息技术有限公司 用于陈列物品的智能设备和物品监测的方法
CN112883819B (zh) * 2021-01-26 2023-12-08 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112509011B (zh) * 2021-02-08 2021-05-25 广州市玄武无线科技股份有限公司 一种静止商品统计方法、终端设备及其存储介质
CN113822910A (zh) * 2021-09-30 2021-12-21 上海商汤临港智能科技有限公司 多目标跟踪方法、装置、电子设备及存储介质
CN114025075A (zh) * 2021-12-16 2022-02-08 元气森林(北京)食品科技集团有限公司 陈列柜中物品检测方法、陈列柜以及存储介质
CN114283374A (zh) * 2021-12-21 2022-04-05 科大讯飞华南人工智能研究院（广州）有限公司 目标识别方法、装置、电子设备及存储介质
CN114092694B (zh) * 2022-01-20 2022-05-10 深圳爱莫科技有限公司 一种包/条烟盒连续陈列自动识别方法
CN114119674B (zh) * 2022-01-28 2022-04-26 深圳佑驾创新科技有限公司 一种静态目标跟踪方法、装置及存储介质
CN115063084A (zh) * 2022-07-12 2022-09-16 河南省烟草公司信阳市公司 一种卷烟零售商户库存盘点方法及系统
CN115457623A (zh) * 2022-08-12 2022-12-09 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） 停留时长检测方法、装置及服务器
CN115661591A (zh) * 2022-09-22 2023-01-31 广州盖盟达工业品有限公司 一种智能柜动态识别方法及装置
CN115619791B (zh) * 2022-12-20 2023-03-10 苏州万店掌网络科技有限公司 一种物品陈列检测方法、装置、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499471A (zh) * 2011-10-25 2012-06-20 中国电子科技集团公司第四十一研究所 一种基于机器视觉技术的烟支空头检测方法
CN108985199A (zh) * 2018-07-02 2018-12-11 百度在线网络技术（北京）有限公司 商品取放操作的检测方法、装置及存储介质
CN114359973A (zh) * 2022-03-04 2022-04-15 广州市玄武无线科技股份有限公司 基于视频的商品状态识别方法、设备及计算机可读介质

Also Published As

Publication number Publication date
CN116052062A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110852219B (zh) 一种多行人跨摄像头在线跟踪系统
CN110705405B (zh) 目标标注的方法及装置
US11216645B2 (en) Multi-camera multi-face video splicing acquisition device and method thereof
CN111914635B (zh) 人体测温方法、装置、系统和电子设备
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN111696128A (zh) 一种高速多目标检测跟踪和目标图像优选方法及存储介质
US20200334571A1 (en) Method and apparatus for training trajectory classification model, and electronic device
CN101281595A (zh) 用于面部确认的装置和方法、以及计算机程序
CN111767798B (zh) 一种面向室内联网视频监控的智能导播方法及系统
JP4984640B2 (ja) 認識装置、地図データ作成装置および認識方法
CN114926466B (zh) 基于大数据的土地一体化监测和决策方法、平台
CN110827432A (zh) 一种基于人脸识别的课堂考勤方法及系统
JPH0723012A (ja) 視聴率調査システム
CN110314361B (zh) 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN116052062B (zh) 一种鲁棒的烟草陈列图像处理方法和装置
CN111191481B (zh) 车辆识别方法及系统
CN116704490B (zh) 车牌识别方法、装置和计算机设备
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
CN110986916A (zh) 室内定位方法、装置及电子设备和存储介质
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
CN112214629B (zh) 基于图像识别的回环检测方法及可移动设备
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN113609913A (zh) 一种基于采样阈值区间加权的松材线虫病树检测方法
US20230274553A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
CN114092525B (zh) 一种基于空间分布投票的客流属性分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant