CN112085534B - 一种关注度分析方法、系统及存储介质 - Google Patents

一种关注度分析方法、系统及存储介质 Download PDF

Info

Publication number
CN112085534B
CN112085534B CN202010956404.3A CN202010956404A CN112085534B CN 112085534 B CN112085534 B CN 112085534B CN 202010956404 A CN202010956404 A CN 202010956404A CN 112085534 B CN112085534 B CN 112085534B
Authority
CN
China
Prior art keywords
attention
information
image
module
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010956404.3A
Other languages
English (en)
Other versions
CN112085534A (zh
Inventor
崔岩
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Germany Artificial Intelligence Institute Co ltd
China Germany Zhuhai Artificial Intelligence Institute Co ltd
4Dage Co Ltd
Original Assignee
China Germany Artificial Intelligence Institute Co ltd
China Germany Zhuhai Artificial Intelligence Institute Co ltd
4Dage Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Germany Artificial Intelligence Institute Co ltd, China Germany Zhuhai Artificial Intelligence Institute Co ltd, 4Dage Co Ltd filed Critical China Germany Artificial Intelligence Institute Co ltd
Priority to CN202010956404.3A priority Critical patent/CN112085534B/zh
Publication of CN112085534A publication Critical patent/CN112085534A/zh
Application granted granted Critical
Publication of CN112085534B publication Critical patent/CN112085534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种关注度分析方法、系统及存储介质，其方法为：S1、获取视频流，对视频流进行预处理；S2、对经预处理的视频流进行筛选识别，构建完整特征域图像；S3、对完整特征域图像中人关注度信息进行估计分析；S4、对完整特征域图像中人身份属性信息进行识别；S5、将获取的人关注度信息、人身份属性信息输入分析模型中进行评估。其系统为：获取及区域划分模块、筛选拼接模块、综合分析模块、信息调取回放模块及通信模块；本发明利用关注度估计模型，实现对受关注物品的分类识别，以及对应受关注物品的感兴趣人群数量的估计；利用人身份属性估计模型，分析统计出人的身份属性，以此完成后续商业策略的制定以及资源优化。

Description

一种关注度分析方法、系统及存储介质
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种关注度分析方法、系统及存储介质。
背景技术
随着计算机视觉技术的发展，越来越多的商场或博物馆对服务购买者、参观者的流量数据统计分析，以此获取其对某一款商品的感兴趣度或者对某一展品的关注度，用于经营者后续商业策略的制定、营销布局及资源合理配置。
现有技术CN107180378A公开了一种商品关注度获得方法及装置，该商品关注度获得方法包括：获取目标区域内每个人员的位置轨迹，每个所述位置轨迹表示一个所述人员从进入所述目标区域到离开所述目标区域的时间段内按时间顺序排列的位置点；根据设定时间段内的所述目标区域内所有人员的位置轨迹形成所述设定时间段内的位置点集合；根据所述设定时间段内的位置点集合形成所述设定时间段内的人员位置点热度图。该商品关注度获得方法不依赖于人本身的记忆和感觉，具有准确、直观、成本较低的优点，便于商场/超市根据商品关注度来调整商品展示策略、商品定价等从而获得更好的经营收益。此现有技术通过人员位置轨迹所产生的热度图获取商品的关注度，但是在目标区域内所有人员的位置轨迹形成所述设定时间段内的位置点集合并不能代表人员关注此商品，可能只是路过此商品的目标区域，因此，利用现有技术CN107180378A获得的关注度不能精确的反应真实的关注度；且利用点热度图只能粗略的反映出此物品受关注度的人群数量，并不能对人员数量进行精准统计计算，且无法对人员数量的性别等作出精准统计。
现有技术CN107231413A公开了一种场馆监测系统，包括：若干红外传感器和数据处理模块；所述数据处理模块设于场馆中，所述场馆包括多个展品展台，每个展品展台上设有至少一个红外传感器；所述红外传感器用于在检测到预设范围内有参观者时发送检测信号至所述数据处理模块；所述数据处理模块用于根据所述检测信号生成关注度数据并输出。本发明能够采集、分析参观者对展品的关注度，从而为布展者规划布展内容、选择布展环境提供参考。此技术方案中只是利用红外线传感器来判断展品站台附近是否有参观者，但是展台附近有参观者并不能反映出参观者对展品是否有兴趣，且此技术方案无法统计对展品感兴趣的人员数量以及性别，也无法对感兴趣展品进行分类。除此之外现有技术中公开了一种基于红外图像感兴趣区域提取算法，首先利用监控设备进行视频采集，将监控视频中可见光图像转换为红外图像，利用红外图像进行灰度值的统计分析，通过加权函数及最大化类间方差算法计算出图像分割阙值进行分割，该种方法在进行分割时，会存在分割区域混叠粘连以及易受到零散热源干扰等问题，进而造成无法准确的实现对监控视频中人流数据的精准统计问题，此外，该种方式需要基于人的长宽比、面积等先验性约束特征进行算法的优化，因此该种方式在使用时较为受限，算法的实时性无法保证，鲁棒性较差，精度低。
上述公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
为解决背景技术中的技术问题，本发明提供一种关注度分析方法，包括:
S1、获取视频流，对视频流进行预处理；
S2、对经预处理的视频流进行筛选识别，构建完整特征域图像；
S3、对完整特征域图像中人关注度信息进行估计分析；
S4、对完整特征域图像中人身份属性信息进行识别；
S5、将获取的人关注度信息、人身份属性信息输入分析模型中进行评估。
本发明在对获取视频流之前，需要将母区域划分为多个子区域，在子区域内设置采集模块，对采集模块进行参数标定，通过采集模块获取及存储子区域内的视频流；并且在相同间隔时间内对子区域内的视频流进行截取及存储，得到视频图像，对视频图像进行预处理。
本发明中对经预处理的视频流进行筛选识别具体包括：训练特征域筛选识别模型；基于特征域筛选识别模型对经预处理的视频图像进行筛选识别，构建完整特征域图像。
本发明中对完整特征域图像中人关注度信息进行估计分析具体包括：训练关注度估计模型；基于关注度估计模型完成对完整特征域图像中受关注物品的分类识别，对受关注物品进行分类识别后，获取受关注物品的地理位置信息；以及对应受关注物品的感兴趣人群数量的估计。
本发明对完整特征域图像中人身份属性信息进行识别具体包括：训练身份属性估计模型；基于身份属性估计模型对完整特征域图像中人身份属性进行估计识别。
本发明提供一种关注度分析系统，包含有获取及区域划分模块、筛选拼接模块、综合分析模块、信息调取回放模块以及通信模块；
获取及区域划分模块，用于区域的划分及获取及存储视频流；
筛选拼接模块，用于将获取及区域划分模块获取及存储的视频流构建完整特征域图像；
综合分析模块，用于对筛选拼接单元中构建的完整特征域图像中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息进行分析；
综合分析模块包括：关注度估计单元、身份属性分析单元以及信息评估单元；关注度估计单元，用于对完整特征域图像中人兴趣度、物品关注度以及相应区域位置信息进行识别，并将分析结果回传至控制中心系统中存储；身份属性分析单元，用于对完整特征域中人身份属性信息进行统计分析，并将分析结果回传控制中心系统中存储；信息评估单元，用于接收人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息，输入至分析模型进行评估；
信息调取回放模块，用于对回传控制中心中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置及人身份属性信息的调取回放；
通信模块，用于进行通信连接。
本发明提供的获取及区域划分模块包括有区域划分单元及采集单元，区域划分单元用于将母区域划分为多个子区域；采集单元，用于获取及存储子区域中的视频流。
本发明提供的筛选拼接模块包括：修正单元、截取单元、筛选单元、拼接单元、综合分析单元；修正单元，用于对采集模块进行参数标定和畸变修正；截取单元，用于在相同间隔时间内对子区域中设有的采集模块获取的视频流进行图像截取及存储，得到对应时刻的视频图像；筛选单元，用于对视频图像中包含特征域的图像进行筛选识别；拼接单元，用于将筛选出的图像进行拼接融合，构建完整特征域图像。
本发明还提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，一个或者多个程序被一个或者多个处理器执行，以实现上述一种关注度分析方法。
与现有技术相比，本发明具有如下有益效果：
1、利用特征域筛选识别模型实现对每个子区域对应时刻的视频图像中包含特征域区域的图像进行筛选识别，将不包含特征域区域的图像进行剔除。
2、利用关注度估计模型对完整特征域图像中受关注物品的分类识别，对受关注物品进行分类识别后，可以获取受关注物品的地理位置信息；以及对应受关注物品的感兴趣人群数量的估计；
3、利用身份属性估计模型，对完整特征域图像中人身份属性进行估计识别，更便于经营者通过针对反馈控制中心系统中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息，完成后续商业策略的制定以及资源优化；
5、通过将人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息反馈给控制中心，完成后续商业策略的制定以及资源优化。
附图说明
图1是本发明的一种关注度分析方法的流程图；
图2是本发明的一种关注度分析系统的结构框图；
图3是本发明的一种关注度分析系统的另一种结构框图。
100-获取及区域划分模块，110-区域划分单元，120-采集单元，200-通信模块，300-筛选拼接模块，310-修正单元，320-截取单元，330-筛选单元，340-拼接单元，400-综合分析模块，410-关注度估计单元，420-身份属性分析单元，430-信息评估单元，500-信息调取回放模块。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”“一个”“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
实施例1
如图1所示，根据本发明提供的一种关注度分析方法，包括下列步骤：
步骤S1、获取视频流，对视频流进行预处理；
在获取视频流之前需要将母区域划分为多个子区域，本实施例中母区域可以选自商场、图书馆等复杂场景，本实施例不对母区域的具体区域做限制；在对应多个子区域内设置采集模块，当然在具体的实施例中采集模块可以设置一组也可以设置多组，本实施例中以在每一子区域内设置多组采集模块进行举例说明，对多组采集模块进行参数标定，通过多组采集模块获取及存储子区域内的多组视频流。
在本实例中采用的采集模块优选为球幕探头，由于球幕探头使用的是鱼眼镜头，这种镜头可以获得更宽的画面，但也存在一定弊端，即镜头的透镜中心区域相较于靠近中心区域更加弯曲，故在进行图像采集时会出现桶形畸变，因此需要建立探头参数自标定模型对探头的内外参数进行标定，同时计算探头内参和外参的畸变系数，并结合畸变模型完成对静态图像的畸变修正。参数自标定模型需要先建立标定模板，并求解出探头的内参和外参矩阵，然后利用重投影的方式将标定模板图像重投影至三维空间，随后根据该重投影的三维坐标点和原始标定模板三维坐标点之间的关系求解出探头内参和外参的畸变系数。标定模板中每一个点在三维空间中都存在一个对应的三维坐标。为降低重投影误差，获得最优的探头外参以及三维空间点的坐标，本发明中利用光束平差法即BundleAdjustment，简称BA，对探头标定过程进行优化。
在视频流采集时，需要实时回传采集模块的属性信息，即采集模块对应的地理位置信息(ID)以及角度偏转信息等(即球幕探头ID对应的属性信息至少包括探头的GPS位置、滚动角、倾斜角和偏航角)，以便后续可以通过GPS定位将采集模块定位到欲监控中的对应该位置，并回传对应地理位置信息。
本实施例中需要每隔相同时间对多个子区域中球幕探头采集的视频流进行截取及存储，获取视频图像；但是由于球幕探头的拍摄位置、光照环境及探头本身因素会造成截取图像畸变，因此需要对截取图像进行预处理，即对截取图像进行几何校正、颜色校正及通过计算球幕探头内参和外参的畸变系数，结合畸变模型完成对截取图像进行去畸变操作，将预处理后的截取图像进行逐一展开。
步骤S2、对经预处理的视频流进行筛选识别，构建完整特征域图像；具体为，通过训练特征域筛选识别模型，基于特征域筛选识别模型对截取图像进行筛选识别并对筛选后的截取图像进行拼接，得到完整特征域图像，完成对经预处理的截取图像进行筛选识别的过程。经预处理后的截取图像中会包含大量非特征域图像，需要将这部分非特征域图像从截取的图像中集中剔除，得到包含特征域的图像，以实现对特征域进行精准定位，节约控制系统的存储空间，提高运算效率。其中特征域图像是指前述所说复杂场景中截取的包含特征域的图像，例如带有博物馆展品及受关注展品人流的视频监控图像，或者带有商品柜台、商品门店及受关注商品人流的视频监控图像。本申请通过特征域筛选识别模块对特征域图像中训练的特征域进行筛选识别，以实现后续步骤中人对产品关注度的分析，更具体的来说，提取的特征域是指人感兴趣区域，也即通过人对产品的关注判断人是否对此产品感兴趣，本申请实施例中优选利用FasterRCNN-RPN算法作为特征域识别算法，对人感兴趣区域作为目标特征进行筛选识别。将特征域图像也即人感兴趣区域图像筛选识别出来后，通过图像拼接算法对并对筛选后的截取图像进行拼接，得到该子区域的完整特征域图像。
首先，本实施例中建立特征域识别模型的方法为：从经预处理后的截取图像中选择多幅包含特征域图像作为训练集，利用区域建议网络RPN网络对训练集中的图像进行特征域候选区域即人感兴趣候选区域的提取，通过Fast-RCNN网络中骨干网络ImageNet对训练参数初始化以及对候选区域生成网络RPN进行优化；同时将训练集中的图像依次输入Fast-RCNN网络中,进行特征提取，将得到的特征域即人感兴趣区域映射至Fast-RCNN网络提取的特征图上，以此获取训练集中视频图像对应的位置信息；通过ROI即感兴趣区域池化生成固定尺寸的候选区域特征，将该固定尺寸的特征域即人感兴趣区域候选区域特征分别输入至分类层和边框回归层进行联合训练至模型收敛，并输出特征域即人感兴趣候选区域的位置和对象类别。
在本实施例中利用FasterRCNN-RPN算法对特征域识别模型进行训练过程中，随着网络层的增加，会出现梯度消失或者梯度爆炸等现象，导致网络无法收敛的问题，故本实施例的骨干网络ImageNet优选为ResNet网络，用于对训练的权值进行初始化。此外通过Faster-RCNN网络进行特征域识别后，系统中会针对特征域即人感兴趣区域重复生成目标边界框，本实施例中通过利用边界框修正算法，即将每个边界框对特征域即人感兴趣区域的识别概率作为权值进行加权修正，以此获得更为精准的特征域即人感兴趣区域。
本实施例中，建立完特征域识别模型后即可将每个子区域对应时刻截取的图像输入至特征域识别模型中进行训练，利用SVM即支持向量机构建二分类器，分别输出包含特征域即人感兴趣区域图像和不包含特征域即人感兴趣区域图像，对包含特征域的图像进行存储，未包含特征域的图像进行删除。
在存储的包含特征域的图像中选取一幅图像标记为基准图像，利用LK光流法计算待拼接其他图像与基准图之间的投影变换参数，待拼接图像依据投影参数进行投影变换，求解投影变换后的图像与基准间MSE误差即均方误差，若该误差超过预定阙值，则需要重复利用光流场计算投影变换参数，不断迭代至MSE误差小于设定阙值，即完成待拼接图像预基准图像的配准。重复上述过程至完成全部待拼接图像与基准图像的配准，计算拼接图像与基准图像间的单应性矩阵，结合投影关系完成图像拼接。最终得到对应时刻包含特征域的该子区域完整特征域图像。
S3、对完整特征域图像中人关注度信息进行估计分析；
本实施例中首先需要建立关注度模型，本实施例的关注度模型是基于Deepplabv2网络结构进行训练，Deepplabv2网络利用atrous卷积即空洞卷积层替换为普通卷积层，atrous卷积通过扩大卷积核的感受野，在不增加参数数量或计算量的前提下，以更高的采样密集度计算特征映射，使网络能够包含更大的感受域的信息，同时在Deepplabv1网络结构的基础上，引用ASPP即金字塔空洞池化模块，针对给定的输入图像利用不同采样率的atrous卷积实现对目标特征的比例进行采样，Deepplabv2网络后端利用CRF即全连接条件随机场替换传统的全连接层，以确保满足空间不变性的基础下实现优化分割边界结果、增强模型细节捕捉能力、提高分割精度。本实施例中构建关注度估计损失函数对模型进行优化训练，使模型能够准确的输出图像特征区域包含的人数信息，基于该损失函数训练仅需要针对图像中特征对象位置点级注释，而不需要诸如图像特征矩形框大小、形状等先验信息的辅助计算。其中，关注度损失函数由第一损失函数、第二损失函数、第三损失函数以及第四损失函数构成。
具体地：假设完整特征域图像中包含类别，利用第一损失函数(1)使模型的输出通道中，每个通道至少有一个目标对象(受关注物体人流数)像素预测为其中一个类别，至少能够将图像中出现的目标对象类别进行分类；
Figure BDA0002678740070000081
其中，T代表真实特征矩阵，c表示真实对象语义类别标签，X表示模型预测特征域矩阵，F1(X,T)表示通过训练，以提高将图像中的至少一个像素标记为C类的可能性，yk表示图像中存在的对象类别，Tc表示图像中出现的每个类别，至少有一个类别标记为C类的可能性。
利用第二损失函数(2)，训练模型能够对图像中目标对象特征域像素进行精准标注；
Figure BDA0002678740070000082
其中，Ti表示像素i的目标对象标签，Ts表示图像中真实特征域对应的像素。
利用第三损失函数(3)对图像中已标注类别的对象进行语义分割输出单独的blob块，并对blob块中包含像素数目进行估计。
Figure BDA0002678740070000083
其中，αi表示输出的每个blob中包含的像素数目，Xio表示i像素归属与背景像素的概率。
利用第四损失函数(4)剔除不含有目标对象特征的blob块
Figure BDA0002678740070000084
其中，bkf表示预测对应blob的归属类别，Xio表示像素归属与背景像素的概率。
其次将完成筛选拼接完整特征域图像作为输入，传输至关注度估计模型中进行多次训练至网络收敛，输出完整特征域图像中对应的商品类别以及该商品的关注度信息即关注该商品的人群数量。
在本实施例的特征域识别算法以及关注度估计算法中，均涉及利用深度网络进行训练，在实际训练时，由于在训练初始阶段，起始点距代价函数的极小点距离较大，此时需要一个较大的学习率，在训练后期，该代价函数值逐渐减小，因此需要一个较小的学习率，但在传统的神经网络训练中学习率多采用人工设定方式，无法满足实际训练的需求，故本申请中利用AdaDelta算法(5)实现对神经网络训练过程中，学习率的自适应调节。AdaDelta算法具体如下：
Figure BDA0002678740070000091
其中，ρ表示为动量系数，gp表示p时刻当前的梯度值，δp代表神经网络参数，R[g2]p表示p时刻梯度平方的期望值。
步骤S4、对完整特征域图像中人身份属性信息进行识别；
本实施例中首先需要建立身份属性估计模型；具体为首先构建图像训练样本集：本实施例中是从现有的Adience人脸数据集中分别提取男女各1000张人脸图像作为样本集，利用YUV空间亮度法对人脸图像进行灰度化，并通过图像弹性几何变换即图像进行水平或垂直翻转、旋转算法对图像进行变换即获取不同角度的人脸图像，提高后续人属性估计准确率，将变换后男女人脸图像和原始的各1000张人脸图像进行缩放处理，以此有效减少训练的输入数据，提高检测效率。其次对训练样本集进行处理，构建身份属性特征向量，本实施例中利用LBP+NMF组成联合算子针对男女人脸图像进行特征提取，得到识别男女人脸属性特征的LBP+NMF特征向量，LBP算子可实现对图像局部特征描述，且具有灰度及旋转不变性。NMF算子(非负矩阵分解)能够克服在人属性特征提取时局部遮挡和光照问题，提高识别精度；然后将图像训练样本集对应的身份属性特征向量输入至身份属性估计模型进行训练；本实施例中是利用PCA对S42得到的特征向量数组进行降维，将该LBP+NMF人脸特征向量以及S41中经过放缩处理男女人脸图像作为输入，传输至身份属性模型中进行分类训练至收敛，以此实现对输入图像中的人身份属性特征进行精准分类识别；本实施例中提出的人身份属性模型基于XGBoost算法进行分类训练。
本实施例在建立好身份属性估计模型之后需要将子区域中的完整特征域图像进行裁剪，裁剪为Z组人脸识别图像，将Z组人脸识别图像分别输入人身份属性估计模型中进行人身份属性的分类识别，通过统计方式对识别出的男女人数进行统计，并将计算结果进行回传。
S5、将获取的人关注度信息、人身份属性信息输入分析模型中进行评估。
本实施例中将子区域中回传的人关注度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息输入至分析模型中进行评估分析，经营者利用评估分析结果完成商业侧料制定及资源重置。
本实施例中的分析模型模型优选为商业模型、策略分析模型、商业分析模型等，本实施例不对分析模型进行限制。
本发明利用识别算法实现对每个子区域对应时刻的视频图像中包含人感兴趣区域的精准识别定位，利用关注度估计模型，可实现仅通过基于图像目标特征定位的点级标注分类估计方式，即完成每个子区域对应时刻包含兴趣域的子区域完整图像中受关注物品的分类识别，以及对应受关注物品的感兴趣人群数量的估计，利用构建的关注度估计损失函数对模型进行优化训练，提高模型对目标特征的精准分割、类型识别及数量输出，降低了算法的复杂度，提高算法执行效率，避免了外部因素干扰，同时也不需要先验性信息对特征的约束优化，有效克服传统基于红外图像感兴趣区域提取算法，存在的分割区域混叠粘连以及易受到零散热源干扰等问题。本发明中利用身份属性估计模型，可实现针对每个子区域对应时刻包含兴趣域的子区域完整监控图像中人身份属性的识别分析，更便于经营者通过针对反馈控制中心系统中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息，完成后续商业策略的制定以及资源优化，此外，本申请中利用AdaDelta算法自适应的调节模型训练的学习率，使系统在进行网络训练中能够克服震荡快速收敛，提高实际应用的适应性及稳定性。
实施例2
如图2所示，本发明提供一种关注度分析系统，包含有获取及区域划分模块100、筛选拼接模块300、综合分析模块400、信息调取回放模块400及通信模块500；
本实施例中的获取及区域划分模块100，用于获取及存储视频流；如图3所示，本实施例中的获取及区域划分模块110包括有区域划分单元110，用于将母区域划分为子区域；本实施例中的获取及区域划分模块100还包括有采集单元120，用于获取及存储子区域中的视频流。本实施例通过区域划分单元110将母区域划分为多个子区域，在每一子区域内设置多组采集单元对视频流信息进行采集，采集单元120优选为球幕探头，当然也可以是其他可以对视频流信息采集的设备。具体的，本实施例中的视频流中包含拍摄的博物馆展品及人流信息。
本实施例中的筛选拼接模块300是用于将获取及区域划分模块获取及存储的上述视频流构建完整特征域图像；如图3所示，本实施例中的筛选拼接模块300包括：修正单元310、截取单元320、筛选单元330、拼接单元340；本实施例中的修正单元310，用于对采集单元120进行参数标定和畸变修正；本实施例中的截取单元320，用于在相同间隔时间内对子区域中设有的采集单元120获取的视频流进行图像截取及存储，得到对应时刻的视频图像；本实施例中的筛选单元330，用于对视频图像中包含特征域图像进行筛选识别，在本实施例中，特征域为上述博物馆展品及受关注展品人流；拼接单元340用于将筛选出的特征域图像进行拼接融合，构建完整特征域图像，本实施例中完整特征域图像是对应时刻该子区域中包含所有特征域的完整监控图像。
本实施例中的综合分析模块400是用于对筛选拼接单元330中构建的完整特征域图像中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息进行分析；如图3所示，本实施例中的综合分析模块400包括：关注度估计单元410、身份属性分析单元420以及信息评估单元430；本实施例中的关注度估计单元410，用于对完整特征域图像中人兴趣度、物品关注度以及相应区域位置信息进行识别，并将分析结果回传至控制中心系统中存储；本实施例中的身份属性分析单元420，用于对完整特征域中人身份属性信息进行统计分析，并将分析结果回传控制中心系统中存储；本实施例中的信息评估单元430，用于接收人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息，输入至分析模型进行评估。
本实施例中的信息调取回放模块500，用于对回传控制中心中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置及人身份属性信息的调取回放。
通信模块200，与控制中心连接，用于实现各模块的数据信息与控制中心的通信连接；例如通过通信模块200实时回传采集单元的属性信息至控制中心，属性信息包括但不限于地理位置信息(ID)以及角度偏转信息。
实施例3
本发明提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，一个或者多个程序被一个或者多个处理器执行，以实现如实施例1的一种关注度分析方法。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种关注度分析方法，其特征在于，包含下列步骤：
S1、获取视频流，对所述视频流进行预处理；
S2、对所述经预处理的视频流进行筛选识别，构建完整特征域图像；
S3、对所述完整特征域图像中人关注度信息进行估计分析；
S4、对所述完整特征域图像中人身份属性信息进行识别；
S5、将获取的所述人关注度信息、所述人身份属性信息输入分析模型中进行评估；
所述步骤S1还包括有以下步骤：
S11、将母区域划分为多个子区域，在所述子区域内设置采集模块，对采集模块进行参数标定，通过所述采集模块获取及存储所述子区域内的视频流；
S12、在相同间隔时间内对所述视频流进行截取及存储，得到视频图像，对所述视频图像进行预处理；
对所述经预处理的视频流进行筛选识别具体包括：
S21、训练特征域筛选识别模型；
S22、基于所述特征域筛选识别模型对经预处理的所述视频图像进行筛选识别，构建完整特征域图像；
通过训练特征域筛选识别模型，基于特征域筛选识别模型对截取图像进行筛选识别并对筛选后的截取图像进行拼接，得到完整特征域图像，完成对经预处理的截取图像进行筛选识别的过程；经预处理后的截取图像中包含非特征域图像，通过将所述非特征域图像从截取的图像中剔除，得到包含特征域的图像；
所述步骤S3具体为：
S31、训练关注度估计模型；
S32、基于关注度估计模型完成对所述完整特征域图像中受关注物品的分类识别，以及对应受关注物品的感兴趣人群数量的估计；
构建关注度估计损失函数对关注度估计模型进行优化训练，使所述关注度估计模型能够准确的输出特征域图像包含的人数信息；
具体，关注度损失函数由第一损失函数、第二损失函数、第三损失函数以及第四损失函数构成；具体利用第一损失函数使关注度估计模型的输出通道中，每个通道至少有一个目标对象像素预测为一个类别，将图像中出现的目标对象类别进行分类；
利用第二损失函数，关注度估计模型能够对图像中目标对象特征域像素进行精准标注；
利用第三损失函数对图像中已标注类别的对象进行语义分割输出单独的blob块，并对blob块中包含像素数目进行估计；
利用第四损失函数剔除不含有目标对象特征的blob块；
再将完成筛选拼接完整特征域图像作为输入，传输至关注度估计模型中进行多次训练至网络收敛，输出完整特征域图像中对应的商品类别以及该商品的关注度信息获得关注该商品的人群数量。
2.根据权利要求1所述的一种关注度分析方法，其特征在于，所述步骤S4具体为：
S41、训练身份属性估计模型
S42、基于所述身份属性估计模型对所述完整特征域图像中人身份属性进行估计识别。
3.根据权利要求1所述的一种关注度分析方法，其特征在于，对所述受关注物品进行分类识别后，获取所述受关注物品的地理位置信息。
4.一种关注度分析系统，应用于权利要求1-3任一项所述的方法，其特征在于，包含有获取及区域划分模块、筛选拼接模块、综合分析模块、信息调取回放模块以及通信模块；
获取及区域划分模块，用于区域的划分及获取及存储视频流；
筛选拼接模块，用于将获取及区域划分模块获取及存储的视频流构建完整特征域图像；
综合分析模块，用于对所述筛选拼接模块 中构建的所述完整特征域图像中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置信息及人身份属性信息进行分析；
所述综合分析模块包括：关注度估计单元、身份属性分析单元以及信息评估单元；所述关注度估计单元，用于对所述完整特征域图像中人兴趣度、物品关注度以及相应区域位置信息进行识别，并将分析结果回传至控制中心系统中存储；所述身份属性分析单元，用于对所述完整特征域中人身份属性信息进行统计分析，并将分析结果回传控制中心系统中存储；信息评估单元，用于接收所述人兴趣度信息、所述物品关注度信息、所述受关注物品所在区域位置信息及人身份属性信息，输入至分析模型进行评估；
信息调取回放模块，用于对回传控制中心中的人兴趣度信息、物品关注度信息、受关注物品所在区域位置及人身份属性信息的调取回放；
通信模块，用于进行通信连接。
5.根据权利要求4所述的一种关注度分析系统，其特征在于，所述获取及区域划分模块包括有区域划分单元及采集单元，所述区域划分单元用于将母区域划分为多个子区域；所述采集单元，用于获取及存储所述子区域中的视频流。
6.根据权利要求4所述的一种关注度分析系统，其特征在于，所述筛选拼接模块包括：修正单元、截取单元、筛选单元、拼接单元、综合分析单元；所述修正单元，用于对所述采集模块进行参数标定和畸变修正；所述截取单元，用于在相同间隔时间内对所述子区域中设有的采集模块获取的视频流进行图像截取及存储，得到对应时刻的视频图像；所述筛选单元，用于对所述视频图像中包含特征域的图像进行筛选识别；所述拼接单元，用于将筛选出的图像进行拼接融合，构建完整特征域图像。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，一个或者多个所述程序被一个或者多个处理器执行，以实现如权利要求1-3 任意一项所述的一种关注度分析方法。
CN202010956404.3A 2020-09-11 2020-09-11 一种关注度分析方法、系统及存储介质 Active CN112085534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010956404.3A CN112085534B (zh) 2020-09-11 2020-09-11 一种关注度分析方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010956404.3A CN112085534B (zh) 2020-09-11 2020-09-11 一种关注度分析方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112085534A CN112085534A (zh) 2020-12-15
CN112085534B true CN112085534B (zh) 2023-01-06

Family

ID=73737009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010956404.3A Active CN112085534B (zh) 2020-09-11 2020-09-11 一种关注度分析方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112085534B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052869A (zh) * 2021-03-10 2021-06-29 五邑大学 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质
CN113052116B (zh) * 2021-04-06 2022-02-22 深圳华声医疗技术股份有限公司 超声视频数据处理方法、装置、超声设备及存储介质
CN117668497B (zh) * 2024-01-31 2024-05-07 山西卓昇环保科技有限公司 基于深度学习实现环境保护下的碳排放分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282276A (ja) * 2009-06-02 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> 映像認識理解装置、映像認識理解方法、及びプログラム
CN105608419A (zh) * 2015-12-15 2016-05-25 上海微桥电子科技有限公司 一种客流视频侦测分析系统
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN109559168A (zh) * 2018-11-26 2019-04-02 南京邮电大学 一种基于射频标识的商品受关注度评价方法
WO2020056915A1 (zh) * 2018-09-18 2020-03-26 图普科技（广州）有限公司 顾客到访分析方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510244B2 (en) * 2009-03-20 2013-08-13 ISC8 Inc. Apparatus comprising artificial neuronal assembly
FR3081591B1 (fr) * 2018-05-23 2020-07-31 Idemia Identity & Security France Procede de traitement d'un flux d'images video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282276A (ja) * 2009-06-02 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> 映像認識理解装置、映像認識理解方法、及びプログラム
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN105608419A (zh) * 2015-12-15 2016-05-25 上海微桥电子科技有限公司 一种客流视频侦测分析系统
WO2020056915A1 (zh) * 2018-09-18 2020-03-26 图普科技（广州）有限公司 顾客到访分析方法、装置及存储介质
CN109559168A (zh) * 2018-11-26 2019-04-02 南京邮电大学 一种基于射频标识的商品受关注度评价方法

Also Published As

Publication number Publication date
CN112085534A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112085534B (zh) 一种关注度分析方法、系统及存储介质
Xiong et al. Spatiotemporal modeling for crowd counting in videos
CN104813339B (zh) 用于检测视频中的对象的方法、设备和系统
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
WO2021082635A1 (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
Alahi et al. Robust real-time pedestrians detection in urban environments with low-resolution cameras
WO2009152509A1 (en) Method and system for crowd segmentation
CN113052039B (zh) 一种交通路网行人密度检测的方法、系统及服务器
CN112967341A (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
US20200034664A1 (en) Network Architecture for Generating a Labeled Overhead Image
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
WO2023093086A1 (zh) 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品
Revaud et al. Did it change? learning to detect point-of-interest changes for proactive map updates
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
Esfahani et al. DeepDSAIR: Deep 6-DOF camera relocalization using deblurred semantic-aware image representation for large-scale outdoor environments
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111105436A (zh) 目标跟踪方法、计算机设备及存储介质
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
CN112149528A (zh) 一种全景图目标检测方法、系统、介质及设备
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant