CN106204549B - 一种基于视频分析的广告牌监测方法、装置及电子设备 - Google Patents

一种基于视频分析的广告牌监测方法、装置及电子设备 Download PDF

Info

Publication number
CN106204549B
CN106204549B CN201610505966.XA CN201610505966A CN106204549B CN 106204549 B CN106204549 B CN 106204549B CN 201610505966 A CN201610505966 A CN 201610505966A CN 106204549 B CN106204549 B CN 106204549B
Authority
CN
China
Prior art keywords
image
frame
target
detected
frame group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610505966.XA
Other languages
English (en)
Other versions
CN106204549A (zh
Inventor
陶海
柯佳琪
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wen'an Beijing Intelligent Technology Ltd By Share Ltd
Original Assignee
Wen'an Beijing Intelligent Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wen'an Beijing Intelligent Technology Ltd By Share Ltd filed Critical Wen'an Beijing Intelligent Technology Ltd By Share Ltd
Priority to CN201610505966.XA priority Critical patent/CN106204549B/zh
Publication of CN106204549A publication Critical patent/CN106204549A/zh
Application granted granted Critical
Publication of CN106204549B publication Critical patent/CN106204549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0245—Surveys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种基于视频分析的广告牌监测方法、装置及电子设备。其中，所述基于视频分析的广告牌监测方法包括：获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。本发明通过监测广告牌周围视频图像中目标的检测跟踪，为广告的投放效果评估提供了客观准确评估依据。

Description

一种基于视频分析的广告牌监测方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于视频分析的广告牌监测方法、装置及电子设备。
背景技术
随着社会经济的发展，室内及户外广告作为一种较大市场冲击力的媒介传播手段，越来越备受关注和青睐。室内及户外广告基本的特征是在高覆盖率下，它不但可以让观众对广告产品有即时反应，还可以在多次信息重复后对观众产生长期的影响。室内及户外广告可以增加即时覆盖率，在此之后，它可以用业增加瞬间知名度。
然而，企业在室内及户外的广告牌投放后，通常无法衡量其投放广告的效果。由于无法有效统计投放出去的广告牌前通过的客流及车流等信息，使得企业很难客观的评价一次广告投放的效果。目前有关广告的投放效果仍然是借助于人工抽样调查、借助其他数据估算等进行评估。因为人工抽样调查存在一定的局限性，估算的方法无法客观准确的描述数据，所以广告投放效果目前无法客观准确评估。
发明内容
本发明的目的在于提供一种基于视频分析的广告牌监测方法、装置及电子设备，使得广告投放效果可以客观准确的评估。
为解决上述技术问题，本发明的实施方式提供了一种基于视频分析的广告牌监测方法，包括以下步骤：
获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；
根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；
根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。
其中，所述根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型的步骤，具体包括：
获取待检测场景图像标定帧；
根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息；
根据所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分；
根据所述检测模型，调整所述图像采集区域块的尺度，以便所述图像采集区域块的尺度与所述检测模型的尺度相匹配。
其中，所述标定参数包括：图像中平行线段的标定位置参数，图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度；所述图像采集装置的标定信息包括：视频采集装置的内参矩阵及外参矩阵；
所述根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息的步骤，具体包括：
根据所述图像中平行线段的标定位置参数，获取所述待检测图像帧组中的各个帧图像的消逝点位置信息；
根据所述图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度，获取所述视频采集装置的内参矩阵及外参矩阵。
其中，所述根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合步骤，具体包括：
根据所述图像采集区域块及检测模型，对所述待检测图像帧组中的图像帧中各个图像采集区域块进行检测，获取各个检测图像帧中目标的检测信息及其对应置信度；
预设初始待检测图像帧组；
获取所述初始待检测图像帧组中各个图像帧中目标的检测信息及其对应置信度；
跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合。
其中，所述跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合步骤，具体包括：
获取匹配阈值；
通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；
获取所述初始待检测图像帧组的下一帧组中各个图像帧中目标的检测信息及其置信度；所述初始待检测图像帧组的下一帧组中各个图像帧中目标包括：所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像目标和所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标；
判断所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内；
如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；
如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取；
获取所述目标的轨迹集合；所述目标的轨迹集合包括：至少一个目标的轨迹；所述目标的轨迹包括：同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
其中，该方法还包括：
预置所述置信度的衰减系数；
当采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息时，所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始待检测图像帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
其中，该方法还包括：预置置信度阈值；
判断所述目标的检测信息对应的置信度是否低于所述置信度阈值；
如果低于所述置信度阈值，则停止所述目标的轨迹跟踪。
其中，该方法还包括：
获取所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度；
将所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
其中，该方法还包括：
获取所述目标的轨迹集合的筛选规则；
根据所述目标的轨迹集合的筛选规则，进行目标统计。
本发明的实施方式还提供了一种基于视频分析的广告牌监测装置，包括：信息获取单元，用于获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；
信息处理单元，用于根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；
目标统计单元，用于根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。
本发明的实施方式还提供了一种电子设备，包括：包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述所述的基于视频分析的广告牌监测方法。
本发明实施方式相对于现有技术而言，通过获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。本发明技术方案通过有效的检测跟踪所述待检测图像帧组中的目标，为广告的投放效果评估提供了客观准确评估依据，使得广告的投放效果评估更加准确，客观。
附图说明
图1是本发明实施例提供的一种基于视频分析的广告牌监测方法流程图；
图2是本发明实施例提供的另一种基于视频分析的广告牌监测方法流程图；
图3是本发明实施例提供的一种基于视频分析的广告牌监测装置结构示意图；
图4是本发明实施例提供的一种电子设备结构示意图；
图5是本发明实施例提供的一种基于视频分析的广告牌监测方法中区域块划分的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种基于视频分析的广告牌监测方法。具体流程如图1所示。该方法包括：
101：获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；
102：根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；
103：根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。
本发明实施方式相对于现有技术而言，通过获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。本发明技术方案通过有效的检测跟踪所述待检测图像帧组中的目标，为广告的投放效果评估提供了客观准确评估依据，使得广告的投放效果评估更加准确，客观。
基于以上实施例，本发明的第二实施方式涉及一种基于视频分析的广告牌监测方法中图像采集区域块划分的具体流程；如图2所示，具体实现步骤如下：
201：获取待检测场景图像标定帧；所述待检测场景图像标定帧为当前视频采集装置位置及内部参数固定后，由视频采集装置采集的任意视频图像帧；当所述视频采集装置位置或者内部参数发生变化，则需要重新获取所述待检测场景图像标定帧。
202：根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息；所述标定参数包括：图像中平行线段的标定位置参数，图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度；所述图像采集装置的标定信息包括：视频采集装置的内参矩阵及外参矩阵；所述图像传感器的参数包括：电荷藕合器件图像传感器(Charge CoupledDevice，简称CCD)的尺寸。该步骤具体为：
根据所述图像中平行线段的标定位置参数，获取所述待检测图像帧组中的各个帧图像的消逝点位置信息；
根据所述图像中标定物体的位置参数及该物体在三维空间中的实际位置参数三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度，获取所述视频采集装置的内参矩阵及外参矩阵。例如：如图5所示，设所述图像中标定物体为标定线M在图像中为线段Pt1Pt2，所述标定线M在图像中标定物体的位置参数为点Pt1与点Pt2的二维坐标；其在现实场景中的测量长度为L，即所述标定线M在三维空间中的实际位置参数三维空间中的实际长度；根据消逝点的坐标以及摄像机的图像传感器的参数即CCD大小的宽高比为w0/h0，可以估算出相机的焦距参数fx和fy,从而获得相机的内存矩阵K。在合理的参数假设范围内，假设外参矩阵为[R|t]，通过该相机参数矩阵能够将三维空间点P(X,Y,Z)映射到二维图像空间m(u,v,1)：即m＝K[R|t]P。
利用上述公式，计算图像点Pt1和Pt2在现实场景中的三维空间坐标P1和P2，计算两点之间的实际长度L’＝||P1–P2||。使用不同的外参假设可以分别计算出对应的测量线误差。根据最小标定误差原则，选择一组使得e＝|L–L’|最小的那一组相机参数。
根据标定得到的相机参数K，对于图像中的每一个位置Pt(x，y)，假设需要检测的物体的实际尺寸为d，计算图像点Pt(x–d/2，y)和Pt(x+d/2，y)在三维空间中的坐标，从而得到其实际的尺寸大小。
203：根据所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分；所述图像采集区域块划分示意图如图5所示。例如：
从场景图像中计算的消逝点位置开始，将场景分割为若干个检测区域，每个检测区域内由远至近对应的物体尺度逐渐增大，利用利用前面步骤标定的摄像机参数，计算出使得该检测区域中的最大最小尺度比例为一个固定值的区域边界。根据分割后的检测区域对应的尺度变化范围，确定一个检测时使用的尺度。具体计算过程如下：
假设需要分割得到的每个检测区域的尺度变化范围为k倍(k>1)，消逝点在图像中的Y坐标为Vy，若Vy<0，则令Vy＝0。令x＝图像宽度W/2。
设定第一块检测区域O1的上边沿为Rt1＝Vy，计算点(x，Vy)的物体尺寸ft，然后逐渐增加Y坐标，直到点(x，Vy+dy)的物体尺寸fb＝k*ft，将第一块检测区域O1的下边沿设定为Rb1＝Vy+dy。该检测区域的检测尺度设定为区域的平均尺寸sqrt(k)*ft。
第二块检测区域O2的上边沿设定在第一块检测区域的下边沿之上，保证两块检测区域之间有一定的重叠区域O1，即Rt1＝Rb1–O1，程序中重叠区域O1的选择使得第二块区域O2上边沿处的物体尺寸为第一块区域下边沿处物体尺寸的m倍，m的一个比较合理的取值是0.8。
重复上述过程，直至计算得到的检测区域已经覆盖整个图像范围，最终得到一系列的检测区域以及其各自的检测尺度。
204：根据所述检测模型，调整所述图像采集区域块的尺度，以便所述图像采集区域块的尺度与所述检测模型的尺度相匹配。具体的讲，就是根据检测模型训练的目标比例，将图像采集区域块的图像比例进行调整，以便所述检测模型更加精确的进行目标检索，获取目标的检测信息及其对应置信度。
基于以上第一实施方式和第二实施方式，本发明中所述根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合步骤，具体包括：
根据所述图像采集区域块及检测模型，对所述待检测图像帧组中的图像帧中各个图像采集区域块进行检测，获取各个检测图像帧中目标的检测信息及其对应置信度；
预设初始待检测图像帧组；
获取所述初始待检测图像帧组中各个图像帧中目标的检测信息及其对应置信度；
跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合。该步骤具体包括：获取匹配阈值；通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；获取所述初始待检测图像帧组的下一帧组中各个图像帧中目标的检测信息及其置信度；所述初始待检测图像帧组的下一帧组中各个图像帧中目标包括：所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像目标和所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标；判断所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内；如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取；获取所述目标的轨迹集合；所述目标的轨迹集合包括：至少一个目标的轨迹；所述目标的轨迹包括：同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
需要说明的是，该方法还包括：预置所述置信度的衰减系数；当采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息时，所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始待检测图像帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
还需要说明的是，该方法还包括：预置置信度阈值；判断所述目标的检测信息对应的置信度是否低于所述置信度阈值；如果低于所述置信度阈值，则停止所述目标的轨迹跟踪。
还需要说明的是，该方法还包括：
获取所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度；
将所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
还需要说明的是，该方法还包括：获取所述目标的轨迹集合的筛选规则；根据所述目标的轨迹集合的筛选规则，进行目标统计。
基于以上实施例，本发明技术方案可以根据以上获取到的目标统计结果，即人、车运动轨迹，判断目标人、车是否进入区域、离开区域还是在区域内逗留。从而可以统计出区域内的人、车的数量，以及在一段时间内经过或者逗留在该广告牌的人、车数量。最后将统计的数据发送给数据中心。
还需要说明的是，如果人脸在画面中呈现的质量较高，则还可以运用人脸识别技术识别画面中人的年龄和性别，并将识别结果通过网络发送到数据中心。通过所述人脸识别，使用深度学习方法来对人脸的性别和年龄进行预测分析例如：从每一条匹配得到的人脸模型轨迹中选出检测置信度最高的几个结果用于分析，将每张图像的性别和年龄分类结果进行投票决定最终目标人脸的性别和年龄。所述数据中心根据时间、空间、广告内容、类型进行交叉分析，并将广告效果的分析结果以可视化图形的形式呈现。
本发明第三实施方式涉及一种基于视频分析的广告牌监测装置，如图3所示，包括：信息获取单元301，用于获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；信息处理单元302，用于根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；目标统计单元303，用于根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合。
其中，所述信息处理单元，具体用于获取待检测场景图像标定帧；根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息；根据所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分；根据所述检测模型，调整所述图像采集区域块的尺度，以便所述图像采集区域块的尺度与所述检测模型的尺度相匹配。
需要说明的是，所述标定参数包括：图像中平行线段的标定位置参数，图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度；所述图像采集装置的标定信息包括：视频采集装置的内参矩阵及外参矩阵；
所述信息处理单元，具体还用于根据所述图像中平行线段的标定位置参数，获取所述待检测图像帧组中的各个帧图像的消逝点位置信息；根据所述图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度，获取所述视频采集装置的内参矩阵及外参矩阵。
还需要说明的是，所述目标统计单元，具体用于根据所述图像采集区域块及检测模型，对所述待检测图像帧组中的图像帧中各个图像采集区域块进行检测，获取各个检测图像帧中目标的检测信息及其对应置信度；预设初始待检测图像帧组；获取所述初始待检测图像帧组中各个图像帧中目标的检测信息及其对应置信度；跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合；所述目标统计单元，具体用于获取匹配阈值；通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；获取所述初始待检测图像帧组的下一帧组中各个图像帧中目标的检测信息及其置信度；所述初始待检测图像帧组的下一帧组中各个图像帧中目标包括：所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像目标和所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标；判断所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内；如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；
如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取；获取所述目标的轨迹集合；所述目标的轨迹集合包括：至少一个目标的轨迹；所述目标的轨迹包括：同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
还需要说明的是，该装置还包括：系数设置单元，用于预置所述置信度的衰减系数，并用于当采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息时，所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始待检测图像帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
还需要说明的是，该装置还包括：判断单元，用于预置置信度阈值；判断所述目标的检测信息对应的置信度是否低于所述置信度阈值；如果低于所述置信度阈值，则停止所述目标的轨迹跟踪。
还需要说明的是，该装置还包括：添加单元，用于获取所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度；将所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
还需要说明的是，该装置还包括：目标统计单元，用于获取所述目标的轨迹集合的筛选规则；根据所述目标的轨迹集合的筛选规则，进行目标统计。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
图4为本发明电子设备一个实施例的结构示意图，可以实现本发明图1-2所示实施例的流程，如图4所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，所述电路板44安置在所述壳体41围成的空间内部，所述处理器42和所述存储器43设置在所述电路板44上；所述电源电路45，用于为上述电子设备的各个电路或器件供电；所述存储器43用于存储可执行程序代码；所述处理器42通过读取所述存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的基于视频分析的广告牌监测方法。
所述处理器42对上述步骤的具体执行过程以及所述处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1-2所示实施例的描述，在此不再赘述。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种基于视频分析的广告牌监测方法，其特征在于，包括：
获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；
根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；
根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合；
其中，所述根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型的步骤，具体包括：
获取待检测场景图像标定帧；
根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息；
根据所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分；
根据所述检测模型，调整所述图像采集区域块的尺度，以便所述图像采集区域块的尺度与所述检测模型的尺度相匹配；
其中，所述标定参数包括：图像中平行线段的标定位置参数，图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度；所述图像采集装置的标定信息包括：视频采集装置的内参矩阵及外参矩阵；
根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息的步骤，具体包括：
根据所述图像中平行线段的标定位置参数，获取所述待检测场景图像标定帧中的消逝点位置信息；
根据所述图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度，获取所述视频采集装置的内参矩阵及外参矩阵；
其中，所述根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合步骤，具体包括：
根据所述图像采集区域块及检测模型，对所述待检测图像帧组中的图像帧中各个图像采集区域块进行检测，获取各个检测图像帧中目标的检测信息及其对应置信度；
预设初始待检测图像帧组；
获取所述初始待检测图像帧组中各个图像帧中目标的检测信息及其对应置信度；
跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合；
其中，所述跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合步骤，具体包括：
获取匹配阈值；
通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；
获取所述初始待检测图像帧组的下一帧组中各个图像帧中目标的检测信息及其置信度；所述初始待检测图像帧组的下一帧组中各个图像帧中目标包括：所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像目标和所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标；
判断所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内；
如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；
如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取；
获取所述目标的轨迹集合；所述目标的轨迹集合包括：至少一个目标的轨迹；所述目标的轨迹包括：同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
2.根据权利要求1所述的基于视频分析的广告牌监测方法，其特征在于，该方法还包括：
预置所述置信度的衰减系数；
当采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息时，所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始待检测图像帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
3.根据权利要求1或2所述的基于视频分析的广告牌监测方法，其特征在于，该方法还包括：
预置置信度阈值；
判断所述目标的检测信息对应的置信度是否低于所述置信度阈值；
如果低于所述置信度阈值，则停止所述目标的轨迹跟踪。
4.根据权利要求3所述的基于视频分析的广告牌监测方法，其特征在于，该方法还包括：
获取所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度；
将所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
5.根据权利要求4所述的基于视频分析的广告牌监测方法，其特征在于，该方法还包括：
获取所述目标的轨迹集合的筛选规则；
根据所述目标的轨迹集合的筛选规则，进行目标统计。
6.一种基于视频分析的广告牌监测装置，其特征在于，包括：
信息获取单元，用于获取待检测图像帧组及标定参数；所述待检测图像帧组包括至少一帧图像；
信息处理单元，用于根据所述标定参数，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分，获取所述待检测图像帧组中的各个帧图像的图像采集区域块及检测模型；
目标统计单元，用于根据所述图像采集区域块及检测模型，对所述待检测图像帧组中帧图像进行检测跟踪，获取目标的轨迹集合；
其中，所述信息处理单元，具体用于获取待检测场景图像标定帧；根据所述标定参数，获取所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息；根据所述待检测场景图像标定帧中的消逝点位置信息及图像采集装置的标定信息，对所述待检测图像帧组中的各个帧图像进行图像采集区域块划分；根据所述检测模型，调整所述图像采集区域块的尺度，以便所述图像采集区域块的尺度与所述检测模型的尺度相匹配；
其中，所述标定参数包括：图像中平行线段的标定位置参数，图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度；所述图像采集装置的标定信息包括：视频采集装置的内参矩阵及外参矩阵；
所述信息处理单元，具体还用于根据所述图像中平行线段的标定位置参数，获取所述待检测场景图像标定帧中的消逝点位置信息；根据所述图像中标定物体的位置参数及该物体在三维空间中的实际长度，图像传感器的参数，视频采集装置的安装高度及俯仰角度，获取所述视频采集装置的内参矩阵及外参矩阵；
其中，所述目标统计单元，具体用于根据所述图像采集区域块及检测模型，对所述待检测图像帧组中的图像帧中各个图像采集区域块进行检测，获取各个检测图像帧中目标的检测信息及其对应置信度；预设初始待检测图像帧组；获取所述初始待检测图像帧组中各个图像帧中目标的检测信息及其对应置信度；跟踪所述初始待检测图像帧组中各个图像帧中目标，获取所述目标的轨迹集合；所述目标统计单元，具体用于获取匹配阈值；通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；获取所述初始待检测图像帧组的下一帧组中各个图像帧中目标的检测信息及其置信度；所述初始待检测图像帧组的下一帧组中各个图像帧中目标包括：所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像目标和所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标；判断所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内；如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息；
如果所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内，则所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取；获取所述目标的轨迹集合；所述目标的轨迹集合包括：至少一个目标的轨迹；所述目标的轨迹包括：同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
7.根据权利要求6所述的基于视频分析的广告牌监测装置，其特征在于，该装置还包括：
系数设置单元，用于预置所述置信度的衰减系数，并用于当采用所述通过图像预测算法获取所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息时，所述初始待检测图像帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始待检测图像帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
8.根据权利要求6或7所述的基于视频分析的广告牌监测装置，其特征在于，该装置还包括：
判断单元，用于预置置信度阈值；判断所述目标的检测信息对应的置信度是否低于所述置信度阈值；如果低于所述置信度阈值，则停止所述目标的轨迹跟踪。
9.根据权利要求8所述的基于视频分析的广告牌监测装置，其特征在于，该装置还包括：
添加单元，用于获取所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度；将所述初始待检测图像帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
10.根据权利要求9所述的基于视频分析的广告牌监测装置，其特征在于，该装置还包括：
目标统计单元，用于获取所述目标的轨迹集合的筛选规则；根据所述目标的轨迹集合的筛选规则，进行目标统计。
11.一种电子设备，其特征在于，所述包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行权利要求1-5中任一所述的基于视频分析的广告牌监测方法。
CN201610505966.XA 2016-06-30 2016-06-30 一种基于视频分析的广告牌监测方法、装置及电子设备 Active CN106204549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610505966.XA CN106204549B (zh) 2016-06-30 2016-06-30 一种基于视频分析的广告牌监测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610505966.XA CN106204549B (zh) 2016-06-30 2016-06-30 一种基于视频分析的广告牌监测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN106204549A CN106204549A (zh) 2016-12-07
CN106204549B true CN106204549B (zh) 2018-09-11

Family

ID=57463056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610505966.XA Active CN106204549B (zh) 2016-06-30 2016-06-30 一种基于视频分析的广告牌监测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN106204549B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740441A (zh) * 2018-12-10 2019-05-10 平安科技（深圳）有限公司 基于图像识别的目标检测方法、装置及终端设备
CN109948611B (zh) * 2019-03-14 2022-07-08 腾讯科技（深圳）有限公司 一种信息区域确定的方法、信息展示的方法及装置
CN111046788A (zh) * 2019-12-10 2020-04-21 北京文安智能技术股份有限公司 一种停留人员的检测方法、装置及系统
CN112200190B (zh) * 2020-10-30 2024-04-19 北京百度网讯科技有限公司 兴趣点的位置确定方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523482B (zh) * 2011-12-07 2014-07-23 中山大学 一种基于视频内容以及回归方法的广告监测技术
CN104661087A (zh) * 2013-11-20 2015-05-27 北京思博途信息技术有限公司 一种生成电视广告监播信息的方法及装置
CN104349143A (zh) * 2014-11-11 2015-02-11 广东中星电子有限公司 一种视频监控方法、设备和系统
WO2016149938A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 视频监控方法、视频监控系统以及计算机程序产品
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统

Also Published As

Publication number Publication date
CN106204549A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106767852B (zh) 一种生成探测目标信息的方法、装置和设备
CN106204549B (zh) 一种基于视频分析的广告牌监测方法、装置及电子设备
CN109446883B (zh) 商品状态识别方法、装置、电子设备及可读存储介质
CN109087510B (zh) 交通监测方法及装置
US20080306756A1 (en) Shopper view tracking and analysis system and method
CN107924461B (zh) 用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关计算机可执行代码
CN110163889A (zh) 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN108921925A (zh) 基于激光雷达和视觉融合的语义点云生成方法和装置
CN111160125A (zh) 基于铁路监控的铁路异物入侵检测方法
CN101167086A (zh) 用于安全应用的人体检测和跟踪
CN108388879A (zh) 目标的检测方法、装置和存储介质
CN109285149A (zh) 人脸图像质量的评估方法、装置及计算设备
CN103063143A (zh) 基于图像识别的测量方法及其系统
CN107122735A (zh) 一种基于深度学习和条件随机场的多目标跟踪方法
CN109741144B (zh) 商品核验方法、装置、主机及设备
CN103514429B (zh) 检测对象的特定部位的方法及图像处理设备
US11321855B2 (en) Multi-camera homogeneous object trajectory alignment
CN109977824B (zh) 物品取放识别方法、装置及设备
CN114295649B (zh) 一种信息关联方法、装置、电子设备及存储介质
CN110287907A (zh) 一种对象检测方法和装置
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN106296708B (zh) 车辆追踪方法和装置
CN108957024A (zh) 一种速度测量的方法、装置以及电子设备
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
JP2020160840A (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Unit 801, Unit 5, No. 2 Building, 9 Yuan, Fenghao East Road, Haidian District, Beijing 100094

Patentee after: Wen'an Beijing intelligent technology Limited by Share Ltd

Address before: 100085 Fourth Floor of Huanyang Building, 7th Building, No. 1 Courtyard, Shangdi East Road, Haidian District, Beijing

Patentee before: Wen'an Beijing intelligent technology Limited by Share Ltd