CN112822442A - 热度图生成方法、装置及电子设备 - Google Patents

热度图生成方法、装置及电子设备 Download PDF

Info

Publication number
CN112822442A
CN112822442A CN202011618389.8A CN202011618389A CN112822442A CN 112822442 A CN112822442 A CN 112822442A CN 202011618389 A CN202011618389 A CN 202011618389A CN 112822442 A CN112822442 A CN 112822442A
Authority
CN
China
Prior art keywords
monitoring video
path
monitoring
image
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011618389.8A
Other languages
English (en)
Other versions
CN112822442B (zh
Inventor
沈阳
熊辉
刘银杰
辛睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011618389.8A priority Critical patent/CN112822442B/zh
Publication of CN112822442A publication Critical patent/CN112822442A/zh
Application granted granted Critical
Publication of CN112822442B publication Critical patent/CN112822442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提出了热度图生成方法、装置及电子设备。其中，一种热度图生成方法，包括：获取对监控区域的多路监控视频的热度数据，每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果；获取每路监控视频中图像相对于背景图像的调整信息，其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置；根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。该热度图生成方法能够提高热度图中热度数据的准确度。

Description

热度图生成方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，特别涉及热度图生成方法、装置及电子设备。
背景技术
在一些应用场景中，监控区域可以部署多个摄像机，以避免出现监控盲区。为了对监控区域内目标对象(例如人员或者购物车等)进行统计分析，管理摄像机的图像数据的平台可以生成热度图。热度图生成方案可以将多个摄像机的视频进行拼接，以得到与监控区域对应的全局视频。在此基础上，热度图生成方案可以利用全局视频对目标对象进行统计分析，以得到相应的热度数据，进而利用热度数据在背景图片基础上生成热度图。
然而，全局视频拼接方式容易出现全局视频的图像帧与背景图之间存在坐标差异，目前的热度图生成方案容易出现热度数据在背景图上位置存在误差的情况，即热度图存在数据误差。
因此，如何提高热度图的数据准确度是需要解决的技术问题。
发明内容
本申请提出了热度图生成方法、装置、电子设备及存储介质，能够提高热度图中热度数据的准确度。
根据本申请一个方面，提供一种热度图生成方法，包括：
获取对监控区域的多路监控视频的热度数据，每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果；
获取每路监控视频中图像相对于背景图像的调整信息，其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置；
根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的位置点所对应的距背景图像中参考点的平移量；
根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图，包括：
针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像坐标系中对应的坐标，所述目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据；
根据每路监控视频的目标热度数据在背景图像坐标系中对应的坐标和每路监控视频的目标热度数据，生成对监控区域的热度图。
在一些实施例中，所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图，包括：
针对多路监控视频中的任一路监控视频，根据由该路监控视频的第一调整结果确定的缩放比例，对该路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据；或者，针对多路监控视频中的任一路监控视频，根据该路监控视频的调整信息进一步包括的第二调整结果，对该路监控视频的热度数据进行缩放处理和/或旋转处理，得到该路监控视频的经过处理的热度数据，其中，该路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度；
针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置；
根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
在一些实施例中，每路监控视频中图像相对于背景图像的调整信息的生成方式，包括：
对于任一路监控视频，获取由该路监控视频对应的摄像机采集的标定图像；
对标定图像进行调节操作，以使得调节后的标定图像中图形对象与背景图像的相应图形对象重合，调节操作包括平移、旋转和缩放中至少一种；
根据调节操作，将标定图像相对于背景图像的调整信息确定为该路监控视频中图像相对于背景图像的调整信息。
在一些实施例中，针对多路监控视频中的任一路监控视频，在该路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的两个位置点所对应的距背景图像中参考点的平移量；
由该路监控视频的第一调整结果确定的缩放比例的生成方式，包括：
根据该路监控视频的第一调整结果，确定该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标；
将该路监控视频的两个位置点所对应的在背景图像坐标系中的横坐标之差与两个位置点在该路监控视频的图像坐标系中横坐标之差的比值确定为宽度缩放分量，和/或将该路监控视频的两个位置点所对应的在背景图像坐标系中的纵坐标之差与两个位置点在监控视频的图像坐标系中纵坐标之差的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例；
或者，在该路监控视频的两个位置点为两个角点的情况下，根据两个角点所对应的在背景图像坐标系中的坐标确定该路监控视频的缩放后的热度数据在背景图像坐标系中对应的宽度和/或高度；将所述确定的宽度与该路监控视频的热度数据原始的宽度的比值确定为宽度缩放分量，和/或将所述确定的高度与该路监控视频的热度数据原始的高度的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
在一些实施例中，根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图，包括：
根据每路监控视频的调整信息，将每路监控视频的目标热度数据渲染在背景图像或者目标图像的目标渲染位置中，得到对监控区域的热度图，其中，目标图像表示背景图像之外与背景图像同尺寸的图像，目标渲染位置与第一调整结果表征的位置相对应，目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。
根据本申请一个方面，提供一种热度图生成装置，包括：
热度数据获取单元，获取对监控区域的多路监控视频的热度数据，每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果；
调整信息获取单元，获取每路监控视频中图像相对于背景图像的调整信息，其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置；
热度图生成单元，根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。
在一些实施例中，热度图生成装置进一步包括调整信息生成单元，根据下述方式生成每路监控视频中图像相对于背景图像的调整信息：对于任一路监控视频，获取由该路监控视频对应的摄像机采集的标定图像；对标定图像进行调节操作，以使得调节后的标定图像中图形对象与背景图像的相应图形对象重合，调节操作包括平移、旋转和缩放中至少一种；根据调节操作，将标定图像相对于背景图像的调整信息确定为该路监控视频中图像相对于背景图像的调整信息。
在一些实施例中，热度图生成单元根据下述方式执行所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图：
根据每路监控视频的调整信息，将每路监控视频的目标热度数据渲染在背景图像或者目标图像的目标渲染位置中，得到对监控区域的热度图，其中，目标图像表示背景图像之外与背景图像同尺寸的图像，目标渲染位置与第一调整结果表征的位置相对应，目标热度数据为所获取的每路监控视频的热度数据或对所获取的每路监控视频的热度数据经过处理的热度数据。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的位置点所对应的距背景图像中参考点的平移量；
热度图生成单元根据下述方式执行所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图：针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像坐标系中对应的坐标，所述目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据；根据每路监控视频的目标热度数据在背景图像坐标系中对应的坐标和每路监控视频的目标热度数据，生成对监控区域的热度图。
在一些实施例中，热度图生成单元根据下述方式执行所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图：针对多路监控视频中的任一路监控视频，根据由该路监控视频的第一调整结果确定的缩放比例，对每路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据；或者，针对多路监控视频中的任一路监控视频，根据该路监控视频的调整信息进一步包括的第二调整结果，对每路监控视频的热度数据进行缩放处理和/或旋转处理，得到每路监控视频的经过处理的热度数据，其中，每路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度；
针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置；根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
在一些实施例中，在每路监控视频的第一调整结果包括在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的两个位置点所对应的距背景图像中参考点的平移量的情况下，调整信息获取单元由该路监控视频的第一调整结果确定缩放比例的方式包括：
根据该路监控视频的第一调整结果，确定该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标；将该路监控视频的两个位置点所对应的在背景图像坐标系中的横坐标之差与两个位置点在该路监控视频的图像坐标系中横坐标之差的比值确定为宽度缩放分量，和/或将该路监控视频的两个位置点所对应的在背景图像坐标系中的纵坐标之差与两个位置点在监控视频的图像坐标系中纵坐标之差的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例；
或者，在该路监控视频的两个位置点为两个角点的情况下，根据两个角点所对应的在背景图像坐标系中的坐标确定该路监控视频的缩放后的热度数据在背景图像坐标系中对应的宽度和/或高度；将所述确定的宽度与该路监控视频的热度数据原始的宽度的比值确定为宽度缩放分量，和/或将所述确定的高度与该路监控视频的热度数据原始的高度的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
根据本申请一个方面，提供一种电子设备，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行根据本申请实施例的热度图生成方法的指令。
根据本申请一个方面，提供一种计算机可读存储介质，所述存储介质内存储有程序，所述程序包括用于执行根据本申请实施例的热度图生成方法的指令。
根据本申请一个方面，提供一种程序，所述程序包括用于执行根据本申请实施例的热度图生成方法的指令。
综上，根据本申请实施例的热度图生成方案，可以获取每路监控视频对应的调整信息中第一调整结果。由于每路监控视频的第一调整结果能够表征在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置，根据本申请实施例的热度图生成方案，根据多路监控视频的第一调整结果和多路监控视频的热度数据生成热度图，能够提高每路监控视频的热度数据相对于监控区域的位置准确度。另外说明的是，如果采用拼接视频方式生成热度图的方式(即，直接将多路监控视频进行拼接，并在拼接视频的图像中生成热度数据，最后利用热度数据和背景图像生成热度图)，则拼接视频的坐标误差(例如，拼接视频中图形对象与背景图像中相应图形对象的坐标偏差)会导致热度数据存在位置误差。与拼接视频方式生成热度图的方式相比，根据本申请实施例的热度图生成方案，能够分别对每路监控视频的热度数据的位置进行校准，从而能够极大提高热度图中热度数据的准确度。
附图说明
图1示出了根据本申请一些实施例的应用场景的示意图；
图2示出了根据本申请一些实施例的热度图生成方法200的流程图；
图3示出了根据本申请一些实施例的获取热度数据的方法300的流程图；
图4示出了根据本申请一些实施例的生成每路监控视频的热度数据的方法400的流程图；
图5A示出了根据本申请一些实施例的确定调整信息的方法500的流程图；
图5B示出了根据本申请一些实施例的监控区域中3个摄像机的分布图；
图5C示出了根据本申请一些实施例的摄像机111的标定图像；
图5D示出了根据本申请一些实施例的摄像机112的标定图像；
图5E示出了根据本申请一些实施例的摄像机113的标定图像；
图5F示出了根据本申请一些实施例的背景图像；
图5G示出了将图5C至图5E中图形对象与图5F中相应图形对象对齐后的重叠示意图；
图6A示出了根据本申请一些实施例的根据热度数据和调整信息生成对监控区域的热度图的方法600的流程图；
图6B示出了根据本申请一些实施例的将图5C的图形对象与图5F中相应图形对象对齐后的重叠示意图；
图6C示出了根据本申请一些实施例的将图5C的图形对象与图5F中相应图形对象对齐后的重叠示意图；
图7示出了根据本申请一些实施例的生成对监控区域的热度图的方法700的流程图；
图8示出了根据本申请一些实施例的由第一调整结果确定的缩放比例的生成方法800的流程图；
图9示出了根据本申请一些实施例的由第一调整结果确定的缩放比例的生成方法900的流程图；
图10示出了根据本申请一些实施例的生成对监控区域的热度图的方法1000的流程图；
图11示出了根据本申请一些实施例的生成对监控区域的热度图的方法1100的流程图；
图12示出了根据本申请一些实施例的生成对监控区域的热度图的方法1200的流程图；
图13示出了根据本申请一些实施例的生成对监控区域的热度图的方法1300的流程图；
图14示出了根据本申请一些实施例的热度图生成装置1400的示意图；
图15示出了根据本申请一些实施例的热度图生成装置1500的示意图；
图16示出了根据本申请一些实施例的电子设备的示意图；
图17示出了根据本申请一些实施例的电子设备的示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。
图1示出了根据本申请一些实施例的应用场景的示意图。
如图1所示，监控区域100例如为超市、商场等各种需要进行视频采集的场景。在监控区域100无法通过单个摄像机进行监控时，本申请实施例可以在监控区域100中部署多个摄像机(例如111、112和113)，以避免出现监控盲区。摄像机可以通过有线或者无线网络与电子设备120通讯连接。电子设备120例如可以是视频服务器、监控终端、网络硬盘录像机等设备。
电子设备120可以获取多个摄像机的多路监控视频，并利用监控视频生成监控区域100的热度图。这里，热度图可以表示对监控区域100内目标对象的统计结果。例如，监控区域100的热度图可以表征监控区域100中一段时间内的人员分布统计、人员数量统计和停留时间统计等信息。在一些实施例中，摄像机可以根据采集的监控视频，生成相应的热度数据。电子设备120可以从多路摄像机中获取多路监控视频的热度数据，并利用多路监控视频的热度数据生成监控区域100的热度图。
下面结合图2对热度图生成方式进行说明。
图2示出了根据本申请一些实施例的热度图生成方法200的流程图。方法200例如可以在电子设备120中执行。
如图2所示，在步骤S201中，获取对监控区域的多路监控视频的热度数据。每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果。在步骤S202中，获取每路监控视频中图像相对于背景图像的调整信息。其中，调整信息包括第一调整结果。每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置。
在步骤S203中，根据每路监控视频的热度数据和调整信息，生成对监控区域的热度图。
综上，根据本申请实施例的热度图生成方法200，可以获取每路监控视频对应的调整信息中第一调整结果。由于每路监控视频的第一调整结果能够表征在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置，热度图生成方法200根据多路监控视频的第一调整结果和多路监控视频的热度数据生成热度图，能够提高每路监控视频的热度数据相对于监控区域的位置准确度。另外说明的是，如果采用拼接视频方式生成热度图的方式(即，直接将多路监控视频进行拼接，并在拼接视频的图像中生成热度数据，最后利用热度数据和背景图像生成热度图)，则拼接视频的坐标误差(例如，拼接视频中图形对象与背景图像中相应图形对象的坐标偏差)会导致热度数据存在位置误差。与拼接视频方式生成热度图的方式相比，热度图生成方法200能够分别对每路监控视频的热度数据的位置进行校准，从而能够极大提高热度图中热度数据的准确度。
在一些实施例中，步骤S203可以根据每路监控视频的调整信息，将每路监控视频的目标热度数据渲染在背景图像或者目标图像的目标渲染位置中，得到对监控区域的热度图。其中，目标图像表示背景图像之外与背景图像同尺寸的图像。目标渲染位置与第一调整结果表征的位置相对应。目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。
若将目标热度数据渲染在背景图像中，目标渲染位置与第一调整结果表征的位置相同，这样，可以从渲染后的背景图像中，直观地看到背景图像的各个区域的热度数据，以了解背景图像的各个区域中目标对象的统计结果。
若将目标热度数据渲染在目标图像中，目标渲染位置与第一调整结果表征的位置一一对应，即当目标图像坐标系与背景图像坐标系设置为同一坐标系的情况下，目标渲染位置在该坐标系中的坐标与第一调整结果表征的位置在该坐标系下的坐标相同。该目标图像可以是透明图像，通过将热度数据背景图像之外与背景图像同尺寸的图像中，本申请实施例生成的热度图能够准确表征监控区域中统计结果。换言之，本申请实施例能够在不显示背景图像细节的情况下，准确呈现监控区域中统计结果相对于监控区域的分布。另外，由于与背景图像同尺寸，在后续要结合热度图与背景图像一并查看时，可以将设置透明度的热度图设覆盖在背景图像上即可，热度图可以避免调整尺寸的麻烦，能够与背景图像直接重叠对齐，从而使得热度图的统计结果可以准确分布在背景图像中。
此外，也可以将该目标热度数据渲染在目标图层的目标渲染位置中，目标图层可以是在背景图像图层之上的图层，目标图层的尺寸可以与背景图像图层尺寸大小相同，目标图层可以为透明图层，从而可以基于已渲染的热度数据，并结合透过该透明图层看到的背景图像，直观地看到背景图像的各个区域的热度数据，以了解背景图像的各个区域中目标对象的统计结果。
综上，在步骤S203将目标热度数据渲染在背景图像中的场景中，本申请实施例可以在热度图中呈现统计结果在背景图像中的分布。另外，在步骤S203将目标热度数据渲染在目标图像的目标渲染位置中的场景中，本申请实施例可以通过设定热度图的透明度，并且将热度图与背景图像进行叠加呈现。
在一些实施例中，每路监控视频的热度数据由采集该路监控视频的摄像机生成。例如，摄像机每间隔预定时长N(例如为60秒)，对预定时长内采集的视频内目标对象进行统计，生成相应的热度数据。服务器每间隔一段时间(例如为M秒，M大于N)对每路摄像机上报的热度数据进行累加，得到每路摄像机的监控视频对应的热度数据。简言之，服务器可以从多路摄像机获取多路监控视频的热度数据。这里，服务器例如可以是电子设备120或者与电子设备120通信的设备。步骤201中获取对监控区域的任一路监控视频的热度数据可以是获取的任一路摄像机直接上报的热度数据，也可以是对一段时间内任一路摄像机上报的热度数据统计后的热度数据，也可以是基于任一路摄像机的监控视频生成的热度数据。每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果。
在一些实施例中，电子设备可以获取对监控区域的多路监控视频。这里，多路监控视频例如为针对监控区域100采集的视频。每路监控视频对应的采集区域为监控区域的局部区域。在此基础上，电子设备可以生成每路监控视频的热度数据。
在一些实施例中，为了提高单个摄像机的监控范围，本申请的实施例的摄像机可以采用鱼眼摄像机。获取热度数据的方式可以实施为方法300。方法300例如可以在电子设备120或者与电子设备120通信的设备中执行。
如图3所示，在步骤S301中，获取由多个鱼眼摄像机采集的多路鱼眼视频。多个鱼眼摄像机分布在监控区域中。
在步骤S302中，对多路鱼眼视频中鱼眼图像进行矫正，以得到多路矫正视频，并将其作为多路监控视频。鱼眼摄像机是一种装有鱼眼镜头的摄像机，此类摄像机焦距较短、视角较大。为了追求达到更大的视角的同时，因光学原理产生的变形也更强烈，视角较大的鱼眼摄像机，画面会发生畸变。对鱼眼图像进行矫正，即将鱼眼图像进行全景展开，步骤S302可以获取无畸变图像。
在步骤S303中，获取每路监控视频的热度数据。每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果。
综上，根据本申请实施例的方法300通过对多路鱼眼视频进行矫正，能得到经过畸变矫正的多路监控视频，从而能够提高热度图中热度数据的位置准确度。
在一些实施例中，一路监控视频的热度数据例如可以是在该路监控视频对应的视野范围的某一段时间内，人员分布、数量、停留时间等情况。视野范围可以划分为网格状，每个网格可以生成相应的统计信息。
在一些实施例中，生成每路监控视频的热度数据的方式可以实施为方法400。方法400例如可以在电子设备120或者摄像机中执行。
如图4所示，在步骤S401中，对于任一路监控视频，将该路监控视频的视野区域进行网格划分，以得到包括多个网格区域的网格阵列。网格阵列的规模可以根据需求进行设定，例如为260*260。
在步骤S402中，对该路监控视频中目标对象进行识别，并生成每个网格区域的统计信息。每个网格区域的统计信息为在该网格区域中目标对象的统计结果。这里，每个网格区域的统计结果例如为人员数量，人员停留时间等数据。
在步骤S403中，根据每个网格区域的统计信息，生成该路监控视频的热度数据。这里，每路监控视频的热度数据可以理解为在该路监控视频的视野范围内，统计信息的分布图。
综上，根据本申请实施例的方法400可以对视野区域内的目标对象(例如人员等)按照网格位置进行统计分析，以生成用于分析购物行为等事务的热度数据。
在一些实施例中，步骤S202涉及的背景图像为监控区域的平面图。这里，平面图例如可以是监控区域的地图、结构绘制图等表示监控区域内物品分布的图像。
在一些实施例中，步骤S202中任一路监控视频的调整信息进一步包括第二调整结果。任一路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度。本申请实施例可以通过方法500确定每路监控视频的调整信息。这里，方法500例如可以在执行方法200之前实施。方法500例如可以由电子设备120等设备执行。
如图5A所示，在步骤S501中，对于任一路监控视频，获取由该路监控视频对应的摄像机采集的标定图像。这里，标定图像例如为摄像机对视野范围的抓拍图。例如，图5B示出了监控区域中3个摄像机的分布图。3个摄像机的标定图像分别为图5C至图5E。
在步骤S502中，对标定图像进行调节操作，以使得调节后的标定图像中图形对象与背景图像的相应图形对象重合。调节操作包括平移、旋转和缩放中至少一种。
步骤S502例如可以根据用户输入进行调节操作。例如，图5F示出了根据本申请一些实施例的背景图像。图5G示出了将图5C至图5E中图形对象(例如为超市的长条形货架)与图5F中相应图形对象对齐后的重叠示意图。
在步骤S503中，根据调节操作，将标定图像相对于背景图像的调整信息确定为该路监控视频中图像相对于背景图像的调整信息。
例如，对于调整信息包括第一调整结果的情况，步骤S503可以根据调节操作，确定第一调整结果。又例如，对于调整信息包括第一调整结果和第二调整结果的情况，步骤S503可以根据调节操作，确定第一调整结果和第二调整结果。综上，方法500可以通过对标定图像进行调节，从而获取监控视频相对于背景图像的调整信息。
在一些实施例中，可以在执行方法500之前，对多路监控视频进行矫正，例如执行前述步骤S301-302，以得到经过畸变矫正的多路监控视频，从而能够得到准确的标定图像相对于背景图像的调整信息，以得到准确的监控视频相对于背景图像的调整信息，进而提高热度图中热度数据的位置准确度。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的位置点所对应的距背景图像中参考点的平移量。这里，任一路监控视频的第一调整结果例如可以包括该路监控视频中图像的至少一个位置点所对应的在背景图像坐标系中的坐标，或者该路监控视频中图像的至少一个位置点所对应的距背景图像中参考点的平移量。
步骤S203可以实施为方法600。
如图6A所示，在步骤S601中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像坐标系中对应的坐标。目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。这里，经过处理的热度数据是指经过旋转处理和/或缩放处理的热度数据。
在步骤S602中，根据每路监控视频的目标热度数据在背景图像坐标系中对应的坐标和每路监控视频的目标热度数据，生成对监控区域的热度图。
综上，方法600可以根据每路监控视频中图像的位置点所对应的在背景图像坐标系中的位置确定目标热度数据在背景图像坐标系中的位置。由于本申请实施列可以准确地确定位置点所对应的在背景图像坐标系中的位置，因此，方法600能够准确确定目标热度数据在背景图像坐标中位置，从而使得热度图能够准确对监控区域中目标对象的统计结果。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的一个位置点的在背景图像坐标系中的坐标。
第一调整结果中位置点例如为监控视频中图像的一个角点。该角点例如为图像的左上角点。背景图像的左上角坐标为(0,0)。即背景图像的左上角为图像坐标系的原点。以图5C的标定图像为例，该标定图像的位置点经过调节操作后，图6B中位置点(左上角点)的坐标分别为(x0，y0)。步骤S601可以根据该位置点所对应的在背景图像坐标系中的坐标，确定目标热度数据在背景图像中的坐标。另外说明的是，每路监控视频的目标热度数据为关于统计结果的数据点矩阵。步骤S601例如可以将左上角点的坐标作为热度数据的左上角数据点的坐标，右下角点的坐标作为目标热度数据的左上角数据点的坐标。另外，这里假设数据点矩阵中任意一个数据点为Aij，i表示列数，j表示行数，i取值范围为[1,M]，j取值范围为[1,N]，M表示目标热度数据的总列数，N表示目标热度数据的总行数。Aij的坐标为(x0+i-1，y0+j-1)。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的一个位置点距背景图像中参考点的平移量。背景图像中参考点例如为背景图像的左上角点。背景图像的左上角点的坐标例如为(0,0)。监控视频中图像的一个位置点例如为a1，a1的平移量例如为(m1，n1)，m1为x轴方向的平移量，n1为y轴方向的平移量。步骤S601可以根据参考位置点的坐标和一个位置点对应的平移量，确定两个位置点在背景图像坐标系中的坐标。例如a1的坐标为(0+m1，0+n1)。在此基础上，步骤S601可以利用根据一个位置点所对应的在背景图像坐标系中的坐标，确定目标热度数据在背景图像中的坐标。
在一些实施例中，第一调整结果包括监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标。两个位置点例如为监控视频中图像的两个角点。两个角点例如为图像的左上角点和右下角点。背景图像的左上角坐标为(0,0)。即背景图像的左上角为图像坐标系的原点。以图5C的标定图像为例，该标定图像的两个位置点经过调节操作后，图6C中两个位置点(左上角点和右下角点)的坐标分别为(x0，y0)和(x1，y1)。步骤S601可以根据两个位置点在背景图像坐标系中的坐标，确定目标热度数据在背景图像中的坐标。步骤S601例如可以将左上角点的坐标作为目标热度数据的左上角数据点的坐标，右下角点的坐标作为目标热度数据的左上角数据点的坐标。另外，这里假设数据点矩阵中任意一个数据点为Aij，i表示列数，j表示行数，i取值范围为[1,M]，j取值范围为[1,N]，M表示目标热度数据的总列数，N表示目标热度数据的总行数。Aij的坐标为(x0+i-1，y0+j-1)。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的两个位置点距背景图像中参考点的平移量。背景图像中参考点例如为背景图像的左上角点。背景图像的左上角点的坐标例如为(0,0)。监控视频中图像的两个位置点例如为a1和a2，a1的平移量例如为(m1，n1)，m1为x轴方向的平移量，n1为y轴方向的平移量。a2的平移量例如为(m2，n2)，m2为x轴方向的平移量，n2为y轴方向的平移量。步骤S601可以根据参考位置点的坐标和两个位置点对应的平移量，确定两个位置点在背景图像坐标系中的坐标。例如a1的坐标为(0+m1，0+n1)，a2的坐标为(0+m2，0+n2)。在此基础上，步骤S601可以利用根据两个位置点所对应的在背景图像坐标系中的坐标，确定目标热度数据在背景图像中的坐标。
在一些实施例中，每路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的一个位置点的在背景图像坐标系中的坐标，或该路监控视频中图像的一个位置点距背景图像中参考点的平移量。
在一些实施例中，步骤S203可以实施为方法700。
如图7所示，在步骤S701中，针对多路监控视频中的任一路监控视频，根据由该路监控视频的第一调整结果确定的缩放比例，对该路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据。
在步骤S702中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置，目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。
在步骤S703中，根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
综上，方法700可以通过第一调整结果，对热度数据进行缩放处理和确定热度数据在背景图像坐标系中位置，从而使得生成的热度图能够准确表示监控区域范围内的目标对象的统计结果的位置。
另外说明的是，由任一路监控视频的第一调整结果确定的缩放比例包括宽度缩放分量和/或高度缩放分量。步骤S701的缩放处理可以包括：根据宽度缩放分量对热度数据进行宽度缩放处理，和/或根据高度缩放分量对热度数据进行高度缩放处理。
例如，一路监控视频的热度数据例如为矩阵A。
Figure BDA0002875480670000131
缩放比例中宽度缩放分量例如为2，高度缩放分量例如为3，在按照缩放比例进行缩放后，经过缩放处理的矩阵例如为矩阵B。
Figure BDA0002875480670000132
另外，在第一调整结果包括监控视频中图像的两个位置点距背景图像中参考点的平移量的情况下，本申请实施例可以根据两个位置点距背景图像中参考点的平移量，确定两个位置点背景图像坐标系中的坐标，在此基础上确定缩放比例。
在一些实施例中，由第一调整结果确定的缩放比例的生成方式，可以实施为方法800。
如图8所示，在步骤S801中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标。
在步骤S802中，将该路监控视频的两个位置点所对应的在背景图像坐标系中的横坐标之差与两个位置点在该路监控视频的图像坐标系中横坐标之差的比值确定为宽度缩放分量，和/或将该路监控视频的两个位置点所对应的在背景图像坐标系中的纵坐标之差与两个位置点在监控视频的图像坐标系中纵坐标之差的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
在一些实施例中，在任一路监控视频的两个位置点为两个角点的情况下，由第一调整结果确定的缩放比例的生成方式，可以实施为方法900。
在步骤S901中，根据两个角点所对应的在背景图像坐标系中的坐标确定该路监控视频的缩放后的热度数据在背景图像坐标系中对应的宽度和/或高度。
在步骤S902中，将确定的宽度与该路监控视频的热度数据原始的宽度的比值确定为宽度缩放分量，和/或将确定的高度与该路监控视频的热度数据原始的高度的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
在一些实施例中，步骤S202获取的每路监控视频的调整信息进一步包括第二调整结果。每路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度。
在一些实施例中，在第二调整结果包括旋转角度情况下，步骤S203可以实施为方法1000。
如图10所示，在步骤S1001中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第二调整结果中旋转角度和由第一调整结果确定的缩放比例，对该路监控视频的热度数据进行缩放处理和旋转处理，得到该路监控视频的经过处理的热度数据。
旋转角度例如为顺时针90度，顺时针180度或者顺时针270度等角度。
例如，热度数据可以示例性表示上文中矩阵A。矩阵A经过缩放处理后得到矩阵B。在顺时针旋转角度为90度时，经过处理的热度数据例如可以表示为矩阵C。
Figure BDA0002875480670000141
在步骤S1002中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置。
例如，每路监控视频的目标热度数据可以表示为如下的数据格式。
Figure BDA0002875480670000142
Figure BDA0002875480670000151
在步骤S1003中，根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
综上，方法1000可以第二调整结果中旋转角度和由第一调整结果确定的缩放比例对热度数据进行处理，并且根据第一调整结果确定目标热度数据在背景图像坐标中的位置，从而使得生成的热度图能够准确表示监控区域范围内的目标对象的统计结果的位置。
在一些实施例中，在第二调整结果包括旋转角度的情况下，步骤S203可以实施为方法1100。
如图11所示，在步骤S1101中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第二调整结果，对该路监控视频的热度数据进行旋转处理，得到该路监控视频的经过处理的热度数据。
在步骤S1102中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置。
在步骤S1103中，根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
综上，方法1100可以根据第二调整结果中旋转角度对热度数据进行旋转处理，并且根据第一调整结果确定目标热度数据在背景图像坐标中的位置，从而使得生成的热度图能够准确表示监控区域范围内的目标对象的统计结果的位置。
在一些实施例中，在第二调整结果包括旋转角度和缩放比例的情况下，步骤S203可以实施为方法1200。
如图12所示，在步骤S1201中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第二调整结果，对该路监控视频的热度数据进行旋转处理和缩放处理，得到该路监控视频的经过处理的热度数据。
在步骤S1202中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置。
在步骤S1203中，根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
综上，方法1200可以根据第二调整结果中旋转角度对热度数据进行旋转处理和缩放处理，并且根据第一调整结果确定目标热度数据在背景图像坐标中的位置，从而使得生成的热度图能够准确表示监控区域范围内的目标对象的统计结果的位置。
在一些实施例中，在第二调整结果包括缩放比例的情况下，步骤S203可以实施为方法1300。
如图13所示，在步骤S1301中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第二调整结果，对该路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据。
在步骤S1302中，针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置。
在步骤S1303中，根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
综上，方法1300可以根据第二调整结果中旋转角度对热度数据进行缩放处理，并且根据第一调整结果确定目标热度数据在背景图像坐标中的位置，从而使得生成的热度图能够准确表示监控区域范围内的目标对象的统计结果的位置。
图14示出了根据本申请一些实施例的热度图生成装置1400的示意图。热度图生成装置1400例如可以在电子设备120中执行。
如图14所示，热度图生成装置1400可以包括：热度数据获取单元1401、调整信息获取单元1402和热度图生成单元1403。
热度数据获取单元1401，获取对监控区域的多路监控视频的热度数据。每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果。
调整信息获取单元1402，获取每路监控视频中图像相对于背景图像的调整信息。其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置。
热度图生成单元1403，根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。
综上，根据本申请实施例的热度图生成装置1400，可以获取每路监控视频对应的调整信息中第一调整结果。由于每路监控视频的第一调整结果能够表征在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置，热度图生成装置1400根据多路监控视频的第一调整结果和多路监控视频的热度数据生成热度图，能够提高每路监控视频的热度数据相对于监控区域的位置准确度。另外说明的是，如果采用拼接视频方式生成热度图的方式(即，直接将多路监控视频进行拼接，并在拼接视频的图像中生成热度数据，最后利用热度数据和背景图像生成热度图)，则拼接视频的坐标误差(例如，拼接视频中图形对象与背景图像中相应图形对象的坐标偏差)会导致热度数据存在位置误差。与拼接视频方式生成热度图的方式相比，热度图生成装置1400能够分别对每路监控视频的热度数据的位置进行校准，从而能够极大提高热度图中热度数据的准确度。
在一些实施例中，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的位置点所对应的距背景图像中参考点的平移量。
热度图生成单元1403可以针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像坐标系中对应的坐标。目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。根据每路监控视频的目标热度数据在背景图像坐标系中对应的坐标和每路监控视频的目标热度数据，热度图生成单元1403生成对监控区域的热度图。
在一些实施例中，针对多路监控视频中的任一路监控视频，热度图生成单元1403可以根据由该路监控视频的第一调整结果确定的缩放比例，对该路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据。针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，热度图生成单元1403确定每路监控视频的目标热度数据在背景图像中对应的位置。根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，热度图生成单元1403可以生成对监控区域的热度图。
在一些实施例中，针对多路监控视频中的任一路监控视频，热度图生成单元1403可以根据该路监控视频的调整信息进一步包括的第二调整结果，对该路监控视频的热度数据进行缩放处理和/或旋转处理，得到该路监控视频的经过处理的热度数据。其中，该路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度。针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，热度图生成单元1403确定该路监控视频的目标热度数据在背景图像中对应的位置。根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，热度图生成单元1403生成对监控区域的热度图。
在一些实施例中，针对多路监控视频中的任一路监控视频，在该路监控视频的第一调整结果包括在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的两个位置点所对应的距背景图像中参考点的平移量的情况下，调整信息获取单元1402可以根据下述方式由该路监控视频的第一调整结果确定缩放比例：根据该路监控视频的第一调整结果，调整信息获取单元1402确定该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标。调整信息获取单元1402将该路监控视频的两个位置点所对应的在背景图像坐标系中的横坐标之差与两个位置点在该路监控视频的图像坐标系中横坐标之差的比值确定为宽度缩放分量，和/或将该路监控视频的两个位置点所对应的在背景图像坐标系中的纵坐标之差与两个位置点在监控视频的图像坐标系中纵坐标之差的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
在一些实施例中，在该路监控视频的两个位置点为两个角点的情况下，调整信息获取单元1402可以根据两个角点所对应的在背景图像坐标系中的坐标确定该路监控视频的缩放后的热度数据在背景图像坐标系中对应的宽度和/或高度。调整信息获取单元1402将确定的宽度与该路监控视频的热度数据原始的宽度的比值确定为宽度缩放分量，和/或将确定的高度与该路监控视频的热度数据原始的高度的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
在一些实施例中，热度图生成单元1403根据每路监控视频的调整信息，将每路监控视频的目标热度数据渲染在背景图像或者目标图像的目标渲染位置中，得到对监控区域的热度图。其中，目标图像表示背景图像之外与背景图像同尺寸的图像，目标渲染位置与第一调整结果表征的位置相对应，目标热度数据为所获取的每路监控视频的热度数据或对所获取的每路监控视频的热度数据经过处理的热度数据。
图15示出了根据本申请一些实施例的热度图生成装置1500的示意图。热度图生成装置1500例如可以在电子设备120中执行。
如图15所示，热度图生成装置1500可以包括：热度数据获取单元1501、调整信息获取单元1502、热度图生成单元1503和调整信息生成单元1504。
热度数据获取单元1501，获取对监控区域的多路监控视频的热度数据。每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果。
调整信息获取单元1502，获取每路监控视频中图像相对于背景图像的调整信息。其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置。
热度图生成单元1503，根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。
对于任一路监控视频，调整信息生成单元1504可以获取由该路监控视频对应的摄像机采集的标定图像。调整信息生成单元1504对标定图像进行调节操作，以使得调节后的标定图像中图形对象与背景图像的相应图形对象重合，调节操作包括平移、旋转和缩放中至少一种。根据调节操作，调整信息生成单元1504将标定图像相对于背景图像的调整信息确定为该路监控视频中图像相对于背景图像的调整信息。
图16示出了根据本申请一些实施例的电子设备的示意图
如图16所示，电子设备包括存储器1601、处理器1602和程序1603。程序1603存储在该存储器1601中并被配置为由处理器1602执行。程序包括用于执行热度图生成方法300的指令。
图17示出了根据本申请一些实施例的电子设备的示意图。如图17所示，该电子设备包括一个或者多个处理器(CPU)1702、通信模块1704、存储器1706、用户接口1710，以及用于互联这些组件的通信总线1708。
处理器1702可通过通信模块1704接收和发送数据以实现网络通信和/或本地通信。
用户接口1710包括一个或多个输出设备1712，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1710也包括一个或多个输入设备1714。用户接口1710例如可以接收遥控器的指令，但不限于此。
存储器1706可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1706存储处理器1702可执行的指令集，包括：
操作系统1716，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1718，包括用于实现上述热度图生成方法的各种程序。这种程序能够实现上述各实例中的处理流程，比如可以包括热度图生成方法。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得电子设备执行根据本申请的热度图生成方法。
本申请还公开了一种程序。该程序包括指令，所述指令当由处理器执行时，使得电子设备执行根据本申请的热度图生成方法。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种热度图生成方法，其特征在于，包括：
获取对监控区域的多路监控视频的热度数据，每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果；
获取每路监控视频中图像相对于背景图像的调整信息，其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置；
根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。
2.如权利要求1所述的热度图生成方法，其特征在于，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的位置点所对应的距背景图像中参考点的平移量；
根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图，包括：
针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像坐标系中对应的坐标，所述目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据；
根据每路监控视频的目标热度数据在背景图像坐标系中对应的坐标和每路监控视频的目标热度数据，生成对监控区域的热度图。
3.如权利要求1所述的热度图生成方法，其特征在于，所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图，包括：
针对多路监控视频中的任一路监控视频，根据由该路监控视频的第一调整结果确定的缩放比例，对该路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据；或者，针对多路监控视频中的任一路监控视频，根据该路监控视频的调整信息进一步包括的第二调整结果，对该路监控视频的热度数据进行缩放处理和/或旋转处理，得到该路监控视频的经过处理的热度数据，其中，该路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度；
针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像中对应的位置，所述目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据；
根据每路监控视频的目标热度数据在背景图中对应的位置和每路监控视频的目标热度数据，生成对监控区域的热度图。
4.如权利要求1-3中任一项所述的热度图生成方法，其特征在于，每路监控视频中图像相对于背景图像的调整信息的生成方式，包括：
对于任一路监控视频，获取由该路监控视频对应的摄像机采集的标定图像；
对标定图像进行调节操作，以使得调节后的标定图像中图形对象与背景图像的相应图形对象重合，调节操作包括平移、旋转和缩放中至少一种；
根据调节操作，将标定图像相对于背景图像的调整信息确定为该路监控视频中图像相对于背景图像的调整信息。
5.如权利要求3所述的热度图生成方法，其特征在于，针对多路监控视频中的任一路监控视频，该路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的两个位置点所对应的距背景图像中参考点的平移量；
由该路监控视频的第一调整结果确定的缩放比例的生成方式，包括：
根据该路监控视频的第一调整结果，确定该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标；
将该路监控视频的两个位置点所对应的在背景图像坐标系中的横坐标之差与两个位置点在该路监控视频的图像坐标系中横坐标之差的比值确定为宽度缩放分量，和/或将该路监控视频的两个位置点所对应的在背景图像坐标系中的纵坐标之差与两个位置点在监控视频的图像坐标系中纵坐标之差的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例；
或者，在该路监控视频的两个位置点为两个角点的情况下，根据两个角点所对应的在背景图像坐标系中的坐标确定该路监控视频的缩放后的热度数据在背景图像坐标系中对应的宽度和/或高度；将所述确定的宽度与该路监控视频的热度数据原始的宽度的比值确定为宽度缩放分量，和/或将所述确定的高度与该路监控视频的热度数据原始的高度的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
6.如权利要求1所述的热度图生成方法，其特征在于，根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图，包括：
根据每路监控视频的调整信息，将每路监控视频的目标热度数据渲染在背景图像或者目标图像的目标渲染位置中，得到对监控区域的热度图，其中，目标图像表示背景图像之外与背景图像同尺寸的图像，目标渲染位置与第一调整结果表征的位置相对应，目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。
7.一种热度图生成装置，其特征在于，包括：
热度数据获取单元，获取对监控区域的多路监控视频的热度数据，每路监控视频对应的采集区域为监控区域的局部区域，每路监控视频的热度数据用于表征对该路监控视频中目标对象的统计结果；
调整信息获取单元，获取每路监控视频中图像相对于背景图像的调整信息，其中，调整信息包括第一调整结果，每路监控视频对应的第一调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像所对应的在背景图像中的位置；
热度图生成单元，根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图。
8.如权利要求7所述的热度图生成装置，其特征在于，进一步包括调整信息生成单元，根据下述方式生成每路监控视频中图像相对于背景图像的调整信息：对于任一路监控视频，获取由该路监控视频对应的摄像机采集的标定图像；对标定图像进行调节操作，以使得调节后的标定图像中图形对象与背景图像的相应图形对象重合，调节操作包括平移、旋转和缩放中至少一种；根据调节操作，将标定图像相对于背景图像的调整信息确定为该路监控视频中图像相对于背景图像的调整信息；
热度图生成单元根据下述方式执行所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图：
根据每路监控视频的调整信息，将每路监控视频的目标热度数据渲染在背景图像或者目标图像的目标渲染位置中，得到对监控区域的热度图，其中，目标图像表示背景图像之外与背景图像同尺寸的图像，目标渲染位置与第一调整结果表征的位置相对应，目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据。
9.如权利要求7所述的热度图生成装置，其特征在于，任一路监控视频的第一调整结果包括：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的位置点所对应的距背景图像中参考点的平移量；
热度图生成单元根据下述方式执行所述根据每路监控视频的热度数据和每路监控视频的调整信息，生成对监控区域的热度图：
针对多路监控视频中的任一路监控视频，根据由该路监控视频的第一调整结果确定的缩放比例，对该路监控视频的热度数据进行缩放处理，得到该路监控视频的经过处理的热度数据；或者，针对多路监控视频中的任一路监控视频，根据该路监控视频的调整信息进一步包括的第二调整结果，对该路监控视频的热度数据进行缩放处理和/或旋转处理，得到该路监控视频的经过处理的热度数据，其中，该路监控视频的第二调整结果用于表征：在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频的图像的缩放比例和/或旋转角度；
针对多路监控视频中的任一路监控视频，根据该路监控视频的第一调整结果，确定该路监控视频的目标热度数据在背景图像坐标系中对应的坐标，所述目标热度数据为所获取的任一路监控视频的热度数据或对所获取的任一路监控视频的热度数据经过处理的热度数据；
根据每路监控视频的目标热度数据在背景图像坐标系中对应的坐标和每路监控视频的目标热度数据，生成对监控区域的热度图；
其中，针对多路监控视频中的任一路监控视频，在该路监控视频的第一调整结果包括在该路监控视频的图像中图形对象与背景图像中相应图形对象对齐时，该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标，或该路监控视频中图像的两个位置点所对应的距背景图像中参考点的平移量的情况下，调整信息获取单元由第一调整结果确定缩放比例的方式包括：
根据该路监控视频的第一调整结果，确定该路监控视频中图像的两个位置点所对应的在背景图像坐标系中的坐标；将该路监控视频的两个位置点所对应的在背景图像坐标系中的横坐标之差与两个位置点在该路监控视频的图像坐标系中横坐标之差的比值确定为宽度缩放分量，和/或将该路监控视频的两个位置点所对应的在背景图像坐标系中的纵坐标之差与两个位置点在监控视频的图像坐标系中纵坐标之差的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例；
或者，在该路监控视频的两个位置点为两个角点的情况下，根据两个角点所对应的在背景图像坐标系中的坐标确定该路监控视频的缩放后的热度数据在背景图像坐标系中对应的宽度和高度；将所述确定的宽度与该路监控视频的热度数据原始的宽度的比值确定为宽度缩放分量，和/或将所述确定的高度与该路监控视频的热度数据原始的高度的比值确定为高度缩放分量，得到该路监控视频的包含宽度缩放分量和/或高度缩放分量的缩放比例。
10.一种电子设备，其特征在于，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行权利要求1-6中任一项所述热度图生成方法的指令。
CN202011618389.8A 2020-12-31 2020-12-31 热度图生成方法、装置及电子设备 Active CN112822442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011618389.8A CN112822442B (zh) 2020-12-31 2020-12-31 热度图生成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011618389.8A CN112822442B (zh) 2020-12-31 2020-12-31 热度图生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112822442A true CN112822442A (zh) 2021-05-18
CN112822442B CN112822442B (zh) 2023-04-28

Family

ID=75855815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011618389.8A Active CN112822442B (zh) 2020-12-31 2020-12-31 热度图生成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112822442B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111275A1 (zh) * 2020-11-27 2022-06-02 杭州海康威视数字技术股份有限公司 数据处理方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060507A (ja) * 2010-09-10 2012-03-22 Fuji Xerox Co Ltd 映像再生装置及び映像再生プログラム
US20140192184A1 (en) * 2011-06-09 2014-07-10 Guangzhou Sat Infrared Technology Co., Ltd. Forest fire early-warning system and method based on infrared thermal imaging technology
US20150278608A1 (en) * 2014-03-26 2015-10-01 Panasonic Intellectual Property Management Co., Ltd. Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method
CN105469379A (zh) * 2014-09-04 2016-04-06 广东中星电子有限公司 视频目标区域遮挡方法和装置
JP2016110385A (ja) * 2014-12-05 2016-06-20 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
CN107256225A (zh) * 2017-04-28 2017-10-17 济南中维世纪科技有限公司 一种基于视频分析的热度图生成方法及装置
US20190384992A1 (en) * 2017-03-06 2019-12-19 Canon Kabushiki Kaisha Information-processing system, information-processing apparatus, method of processing information, and storage medium storing program for causing computer to execute method of processing information
GB202006137D0 (en) * 2020-04-27 2020-06-10 Canon Kk A method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
CN112102307A (zh) * 2020-09-25 2020-12-18 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060507A (ja) * 2010-09-10 2012-03-22 Fuji Xerox Co Ltd 映像再生装置及び映像再生プログラム
US20140192184A1 (en) * 2011-06-09 2014-07-10 Guangzhou Sat Infrared Technology Co., Ltd. Forest fire early-warning system and method based on infrared thermal imaging technology
US20150278608A1 (en) * 2014-03-26 2015-10-01 Panasonic Intellectual Property Management Co., Ltd. Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method
CN105469379A (zh) * 2014-09-04 2016-04-06 广东中星电子有限公司 视频目标区域遮挡方法和装置
JP2016110385A (ja) * 2014-12-05 2016-06-20 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
US20190384992A1 (en) * 2017-03-06 2019-12-19 Canon Kabushiki Kaisha Information-processing system, information-processing apparatus, method of processing information, and storage medium storing program for causing computer to execute method of processing information
CN107256225A (zh) * 2017-04-28 2017-10-17 济南中维世纪科技有限公司 一种基于视频分析的热度图生成方法及装置
GB202006137D0 (en) * 2020-04-27 2020-06-10 Canon Kk A method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
CN112102307A (zh) * 2020-09-25 2020-12-18 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111275A1 (zh) * 2020-11-27 2022-06-02 杭州海康威视数字技术股份有限公司 数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN112822442B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
KR102500759B1 (ko) 심 없는 이미지 스티칭(Seamless image stitching)
US10122997B1 (en) Automated matrix photo framing using range camera input
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
WO2023045147A1 (zh) 双目摄像机的标定方法、系统、电子设备和存储介质
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
WO2016074620A1 (en) Parallax tolerant video stitching with spatial-temporal localized warping and seam finding
US9436973B2 (en) Coordinate computation device and method, and an image processing device and method
US20130083990A1 (en) Using Videogrammetry to Fabricate Parts
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN106131397A (zh) 一种多媒体数据显示的方法及电子设备
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
US20230025058A1 (en) Image rectification method and device, and electronic system
CN112102307B (zh) 全局区域的热度数据确定方法、装置及存储介质
US20140168371A1 (en) Image processing apparatus and image refocusing method
US20180293805A1 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN105721768A (zh) 从聚焦堆叠生成适合的切片图像的方法和装置
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN112822442B (zh) 热度图生成方法、装置及电子设备
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
US20080170799A1 (en) Method for calibrating a response curve of a camera
CN111355926B (zh) 全景摄像机与ptz摄像机的联动方法、存储介质及设备
CN109945840B (zh) 三维影像摄取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant