CN112995613B - 一种分析资源管理方法及装置 - Google Patents

一种分析资源管理方法及装置 Download PDF

Info

Publication number
CN112995613B
CN112995613B CN202110550366.6A CN202110550366A CN112995613B CN 112995613 B CN112995613 B CN 112995613B CN 202110550366 A CN202110550366 A CN 202110550366A CN 112995613 B CN112995613 B CN 112995613B
Authority
CN
China
Prior art keywords
analysis
video data
data
unit
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110550366.6A
Other languages
English (en)
Other versions
CN112995613A (zh
Inventor
张凯
李淼
梁锋
田博宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongke Tongda High New Technology Co Ltd
Original Assignee
Wuhan Zhongke Tongda High New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongke Tongda High New Technology Co Ltd filed Critical Wuhan Zhongke Tongda High New Technology Co Ltd
Priority to CN202110550366.6A priority Critical patent/CN112995613B/zh
Publication of CN112995613A publication Critical patent/CN112995613A/zh
Application granted granted Critical
Publication of CN112995613B publication Critical patent/CN112995613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供一种分析资源管理方法及装置,基于该方法,本申请在为视频数据分配预设数据的分析单元后,根据分析单元的分析结果,先从中确定出分析过程中堆积在缓存块内的目标视频数据,并对目标视频数据进行处理,使得目标视频数据的数据量减小,从而不会形成数据堆积,也不会占用其他视频数据的分析资源,用于分析目标视频数据的分析单元的分析量也都能达到预期,不会造成整个系统分析能力的下降,在去除后再根据剩余数据量与已分配分析单元的总分析阈值之间的关系,确定是否需要分配新的分析单元,实现了视频数据的数据量与分析单元的分析能力的按需分配,不会造成分析资源的浪费,因此,本申请的分析资源管理方法能够满足各种场景的需求。

Description

一种分析资源管理方法及装置
技术领域
本申请涉及智慧交通领域,尤其涉及一种分析资源管理方法及装置。
背景技术
现有安防领域中,各前端设备拍摄的视频数据先存储至缓存中,再进行后续分析,当前对视频数据分析时,通常CPU会设置固定数量的分析单元进行分析。然而实际场景中,一方面常会根据需要增减接入的前端设备的数量,则需要分析的视频数据的数据量也动态变化,会使得视频数据的分析单元数量与视频数据的数据量之间不匹配,容易造成分析资源的浪费;另一方面,当接收到的多路视频数据中存在某路视频数据的数据量较大时,这一路视频数据就会占用较多的分析单元,使得其他路视频数据的分析单元被挤占,会造成系统整体分析能力的下降,以及服务器卡顿、服务器断开连接等运行不稳定问题。即,现有的分析资源的分配方式不够灵活,不能满足实际场景的各种需求。
因此,现有分析资源的分配存在不够灵活的技术问题,需要改进。
发明内容
本申请实施例提供一种分析资源管理方法及装置,用以缓解现有分析资源中分配不灵活的技术问题。
为解决上述技术问题,本申请实施例提供以下技术方案:
本申请提供一种分析资源管理方法,适用于智慧交通系统,所述智慧交通系统包括前端设备和数据服务器,所述分析资源管理方法应用于所述数据服务器,所述分析资源管理方法包括:
接收所述前端设备发送的视频数据;
将所述视频数据存储在缓存块中,并为所述视频数据分配预设数量的分析单元,所述分析单元用于分析所述视频数据;
从所述视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理所述目标视频数据,以减小所述目标视频数据的数据量;
获取处理后剩余视频数据的剩余数据量,在所述剩余数据量大于已分配分析单元的总分析阈值时,为所述视频数据分配新的分析单元。
同时,本申请实施例还提供了一种分析资源管理装置,适用于智慧交通系统,所述智慧交通系统包括前端设备和数据服务器,所述分析资源管理方法应用于所述数据服务器,所述分析资源管理装置包括:
接收模块,用于接收所述前端设备发送的视频数据;
第一分配模块,用于将所述视频数据存储在缓存块中,并为所述视频数据分配预设数量的分析单元,所述分析单元用于分析所述视频数据;
处理模块,用于从所述视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理所述目标视频数据,以减小所述目标视频数据的数据量;
第二分配模块,用于获取处理后剩余视频数据的剩余数据量,在所述剩余数据量大于已分配分析单元的总分析阈值时,为所述视频数据分配新的分析单元。
本申请还提供一种电子设备,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行上述任一项所述的分析资源管理方法中的操作。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现上述任一项所述的分析资源管理方法。
有益效果:本申请提供一种分析资源管理方法及装置,分析资源管理方法适用于智慧交通系统,智慧交通系统包括前端设备和数据服务器,分析资源管理方法应用于数据服务器,基于该方法,先接收前端设备发送的视频数据,然后将视频数据存储在缓存块中,并为视频数据分配预设数量的分析单元,分析单元用于分析视频数据,接着从视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理目标视频数据,以减小目标视频数据的数据量,最后获取处理后剩余视频数据的剩余数据量,在剩余数据量大于已分配分析单元的总分析阈值时,为视频数据分配新的分析单元。本申请在为视频数据分配预设数据的分析单元后,根据分析单元的分析结果,先从中确定出分析过程中堆积在缓存块内的目标视频数据,并对目标视频数据进行处理,使得目标视频数据的数据量减小,从而不会形成数据堆积,也不会占用其他视频数据的分析资源,用于分析目标视频数据的分析单元的分析量也都能达到预期,不会造成整个系统分析能力的下降,在去除后,再根据剩余数据量与已分配分析单元的总分析阈值之间的关系,确定是否需要分配新的分析单元,这样实现了视频数据的数据量与分析单元的分析能力的按需分配,不会造成分析资源的浪费,因此,本申请的分析资源管理方法较为灵活,能够满足各种场景的需求。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的分析资源管理系统的场景示意图。
图2为本申请实施例提供的分析资源管理方法的流程示意图。
图3为本申请实施例中视频数据的处理模型示意图。
图4为人脸单元缓存块中视频数据的第一种存储示意图。
图5为人脸单元缓存块中视频数据的第二种存储示意图。
图6为本申请实施例中分析单元的组成示意图。
图7为本申请实施例提供的分析资源管理装置的结构示意图。
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种分析资源管理方法、装置、电子设备及存储介质。其中,该分析资源管理装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
请参阅图1,图1为本申请实施例所提供的分析资源管理系统的场景示意图,该系统可以包括终端以及服务器,终端之间、服务器之间、以及终端与服务器之间通过各种网关组成的互联网等方式连接通信,其中,该应用场景中包括前端设备11和数据服务器12;其中:
前端设备11包括设置在监控现场的视频和图像采集设备;
数据服务器12包括本地服务器和/或远程服务器等;
前端设备11和数据服务器12位于无线网络或有线网络中,以实现两者之间的数据交互,其中:
数据服务器12先接收前端设备11发送的视频数据,然后将视频数据存储在缓存块中,并为视频数据分配预设数量的分析单元,分析单元用于分析视频数据,接着从视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理目标视频数据,以减小目标视频数据的数据量,最后获取处理后剩余视频数据的剩余数据量,在剩余数据量大于已分配分析单元的总分析阈值时,为视频数据分配新的分析单元,实现了对分析资源的合理分配。
需要说明的是,图1所示的系统场景示意图仅仅是一个示例,本申请实施例描述的服务器以及场景是为了更加清楚地说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
请参阅图2,图2是本申请实施例提供的分析资源管理方法的流程示意图,该方法包括:
S201:接收前端设备发送的视频数据。
在大型的城市交通监控系统中,设置在监控场所的前端设备用于获取各监控场所的视频数据,从视频数据中提取到的有效数据可以为各类交通违法行为提供分析基础。在获取这些视频数据后,会统一将视频数据封装为图片,并以帧的形式存储在数据服务器中。
S202:将视频数据存储在缓存块中,并为视频数据分配预设数量的分析单元,分析单元用于分析视频数据。
根据前端设备的类别不同,采集到的每帧图片在后续分析时也会有不同的分类,如前端设备为人脸摄像头时,采集到的图片只做人脸识别,前端设备为车牌摄像头时,采集到的图片只做车牌识别等。数据服务器在获取到视频数据后,先根据视频数据的不同类型,分配不同的缓存块,每个缓存块中的视频数据再由对应类别的分析单元进行分析。
对于每种类型的视频数据都有对应的数据量,根据这些数据量,在数据服务器中分配预设数量个缓存块来缓存这些视频数据对应的图片。如果数据量较少,在分配时可以先分配一个缓存块,如果数据量较大,也可以先分配两个或两个以上的缓存块。在本申请中,每个缓存块均包括至少两个缓存单元,各缓存单元之间形成单向链表,即前一个缓存单元的指针域next指向后一个缓存单元。相邻的缓存块之间,前一个缓存块中单向链表的尾节点与后一个缓存块中单向链表的头节点,即前一个缓存块中最后一个缓存单元的指针域next指向后一个缓存块中第一个缓存单元。在分配缓存块后,视频数据会依次存储至各缓存单元中,具体地,先存储至分配的第一个缓存单元中,如果第一个缓存单元已存满,而视频数据还有未存储的部分,则会继续存储至下一个分配的缓存单元中,依次类推。
在为各类型的视频数据分配缓存块中,先从已分配的缓存块中确定初始缓存单元,当仅分配了一个缓存块时,初始缓存单元为该缓存块的单向链表中处于头节点的第一个缓存单元,当分配有两个或两个以上的缓存块时,初始缓存单元为第一个缓存块中的第一个缓存单元。数据服务器在进行视频数据的存储时,根据待分配标识的设置位置来确定应该将视频数据存储在哪个缓存单元中。当初始缓存单元分配出去后,数据服务器从已经分配的缓存块的未分配缓存单元中确定一个目标缓存单元,控制待分配标识对应该目标缓存单元设置,并将该缓存单元分配给视频数据进行存储。具体地,按照缓存块中单向链表的指向顺序,或者相邻缓存块之间的指向顺序,从至少一个缓存块的未分配缓存单元中依次确定目标缓存单元,控制待分配标识依次对应各目标缓存单元设置。在后续所有已分配的缓存块都存储有视频数据时,再根据需要决定是否需要分配新的缓存块。
在为视频数据分配分析单元时,会根据整个数据服务器的分析能力,先为视频数据分配预设数量的分析单元,预设数量为数据服务器中所有分析单元总数中一定比例的数量,通常可以是三分之一至二分之一左右,例如数据服务器可生成的所有分析单元总数为1000个,则本步骤中可预先分配330个左右的分析单元,每个分析单元的分析能力相同。由于不同类型的视频数据由不同的分析单元进行分析,则在分配分析单元时,会根据视频数据的不同类型,分别为各类型的视频数据分配预设数据的分析单元,各类型分析单元的数量占比根据各类型视频数据的数据量来确定,例如用于人脸识别的前端设备数量较多,则人脸图片也会较多,用于交通卡口的前端设备较少,则交通卡口图片也会较少,在分配时用于人脸分析的分析单元数量就分配较多,用于交通卡口分析的分析单元数量则分配较少。各类型的分析单元只能用于分析对应类型的图片,而不能用于分析其他类型的图片,分析单元在完成对某个缓存单元中图片的分析后,会将对应的缓存单元释放,释放后的缓存单元可以重新用来存储图片。
如图3所示,监控系统10获取的视频数据按照帧的形式作为视频数据发送至数据服务器,数据服务器分配至少一个人脸单元缓存块20用于存储人脸相关的图片,分配至少一个车牌单元缓存块30用于存储车牌相关的图片,分配至少一个交通卡口单元缓存块40用于存储交通卡口相关的图片。各缓存块中均包括至少两个缓存单元,且至少两个缓存单元形成单向链表,在每个缓存块中,各缓存单元之间整齐排布在一起,中间没有碎片的产生。
图3以每个缓存块包括m个缓存单元,每种类型分配n个分析单元为例进行说明,人脸单元缓存块20包括m个人脸图片缓存单元,分别为人脸图片缓存单元1至人脸图片缓存单元m,车牌单元缓存块30包括m个车牌图片缓存单元,分别为车牌图片缓存单元1至车牌图片缓存单元m,交通卡口单元缓存块40包括m个交通卡口图片缓存单元,分别为交通卡口图片缓存单元1至交通卡口图片缓存单元m。在每个缓存块中的m个缓存单元均形成单向链表,即前一个缓存片单元的指针域next指向后一个图片缓存单元,在初始分配时可以按照单向链表的顺序依次分配各图片缓存单元1至m,在前一个图片缓存单元分配完成后才会分配后一个图片缓存单元来存储数据。在分配后,视频数据中人脸图片存储至人脸单元缓存块20的各人脸图片缓存单元中,人脸分析单元50包括人脸分析单元1至n,通过人脸分析单元50对人脸图片进行分析,得到分析结果后,再将对应的人脸图片缓存单元释放。同样地,视频数据中车牌图片存储至车牌单元缓存块30的各车牌图片缓存单元中,车牌分析单元60包括车牌分析单元1至n,通过车牌分析单元60对车牌图片进行分析,得到分析结果后,再将对应的车牌图片缓存单元释放;视频数据中交通卡口图片存储至交通卡口单元缓存块40的各交通卡口图片缓存单元中,交通卡口分析单元70包括交通卡口分析单元1至n,通过交通卡口分析单元70对交通卡口图片进行分析,得到分析结果后,再将对应的交通卡口图片缓存单元释放。
需要说明的是,图3中以视频数据的类型包括人脸图片、车牌图片和交通卡口图片为例进行说明,但本申请不以此为限,视频数据可以包括更多的类型,或者仅包括上述图片类型中的某一种,本领域的技术人员可根据需要选择视频数据的类型和数量来进行分析,对于同一类型的视频数据,均分配有至少一个缓存块。此外,图3中以每个缓存块包括m个缓存单元为例进行说明,m为不小于2的正整数,优选偶数来避免短时间的网络堵塞,本领域的技术人员可根据需要设置每个缓存块的大小以及缓存块内各缓存单元的数量。
在本申请中,为保证系统中视频数据的存储和分析较为平衡,系统会有预设分析率,分析率指预设时间段内图片的被分析总张数与存储总张数的比值,例如10秒内,接收到100张图片,被分析60张,则分析率为60%。当系统的预设分析率为100%时,整个系统的存储和分析状态最平衡,但分析单元的分析能力受各种因素限制,往往不能达到那么高的分析率,因此预设分析率可以是60%至90%中的某个数值,当实际应用时监测到的分析率不小于预设分析率时,则表示当前分配的分析单元的数量是较为合理的。
S203:从视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理目标视频数据,以减小目标视频数据的数据量。
对于每种类型的视频数据,均由多个不同的前端设备拍摄后发送给数据服务器进行缓存。基于不同的拍摄需求,前端设备拍摄的清晰度存在差异,相应地每张图片的数据量也不同,高清前端设备拍摄的视频数据中每张图片的数据量相对于普通前端设备拍摄的图片均较大。假设缓存块的两个缓存单元中分别存储有相等数量的高清图片和普通图片,在两者分别由对应的分析单元进行分析处理时,普通前端设备拍摄的图片所需分析的数据量较小,很快就被分析完成,对应的缓存单元也很快被释放出来,即分析单元的分析率较高;而高清前端设备拍摄的图片所需分析的数据量较大,在相同时间内剩余未分析的图片张数较多,对应的缓存单元释放速度也较慢,即分析单元的分析率较低。因此,当某个缓存块中同时接收高清前端设备和普通前端设备发送的视频数据后,在分析单元的数量和分析能力都相同的情况下,单位时间内高清图片被分析的张数会大于普通图片被分析的张数,因此高清前端设备发送的视频数据会逐渐在缓存块内形成堆积,而为了解决数据堆积,数据服务器不得不从已分配的分析单元中调用大部分的分析单元来处理这些堆积数据,使得其他前端设备发送的视频数据的分析资源被挤占。
在本申请中,在分析单元对缓存的视频数据分析后,从所有视频数据中确定出数据量占比大于预设比例的目标视频数据,该目标视频数据为高清设备发送的高清图片堆积形成,按照预设处理方法处理该目标视频数据,以减小目标视频数据的数据量,则可以解决数据堆积的问题,从而不会因这一路前端设备的视频数据造成后续其他前端设备的视频数据无法缓存至缓存块,以及造成需要更多的分析单元倾斜才能保证目标视频数据的分析率达到预期。
在一种实施例中,S203具体包括:以预设频率检测缓存块中各前端设备发送的视频数据的数据量;在每个检测周期内,从所有视频数据中确定数据量占比大于预设比例的目标视频数据,并对目标视频数据中至少部分数据进行删除处理。
如图4所示,以人脸单元缓存块20为例,其中包括有多个人脸图片缓存单元21,各人脸图片缓存单元21中缓存有多个前端设备发送的视频数据对应的图片,如可包括设备A高清图片、设备B普通图片、设备C普通图片、设备D普通图片(图未示出)、设备E普通图片(图未示出)等,以10秒一次的预设频率检测人脸单元缓存块20中各设备在当前检测周期内发送的视频数据的数据量,每个检测周期为10秒。在人脸单元缓存块20中设置有数据表,数据表中可查询获得每个前端设备发送的视频数据的数据量,在每个检测周期内,从人脸单元缓存块20的数据表中获取每个前端设备的数据量,从而可以得到当前检测周期内,各前端设备发送的视频数据占所有视频数据的数据量占比,当存在某个前端设备对应的视频数据的数据量占比大于预设比例时,将该前端设备作为目标前端设备,目标前端设备发送的视频数据作为目标视频数据,对目标视频数据中的至少部分数据进行删除处理,可以减小目标视频数据的数据量,从而使得对应图片的张数减少,堆积的情况得到缓解,分析目标视频数据的分析单元也能够达到正常的分析率。在本申请中,预设比例可以是70%左右。
在通常情况下,整个系统中高清前端设备的数量较少,而在各前端设备发送视频数据后,已分配的分析单元马上开始了对各视频数据的分析,因此在开始的一段时间内,高清前端设备的视频数据不会马上开始堆积,而是经过一段时间后逐渐造成数据积累。假设原本图4中设备A高清图片、设备B普通图片、设备C普通图片、设备D普通图片(图未示出)、设备E普通图片(图未示出)的数据量占比相同,如图5所示,在经过一段时间后,人脸单元缓存块20的各人脸图片缓存单元21中仍然包括设备A高清图片、设备B普通图片、设备C普通图片、设备D普通图片、设备E普通图片等,但各前端设备对应图片的数据量占比发生了变化,设备A高清图片的数据量占比较大,其他设备普通图片的数据量占比较小,则判断设备A高清图片的数据量占比是否大于预设比例,如果是,则将设备A作为目标前端设备,设备A高清图片作为目标视频数据。
当有多个高清前端设备时,在每个检测周期内,先确定出各前端设备发送的视频数据的数据量占比,然后判断这些数据量占比是否超过预设比例,如果超过,将所有超过的视频数据都确定为目标视频数据,即目标视频数据可以是一个高清前端设备单独发送的,也可以是两个或更多个高清前端设备分别发送的。在某些情况下,系统中存在多个高清设备,在某个检测周期内,只有一个前端设备发送的视频数据的数据量占比大于预设比例,则会先将该前端设备发送的视频数据作为目标数据进行处理,在下一个检测周期内,这部分视频数据的数据量占比不会超过预设比例,此时再次判断其他前端设备发送的视频数据的数据量占比是否有超过预设比例的,从而确定出新的目标视频数据并再一次进行处理。通过预设频率进行检测和处理,保证了缓存块中堆积数据的及时处理,从而不会造成分析单元的分析率下降和资源挤占。如果在某个检测周期内,获取到的各前端设备发送的视频数据的数据量占比均未超过预设比例,则说明对于当前接收到的数据量,已分配的分析单元的分析能力可以与之匹配,处理各前端设备对应视频数据的分析单元,其分析率之间没有较大差异,此时对所有视频数据均不作处理,直到下一检测周期再重新进行判断。
在一种实施中,对目标视频数据中至少部分数据进行删除处理的步骤,包括:获取上一检测周期内缓存块中目标视频数据的被分析数据量;根据预设分析率和被分析数据量,确定当前检测周期内目标视频数据的目标缓存数据量;获取当前检测周期内目标视频数据的已缓存数据量;根据已缓存数据量和目标缓存数据量,确定当前检测周期内目标视频数据中待处理数据的待处理数据量;基于待处理数据量,对待处理数据进行删除处理。
以图5中架构为例,假设在上一检测周期的10秒内,人脸单元缓存块20接收到设备A高清图片100张,设备B普通图片100张,设备C普通图片100张,其中设备A高清图片为目标视频数据对应的图片,设备A高清图片的被分析数据量为20张,为保证整个系统的分析能力达到预期水平,假设预设分析率为60%,表示在每个检测周期内,每接收到100张图片至少要被分析60张才能满足系统的分析需求。在设备A高清图片对应的分析单元数量和分析能力均不变的情况下,在当前检测周期内设备A高清图片的被分析量也会是20张,如果在当前检测周期内需要达到60%的预设分析率,则当前检测周期内设备A高清图片的目标缓存数据量s需要满足s=20÷60%,约为33张。然后,获取当前检测周期内设备A高清图片的已缓存数据量,已缓存数据量为当前检测周期内接收到的新增数据量而不是所有检测周期内接收到的累计数据量,由于设备A产生和发送视频数据的能力在两个检测周期内也保持一致,则在当前检测周期内接收到的设备A高清图片也为100张,即已缓存数据量为100张,此时,根据已缓存数据量100张和目标缓存数据量33的差值,确定设备A高清图片中待处理数据的待处理数据量,约为67张,对这67张待处理图片进行处理后,当前检测周期内设备A高清图片剩余量为33张,分析单元可以分析20张,因此在处理后分析单元的分析率可以达到60%的预设分析率。具体地,在对这些待处理图片进行删除时,可以采用每三张图片丢弃两张的方式进行处理。
通过上述处理,使得缓存块中目标视频数据的数据量得以减小,分析单元在分析各前端设备的视频数据时,都能使分析率保持在预期水平。
在一种实施例中,在S203之后还包括:为目标视频数据分配专用分析单元,专用分析单元的分析速率大于其他分析单元的分析速率。在确定出目标视频数据,并在当前检测周期内处理后,可以保证当前检测周期内分析单元的分析率保持在预期水平,但在之后,由于目标视频数据对应的目标前端设备仍然会保持相同的发送数据能力,在一段时间后,可能还会造成下一次的数据积累,因此,在某个检测周期内检测出目标视频数据后,采用另外的一台数据服务器,在该数据服务器中生成专用分析单元,在后续目标前端设备发送的所有视频数据,均有该专用分析单元来分析,专用分析单元的分析速率大于其他分析单元的分析速率,从而减小了数据堆积的风险。
S204:获取处理后剩余视频数据的剩余数据量,在剩余数据量大于已分配分析单元的总分析阈值时,为视频数据分配新的分析单元。
在对目标视频数据进行处理后,整个视频数据的数据量减小,获取处理后剩余视频数据的剩余数据量,并判断剩余数据量与当前所有已分配分析单元的总分析阈值的大小,具体地,剩余数据量为在一预设时间段内剩余视频数据的缓存数据总量,总分析阈值为该预设时间段内所有已分配分析单元可以分析的数据总量,在比较后,如果剩余数据量不大于当前所有已分配分析单元的总分析阈值,表示现有的分析单元的分析能力大于视频数据的存储能力,即消费大于生产,不会造成缓存块中的数据堆积,分析率也可以处于预期。如果剩余数据量大于当前所有已分配分析单元的总分析阈值,则表明现有的分析单元分析能力过低,不能及时分析已存储的视频数据,即消费小于生产,可能会造成缓存块中的数据堆积,分析率也较低,因此,需要为视频数据分配新的分析单元,以提高消费能力,具体分配数量可以根据剩余视频数据的剩余数据量和存储速率、分析单元的数量和分析速率来确定,例如假设剩余视频数据的数据量为80张,已分配的分析单元数量为4个,存储速率为20张/秒,分析速率为10张/秒,则还需要新增4个分析单元。
在一种实施例中,S204具体包括:获取处理后视频数据的剩余数据量;在剩余数据量大于已分配分析单元的总分析阈值时,判断预设线程池中是否有待分配分析单元;若有,为视频数据分配预设线程池中的待分配分析单元。若没有,在预设线程池中重新生成分析单元并分配给视频数据。
如图6所示,数据服务器中的分析单元包括第一分析单元31、第二分析单元32和第三分析单元33,其中第一分析单元31为S201中已经分配出去的预设数量个分析单元,第一分析单元31在分配时,对人脸图片101、车牌图片102、交通卡口图片103等均有分配。数据服务器中还设置有预设线程池310,在预设线程池310中包括第二分析单元32和第三分析单元33,第二分析单元32和第一分析单元31都是在初始状态时就生成,在S201中第一分析单元31分配出去,而第二分析单元32留在预设线程池310中作为待分配分析单元,当后续需要新增分析单元时,优先将第二分析单元32分配出去。对应人脸图片101、车牌图片102、交通卡口图片103的第一分析单元31,只能分析对应类型的图片,即第一分析单元31为专用分析单元,而第二分析单元32可以分析的类型不限,当人脸图片101、车牌图片102、交通卡口图片103中的任意一种需要新增分析单元时,均可以将第二分析单元32分配出去。当第二分析单元32也都分配出去后,如果还需要新增分析单元,则预设线程池310会再生成第三分析单元33进行分配。
基于此,数据服务器中各分析单元的分配顺序为第一分析单元31-第二分析单元32-第三分析单元33,在每次需要新增分析单元时,首先判断预设线程池310中是否有第二分析单元32,如果有,直接将第二分析单元32分配出去使用,分配时按住计算的数量进行分配,如果判断后发现没有第二分析单元32,则表示第二分析单元32已全部分配出去,因此只能再生成新的第三分析单元33进行分配。
在一种实施例中,在预设线程池中重新生成分析单元并分配给所述视频数据的步骤包括:判断当前所有已分配的分析单元的总分析荷载是否不小于预设分析荷载;若总分析荷载小于预设分析荷载,在预设线程池中重新生成分析单元并分配给视频数据。生成第三分析单元33的过程不是无限生成的,对于每个数据服务器,均有其对应的预设分析荷载,预设分析荷载为该数据服务器所能承受的最大分析量,其限制了该数据服务器能生成的最大分析单元的数量,预设分析荷载由数据服务器中CPU的参数和性能决定。在需要第三分析单元33时,先判断当前所有已分配的分析单元的总分析荷载是否不小于预设分析荷载,如果小于,表示数据服务器还具备生成新的分析单元的能力,则可以根据需要生成对应数量的第三分析单元33。
在一种实施例中,在S204之后还包括:在所有已分配的分析单元的总分析荷载等于预设分析荷载时,停止为视频数据分配新的分析单元。在所有已分配的分析单元的总分析荷载等于预设分析荷载时,表示数据服务器已经将所有可生成的分析单元都分配出去了,也不能再继续生成新的分析单元,则停止为视频数据分配新的分析单元。此时,为了保证系统的分析率仍然能达到预期,对缓存块中的目标视频数据,或者目标视频数据之外的其他数据,都可以采用丢包的形式,即每接收一定数量的图片就丢掉其中的部分图片,以避免缓存块中产生数据堆积。
在视频数据存储至缓存块中时,在m-FreePoint每次对应一个目标缓存单元设置时,都需要先判断一下目标缓存单元的指针是否指空,如果指空,表示该目标缓存单元为已分配的缓存块中最后一个缓存单元,在该目标缓存单元分配后,数据服务器中将没有其他未分配的缓存单元,而由于前端设备还在不断发送视频数据过来,还需要为这些视频数据分配可存储的缓存单元。此时,需要对已分配分析单元的情况进行判断,如果所有已分配的分析单元的总分析荷载小于预设分析荷载,则表示此时数据服务器的分析能力还没有达到瓶颈,当数据服务器中存储更多的数据时,数据服务器也可以再新增分析单元来对这些存储数据进行分析,因此可以为视频数据分配新的缓存块,并控制目标缓存单元连接并指向新的缓存块中单向链表的头节点。如果所有已分配的分析单元的总分析荷载等于预设分析荷载,则表示数据服务器的分析能力已到达瓶颈,只能处理当前数据服务器中可存储的数据量,如果数据服务器继续增加新的缓存块,则多余存储的数据量已经超过了数据服务器的分析能力,即使将这些视频数据存储起来,也不会有更多的分析单元来立刻处理,而是需要等待一段时间才能被分析,会造成存储资源的浪费。因此在本申请中,如果监测到所有已分配的分析单元的总分析荷载等于预设分析荷载,停止为视频数据分配新的缓存块,则数据服务器的当前存储能力与分析能力达到平衡的状态,数据服务器存储多少数据,数据服务器就能处理多少数据,过程中没有多余的数据需要等待一段时间才能被处理,整个系统此时的状态最佳,效率也最高,且没有造成资源的浪费。
当不再分配新的缓存块时,将分配后已释放的缓存单元中释放时间最短的缓存单元作为第一目标释放缓存单元,控制待分配标识对应第一目标释放缓存单元设置。如果分配后已释放的缓存单元有两个或多个,则将所有已释放的缓存单元中释放时间最短的缓存单元作为第一目标释放缓存单元,控制待分配标识对应该第一目标释放缓存单元设置,如果分配后已释放的缓存单元只有一个时,则该缓存单元也相当于释放时间最短的缓存单元,此时直接将该缓存单元作为第一目标释放缓存单元。具体地,将已释放缓存单元中释放时间最短的缓存单元作为第一目标释放缓存单元,控制待分配标识对应第一目标释放缓存单元设置;按照释放时间由短到长的顺序,控制前一个已释放缓存单元的指针指向后一个已释放缓存单元,以使各已释放缓存单元之间依次建立连接。
在后续过程中,已经分配的所有缓存单元都可以循环进行释放-分配-释放的过程,无论在两次分配之间释放了多个缓存单元还是仅释放了一个缓存单元,整个过程中都没有增加新的缓存单元,只是单向链表中各节点的顺序发生了而变化,下一次分配时仍然可以按照新的单向链表的顺序进行目标缓存单元的确定、分配后已释放缓存单元的判断、待分配标识的设置等操作,因此本申请的缓存块具有极大的灵活性,通过各缓存单元释放顺序和释放数量的不同,可以获得自动可伸缩的多种不同的单向链表。
在现有技术中,在获取视频数据后,系统会对视频数据中的每一帧图像分配一个缓存块进行存储,各缓存块相互独立,然后在对图像分析完后再对该缓存块进行释放,系统对图像分析的能力在经过一段时间后会到达瓶颈,不会持续增加,而分配缓存块的工作会一直持续进行,此种方式会使得数据的存储和分析不平衡,造成系统的资源浪费,且系统在往复的分配和释放缓存上也耗费了大量资源,产生了大量的缓存碎片,使得缓存利用率也较低。
而在本申请中,先在缓存块中根据待分配标识确定需要分配的缓存单元,当待分配标识对应的目标缓存单元的指针指向空时,表示当前其他缓存单元都已经被分配,此时如果所有已分配的分析单元的总分析荷载小于预设分析荷载,则分配新的缓存块,如果所有已分配的分析单元的总分析荷载等于预设分析荷载,表示数据服务器的分析性能已到达瓶颈,可以分析的数据量有限,则停止分配新的缓存块,可以使得数据服务器的存储能力与分析能力保持一致,不会造成数据服务器中存储空间的浪费。采用本申请的方案,只在目标缓存单元的指针指向空时才进行扩容,生成新的缓存块,即采用少量多次分配的方案,按需生成缓存块,可以使得生成的每个缓存块都能得到合理利用,不会造成缓存资源的浪费和不必要的缓存碎片的产生,从而提高了缓存利用率。同时,通过将待分配标识分配给现有缓存块中已释放的缓存单元,实现了缓存单元的循环利用,由于缓存块中各缓存单元之间整齐排布在一起,中间没有碎片的产生,只有不同缓存块之间才会产生碎片,因此本申请还减少了缓存碎片的产生,进一步节省了资源。
在一种实施例中,在S204之后还包括:在视频数据的数据量小于所有已分配的分析单元的总分析阈值时,从所有新增的分析单元中回收至少部分分析单元。在实际应用中,接入整个系统的前端设备的数量不是一成不变的,这会造成需要存储的视频数据的数据量发生变化,如果接入系统的前端设备数量变少,相应地视频数据的数据量也会减少,则需要的分析单元的数量也会减少,可以通过预设线程池310对之前新增的第二分析单元32和第三分析单元33中的部分进行回收,实现分析单元的分析能力与缓存块存储能力的动态平衡,以及对分析资源的最佳分配。
在现有技术中,一次性生成所有的分析单元并全部分配出去,很容易出现缓存块对视频数据的存储能力小于所有分析单元的分析能力,使得一部分分析单元生成后不需要执行分析任务,或者所有分析单元都执行分析任务,但每个分析单元执行任务时都不是以最大可分析量来工作,因此容易造成分析资源的浪费。此外,在实际应用中,接入整个系统的前端设备的数量也不是一成不变的,这也会造成需要存储的视频数据的数据量发生变化,如果采用固定数量的分析单元,在前端设备数量减少时,也会造成分析资源的浪费。
在本申请中,将分析单元分为几部分,先分配预设数量的第一分析单元31,后续再根据需要少量多次地分配第二分析单元32和第三分析单元33,且新增的第二分析单元32和第三分析单元33在视频数据的数据量减少时,也可以相应回收减少,从而保证了系统中分析单元的分析能力与存储能力的动态平衡,不造成分析资源的浪费。由于新增的第二分析单元32和第三分析单元33为通用分析单元,可以处理任意类型的视频数据,当某一时刻人脸图片较多,车牌图片较少时,可以调用更多的分析单元去支持人脸图片的分析,因此本申请的分析资源管理方法还实现了分析单元在各类型视频数据之间的合理调度和分配。
此外,如果直接根据缓存块中视频数据的存储情况来分配新的分析单元,当存在目标视频数据的数据量较大时,分析该目标视频数据的分析单元的分析率必然会下降,如果要保证目标视频数据的分析率,需要新的分析单元,但实际上对于其他前端设备的视频数据,其对应的分析单元的分析率是可以达到预期的,即其他视频数据不需要额外的分析单元,此时直接分配的新分析单元将会全部用于处理目标视频数据,仍然相当于整个系统倾斜了较多的分析单元来处理一路视频数据,而分析单元的倾斜意味着会占用较多的CPU资源,会导致服务器卡顿、服务器断开连接等运行不稳定问题。在本申请中,当存在目标视频数据时,先对目标视频数据进行数据量的减小处理,使得缓存块中各前端设备发送的视频数据的数据量都大致相等,则各分析单元的处理任务也较为均匀,不会产生倾斜。在对目标视频数据处理后再根据剩余数据量的大小来决定要不要分配新的分析单元,则新增分析单元的分析率和已分配分析单元的分析率也能保持一致,从而整个系统的分析资源的分配较为合理,即没有使得分析能力大于存储能力而造成分析资源的浪费,也能保证整个系统的分析率都能达到预设分析率。
由上述实施例可知,本申请提供的分析资源管理方法,在为视频数据分配预设数据的分析单元后,根据分析单元的分析结果,先从中确定出分析过程中堆积在缓存块内的目标视频数据,并对目标视频数据进行处理,使得目标视频数据的数据量减小,从而不会形成数据堆积,也不会占用其他视频数据的分析资源,用于分析目标视频数据的分析单元的分析量也都能达到预期,不会造成整个系统分析能力的下降,在去除后,再根据剩余数据量与已分配分析单元的总分析阈值之间的关系,确定是否需要分配新的分析单元,这样实现了视频数据的数据量与分析单元的分析能力的按需分配,不会造成分析资源的浪费,因此,本申请的分析资源管理方法较为灵活,能够满足各种场景的需求。
在上述实施例所述方法的基础上,本实施例将从分析资源管理装置的角度进一步进行描述,请参阅图7,图7具体描述了本申请实施例提供的分析资源管理装置,其可以包括:
接收模块110,用于接收前端设备发送的视频数据;
第一分配模块120,用于将视频数据存储在缓存块中,并为视频数据分配预设数量的分析单元,分析单元用于分析视频数据;
处理模块130,用于从视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理目标视频数据,以减小目标视频数据的数据量;
第二分配模块140,用于获取处理后剩余视频数据的剩余数据量,在剩余数据量大于已分配分析单元的总分析阈值时,为视频数据分配新的分析单元。
在一种实施例中,第一分配模块120用于,根据视频数据的不同类型,分别为各类型的视频数据分配预设数量的分析单元。
在一种实施例中,处理模块130包括:
检测子模块,用于以预设频率检测缓存块中各前端设备发送的视频数据的数据量;
删除子模块,用于在每个检测周期内,从所有视频数据中确定数据量占比大于预设比例的目标视频数据,并对目标视频数据中至少部分数据进行删除处理。
在一种实施例中,删除子模块包括:
第一获取单元,用于获取上一检测周期内缓存块中目标视频数据的被分析数据量;
第一确定单元,用于根据预设分析率和所述被分析数据量,确定当前检测周期内目标视频数据的目标缓存数据量;
第二获取单元,用于获取当前检测周期内目标视频数据的已缓存数据量;
第二确定单元,用于根据已缓存数据量和目标缓存数据量,确定当前检测周期内目标视频数据中待处理数据的待处理数据量;
处理单元,用于基于待处理数据量,对待处理数据进行删除处理。
在一种实施例中,分析资源管理装置还包括第三分配模块,第三分配模块在处理模块130之后工作,第三分配模块用于,为目标视频数据分配专用分析单元,专用分析单元的分析速率大于其他分析单元的分析速率。
在一种实施例中,第二分配模块140包括:
获取子模块,用于获取处理后视频数据的剩余数据量;
判断子模块,用于在剩余数据量大于已分配分析单元的总分析阈值时,判断预设线程池中是否有待分配分析单元;
分配子模块,用于若有,为视频数据分配预设线程池中的待分配分析单元。
生成子模块,用于若没有,在预设线程池中重新生成分析单元并分配给视频数据。
在一种实施例中,生成子模块用于,判断当前所有已分配的分析单元的总分析荷载是否不小于预设分析荷载;若总分析荷载小于预设分析荷载,在预设线程池中重新生成分析单元并分配给视频数据。
在一种实施例中,分析资源管理装置还包括回收模块,回收模块在第二分配模块140之后工作,回收模块用于,在视频数据的数据量小于所有已分配的分析单元的总分析阈值时,从所有新增的分析单元中回收至少部分分析单元。
在一种实施例中,分析资源管理装置还包括停止模块,停止模块在第二分配模块140之后工作,停止模块用于,在所有已分配的分析单元的总分析荷载等于预设分析荷载时,停止为视频数据分配新的分析单元。
区别于现有技术,本申请提供的分析资源管理装置,在为视频数据分配预设数据的分析单元后,根据分析单元的分析结果,先从中确定出分析过程中堆积在缓存块内的目标视频数据,并对目标视频数据进行处理,使得目标视频数据的数据量减小,从而不会形成数据堆积,也不会占用其他视频数据的分析资源,用于分析目标视频数据的分析单元的分析量也都能达到预期,不会造成整个系统分析能力的下降,在去除后,再根据剩余数据量与已分配分析单元的总分析阈值之间的关系,确定是否需要分配新的分析单元,这样实现了视频数据的数据量与分析单元的分析能力的按需分配,不会造成分析资源的浪费,因此,本申请的分析资源管理方法较为灵活,能够满足各种场景的需求。
相应的,本申请实施例还提供一种电子设备,如图8所示,该电子设备可以包括射频(RF,Radio Frequency)电路801、包括有一个或一个以上计算机可读存储介质的存储器802、输入单元803、显示单元804、传感器805、音频电路806、WiFi模块807、包括有一个或者一个以上处理核心的处理器808、以及电源809等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
射频电路801可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器808处理;另外,将涉及上行的数据发送给基站。存储器802可用于存储软件程序以及模块,处理器808通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。输入单元803可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
显示单元804可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
电子设备还可包括至少一种传感器805,比如光传感器、运动传感器以及其他传感器。音频电路806包括扬声器,扬声器可提供用户与电子设备之间的音频接口。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块807可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块807,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变申请的本质的范围内而省略。
处理器808是电子设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据,从而对手机进行整体监控。
电子设备还包括给各个部件供电的电源809(比如电池),优选的,电源可以通过电源管理系统与处理器808逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,服务器中的处理器808会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器808来运行存储在存储器802中的应用程序,从而实现以下功能:
接收前端设备发送的视频数据;将视频数据存储在缓存块中,并为视频数据分配预设数量的分析单元,分析单元用于分析视频数据;从视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理目标视频数据,以减小目标视频数据的数据量;获取处理后剩余视频数据的剩余数据量,在剩余数据量大于已分配分析单元的总分析阈值时,为视频数据分配新的分析单元。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以实现以下功能:
接收前端设备发送的视频数据;将视频数据存储在缓存块中,并为视频数据分配预设数量的分析单元,分析单元用于分析视频数据;从视频数据中确定数据量占比大于预设比例的目标视频数据,按预设处理方法处理目标视频数据,以减小目标视频数据的数据量;获取处理后剩余视频数据的剩余数据量,在剩余数据量大于已分配分析单元的总分析阈值时,为视频数据分配新的分析单元。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的任一种方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种分析资源管理方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (9)

1.一种分析资源管理方法,其特征在于,适用于智慧交通系统,所述智慧交通系统包括前端设备和数据服务器,所述分析资源管理方法应用于所述数据服务器,所述分析资源管理方法包括:
接收所述前端设备发送的视频数据,所述视频数据包括高清前端设备发送的高清视频数据和普通前端设备发送的普通视频数据;
将所述视频数据存储在缓存块的各缓存单元中,并为所述视频数据分配预设数量的分析单元,所述分析单元用于分析所述视频数据;
在各缓存单元存储有相同帧数的视频数据时,以预设频率检测所述缓存块中各前端设备发送的视频数据的数据量,在每个检测周期内,确定出各前端设备发送的视频数据的数据量占比,并判断各数据量占比是否超过预设比例,若超过,将所有超过的视频数据都确定为目标视频数据,所述目标视频数据为高清视频数据,对所述目标视频数据中至少部分数据进行删除处理,以减小所述目标视频数据的数据量;
获取处理后剩余视频数据的剩余数据量,在所述剩余数据量大于已分配分析单元的总分析阈值时,为所述视频数据分配新的分析单元。
2.如权利要求1所述的分析资源管理方法,其特征在于,所述为所述视频数据分配预设数量的分析单元的步骤,包括:
根据所述视频数据的不同类型,分别为各类型的视频数据分配预设数量的分析单元。
3.如权利要求1所述的分析资源管理方法,其特征在于,所述对所述目标视频数据中至少部分数据进行删除处理的步骤,包括:
获取上一检测周期内所述缓存块中目标视频数据的被分析数据量;
根据预设分析率和所述被分析数据量,确定当前检测周期内目标视频数据的目标缓存数据量;
获取当前检测周期内目标视频数据的已缓存数据量;
根据所述已缓存数据量和所述目标缓存数据量,确定当前检测周期内目标视频数据中待处理数据的待处理数据量;
基于所述待处理数据量,对所述待处理数据进行删除处理。
4.如权利要求1所述的分析资源管理方法,其特征在于,在所述对所述目标视频数据中至少部分数据进行删除处理,以减小所述目标视频数据的数据量的步骤之后,还包括:
为所述目标视频数据分配专用分析单元,所述专用分析单元的分析速率大于其他分析单元的分析速率。
5.如权利要求1所述的分析资源管理方法,其特征在于,所述获取处理后剩余视频数据的剩余数据量,在所述剩余数据量大于已分配分析单元的总分析阈值时,为所述视频数据分配新的分析单元的步骤,包括:
获取处理后所述视频数据的剩余数据量;
在所述剩余数据量大于已分配分析单元的总分析阈值时,判断预设线程池中是否有待分配分析单元;
若有,为所述视频数据分配所述预设线程池中的待分配分析单元;
若没有,在预设线程池中重新生成分析单元并分配给所述视频数据。
6.如权利要求5所述的分析资源管理方法,其特征在于,所述在预设线程池中重新生成分析单元并分配给所述视频数据的步骤,包括:
判断当前所有已分配的分析单元的总分析荷载是否不小于预设分析荷载;
若总分析荷载小于预设分析荷载,在预设线程池中重新生成分析单元并分配给所述视频数据。
7.如权利要求1所述的分析资源管理方法,其特征在于,在所述为所述视频数据分配新的分析单元的步骤之后,还包括:
在视频数据的数据量小于所有已分配的分析单元的总分析阈值时,从所有新增的分析单元中回收至少部分分析单元。
8.如权利要求1-6任一项所述的分析资源管理方法,其特征在于,在所述为所述视频数据分配新的分析单元的步骤之后,还包括:
在所有已分配的分析单元的总分析荷载等于预设分析荷载时,停止为所述视频数据分配新的分析单元。
9.一种分析资源管理装置,其特征在于,适用于智慧交通系统,所述智慧交通系统包括前端设备和数据服务器,所述分析资源管理方法应用于所述数据服务器,所述分析资源管理装置包括:
接收模块,用于接收所述前端设备发送的视频数据,所述视频数据包括高清前端设备发送的高清视频数据和普通前端设备发送的普通视频数据;
第一分配模块,用于将所述视频数据存储在缓存块的各缓存单元中,并为所述视频数据分配预设数量的分析单元,所述分析单元用于分析所述视频数据;
处理模块,用于在各缓存单元存储有相同帧数的视频数据时,以预设频率检测所述缓存块中各前端设备发送的视频数据的数据量,在每个检测周期内,确定出各前端设备发送的视频数据的数据量占比,并判断各数据量占比是否超过预设比例,若超过,将所有超过的视频数据都确定为目标视频数据,所述目标视频数据为高清视频数据,对所述目标视频数据中至少部分数据进行删除处理,以减小所述目标视频数据的数据量;
第二分配模块,用于获取处理后剩余视频数据的剩余数据量,在所述剩余数据量大于已分配分析单元的总分析阈值时,为所述视频数据分配新的分析单元。
CN202110550366.6A 2021-05-20 2021-05-20 一种分析资源管理方法及装置 Active CN112995613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550366.6A CN112995613B (zh) 2021-05-20 2021-05-20 一种分析资源管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550366.6A CN112995613B (zh) 2021-05-20 2021-05-20 一种分析资源管理方法及装置

Publications (2)

Publication Number Publication Date
CN112995613A CN112995613A (zh) 2021-06-18
CN112995613B true CN112995613B (zh) 2021-08-06

Family

ID=76337066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550366.6A Active CN112995613B (zh) 2021-05-20 2021-05-20 一种分析资源管理方法及装置

Country Status (1)

Country Link
CN (1) CN112995613B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984508A (zh) * 2012-12-21 2013-03-20 浙江宇视科技有限公司 一种摄像机
CN105338323A (zh) * 2015-11-20 2016-02-17 浙江大华技术股份有限公司 一种视频监控方法及装置
CN106921846A (zh) * 2015-12-24 2017-07-04 北京计算机技术及应用研究所 视频移动终端遗留物检测装置
CN109246395A (zh) * 2018-10-23 2019-01-18 青岛银成智能安防科技有限公司 一种边防预警与防务监控管理系统及方法
CN110324580A (zh) * 2019-07-05 2019-10-11 视联动力信息技术股份有限公司 一种基于视联网的监控视频播放方法及装置
CN111246244A (zh) * 2020-02-04 2020-06-05 北京贝思科技术有限公司 集群内快速分析处理音视频的方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412513B (zh) * 2016-10-14 2019-06-11 环球大数据科技有限公司 视频处理系统及处理方法
CN106791648B (zh) * 2016-12-20 2020-02-14 浙江大华技术股份有限公司 一种监控视频分析方法及装置
US10438071B2 (en) * 2017-01-25 2019-10-08 Echelon Corporation Distributed system for mining, correlating, and analyzing locally obtained traffic data including video
CN112395075A (zh) * 2019-08-15 2021-02-23 阿里巴巴集团控股有限公司 资源的处理方法、装置以及资源调度系统
CN111935497B (zh) * 2020-09-18 2021-01-12 武汉中科通达高新技术股份有限公司 一种用于交警系统的视频流管理方法和数据服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984508A (zh) * 2012-12-21 2013-03-20 浙江宇视科技有限公司 一种摄像机
CN105338323A (zh) * 2015-11-20 2016-02-17 浙江大华技术股份有限公司 一种视频监控方法及装置
CN106921846A (zh) * 2015-12-24 2017-07-04 北京计算机技术及应用研究所 视频移动终端遗留物检测装置
CN109246395A (zh) * 2018-10-23 2019-01-18 青岛银成智能安防科技有限公司 一种边防预警与防务监控管理系统及方法
CN110324580A (zh) * 2019-07-05 2019-10-11 视联动力信息技术股份有限公司 一种基于视联网的监控视频播放方法及装置
CN111246244A (zh) * 2020-02-04 2020-06-05 北京贝思科技术有限公司 集群内快速分析处理音视频的方法、装置及电子设备

Also Published As

Publication number Publication date
CN112995613A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN107241281B (zh) 一种数据处理方法及其装置
CN109376053B (zh) 数据处理方法、装置以及移动终端
JP7100154B2 (ja) プロセッサコアのスケジューリング方法、装置、端末及び記憶媒体
CN111190745A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN111857992B (zh) 一种Radosgw模块中线程资源分配方法和装置
CN115617497B (zh) 线程处理方法、调度组件、监测组件、服务器和存储介质
CN114155026A (zh) 一种资源分配方法、装置、服务器及存储介质
US20230037783A1 (en) Resource scheduling method and related apparatus
CN114189482A (zh) 一种集群资源的控制方法、装置和系统
CN116662020A (zh) 应用服务动态管理方法、系统、电子设备及存储介质
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN112995613B (zh) 一种分析资源管理方法及装置
CN111813541B (zh) 一种任务调度方法、装置、介质和设备
CN114489963A (zh) 人工智能应用任务的管理方法、系统、设备及存储介质
CN107634978B (zh) 一种资源调度方法及装置
CN111833478A (zh) 数据处理方法、装置、终端及存储介质
JP2006107197A (ja) メモリ制御方法およびプログラムならびに端末装置
CN113271228B (zh) 带宽资源调度方法、装置、设备及计算机可读存储介质
CN112995704B (zh) 一种缓存管理方法、装置、电子设备及存储介质
CN112769788B (zh) 计费业务数据处理方法、装置、电子设备及存储介质
CN114785739A (zh) 逻辑卷服务质量的控制方法、装置、设备及介质
CN111078405B (zh) 内存分配方法、装置、存储介质及电子设备
CN113992493A (zh) 视频处理方法、系统、设备及存储介质
CN114416326A (zh) 大数据管控方法、装置、管控系统及可读存储介质
CN111459653A (zh) 集群调度方法、装置和系统以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant