CN112102367A - 一种基于运动模型的视频分析算力实时分配调度方法 - Google Patents

一种基于运动模型的视频分析算力实时分配调度方法 Download PDF

Info

Publication number
CN112102367A
CN112102367A CN202010992780.8A CN202010992780A CN112102367A CN 112102367 A CN112102367 A CN 112102367A CN 202010992780 A CN202010992780 A CN 202010992780A CN 112102367 A CN112102367 A CN 112102367A
Authority
CN
China
Prior art keywords
target
time
video
dct
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010992780.8A
Other languages
English (en)
Other versions
CN112102367B (zh
Inventor
王保加
张巍巍
樊小龙
许建
朱澄澄
杨荣军
郭乔进
梁中岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202010992780.8A priority Critical patent/CN112102367B/zh
Publication of CN112102367A publication Critical patent/CN112102367A/zh
Application granted granted Critical
Publication of CN112102367B publication Critical patent/CN112102367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于运动模型的视频分析算力实时分配调度方法,通过结合目标的运动轨迹路线、交通工具等参数,实时估算目标在历史时刻和未来时刻可能出现的地点和时间范围,从而集中视频分析算力对相应地区接入摄像头的相应时间段的视频进行智能分析。针对历史视频,该方法利用人脸/人体相似度匹配方法迭代搜寻目标,追溯目标历史轨迹;针对实时跟踪,系统实时预判目标可能路线,并调度分析相关实时视频流,发现目标进入后自动关联并触发告警。从而辅助调查人员利用有限的分析计算能力在海量视频中迅速定位到目标。

Description

一种基于运动模型的视频分析算力实时分配调度方法
技术领域
本发明属于视频监控智能分析领域,尤其涉及一种基于运动模型的视频分析算力实时分配调度方法。
背景技术
随着政府和企业对平安城市建设、社会监控建设的持续投入,高清视频监控设备和技术在公共安全领域的广泛应用。海量的高清视频对于加快破获恶性刑事案件、维护社会公共安全起到了很大的作用,然而传统的视频监控和智能分析技术虽然解决了视频的存储和回放,以及各厂商视频流之间的互联互通,但仍然无法对无用的视频段进行过滤。当需要对实现全方位的实时监控、指挥调度时,视频录像中可疑目标的检索查证,还必须依靠大量的工作人员时刻紧盯屏幕,监视所有摄像机的实时视频,以及回放相关录像,查找可疑人员、车辆目标和线索。这显然需要耗费大量的人力,且由于劳动强度高,工作量巨大,难免因为疲劳和疏忽而错漏掉某些稍纵即逝的重要信息。因此,视频监控系统正朝着智能化的方向发展。
新一代的智能化监控系统采用了智能视频分析技术,具备实时对监控范围内的运动目标、感兴趣目标(如人员、车辆等)进行检测、匹配与跟踪的能力,然而具备智能分析能力的后端服务或是后端高性能处理设备价格昂贵,无法深入应用至大街小巷,从而无法做到对接入视频或监控区域的全覆盖。进一步地,为了缓解对后端处理服务器的性能要求以及对网络传输的带宽要求,越来越多的前端智能分析和处理设备被广泛应用,具备智能分析和处理能力的前端设备在小范围内应用时,性价比较高。但当规模扩大时,如在平安城市、刑侦反恐等产生大规模视频数据及视频分析需求时,视频智能分析更倾向于需要对各设备之间的处理分析结果进行检索、匹配、关联等需求,此时仍旧需要大量的后端分析算力进行支撑,在实际的工程应用中,成本较高。
发明内容
发明目的:本发明所要解决的技术难点是视频智能分析算力不足的问题。本发明通过构建目标的运动模型,结合目标位置、目标出现时间、交通工具等参数,实时解算目标可能运动/来源方向,并调度计算资源对相应时间段和空间范围的视频进行智能分析,并对分析结果进行相似度匹配,根据历史视频完成轨迹溯源,针对实时视频完成目标出现实时告警。
本发明提供一种基于运动模型的视频分析算力实时分配调度方法,包括如下步骤:
步骤1,目标选取标注;
步骤2,对目标轨迹进行预测估算;
步骤3,对摄像头算力进行分配调度;
步骤4,重建目标轨迹。
步骤1包括:用户调阅目标出现的实时或历史视频,框选目标图像,标注目标类型。
步骤2包括:根据目标的摄像头编号以及目标出现的时间信息,结合目标类型,估算目标的可能活动范围,输出待处理的摄像头及时间段信息,并筛选估算出的目标的可能活动范围,得到目标轨迹。
步骤2中,所述估算目标的可能活动范围包括:
在空间维度上预测目标的可能活动范围:依据目标类型预设不同的运动速度,通过各摄像头实际分布的地理位置信息,以目标出现时所在摄像头的位置为中心,以预设目标类型的运动速度v和目标运动时间t相乘的结果作为目标可能的活动半径R,如预设目标类型为人的运动速度为1米每秒,则目标10分钟内的运动半径R为600米。
R=v×t (1)
在时间维度上预测目标的可能活动范围:预设不同分片的时间段,以目标出现时所在摄像头的位置为中心,以预设目标类型的运动速度和预设的目标运动时间分片相乘的结果作为目标可能的活动半径,得到的圆形区域即为目标的可能活动范围,自动按照选取的时间段间隔进行计算目标的活动范围,如5分钟,10分钟,20分钟,1小时,从而以时间顺序生成目标的可能活动范围列表。
步骤2中,所述在时间维度上预测目标的可能活动范围,根据预设的不同时间分片,以发现目标时刻为起点,往前预设时间分片,实现向历史时刻追溯估算;以发现目标时刻为起点,往后预设时间分片,实现向未来时刻推演预判。
步骤3包括:
步骤3-1,建立调度服务进程,调度服务进程将接收到的待处理摄像头信息进行记录,待处理的摄像头需要完成计算视频中是否出现了人工标注的目标的视频分析任务,并根据容许的最大并发计算任务数,建立任务队列,在待处理的摄像头视频分析任务数量超过任务队列的窗口数量时,仅记录视频的基本信息,基本信息包括摄像头编号、时间段;
步骤3-3,各计算节点定时轮询自身的工作状态,当计算节点处于空闲状态时,向调度服务进程发起请求,请求待计算的视频基本信息;在成功获取到视频的摄像头编号、时间段以及待分析处理的标注目标以后,调度服务进程将待处理的摄像头视频分析任务转移至正在计算的队列中,此时计算节点直接向视频存储发起待处理视频内容的数据请求,并执行视频分析任务;在视频分析任务中断、异常或是结束时,均向调度服务进程反馈相关结果;
步骤3-3,在步骤3-1已创建的计算任务队列中,每转移出一个计算任务,便从尚未创建任务且需要计算的视频分析任务中取出并创建新任务;
对于正在计算的任务队列中,调度服务进程根据计算节点的任务执行结果进行相应处理;
对于成功完成的计算任务,调度服务进程从计算节点中取出计算结果或摘要信息,用以目标关联、处理结果显示;
对于执行中断或异常的计算任务,调度服务进程将该项计算任务重新回收至已创建的任务队列队尾,等待下一次计算节点的计算任务请求;
步骤3-4,当待处理的摄像头视频分析任务全部完成,已创建的计算任务队列和正在进行的计算任务队列均为空时,通知各计算节点进入空闲状态,此时将得到各摄像头视频中的对于标注目标的相似目标的检索结果,包含检索到的目标相似帧、目标出现时刻、位置信息。
步骤4包括:
步骤4-1,摄像头对应的视频帧作为输入的RGB彩色空间图像,首先将其分为8×8共64分块,然后在每一个分块中提取出该分块的显著颜色;
步骤4-2,将图像从RGB空间转换到YCbCr空间,得到DCT系数DCTY,DCTCb,DCTCr
步骤4-3,对DCT系数DCTY,DCTCb,DCTCr分别进行Z字形方式扫描,得到Z字形扫描后的结果DY,DCb,DCr,DY,DCb,DCr即为图像特征描述符;
步骤4-4,得到目标的完整轨迹。
步骤4-1包括:按照主颜色直方图统计结果选取分块的显著颜色:
对分块内所有像素的彩色值进行聚类,并将聚类结果中,像素占比数量最高的聚类中心所对应的彩色值作为分块的显著颜色,在聚类时,两个像素点A1(r1,g1,b1)和A2(r2,g2,b2)彩色距离dcolor定义为:
Figure BDA0002691533020000041
其中r1为RBG图像中A1像素点的红色分量值,g1为RBG图像A1像素点的的绿色分量值,b1为RBG图像A1像素点的的蓝色分量值;r2为RBG图像中A2像素点的红色分量值,g2为RBG图像A2像素点的的绿色分量值,b2为RBG图像A2像素点的的蓝色分量值。
在得到显著颜色以后,将RGB彩色空间图像转换为8×8像素大小的图像,其中,每个像素的彩色值即为对应分块图像的显著颜色的彩色值。
步骤4-2包括:
对YCbCr空间8×8小图像的亮度Y、蓝色浓度偏移Cb、红色浓度偏移Cr通道分别做DCT离散余弦变换,得到3×64个DCT离散余弦变换系数DCTY,DCTCb,DCTCr,DCTY,DCTCb,DCTCr分别表示亮度DCT系数、蓝色浓度偏移DCT系数和红色浓度偏移DCT系数,二维DCT变换如下式:
Figure BDA0002691533020000042
Figure BDA0002691533020000043
Figure BDA0002691533020000044
其中,G和H分别为图像的宽度和高度,Agh为图像进行DCT离散余弦变换时二维数据矩阵第g行第h列处的值,Bpq为DCT变换结果B在坐标(p,q)处的值,αp和αp为中间变量。
步骤4-4包括:设定两个图像的特征描述符分别为(DY,DCb,DCr)和(DY’,DCb’,DCr’),则两个特征之间的距离σ计算公式为:
Figure BDA0002691533020000051
其中,wyi,,wbi,wri为权重系数,分别表示Y,Cb,Cr三个通道的第i个权重,取值范围为[0,1],如果两幅图像相同,则σ=0;如果两幅图像越相似,则σ越接近0;
在得到目标图像相似度的关联结果以后,便能够得到目标的完整轨迹。
本发明方法综合利用目标的轨迹路线、交通工具、出没地点等信息,集中有限算力进行分配调度,对相应地区接入摄像头的相应时间段的视频进行智能分析,一方面,针对历史视频,该方法利用人脸或人体相似度匹配方法进行目标检索,追溯目标的历史轨迹,另一方面,针对实时视频,通过运动轨迹路线等输入信息,该方法实时估算和研判目标的可能路线,并调度算力重点对可能路线上的相关实时视频流进行分析,在发现目标进行监控区域时能够自动关联并触发告警。
有益效果:本发明利用目标本身的视觉特征属性,能够在有限算力条件下,通过全自动或半自动的视频分析、关联以及算力调度,完成对重点目标的全方位跟踪以及对重点区域的全方位监控,通过在实时视频和历史视频中对目标的前后向分析,能够快速重建目标轨迹并进行预估和研判,在提升视频分析技术的工程实用价值的同时,极大地降低了应用的成本。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是系统总体流程图。
图2是目标选取标注示意图。
图3是轨迹预测估算示意图。
图4是待处理摄像头列表示意图。
图5是视频智能分析处理示意图。
图6是目标检索结果示意图。
图7是目标告警示意图。
图8是目标轨迹重建示意图。
具体实施方式
如图1所示,本发明提供了一种基于运动模型的视频分析算力实时分配调度方法,通过对有限算力进行自动或半自动的分配和调度,结合运动路线、交通工具等信息,对重点目标、重点区域实施全方位的跟踪以及全方位的监控,主要包含目标选取标注,轨迹预测估算,算力分配调度与目标轨迹重建四个步骤。
一、目标选取标注
对于历史视频,用户以手动调阅的方式进行查看,当发现目标出现时,对目标进行框选,框选时以矩形框表示,并进行目标类别选择,选择类型包含卡车、大客车、小客车、电动车、摩托车、自行车、行人,类型选择完成以后,目标信息将被保存并输入至轨迹预测模块,保存下来的目标信息包含:目标区域图像、目标摄像头编号、目标出现的时间。对于实时视频,当用户发现某个目标时,可通过截图方式截取该关键视频帧,然后在该视频图像帧上进行目标标注。目标的出现时间即为截图时的时间。并执行与历史视频中目标标注相同的类型选择、目标信息保存及向轨迹预测模块输入。
至此,完成目标选取标注步骤。目标选取的流程图如图1所示,目标选取标注示意图如图2所示。
二、轨迹预测估算
根据输入的目标摄像头编号以及目标出现的时间信息,结合目标类型,估算目标的可能活动范围,输出待处理的摄像头及时间段信息,并进行人工筛选。
轨迹预测估算包含两个方面:时间维度与空间维度。在空间维度上,估算目标的可能活动范围时,本方法依据目标类型预设不同的运动速度,预设值也支持手动方式进行修改。然后,通过各摄像头实际分布的地理位置信息,以目标出现时所在摄像头的位置为中心,以预设目标类型的运动速度和目标单位运动时间相乘的结果作为目标可能的活动半径,得到的圆形区域即为目标的可能活动范围。
在时间维度上,预设不同分片的时间段,如5分钟,10分钟,20分钟,1小时。在目标的可能活动范围,将自动按照选取的时间段间隔进行多次预测。从而以时间顺序生成目标的可能活动范围列表。同时,在时间维度上的预测是双向的,既向历史时刻追溯估算,又向未来时刻推演预判。从而尽可能的追溯到目标出现的原始地点,发现更多的原始证据,也尽可能的预估到未来的目标可能出现位置,从而及早地准备或布防。轨迹预测估算示意图如图3所示。
在轨迹预测估算以后,通过手工方式,结合自身经验或知识判断,对轨迹预测估算结果进行筛选,以便输入至算力分配调度模块进行作业分发及分析运算。待处理摄像头列表生成结果如图4所示。
三、算力分配调度
由于视频分析任务计算量往往较大,特别是进行目标的检索以及相似度匹配等任务,此类计算任务的执行时间难以准确预测,从而导致在视频分析时的算力分配调度难以利用被动调度的相关算法。因此,本方法中将在算力调度模块中采用主动调度的策略,即在接收到经人工筛选的待处理摄像头列表以后,算力调度模块将为每一个待处理的摄像头视频创建视频分析任务,并纳入作业队列中。由计算节点(视频分析服务器)在空闲时主动向作业队列发起请求,请求计算任务,完成视频分析等相关功能。其具体的调度流程可描述为:
(1)算力调度模块中的调度服务进程将接收到的待处理摄像头信息进行记录,待处理的摄像头需要完成计算视频中是否出现了人工标注的目标的视频分析任务,并根据容许的最大并发计算任务数,建立任务队列。在待处理的摄像头视频分析任务数量超过任务队列的窗口数量时,仅记录视频的基本信息,如摄像头编号、时间段,以防止任务建立时的溢出问题。
(2)各计算节点将会定时轮询自身的工作状态,当计算节点处于空闲状态时,向调度服务进程发起请求,请求待计算的视频基本信息。在成功获取到视频的摄像头编号、时间段以及待分析处理的标注目标以后,调度服务进程将该待处理的摄像头视频分析任务转移至正在计算的队列中,而此时计算节点直接向视频存储发起待处理视频内容的数据请求,并执行视频分析任务。在视频分析任务中断、异常或是结束时,均向调度服务进程反馈相关结果。
(3)在已创建的计算任务队列中,每转移出一个计算任务,便从尚未创建任务且需要计算的视频分析任务中取出并创建新任务。而对于正在计算的任务队列中,调度服务进程根据计算节点的任务执行结果进行相应处理。对于成功完成的计算任务,调度服务进程从计算节点中取出计算结果或摘要信息,用以目标关联、处理结果显示等。对于执行中断或异常的计算任务,调度服务进程将该项任务重新回收至已创建的任务队列队尾,等待下一次计算节点的计算任务请求。
(4)当待处理的视频分析计算任务全部完成,已创建的计算任务队列和正在进行的计算任务队列均为空时,算力调度模块进入空闲状态,并通知各计算节点进入空闲状态。此时将得到各摄像头视频中的对于标注目标的相似目标的检索结果,包含检索到的目标相似帧、目标出现时刻、位置等信息。
视频智能处理分析包含的内容如图5所示,检索得到的目标相似帧结果如图6所示。
四、目标轨迹重建
为了将检索得到的目标相似帧,利用目标出现时刻、位置以及目标本身的特征属性将检索结果进行目标关联,并输出目标的轨迹点(摄像头物理位置、出现时间点、置信度)。考虑到目标检索、匹配、关联过程中不可避免的存在误差或误匹配,因此使用与人工筛选相结合的方式,将无序的检索结果按照时间、空间进行连接,重建出完整的目标轨迹。
在进行目标关联时,通过目标的视觉特征属性进行特征匹配与关联。在具体实施过程中,目标视觉特征向量提取及匹配过程可描述为:
(1)摄像头对应的视频帧作为输入的RGB彩色空间图像,首先将其分为8×8=64块,然后在每一个分块中提取出该分块的显著颜色。在本方法中,显著颜色的提取是按照主颜色直方图统计结果进行选取。通过对分块内所有像素的彩色值进行聚类,并将聚类结果中,像素占比数量最高的聚类中心所对应的彩色值作为分块的显著颜色,在聚类时,两个像素点A1(r1,g1,b1)和A2(r2,g2,b2)彩色距离定义为:
Figure BDA0002691533020000081
其中r1为RBG图像中A1像素点的红色分量值,g1为RBG图像A1像素点的的绿色分量值,b1为RBG图像A1像素点的的蓝色分量值;r2为RBG图像中A2像素点的红色分量值,g2为RBG图像A2像素点的的绿色分量值,b2为RBG图像A2像素点的的蓝色分量值。
在得到显著颜色以后,可将RGB彩色空间图像转换为8×8像素大小的图像。其中,每个像素的彩色值即为对应分块图像的显著颜色的彩色值。
(2)将图像从RGB空间转换到YCbCr空间。对YCbCr空间8×8小图像Y(亮度)、Cb(蓝色浓度偏移)、Cr(红色浓度偏移)通道分别做DCT变换(离散余弦变换),可以得到3×64个DCT系数(DCTY,DCTCb,DCTCr),分别表示亮度DCT系数、蓝色浓度偏移DCT系数和红色浓度偏移DCT系数。二维DCT变换如下式:
Figure BDA0002691533020000091
Figure BDA0002691533020000092
Figure BDA0002691533020000093
其中,G和H分别为图像的宽度和高度,Agh为图像进行DCT离散余弦变换时二维数据矩阵第g行第h列处的值,Bpq为DCT变换结果B在坐标(p,q)处的值,αp和αp为中间变量。
(3)然后对DCT系数(DCTY,DCTCb,DCTCr)分别进行Z字形方式扫描,得到Z字形扫描后的结果(DY,DCb,DCr),即为图像特征。
(4)为了对图像特征的相似性进行度量,本方法使用加权欧式距离方式计算。如果两个图像的特征描述符分别为(DY,DCb,DCr)和(DY’,DCb’,DCr’),则两个特征之间的距离计算公式为:
Figure BDA0002691533020000094
其中,wyi,,wbi,wri为权重系数,分别表示Y,Cb,Cr三个通道的第i个权重,取值范围为[0,1]。如果两幅图像相同,则σ=0;如果两幅图像越相似,则σ越接近0。
在得到目标图像相似度的关联结果以后,便可以得到目标的完整轨迹。从而针对实时视频流,便可以按照预定的规则或应用场景,发出相应的提示或告警信号,如图7所示,并支持在历史视频查看中,完整呈现目标的整个活动轨迹,如图8所示。
本发明提供了一种基于运动模型的视频分析算力实时分配调度方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于运动模型的视频分析算力实时分配调度方法,其特征在于,包括如下步骤:
步骤1,目标选取标注;
步骤2,对目标轨迹进行预测估算;
步骤3,对摄像头算力进行分配调度;
步骤4,重建目标轨迹。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:用户调阅目标出现的实时或历史视频,框选目标图像,标注目标类型。
3.根据权利要求2所述的方法,其特征在于,步骤2包括:根据目标的摄像头编号以及目标出现的时间信息,结合目标类型,估算目标的可能活动范围,输出待处理的摄像头及时间段信息,并筛选估算出的目标的可能活动范围,得到目标轨迹。
4.根据权利要求3所述的方法,其特征在于,步骤2中,所述估算目标的可能活动范围包括:
在空间维度上预测目标的可能活动范围:依据目标类型预设不同的运动速度,通过各摄像头实际分布的地理位置信息,以目标出现时所在摄像头的位置为中心,以预设目标类型的运动速度v和目标运动时间t相乘的结果作为目标可能的活动半径R:
R=v×t (1)
在时间维度上预测目标的可能活动范围:预设不同分片的时间段,以目标出现时所在摄像头的位置为中心,以预设目标类型的运动速度和预设的目标运动时间分片相乘的结果作为目标可能的活动半径,得到的圆形区域即为目标的可能活动范围,自动按照选取的时间段间隔进行计算目标的活动范围,从而以时间顺序生成目标的可能活动范围列表。
5.根据权利要求4所述的方法,其特征在于,步骤2中,所述在时间维度上预测目标的可能活动范围,根据预设的不同时间分片,以发现目标时刻为起点,往前预设时间分片,实现向历史时刻追溯估算;以发现目标时刻为起点,往后预设时间分片,实现向未来时刻推演预判。
6.根据权利要求5所述的方法,其特征在于,步骤3包括:
步骤3-1,建立调度服务进程,调度服务进程将接收到的待处理摄像头信息进行记录,待处理的摄像头需要完成计算视频中是否出现了人工标注的目标的视频分析任务,并根据容许的最大并发计算任务数,建立任务队列,在待处理的摄像头视频分析任务数量超过任务队列的窗口数量时,仅记录视频的基本信息,基本信息包括摄像头编号、时间段;
步骤3-3,各计算节点定时轮询自身的工作状态,当计算节点处于空闲状态时,向调度服务进程发起请求,请求待计算的视频基本信息;在成功获取到视频的摄像头编号、时间段以及待分析处理的标注目标以后,调度服务进程将待处理的摄像头视频分析任务转移至正在计算的队列中,此时计算节点直接向视频存储发起待处理视频内容的数据请求,并执行视频分析任务;在视频分析任务中断、异常或是结束时,均向调度服务进程反馈相关结果;
步骤3-3,在步骤3-1已创建的计算任务队列中,每转移出一个计算任务,便从尚未创建任务且需要计算的视频分析任务中取出并创建新任务;
对于正在计算的任务队列中,调度服务进程根据计算节点的任务执行结果进行相应处理;
对于成功完成的计算任务,调度服务进程从计算节点中取出计算结果或摘要信息,用以目标关联、处理结果显示;
对于执行中断或异常的计算任务,调度服务进程将该项计算任务重新回收至已创建的任务队列队尾,等待下一次计算节点的计算任务请求;
步骤3-4,当待处理的摄像头视频分析任务全部完成,已创建的计算任务队列和正在进行的计算任务队列均为空时,通知各计算节点进入空闲状态,此时将得到各摄像头视频中的对于标注目标的相似目标的检索结果,包含检索到的目标相似帧、目标出现时刻、位置信息。
7.根据权利要求6所述的方法,其特征在于,步骤4包括:
步骤4-1,摄像头对应的视频帧作为输入的RGB彩色空间图像,首先将其分为8×8共64分块,然后在每一个分块中提取出该分块的显著颜色;
步骤4-2,将图像从RGB空间转换到YCbCr空间,得到DCT系数DCTY,DCTCb,DCTCr
步骤4-3,对DCT系数DCTY,DCTCb,DCTCr分别进行Z字形方式扫描,得到Z字形扫描后的结果DY,DCb,DCr,DY,DCb,DCr即为图像特征描述符;
步骤4-4,得到目标的完整轨迹。
8.根据权利要求7所述的方法,其特征在于,步骤4-1包括:按照主颜色直方图统计结果选取分块的显著颜色:
对分块内所有像素的彩色值进行聚类,并将聚类结果中,像素占比数量最高的聚类中心所对应的彩色值作为分块的显著颜色,在聚类时,两个像素点A1(r1,g1,b1)和A2(r2,g2,b2)彩色距离dcolor定义为:
Figure FDA0002691533010000031
其中r1为RBG图像中A1像素点的红色分量值,g1为RBG图像A1像素点的的绿色分量值,b1为RBG图像A1像素点的的蓝色分量值;r2为RBG图像中A2像素点的红色分量值,g2为RBG图像A2像素点的的绿色分量值,b2为RBG图像A2像素点的的蓝色分量值;
在得到显著颜色以后,将RGB彩色空间图像转换为8×8像素大小的图像,其中,每个像素的彩色值即为对应分块图像的显著颜色的彩色值。
9.根据权利要求8所述的方法,其特征在于,步骤4-2包括:
对YCbCr空间8×8小图像的亮度Y、蓝色浓度偏移Cb、红色浓度偏移Cr通道分别做DCT离散余弦变换,得到3×64个DCT离散余弦变换系数DCTY,DCTCb,DCTCr,DCTY,DCTCb,DCTCr分别表示亮度DCT系数、蓝色浓度偏移DCT系数和红色浓度偏移DCT系数,二维DCT变换如下式:
Figure FDA0002691533010000032
Figure FDA0002691533010000033
Figure FDA0002691533010000034
其中,G和H分别为图像的宽度和高度,Agh为图像进行DCT离散余弦变换时二维数据矩阵第g行第h列处的值,Bpq为DCT变换结果B在坐标(p,q)处的值,αp和αp为中间变量。
10.根据权利要求9所述的方法,其特征在于,步骤4-4包括:设定两个图像的特征描述符分别为(DY,DCb,DCr)和(DY’,DCb’,DCr’),则两个特征之间的距离σ计算公式为:
Figure FDA0002691533010000041
其中,wyi,,wbi,wri为权重系数,分别表示Y,Cb,Cr三个通道的第i个权重,取值范围为[0,1],如果两幅图像相同,则σ=0;如果两幅图像越相似,则σ越接近0;
在得到目标图像相似度的关联结果以后,便能够得到目标的完整轨迹。
CN202010992780.8A 2020-09-21 2020-09-21 一种基于运动模型的视频分析算力实时分配调度方法 Active CN112102367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010992780.8A CN112102367B (zh) 2020-09-21 2020-09-21 一种基于运动模型的视频分析算力实时分配调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010992780.8A CN112102367B (zh) 2020-09-21 2020-09-21 一种基于运动模型的视频分析算力实时分配调度方法

Publications (2)

Publication Number Publication Date
CN112102367A true CN112102367A (zh) 2020-12-18
CN112102367B CN112102367B (zh) 2022-09-06

Family

ID=73759570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010992780.8A Active CN112102367B (zh) 2020-09-21 2020-09-21 一种基于运动模型的视频分析算力实时分配调度方法

Country Status (1)

Country Link
CN (1) CN112102367B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972550A (zh) * 2022-06-16 2022-08-30 慧之安信息技术股份有限公司 面向实时视频流分析的边缘计算方法
WO2022218001A1 (zh) * 2021-04-17 2022-10-20 华为云计算技术有限公司 视频分析方法及相关系统
CN116010652A (zh) * 2023-03-20 2023-04-25 上海数字治理研究院有限公司 一种非结构化视频数据处理方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2824330A1 (en) * 2011-01-12 2012-07-19 Videonetics Technology Private Limited An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法
WO2015089867A1 (zh) * 2013-12-17 2015-06-25 东莞中国科学院云计算产业技术创新与育成中心 一种交通违章检测方法
CN106096577A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种摄像头分布地图中的目标追踪系统及追踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2824330A1 (en) * 2011-01-12 2012-07-19 Videonetics Technology Private Limited An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法
WO2015089867A1 (zh) * 2013-12-17 2015-06-25 东莞中国科学院云计算产业技术创新与育成中心 一种交通违章检测方法
CN106096577A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种摄像头分布地图中的目标追踪系统及追踪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022218001A1 (zh) * 2021-04-17 2022-10-20 华为云计算技术有限公司 视频分析方法及相关系统
CN114972550A (zh) * 2022-06-16 2022-08-30 慧之安信息技术股份有限公司 面向实时视频流分析的边缘计算方法
CN116010652A (zh) * 2023-03-20 2023-04-25 上海数字治理研究院有限公司 一种非结构化视频数据处理方法和系统
CN116010652B (zh) * 2023-03-20 2023-06-09 上海数字治理研究院有限公司 一种非结构化视频数据处理方法和系统

Also Published As

Publication number Publication date
CN112102367B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112102367B (zh) 一种基于运动模型的视频分析算力实时分配调度方法
CN107004271B (zh) 显示方法、装置、电子设备、计算机程序产品和存储介质
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
US9251425B2 (en) Object retrieval in video data using complementary detectors
TWI425454B (zh) 行車路徑重建方法、系統及電腦程式產品
CN102799935B (zh) 一种基于视频分析技术的人流量统计方法
CN112767711B (zh) 一种多类别多尺度多目标抓拍方法及系统
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN102595105A (zh) 一种基于gis地图镜头角度信息配置的应用方法
CN108182416A (zh) 一种无人机监控场景下的人体行为识别方法、系统及装置
Kurniawan et al. Speed monitoring for multiple vehicle using closed circuit television (CCTV) camera
CN112422909A (zh) 一种基于人工智能的视频行为分析管理系统
CN109361904A (zh) 一种监控视频切片存储方法及系统
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
CN109190555B (zh) 一种基于图片对比的智能巡店系统
CN111708907B (zh) 一种目标人员的查询方法、装置、设备及存储介质
CN109190602B (zh) 一种智能无人机载视频监控方法
CN113723248A (zh) 一种基于视觉的智能网联公交客流检测方法及系统
CN112215174A (zh) 一种基于计算机视觉的环卫车辆状态分析方法
CN111832451A (zh) 基于视频数据处理的适航监察流程监管系统及方法
CN111782483A (zh) 一种可弹性伸缩的云计算监控平台
CN116524482A (zh) 一种基于物联网的车牌识别系统
CN116246483A (zh) 一种基于边缘计算的停车运营视频控制系统
Khairdoost et al. An Analytical Model for Estimating Average Driver Attention Based on the Visual Field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant