CN111918024B - 一种城市路网数字化监控系统和方法 - Google Patents
一种城市路网数字化监控系统和方法 Download PDFInfo
- Publication number
- CN111918024B CN111918024B CN202010603339.6A CN202010603339A CN111918024B CN 111918024 B CN111918024 B CN 111918024B CN 202010603339 A CN202010603339 A CN 202010603339A CN 111918024 B CN111918024 B CN 111918024B
- Authority
- CN
- China
- Prior art keywords
- target
- data information
- dimensional
- road network
- urban road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006835 compression Effects 0.000 claims description 22
- 238000007906 compression Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000007774 longterm Effects 0.000 claims description 10
- 210000001525 retina Anatomy 0.000 abstract description 9
- 230000006837 decompression Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229920001872 Spider silk Polymers 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种城市路网数字化监控系统和方法,所述系统包括:摄像头,用于实时采集目标区域的数据信息;独立缓存装置,用于缓存所述目标区域的数据信息;目标比较装置,用于获取缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;子区域3D建模装置,用于利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频。因此,采用本申请实施例,由于利用摄像头采集图像而构建3D监控视频进行基于数字视网膜的城市路网数字化监控,从而提高了识别精度、降低了存储成本以及降低了检索难度。
Description
技术领域
本发明涉及安防监控技术领域,特别涉及一种城市路网数字化监控系统和方法。
背景技术
目前基于电子地图的监控视频网络已广泛地应用在日常的城市防控和指挥调度中,通过电子地图的应用程序,可实时对电子地图指定地点进行视频监控,相比于传统的监控平台,基于电子地图的监控平台能够提供更好的用户体验,更实时的点位监控,更直观的呈现,以及更智能。
现有的视频监控系统基本都是出于存储考虑而设计,在需要调取某个时间段和某地点的视频时再从海量的视频存储中查找出来,通过人工或智能化的方式再从找到的视频中发现蛛丝马迹。但这种传统的监控方式存在几个问题:1)识别难度高,最传统的识别方式是依靠人力观看和查找,这种方式识别能力强、但是容易因主观因素漏掉或忽略关键内容,改进的策略是利用视频、图像识别算法等人工智能方式,但也因识别时间长、要处理数据量过大、投入成本过高而存在大数据处理的挑战;2)检索困难多,存储是常规视频监控系统的重点,所以存储过程中的压缩、编码有可能导致数据丢失,提取数据时的解压缩、解码也很可能导致数据丢失,即使进行了正确的检索,却经常得不到原始的结果;3)存储成本大,存储前对数据进行压缩,主要原因是提高存储器利用率和降低存储成本,即使如此,现有视频监控系统存储起来的数据量还是非常庞大,数据量越大成本越高,而且数据量必然随着保存时间延长呈现出明显增长的趋势。
发明内容
本申请实施例提供了一种城市路网数字化监控系统和方法。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种城市路网数字化监控系统,所述系统包括:
摄像头,用于实时采集目标区域的数据信息;
独立缓存装置,用于缓存所述目标区域的数据信息;
目标比较装置,用于获取缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;
子区域3D建模装置,用于利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频。
可选的,所述系统还包括:
模型拼接装置,用于获取多个所述目标区域的三维动画视频,并将所述多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频。
可选的,所述系统还包括:
压缩存储装置,用于将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频。
可选的,所述压缩存储装置包括短期存储模块和长期存储模块;其中,
所述短期存储模块用于存储第一预设时间区间的城市路网的三维动画视频;
所述长期存储模块用于将第二预设时间区间的城市路网的三维动画视频进行压缩,并将压缩后的城市路网的三维动画视频进行存储;其中,
所述第二预设时间区间的时间差大于所述第一预设时间区间的时间差。
可选的,所述系统还包括:
地图生成装置,用于利用所述城市路网的三维动画视频构建三维全景地图;
所述地图生成装置包括高清晰度全景地图生成模块和低清晰度全景地图生成模块;
所述高清晰度全景地图生成模块用于利用所述短期存储模块中存储的城市路网的三维动画视频构建三维全景地图;
所述低清晰度全景地图生成模块用于利用所述长期存储模块中存储的城市路网的三维动画视频构建空间占用较小的地图。
第二方面,本申请实施例提供了一种城市路网数字化监控方法,所述方法包括:
摄像头实时采集目标区域的数据信息;
独立缓存装置缓存所述目标区域的数据信息;
目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;
子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频;
模型拼接装置将多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频;
压缩存储装置将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频;
地图生成装置利用所述城市路网的三维动画视频构建三维全景地图。
可选的,所述目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息,包括:
目标比较装置获取独立缓存装置缓存的视频图像数据;
目标比较装置对所述视频图像数据在同一时间和/或同一时间区间内对同一区域的一个和/或多个目标对象信息相互比对、比较和最终确认,输出以所述多个目标对象的多维度数据信息。
可选的,所述子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频,包括:
子区域3D建模装置获取所述多个目标对象的多维度数据信息;
子区域3D建模装置对所述多个目标对象的多维度数据信息进行标注,生成所述多个目标对象的的标注属性信息;
子区域3D建模装置将所述多个目标对象的的标注属性信息作为所述多个目标对象前后时间点关联依据;
子区域3D建模装置基于所述前后时间点关联依据对所述目标区域进行3D建模,生成所述目标区域的三维动画视频。
可选的,所述子区域3D建模装置对所述多个目标对象的多维度数据信息进行标注,生成所述多个目标对象的的标注属性信息,包括:
子区域3D建模装置接收所述多个目标对象的多维度数据信息;
子区域3D建模装置按照预设标签将所述多维度数据信息进行分类,生成分类后的数据信息;
子区域3D建模装置根据所述分类后的数据信息中不同数据信息对应的类型,选择相应的预标注模型对所述分类后的数据信息标注,生成所述多个目标对象的的标注属性信息。
可选的,所述方法还包括:
从标注数据库中采集第一数据样本、第二数据样本以及第三数据样本,所述第一数据样本与所述第二数据样本的标注结果相似度大于第一相似度阈值,所述第一数据样本与所述第三数据样本的标注结果相似度小于第二相似度阈值,所述第一相似度阈值大于或者等于所述第二相似度阈值;
创建标注模型,将所述第一数据样本、第二数据样本以及第三数据样本输入所述标注模型中,输出所述模型的标注损失值;
当所述标注损失值达到预设阈值时,生成训练完成的预标注模型。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,摄像头实时采集目标区域的数据信息,通过独立缓存装置缓存所述目标区域的数据信息,然后再利用目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息,再通过子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频,再通过模型拼接装置将多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频,再基于压缩存储装置将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频,最后根据地图生成装置利用所述城市路网的三维动画视频构建三维全景地图。由于利用摄像头采集图像而构建3D监控视频进行基于数字视网膜的城市路网数字化监控,从而提高了识别精度、降低了存储成本以及降低了检索难度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种城市路网数字化监控系统的流程示意图;
图2是本申请实施例提供的另一种城市路网数字化监控系统的流程示意图;
图3是本申请实施例提供的一种城市路网数字化监控方法的流程示意图;
图4是本申请实施例提供的一种城市路网数字化监控过程的过程示意图;
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止,对于城市路网数字化监控,现有的视频监控系统基本都是出于存储考虑而设计,在需要调取某个时间段和某地点的视频时再从海量的视频存储中查找出来,通过人工或智能化的方式再从找到的视频中发现蛛丝马迹。但这种传统的监控方式存在几个问题:1)识别难度高,最传统的识别方式是依靠人力观看和查找,这种方式识别能力强、但是容易因主观因素漏掉或忽略关键内容,改进的策略是利用视频、图像识别算法等人工智能方式,但也因识别时间长、要处理数据量过大、投入成本过高而存在大数据处理的挑战;2)检索困难多,存储是常规视频监控系统的重点,所以存储过程中的压缩、编码有可能导致数据丢失,提取数据时的解压缩、解码也很可能导致数据丢失,即使进行了正确的检索,却经常得不到原始的结果;3)存储成本大,存储前对数据进行压缩,主要原因是提高存储器利用率和降低存储成本,即使如此,现有视频监控系统存储起来的数据量还是非常庞大,数据量越大成本越高,而且数据量必然随着保存时间延长呈现出明显增长的趋势。为此,本申请提供了一种城市路网数字化监控系统和方法,以解决上述相关技术问题中存在的问题。本申请提供的技术方案中,由于利用摄像头采集图像而构建3D监控视频进行基于数字视网膜的城市路网数字化监控,从而提高了识别精度、降低了存储成本以及降低了检索难度,下面采用示例性的实施例进行详细说明。
图1示出了根据本发明实施方式的城市路网数字化监控系统10的示意图。
如图1所示,城市路网数字化监控系统10包括摄像头100、独立缓存装置110、目标比较装置120、子区域3D建模装置130。
摄像头100,用于实时采集目标区域的数据信息;
在一种可能的实现方式中,摄像头100分布在城市路网旁的多个摄像头100,其中,至少保证多个摄像头100能够同时监测到一个区域,如通过三个摄像头100在某时间从不同角度拍摄A区域,从而可对某区域上的目标(如车辆或行人等移动的目标)进行多种特征采集,用于后期的3D视频构建。优选地,出于减少摄像头100数量的角度考虑,摄像头100可根据实际情况进行上下、左右甚至360度摆动,监测同一区域的不同摄像头100协作工作,以实现通过多摄像头100同时可监测到同一区域为准。
独立缓存装置110,用于缓存所述目标区域的数据信息;
在一种可能的实现方式中,独立缓存装置110与摄像头100一一对应,每个摄像头分别配备一个独立缓存装置110,独立缓存装置110可直接配置在摄像头100旁,或者可生产出具有独立缓存装置110的摄像头100。用于缓存一定时间内(如一天或半天)的视频或图像数据。
目标比较装置120,用于获取缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;
在一种可能的实现方式中,目标比较装置120对应于同时监控同一区域的多个摄像头100,比如一个目标比较装置120可以对应三个摄像头100,则目标比较装置120分别与这三个摄像头的独立缓存装置110有线或无线通信连接,用于得到独立缓存装置110提供的视频或图像数据,以及用于对独立缓存装置110在同一时间或同一时间段内对同一区域的一个或多个对象信息相互比对、比较和最终确认,输出以目标为主题的多维度信息。
子区域3D建模装置130,用于利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频。
在一种可能的实现方式中,子区域3D建模装置130与目标比较装置120连接,用于根据一个或多个目标比较装置120输出的多维度信息对多个摄像头同时监控的某区域(子区域)进行3D建模,以尽快地甚至实时还原出被监控的子区域场景;而且在建模过程中还可对子区域中的至少一个目标进行标注,比如对车辆的车牌、车辆的颜色、车辆的品牌、行人的衣着、行人的头饰、行人的身高等等信息作为构建的3D模型的标注属性信息,标注属性信息可包括目标ID、状态等常规特征或特殊特征(比如行人的拐杖、追尾的汽车等),而且可以用上述模型的标注属性信息作为前后时间或其他不同时间点之间的关联依据,最终用于能够达到各个子区域的三维动画视频的展示效果。
进一步地,例如图2所示,城市路网数字化监控系统1还包括:模型拼接装置140、压缩存储装置150、地图生成装置160以及用户终端170。
模型拼接装置140,用于获取多个所述目标区域的三维动画视频,并将所述多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频;
在一种可能的实现方式中,模型拼接装置140用于对同一时间相邻区域的多个3D模型相拼接,将整个城市的路网按设定的区域甚至将路网所有区域拼接起来,形成多个或一个动态的360度三维全景动画。其中,在将本发明应用在一个小区、幼儿园、公园等等某功能性区域时,只实现将该区域各个子区域模型拼接即可。最终可达到某功能性区域甚至整个城市路网的三维动画视频的展示效果。
压缩存储装置150,用于将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频;
在一种可能的实现方式中,压缩存储装置150将拼接后形成的3D模型视频进行压缩,由于本发明采用模型构建方式进行场景和被监控目标重构,所以本申请可使用极高的压缩比对3D模型视频进行压缩,后期调用时可按照反向解压缩方式完全还原在先已生成的3D模型(三维动画视频),具有调用速度快、占用空间小、有用内容较多、可靠性高、可信赖度强等优点。其中,压缩存储装置还可包括形成两级或多级存储关系的短期存储模块和长期存储模块。
短期存储模块,可存储一定时间内的3D模型视频,该模块将不对生成的视频压缩,满足实时调用或短期内调用的需要,比如,用户可以直接调取七天内或者当前的3D模型视频,由于未进行压缩,不需要解压缩过程,调用速度非常快。
长期存储模块,在短期存储模块中的3D模型视频达到其设定的存储期限时,如某天的3D模型视频已经在短期存储模块中放置了七天时,则将该视频进行强力压缩(高压缩比压缩),然后存储到相应的数据库或云端中,供后期进行调用。
地图生成装置160,用于利用所述城市路网的三维动画视频构建三维全景地图;
在一种可能的实现方式中,地图生成装置160包括高清晰度全景地图生成装置和一般清晰度地图生成装置。
高清晰度全景地图生成装置,可用于利用短期存储模块中存储的视频构建三维全景地图,与常规地图不同,该地图中的车辆、行人等运行目标是随着时间的变化而可以移动的,在进行目标追踪时,由于本发明在前已经对各目标赋予了标注属性信息,则能够根据客户需要迅速的给出具有高清晰度的目标在某段时间内运行轨迹图,以便于进行准确地追踪,省时且准确。
一般清晰度地图生成装置,用于利用长期存储模块中存储的视频构建空间占用较小的地图,对于要追踪的较长时间以前的某目标轨迹,可先基于标注属性信息快速地得到该目标的大致轨迹,在锁定相应的目标和轨迹后,再从长期存储模块解压缩出来相应的3D模型视频,通过高清晰度全景地图生成装置自动构建该目标在某段时间内运行轨迹图,以便于进行更准确地追踪。
进一步地,基于本专利构建的3D监控视频或全景地图,本发明还可结合虚拟现实技术对相应的监控视频或目标进行人工查看。用户佩戴虚拟现实眼镜后,可将已得到的3D监控视频或全景地图发送至虚拟现实设备上,用户仿如置身于当时目标所在的场景中,这种方式能够使用户对相应的目标和周围环境的印象更深,更有助于其进行逻辑分析,从被监控对象的角度估计行踪,以更准确、更迅速地掌握待寻找目标的行踪和轨迹。
用户终端170,用户通过用户终端170和压缩存储装置150以及地图生成装置160进行交互。
在本申请实施例中,摄像头实时采集目标区域的数据信息,通过独立缓存装置缓存所述目标区域的数据信息,然后再利用目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息,再通过子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频,再通过模型拼接装置将多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频,再基于压缩存储装置将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频,最后根据地图生成装置利用所述城市路网的三维动画视频构建三维全景地图。由于利用摄像头采集图像而构建3D监控视频进行基于数字视网膜的城市路网数字化监控,从而提高了识别精度、降低了存储成本以及降低了检索难度。
下面将结合附图1-附图2,对本申请实施例提供的城市路网数字化监控方法进行详细介绍。
请参见图1,为本申请实施例提供了一种城市路网数字化监控方法的流程示意图。如图1所示,本申请实施例的所述方法可以包括以下步骤:
S101,摄像头实时采集目标区域的数据信息;
在本申请实施例中,通过摄像头采集目标区域的数据信息构建3D监控视频,从而根据3D监控视频进行基于数字视网膜的城市路网数字化监控。其中,数字视网膜与人的眼睛既具有影像重构(精细编码视觉内容),又具备特征提取(面向识别理解)的功能。在数字视网膜实现中,首先将监控视频编码(视频特征的紧凑表达),把这些特征集合起来变成紧凑地给它表达出来就叫做“紧凑表达”,有了这些东西后,把它应用在其中,传输到云端,这时候就拥有了数字视网膜功能。
S102,独立缓存装置缓存所述目标区域的数据信息;
其中,独立缓存装置可以实时保存摄像头采集的视频数据。
在本申请实施例中,摄像头和独立缓存装置连接,当摄像头采集到区域的目标视频图像帧时,视频图像帧实时传输到独立缓存装置进行保存生成保存的视频图像。
S103,目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;
在本申请实施例中,首先通过目标比较装置获取独立缓存装置缓存的视频图像数据,然后利用目标比较装置对所述视频图像数据在同一时间和/或同一时间区间内对同一区域的一个和/或多个目标对象信息相互比对、比较和最终确认,最后输出以所述多个目标对象的多维度数据信息。
S104,子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频;
在本申请实施例中,首先通过子区域3D建模装置获取多个目标对象的多维度数据信息,然后子区域3D建模装置对多个目标对象的多维度数据信息进行标注,生成多个目标对象的的标注属性信息,子区域3D建模装置将多个目标对象的的标注属性信息作为多个目标对象前后时间点关联依据,最后子区域3D建模装置基于前后时间点关联依据对目标区域进行3D建模,生成目标区域的三维动画视频。
进一步地,在进行多维度数据信息标注时,首先通过子区域3D建模装置接收多个目标对象的多维度数据信息,再利用子区域3D建模装置按照预设标签将多维度数据信息进行分类,生成分类后的数据信息,子区域3D建模装置根据分类后的数据信息中不同数据信息对应的类型,从用户终端中选择相应的预标注模型对分类后的数据信息标注,生成多个目标对象的的标注属性信息。
进一步地,在进行多维度数据信息标注之前,需要训练标注模型进行多维度数据信息标注,在训练标注模型时,用户终端首先从标注数据库中采集第一数据样本、第二数据样本以及第三数据样本,其中第一数据样本与第二数据样本的标注结果相似度大于第一相似度阈值,第一数据样本与第三数据样本的标注结果相似度小于第二相似度阈值,第一相似度阈值大于或者等于第二相似度阈值。然后创建标注模型,将第一数据样本、第二数据样本以及第三数据样本输入标注模型中,输出模型的标注损失值,最后当所述标注损失值达到预设阈值时,生成训练完成的预标注模型。
S105,模型拼接装置将多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频;
在本申请实施例中,对同一时间相邻区域的多个3D模型相拼接,将整个城市的路网按设定的区域甚至将路网所有区域拼接起来,形成多个或一个动态的360度三维全景动画。
例如将本发明应用在一个小区、幼儿园、公园等等某功能性区域进行监控时,只实现将该区域各个子区域模型拼接即可完成该区域的三维动画视频的展示效果。
S106,压缩存储装置将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频;
S107,地图生成装置利用所述城市路网的三维动画视频构建三维全景地图。
在本申请实施例中,本发明是基于3D建模进行的视频监控,对生成的3D模型视频中的各个部分均有所掌握,不会忽略到视频监控中的细节,所以本专利更容易实现高准确度、高分辨率地检索,极大地降低了检索难度。本发明的识别过程是基于构建的3D模型视频,而且构建出的各目标均具有标注属性信息,所以具有识别率较高、识别速度快、可信赖度较高等优点。本发明存储的对象是具有ID等标注属性信息的模型视频和全景地图数据,具有可压缩性强、占用空间小且易检索等突出优点。
例如图4所示,图4是本申请实施例提供的一种城市路网数字化监控过程的过程示意图,首先通过多个摄像头实时采集视频图像,采集的视频图像缓存至和摄像头连接的独立缓存装置中,通过多个独立缓存装置连接的目标比较装置处理视频图像生成视频采集区域的多维度数据信息,通过连接在独立缓存装置的子区域3D建模装置获取多维度数据信息,子区域3D建模装置利用获取的多维度数据信息进行建模生成三维动画视频,模型拼接装置和子区域3D建模装置连接并获取子区域3D建模装置生成的三维动画视频进行拼接,生成城市路网的三维动画视频,压缩存储装置连接模型拼接装置并获取拼接的三维动画视频进行压缩或保存生成压缩后的数据,当接到用户终端地图构建指令时,通过获取保存的压缩数据构建地图。
在本申请实施例中,摄像头实时采集目标区域的数据信息,通过独立缓存装置缓存所述目标区域的数据信息,然后再利用目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息,再通过子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频,再通过模型拼接装置将多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频,再基于压缩存储装置将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频,最后根据地图生成装置利用所述城市路网的三维动画视频构建三维全景地图。由于利用摄像头采集图像而构建3D监控视频进行基于数字视网膜的城市路网数字化监控,从而提高了识别精度、降低了存储成本以及降低了检索难度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (9)
1.一种城市路网数字化监控系统,其特征在于,所述系统包括:
摄像头,用于实时采集目标区域的数据信息;
独立缓存装置,用于缓存所述目标区域的数据信息;
目标比较装置,用于获取缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;
子区域3D建模装置,用于利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频;其中,所述子区域3D建模装置具体用于:
子区域3D建模装置获取所述多个目标对象的多维度数据信息;
子区域3D建模装置对所述多个目标对象的多维度数据信息进行标注,生成所述多个目标对象的的标注属性信息;
子区域3D建模装置将所述多个目标对象的的标注属性信息作为所述多个目标对象前后时间点关联依据;
子区域3D建模装置基于所述前后时间点关联依据对所述目标区域进行3D建模,生成所述目标区域的三维动画视频。
2.根据权利要求1所述的一种城市路网数字化监控系统,其特征在于,所述系统还包括:
模型拼接装置,用于获取多个所述目标区域的三维动画视频,并将所述多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频。
3.根据权利要求1或2所述的一种城市路网数字化监控系统,其特征在于,所述系统还包括:
压缩存储装置,用于将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频。
4.根据权利要求3所述的一种城市路网数字化监控系统,其特征在于,
所述压缩存储装置包括短期存储模块和长期存储模块;其中,
所述短期存储模块用于存储第一预设时间区间的城市路网的三维动画视频;
所述长期存储模块用于将第二预设时间区间的城市路网的三维动画视频进行压缩,并将压缩后的城市路网的三维动画视频进行存储;其中,
所述第二预设时间区间大于所述第一预设时间区间。
5.根据权利要求4所述的一种城市路网数字化监控系统,其特征在于,所述系统还包括:
地图生成装置,用于利用所述城市路网的三维动画视频构建三维全景地图;
所述地图生成装置包括高清晰度全景地图生成模块和低清晰度全景地图生成模块;
所述高清晰度全景地图生成模块用于利用所述短期存储模块中存储的城市路网的三维动画视频构建三维全景地图;
所述低清晰度全景地图生成模块用于利用所述长期存储模块中存储的城市路网的三维动画视频构建空间占用较小的地图。
6.一种使用权利要求1-5任意一项所述系统的城市路网数字化监控方法,其特征在于,所述方法包括:
摄像头实时采集目标区域的数据信息;
独立缓存装置缓存所述目标区域的数据信息;
目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息;
子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频;
模型拼接装置将多个所述目标区域的三维动画视频对应的3D模型进行拼接,生成城市路网的三维动画视频;
压缩存储装置将所述城市路网的三维动画视频进行压缩和/或存储,生成压缩和/或存储后的城市路网的三维动画视频;
地图生成装置利用所述城市路网的三维动画视频构建三维全景地图;其中,所述子区域3D建模装置利用所述多个目标对象的多维度数据信息对所述目标区域进行3D建模,生成所述目标区域的三维动画视频,包括:
子区域3D建模装置获取所述多个目标对象的多维度数据信息;
子区域3D建模装置对所述多个目标对象的多维度数据信息进行标注,生成所述多个目标对象的的标注属性信息;
子区域3D建模装置将所述多个目标对象的的标注属性信息作为所述多个目标对象前后时间点关联依据;
子区域3D建模装置基于所述前后时间点关联依据对所述目标区域进行3D建模,生成所述目标区域的三维动画视频。
7.根据权利要求6所述的方法,其特征在于,所述目标比较装置将所述缓存的所述目标区域的数据信息进行处理,生成所述目标区域的多个目标对象的多维度数据信息,包括:
目标比较装置获取独立缓存装置缓存的视频图像数据;
目标比较装置对所述视频图像数据在同一时间和/或同一时间区间内对同一区域的一个和/或多个目标对象信息相互比对、比较和最终确认,输出所述多个目标对象的多维度数据信息。
8.根据权利要求6所述的方法,其特征在于,所述子区域3D建模装置对所述多个目标对象的多维度数据信息进行标注,生成所述多个目标对象的的标注属性信息,包括:
子区域3D建模装置接收所述多个目标对象的多维度数据信息;
子区域3D建模装置按照预设标签将所述多维度数据信息进行分类,生成分类后的数据信息;
子区域3D建模装置根据所述分类后的数据信息中不同数据信息对应的类型,选择相应的预标注模型对所述分类后的数据信息标注,生成所述多个目标对象的的标注属性信息。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
从标注数据库中采集第一数据样本、第二数据样本以及第三数据样本,所述第一数据样本与所述第二数据样本的标注结果相似度大于第一相似度阈值,所述第一数据样本与所述第三数据样本的标注结果相似度小于第二相似度阈值,所述第一相似度阈值大于或者等于所述第二相似度阈值;
创建标注模型,将所述第一数据样本、第二数据样本以及第三数据样本输入所述标注模型中,输出所述模型的标注损失值;
当所述标注损失值达到预设阈值时,生成训练完成的预标注模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010603339.6A CN111918024B (zh) | 2020-06-29 | 2020-06-29 | 一种城市路网数字化监控系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010603339.6A CN111918024B (zh) | 2020-06-29 | 2020-06-29 | 一种城市路网数字化监控系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111918024A CN111918024A (zh) | 2020-11-10 |
CN111918024B true CN111918024B (zh) | 2021-10-19 |
Family
ID=73226664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010603339.6A Active CN111918024B (zh) | 2020-06-29 | 2020-06-29 | 一种城市路网数字化监控系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111918024B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927349B (zh) * | 2021-02-22 | 2024-03-26 | 北京市商汤科技开发有限公司 | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 |
CN113569645B (zh) * | 2021-06-28 | 2024-03-22 | 广东技术师范大学 | 基于图像检测的轨迹生成方法、装置及系统 |
CN113810665A (zh) * | 2021-09-17 | 2021-12-17 | 北京百度网讯科技有限公司 | 视频处理方法、装置、设备、存储介质及产品 |
CN116206077B (zh) * | 2023-03-24 | 2024-05-17 | 清华大学 | 基于非全局重复建模的三维重构模型局部优化方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915669A (zh) * | 2012-10-17 | 2013-02-06 | 中兴通讯股份有限公司 | 一种实景地图的制作方法和装置 |
US8803906B2 (en) * | 2009-08-24 | 2014-08-12 | Broadcom Corporation | Method and system for converting a 3D video with targeted advertisement into a 2D video for display |
CN106534780A (zh) * | 2016-11-11 | 2017-03-22 | 广西师范大学 | 三维全景视频监控装置及其视频图像处理方法 |
CN110390033A (zh) * | 2019-07-25 | 2019-10-29 | 腾讯科技(深圳)有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034212A (zh) * | 2010-06-21 | 2011-04-27 | 艾浩军 | 一种基于视频分析的城市管理系统 |
US10911694B2 (en) * | 2017-03-15 | 2021-02-02 | Gvbb Holdings S.A.R.L. | System and method for creating metadata model to improve multi-camera production |
-
2020
- 2020-06-29 CN CN202010603339.6A patent/CN111918024B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8803906B2 (en) * | 2009-08-24 | 2014-08-12 | Broadcom Corporation | Method and system for converting a 3D video with targeted advertisement into a 2D video for display |
CN102915669A (zh) * | 2012-10-17 | 2013-02-06 | 中兴通讯股份有限公司 | 一种实景地图的制作方法和装置 |
CN106534780A (zh) * | 2016-11-11 | 2017-03-22 | 广西师范大学 | 三维全景视频监控装置及其视频图像处理方法 |
CN110390033A (zh) * | 2019-07-25 | 2019-10-29 | 腾讯科技(深圳)有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111918024A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111918024B (zh) | 一种城市路网数字化监控系统和方法 | |
WO2020228766A1 (zh) | 基于实景建模与智能识别的目标跟踪方法、系统及介质 | |
CN107004271B (zh) | 显示方法、装置、电子设备、计算机程序产品和存储介质 | |
CN113689540B (zh) | 基于rgb视频的物体重建方法和装置 | |
KR20170031700A (ko) | 완전 시차 광 필드 압축을 위한 전처리기 | |
WO2020211427A1 (zh) | 基于扫描点云数据的分割与识别方法、系统及存储介质 | |
KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
Karaman et al. | Human daily activities indexing in videos from wearable cameras for monitoring of patients with dementia diseases | |
WO2020228767A1 (zh) | 基于视频融合的场景动态模拟方法、系统及存储介质 | |
CN114821675A (zh) | 对象的处理方法、系统和处理器 | |
JPH09502586A (ja) | データ分析方法及び装置 | |
WO2023279799A1 (zh) | 对象识别方法、装置和电子系统 | |
EP3975133A1 (en) | Processing of images captured by vehicle mounted cameras | |
JPH07193748A (ja) | 動画像処理方法および装置 | |
WO2023217138A1 (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
CN115760886B (zh) | 基于无人机鸟瞰图的地块划分方法、装置及相关设备 | |
KR102440916B1 (ko) | 데이터 결합을 통한 3차원 문화재의 데이터베이스 구축방법 및 시스템 | |
WO2012045317A1 (en) | Detecting manipulations of digital video stream data | |
KR100984473B1 (ko) | 토폴로지 이미지 모델 | |
CN115565155A (zh) | 神经网络模型的训练方法、车辆视图的生成方法和车辆 | |
CN110505481B (zh) | 一种利用眼动监测提高视频poi低损编码效率的方法 | |
KR20160039447A (ko) | 스테레오 카메라를 이용한 공간분석시스템 | |
US20220230411A1 (en) | Method for generating video file format-based shape recognition list | |
CN114170379A (zh) | 一种三维模型重建方法、装置及设备 | |
CN112465688A (zh) | 一种专用于计算机识别的孪生相机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |