CN114707014B - 一种基于fov的影像数据融合索引方法 - Google Patents

一种基于fov的影像数据融合索引方法 Download PDF

Info

Publication number
CN114707014B
CN114707014B CN202210627004.7A CN202210627004A CN114707014B CN 114707014 B CN114707014 B CN 114707014B CN 202210627004 A CN202210627004 A CN 202210627004A CN 114707014 B CN114707014 B CN 114707014B
Authority
CN
China
Prior art keywords
attribute
elements
spatial
image data
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210627004.7A
Other languages
English (en)
Other versions
CN114707014A (zh
Inventor
张超
万亚东
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
University of Science and Technology Beijing USTB
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical University of Science and Technology Beijing USTB
Priority to CN202210627004.7A priority Critical patent/CN114707014B/zh
Publication of CN114707014A publication Critical patent/CN114707014A/zh
Application granted granted Critical
Publication of CN114707014B publication Critical patent/CN114707014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于FOV的影像数据融合索引方法，包括：S100、基于若干传感器获取影像数据，并建立影像数据集合D；S200、基于所述影像数据上附加的光学参数获取所述影像数据在地理空间上对应的视阈，建立与D相对应的视阈集合W，对W进行二级融合处理得到集合W'以及与W'对应影像数据集合D'；S300、基于用户获取若干空间元素，并对所述空间元素分类标记；S400、基于W'、D'以及空间元素，建立地理因素约束的多元空间索引；提高了对时间元素、用户感兴趣的空间元素、影像元素等多元化元素的挖掘分析效率，实现了对海量多元的影像数据进行统一的高效管理。

Description

一种基于FOV的影像数据融合索引方法
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于FOV的影像数据融合索引方法。
背景技术
随处可见的各种智能手机和城市中的各种摄像头每天都会产生大量的基于多种传感器的影像数据，对这些数据的挖掘、分析可以得到很多有价值的信息，从而为人们的生活、城市的发展等进行指导。但由于影像数据数量上的海量性以及其保存格式、分辨率、大小等方面的多元化的特点，对这些影像数据的高效管理方面面临着巨大挑战。而传统的采用机器学习等智能技术的影像数据处理手段由于训练模型的限制并不能很好地对海量多元的影像数据进行高效管理。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题，本申请提供一种基于FOV的影像数据融合索引方法，包括如下步骤：
S100、基于若干传感器获取影像数据，并建立影像数据集合D=（D1，D2，……，Dn），影像数据Di的类型为视频数据或图像数据，其中，1≤i≤n；
S200、基于所述影像数据上附加的光学参数获取所述影像数据在地理空间上对应的视阈，建立与所述影像数据集合D相对应的视阈集合W，对W进行二级融合处理得到二级融合后的视阈集合W'以及与W'对应的二级融合后的影像数据集合D'；
S300、基于用户获取若干空间元素，并对所述空间元素分类标记；
S400、基于W'、D'以及空间元素，建立地理因素约束的多元空间索引；
所述步骤S400还包括以下步骤：
S410、基于W'、D'以及空间元素，进行一级时间聚类，得到一级聚类元素并建立一级聚类集合C；
S420、基于集合C中的一级聚类元素，进行二级空间聚类，得到二级聚类元素并建立二级聚类集合C'；
S430、基于C和C'，为W'、D'以及空间元素建立多元空间索引。
所述步骤S200还包括以下步骤：
S201、创建影像数据集合D'和视阈集合W、视阈集合W'，所述视阈集合W'用于存储W中的视阈进行二级融合处理后的视阈，所述影像数据集合D'、视阈集合W和W'均被初始化为空集；
S202、判断影像数据Di的类型，Di∈D，当Di的类型为图片数据时，执行步骤S203，当Di的类型为视频数据时，执行步骤S204；
S203、获取Di的空间属性Fi=（p，as，ae，γ，t），将Fi存入W；其中：p为拍摄Di的位置，[as，ae]为拍摄Di的镜头的可视角度范围，γ为拍摄Di的镜头的可视距离，t为拍摄Di的时间；
S204、对Di进行分割，得到Di对应的视频帧集合Gi=｛Gi1，Gi2，……，Giz｝，其中z为Di的帧数，Gij为Di第j帧的图片数据，获取Gij的空间属性Fij=（p，as，ae，γ，t），得到Di的空间属性Fi=（Fi1，Fi2，……，Fiz），将Fi存入W；
S205、重复步骤S202至S204，直到对D中所有Di完成处理，获得与所述影像数据集合D相对应的视阈集合W；
S206、基于W获取Fi，Fi=（p，as，ae，γ，t）时，将Fi存入W'，当Fi=（Fi1，Fi2，……，Fiz）时，执行步骤S207；
S207、获取Fij和Fi(j+1)的相交区域，其中，j=1，2，……，z-1，计算得到Fij和Fi(j+1)相交区域面积与Fij面积的比值Sij，以及计算得到Fij和Fi(j+1)相交区域面积与Fi(j+1)面积的比值Si(j+1)，当Sij≥Si(j+1)时，将Fij和Fi(j+1)融合为Fij，并将Fij存入集合W'，将Fij对应的图片数据Gij存入集合D'，否则，将Fij和Fi(j+1)融合为Fi(j+1)，并将Fi(j+1)存入集合W'，将Fi(j+1)对应的图片数据Gi(j+1)存入集合D'；
S208、重复步骤S206至步骤S207，直到对集合W中的所有Fi全部完成处理，得到一级融合后的视阈集合W'以及与W'对应的一级融合后的影像数据集合D'；
S209、复制集合W'得到W''，并清空集合W'；
S210、获取空间属性Fv，Fv∈W''，基于Fv获取拍摄位置Fv.p；
S211、获取空间属性Fu，Fu∈W''，Fu≠Fv，基于Fu获取拍摄位置Fu.p；
S212、当Fv.p＝Fu.p时，执行步骤S213，当Fv.p≠Fu.p时，执行步骤S214；
S213、计算得到Fv和Fu相交区域面积与Fv面积的比值Sv，以及计算得到Fv和Fu相交区域面积与Fu面积的比值Su，当Sv≥Su时，将Fv存入集合W'，将Fu对应的图片数据Gu从集合D'中删除，否则，将Fu存入集合W'，将Fv对应的图片数据Gv从集合D'中删除，并执行步骤S214；
S214、重复步骤S211至步骤S213，直到对集合W''中的所有符合条件的Fu全部完成处理；
S215、重复步骤S210至步骤S214，直到对集合W''中的所有Fv全部完成处理，得到二级融合后的视阈集合W'以及与W'对应的二级融合后的影像数据集合D'。
所述步骤S300还包括以下步骤：
S310、基于用户获取若干空间元素并进行初始类别识别，获得h个空间元素类别，构建空间元素类别集合O=｛O1，O2，……，Oh｝，其中Oq为一种类别的空间元素的集合并为Oq设置概述词，1≤q≤h，Oq初始化为空集；
S320、基于若干所述空间元素，获取空间元素or并进行识别，得到or的概述词or.word、or的名称信息or.name和or的位置信息or.location；
S330、基于空间元素类别集合O，获得Oq，其中Oq的概述词与or.word相同，执行操作Oq←Oq∪{or}；
S340、重复步骤S320至步骤S330，直到若干所述空间元素全部完成处理，得到完成标记的空间元素类别集合O。
所述步骤S410还包括以下步骤：
S411、建立一级聚类集合C，C初始化为空集；
S412、获取W'中的一个视阈元素Fi=（p，as，ae，γ，t），当C为空集时，执行步骤S413，否则，执行步骤S414；
S413、建立聚类C1，将Fi存入C1，基于Fi为C1设置属性，所述属性包括时间属性C1.time、聚类元素属性C1.fov、影像属性C1.image，；空间元素属性C1.elements、一级概述词属性C1.word1和二级概述词属性C1.word2，并将C1存入集合C，执行步骤S417；
所述时间属性C1.time=[Fi.t，Fi.t]，为能覆盖聚类C1中所有视阈元素拍摄时间的最小时间段；聚类元素属性C1.fov={Fi}，为构成此聚类的所有视阈元素；影像属性C1.image={Gi}，为从D'中移除的与fi所对应的影像数据；空间元素属性C1.elements={ox，……，oy}，为从O中获取的与fi相交的空间元素；一级概述词属性C1.word1，为{ox，……，oy}所属O中子集合对应的概述词所构成的集合；二级概述词属性C1.word2={ox.word，……，oy.word}；
S414、获取集合C中的一个聚类Cb，获取其时间属性Cb.time=[ts, te]，当Fi.t位于时间段[ts, te]内，将Fi分配给聚类Cb，更新Cb属性并执行步骤S417，否则执行步骤S415，所述更新Cb属性包括：Cb.fov=Cb.fov∪{Fi}，Cb.image=Cb.image∪{ox，……，oy}，将ox, ...,oy所属O中子集合对应的概述词存入集合Cb.word1，Cb.word2=Cb.word2∪ {ox.word，……，oy.word}；
S415、重复步骤S414，直到集合C中的所有聚类全部判断完毕，当没有在C中找到聚类的时间属性[ts, te]覆盖Fi.t时，执行步骤S416；
S416、建立聚类Cx，将Fi存入Cx，基于Fi为Cx设置属性，所述属性包括时间属性Cx.time、聚类元素属性Cx.fov、影像属性Cx.image，；空间元素属性Cx.elements、一级概述词属性Cx.word1和二级概述词属性Cx.word2，并将Cx存入集合C，执行步骤S417；
S417、重复步骤S412至步骤S416，直到W'中所有Fi全部完成处理，获得一级时间聚类集合C。
所述步骤S420还包括以下步骤：
S421、建立二级空间聚类集合C'，所述二级空间聚类集合C'初始化为空；
S422、获取集合C中的一个聚类Cb及其聚类元素属性Cb.fov；
S423、将Cb.fov中的视阈元素按拍摄位置分为k组聚类{L1，L2，……，Lk}，其中一组聚类中元素数至少为1且一组聚类中所有元素的拍摄位置相同，获取其中一组聚类Lv，1≤v≤k，为Lv设置属性并将Li存入二级空间聚类集合C'；
S424、重复步骤S422至步骤S423，直到集合C中的所有元素全部完成处理。
在步骤S423中所述为Lv设置属性包括设置如下属性：
聚类元素属性Lv.fov，指的是聚类Lv中的视阈元素构成的集合；
空间覆盖属性Lv.cover，指的是以聚类Lv中视阈元素的拍摄位置p为中心，以聚类Lv中视阈元素的最大可视聚类R为半径的圆形区域；
影像属性Lv.image，指的是影像属性Cb.image中与Lv中视阈元素对应的影像数据构成的集合；
空间元素属性Lv.elements，指的是由聚类Lv中的视阈元素构成的集合；
父亲属性Lv.parent，指的是一个指针，所述指针用于直接获取产生Lv的集合Cb；
时间属性Lv.time，指的是由拍摄聚类Lv中的视阈元素的时刻构成的集合；
一级概述词属性Lv.word1；
二级概述词属性Lv.word2。
所述步骤S430还包括以下步骤：
S431、获取二级空间聚类集合C'中的聚类Lv，将Lv构建为底层节点nodev，为nodev设置属性；
其中，所述为nodev设置属性包括设置如下属性：
聚类元素属性nodev.fov←Lv.fov；
空间覆盖属性nodev.cover←Lv.cover；
影像属性nodev.image←Lv.image；
空间元素属性nodev.elements←Lv.elements；
父亲属性nodev.parent←Lv.parent；
时间属性nodev.time←Lv.time；
一级概述词属性nodev.word1←Lv.word1；
二级概述词属性nodev.word2←Lv.word2；
S432、重复步骤S431，直到二级空间聚类集合C'中的所有元素全部完成处理，执行步骤S433；
S433、获取一级时间聚类集合C中的聚类Cb，将Cb构建为上层节点nodeb，为nodeb设置属性；
其中，所述为nodeb设置属性包括设置如下属性：
聚类元素属性nodeb.fov，为根据Cb生成的底层节点构成的集合；
空间覆盖属性nodev.cover，为能包围根据Cb生成的底层节点的最小包围圆形区域；
影像属性nodev.image←Cb.image；
空间元素属性nodev.elements←Cb.elements；
时间属性nodev.time←Cb.time；
一级概述词属性nodev.word1←Cb.word1；
二级概述词属性nodev.word2←Cb.word2；
S434、重复步骤S433，直到一级空间聚类集合C中的所有元素全部完成处理，执行步骤S435；
S435、获取当前上层节点数，当当前上层节点数≤M时，执行步骤S436，否则执行步骤S437，所述M为预设值；
S436、将当前上层节点按照覆盖范围进行聚类，其中，当前上层节点数＞M，得到λ组聚类，并基于λ组聚类构建为λ个上层节点，为全部节点设置属性，当全部节点的设置属性完成后，执行步骤S435；
S437、将所有上层节点构建为一个上层节点Root，并为Root设置属性，完成地理因素约束的多元空间索引的建立。
步骤S436和步骤S437中的所述设置属性包括聚类元素属性、空间覆盖属性、影像属性空间元素属性、时间属性、一级概述词属性和二级概述词属性的设置。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的一种基于FOV的影像数据融合索引方法，通过对影像数据中不同格式的图片数据和视频数据进行分类处理，得到相同格式的图像数据，利用视阈以及与视阈相关的空间元素对影像数据进行多级融合，并利用真实影像建立空间索引机制，提高包括对时间元素、用户感兴趣的空间元素、影像元素等多元化元素的挖掘分析效率，实现了对海量多元的影像数据进行统一的高效管理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于FOV的影像数据融合索引方法的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，下面对本申请实施例提供的一种基于FOV的影像数据融合索引方法进行详细介绍，参见图1，包括以下步骤：
S100、基于若干传感器获取影像数据，并建立影像数据集合D=（D1，D2，……，Dn），影像数据Di的类型为视频数据或图像数据，其中，1≤i≤n。
S200、基于所述影像数据上附加的光学参数获取所述影像数据在地理空间上对应的视阈，建立与所述影像数据集合D相对应的视阈集合W，对W进行二级融合处理得到二级融合后的视阈集合W'以及与W'对应的二级融合后的影像数据集合D'。
所述步骤S200还包括以下步骤：
S201、创建影像数据集合D'和视阈集合W、视阈集合W'，所述视阈集合W'用于存储W中的视阈进行二级融合处理后的视阈，所述影像数据集合D'、视阈集合W和W'均被初始化为空集。
S202、判断影像数据Di的类型，Di∈D，当Di的类型为图片数据时，执行步骤S203，当Di的类型为视频数据时，执行步骤S204。
S203、获取Di的空间属性Fi=（p，as，ae，γ，t），将Fi存入W；其中：p为拍摄Di的位置，[as，ae]为拍摄Di的镜头的可视角度范围，γ为拍摄Di的镜头的可视距离，t为拍摄Di的时间。
进一步的，Di的空间属性Fi为视阈File-Of-View，简称FOV，Fi在地理空间上为一个扇形区域，通过拍摄位置p、镜头的角度范围[as，ae]、镜头的可视距离γ以及拍摄时间t对Fi进行描述。
S204、对Di进行分割，得到Di对应的视频帧集合Gi=｛Gi1，Gi2，……，Giz｝，其中z为Di的帧数，Gij为Di第j帧的图片数据，获取Gij的空间属性Fij=（p，as，ae，γ，t），得到Di的空间属性Fi=（Fi1，Fi2，……，Fiz），将Fi存入W。
S205、重复步骤S202至S204，直到对D中所有Di完成处理，获得与所述影像数据集合D相对应的视阈集合W。
S206、基于W获取Fi，Fi=（p，as，ae，γ，t）时，将Fi存入W'，当Fi=（Fi1，Fi2，……，Fiz）时，执行步骤S207。
S207、获取Fij和Fi(j+1)的相交区域，其中，j=1，2，……，z-1，计算得到Fij和Fi(j+1)相交区域面积与Fij面积的比值Sij，以及计算得到Fij和Fi(j+1)相交区域面积与Fi(j+1)面积的比值Si(j+1)，当Sij≥Si(j+1)时，将Fij和Fi(j+1)融合为Fij，并将Fij存入集合W'，将Fij对应的图片数据Gij存入集合D'，否则，将Fij和Fi(j+1)融合为Fi(j+1)，并将Fi(j+1)存入集合W'，将Fi(j+1)对应的图片数据Gi(j+1)存入集合D'。
S208、重复步骤S206至步骤S207，直到对集合W中的所有Fi全部完成处理，得到一级融合后的视阈集合W'以及与W'对应的一级融合后的影像数据集合D'。
S209、复制集合W'得到W''，并清空集合W'。
S210、获取空间属性Fv，Fv∈W''，基于Fv获取拍摄位置Fv.p。
S211、获取空间属性Fu，Fu∈W''，Fu≠Fv，基于Fu获取拍摄位置Fu.p。
S212、当Fv.p＝Fu.p时，执行步骤S213，当Fv.p≠Fu.p时，执行步骤S214。
S213、计算得到Fv和Fu相交区域面积与Fv面积的比值Sv，以及计算得到Fv和Fu相交区域面积与Fu面积的比值Su，当Sv≥Su时，将Fv存入集合W'，将Fu对应的图片数据Gu从集合D'中删除，否则，将Fu存入集合W'，将Fv对应的图片数据Gv从集合D'中删除，并执行步骤S214。
S214、重复步骤S211至步骤S213，直到对集合W''中的所有符合条件的Fu全部完成处理。
S215、重复步骤S210至步骤S214，直到对集合W''中的所有Fv全部完成处理，得到二级融合后的视阈集合W'以及与W'对应的二级融合后的影像数据集合D'。
S300、基于用户获取若干空间元素，并对所述空间元素分类标记。
优选的，所述基于用户获取若干空间元素，指的是获取用户感兴趣的空间元素。
所述步骤S300还包括以下步骤：
S310、基于用户获取若干空间元素并进行初始类别识别，获得h个空间元素类别，构建空间元素类别集合O=｛O1，O2，……，Oh｝，其中Oq为一种类别的空间元素的集合并为Oq设置概述词，1≤q≤h，Oq初始化为空集。
优选地，所述概数词通过Oq中所有空间元素的共同点确定，在一个示意性实施例中，Oq中存储的空间元素都是银行，则将“银行”作为Oq的概述词。
S320、基于若干所述空间元素，获取空间元素or并进行识别，得到or的概述词or.word、or的名称信息or.name和or的位置信息or.location。
优选的，所述名称信息or.name为字符串类型，在一个示意性实施例中，空间元素or代表中国工商银行北京方庄支行营业部，那么or.name为“中国工商银行北京方庄支行营业部”。
优选的，所述位置信息or.location通过一个四元组(xmin，xmax，ymin，ymax）来描述，所述四元组(xmin，xmax，ymin，ymax）为能够包括or所占区域的最小矩形，且矩形的四边分别与坐标系的X轴和Y轴平行，(xmin，ymin)为矩形左下点坐标且(xmax，ymax)为右上点坐标。
S330、基于空间元素类别集合O，获得Oq，其中Oq的概述词与or.word相同，执行操作Oq←Oq∪{or}。
S340、重复步骤S320至步骤S330，直到若干所述空间元素全部完成处理，得到完成标记的空间元素类别集合O。
S400、基于W'、D'以及空间元素，建立地理因素约束的多元空间索引。
所述步骤S400还包括以下步骤：
S410、基于W'、D'以及空间元素，进行一级时间聚类，得到一级聚类元素并建立一级聚类集合C。
所述步骤S410还包括以下步骤：
S411、建立一级聚类集合C，C初始化为空集。
S412、获取W'中的一个视阈元素Fi=（p，as，ae，γ，t），当C为空集时，执行步骤S413，否则，执行步骤S414。
S413、建立聚类C1，将Fi存入C1，基于Fi为C1设置属性，所述属性包括时间属性C1.time、聚类元素属性C1.fov、影像属性C1.image，；空间元素属性C1.elements、一级概述词属性C1.word1和二级概述词属性C1.word2，并将C1存入集合C，执行步骤S417。
所述时间属性C1.time，为能覆盖聚类C1中所有视阈元素拍摄时间的最小时间段，在一示意性实施例中，C1中的聚类元素为｛Fi｝，那么C1.time=｛Fi.t，Fi.t｝；聚类元素属性C1.fov，为构成此聚类的所有视阈元素，在一示意性实施例中，C1中的聚类元素为｛Fi｝，那么C1.fov=｛Fi｝；影像属性C1.image={Gi}，为从D'中移除的与fi所对应的影像数据，在一示意性实施例中，C1中的聚类元素为｛Fi｝，从D'中移除的与fi所对应的影像数据为Gij，那么C1.image={Gij}；空间元素属性C1.elements，为从O中获取的与fi相交的空间元素，在一示意性实施例中，C1中的聚类元素为｛Fi｝，从O中获取的与Fi相交的空间元素为{ox，……，oy}，那么C1.elements={ox，……，oy}；在一示意性实施例中，一级概述词属性C1.word1，为{ox，……，oy}所属集合O中子集合对应的概述词所构成的集合；二级概述词属性C1.word2={ox.word，……，oy.word}。
S414、获取集合C中的一个聚类Cb，获取其时间属性Cb.time=[ts, te]，当Fi.t位于时间段[ts，te]内，将Fi分配给聚类Cb，更新Cb属性并执行步骤S417，否则执行步骤S415，所t述更新Cb属性包括：Cb.fov=Cb.fov∪{Fi}，Cb.image=Cb.image∪{ox，……，oy}，将{ox，……，oy}所属O中子集合对应的概述词存入集合Cb.word1，Cb.word2=Cb.word2∪ {ox.word，……，oy.word}；
S415、重复步骤S414，直到集合C中的所有聚类全部判断完毕，当没有在C中找到聚类的时间属性[ts, te]覆盖Fi.t时，执行步骤S416；
S416、建立聚类Cx，将Fi存入Cx，基于Fi为Cx设置属性，所述属性包括时间属性Cx.time、聚类元素属性Cx.fov、影像属性Cx.image，；空间元素属性Cx.elements、一级概述词属性Cx.word1和二级概述词属性Cx.word2，并将Cx存入集合C，执行步骤S417；
S417、重复步骤S412至步骤S416，直到W'中所有Fi全部完成处理，获得一级时间聚类集合C。
S420、基于集合C中的一级聚类元素，进行二级空间聚类，得到二级聚类元素并建立二级聚类集合C'。
所述步骤S420还包括以下步骤：
S421、建立二级空间聚类集合C'，所述二级空间聚类集合C'初始化为空；
S422、获取集合C中的一个聚类Cb及其聚类元素属性Cb.fov；
S423、将Cb.fov中的视阈元素按拍摄位置分为k组聚类{L1，L2，……，Lk}，其中一组聚类中元素数至少为1且一组聚类中所有元素的拍摄位置相同，获取其中一组聚类Lv，1≤v≤k，为Lv设置属性并将Li存入二级空间聚类集合C'；
S424、重复步骤S422至步骤S423，直到集合C中的所有元素全部完成处理。
在步骤S423中所述为Lv设置属性包括设置如下属性：
聚类元素属性Lv.fov，指的是聚类Lv中的视阈元素构成的集合；
空间覆盖属性Lv.cover，指的是以聚类Lv中视阈元素的拍摄位置p为中心，以聚类Lv中视阈元素的最大可视聚类R为半径的圆形区域；
影像属性Lv.image，指的是影像属性Cb.image中与Lv中视阈元素对应的影像数据构成的集合；
空间元素属性Lv.elements，指的是由聚类Lv中的视阈元素构成的集合；
父亲属性Lv.parent，指的是一个指针，所述指针用于直接获取产生Lv的集合Cb；
时间属性Lv.time，指的是由拍摄聚类Lv中的视阈元素的时刻构成的集合；
一级概述词属性Lv.word1；
二级概述词属性Lv.word2。
S430、基于S和S'，为W'、D'以及空间元素建立多元空间索引。
所述步骤S430还包括以下步骤：
S431、获取二级空间聚类集合C'中的聚类Lv，将Lv构建为底层节点nodev，为nodev设置属性。
其中，所述为nodev设置属性包括设置如下属性：
聚类元素属性nodev.fov←Lv.fov；
空间覆盖属性nodev.cover←Lv.cover；
影像属性nodev.image←Lv.image；
空间元素属性nodev.elements←Lv.elements；
父亲属性nodev.parent←Lv.parent；
时间属性nodev.time←Lv.time；
一级概述词属性nodev.word1←Lv.word1；
二级概述词属性nodev.word2←Lv.word2。
S432、重复步骤S431，直到二级空间聚类集合C'中的所有元素全部完成处理，执行步骤S433。
S433、获取一级时间聚类集合C中的聚类Cb，将Cb构建为上层节点nodeb，为nodeb设置属性。
其中，所述为nodeb设置属性包括设置如下属性：
聚类元素属性nodeb.fov，为根据Cb生成的底层节点构成的集合；
空间覆盖属性nodev.cover，为能包围根据Cb生成的底层节点的最小包围圆形区域；
影像属性nodev.image←Cb.image；
空间元素属性nodev.elements←Cb.elements；
时间属性nodev.time←Cb.time；
一级概述词属性nodev.word1←Cb.word1；
二级概述词属性nodev.word2←Cb.word2。
S434、重复步骤S433，直到一级空间聚类集合C中的所有元素全部完成处理，执行步骤S435。
S435、获取当前上层节点数，当当前上层节点数≤M时，执行步骤S436，否则执行步骤S437，所述M为预设值。
S436、将当前上层节点按照覆盖范围进行聚类，其中，当前上层节点数＞M，得到λ组聚类，并基于λ组聚类构建为λ个上层节点，为全部节点设置属性，当全部节点的设置属性完成后，执行步骤S435。
S437、将所有上层节点构建为一个上层节点Root，并为Root设置属性，完成地理因素约束的多元空间索引的建立。
其中，步骤S436和步骤S437中的所述设置属性包括聚类元素属性、空间覆盖属性、影像属性空间元素属性、时间属性、一级概述词属性和二级概述词属性的设置。
本申请的实施例还提供了一种基于FOV的影像数据融合索引装置，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现本申请实施例方法中的步骤。
本申请的实施例还提供了一种计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于FOV的影像数据融合索引方法，其特征在于，包括如下步骤：
S100、基于若干传感器获取影像数据，并建立影像数据集合D=（D1，D2，……，Dn），影像数据Di的类型为视频数据或图像数据，其中，1≤i≤n；
S200、基于所述影像数据上附加的光学参数获取所述影像数据在地理空间上对应的视阈，建立与所述影像数据集合D相对应的视阈集合W，对W进行二级融合处理得到二级融合后的视阈集合W'以及与W'对应的二级融合后的影像数据集合D'；
S300、基于用户获取若干空间元素，并对所述空间元素分类标记；
S400、基于W'、D'以及空间元素，建立地理因素约束的多元空间索引；
所述步骤S400还包括以下步骤：
S410、基于W'、D'以及空间元素，进行一级时间聚类，得到一级聚类元素并建立一级聚类集合C；
S420、基于集合C中的一级聚类元素，进行二级空间聚类，得到二级聚类元素并建立二级聚类集合C'；
S430、基于C和C'，为W'、D'以及空间元素建立多元空间索引；
所述步骤S200还包括以下步骤：
S201、创建影像数据集合D'和视阈集合W、视阈集合W'，所述视阈集合W'用于存储W中的视阈进行二级融合处理后的视阈，所述影像数据集合D'、视阈集合W和W'均被初始化为空集；
S202、判断影像数据Di的类型，Di∈D，当Di的类型为图片数据时，执行步骤S203，当Di的类型为视频数据时，执行步骤S204；
S203、获取Di的空间属性Fi=（p，as，ae，γ，t），将Fi存入W；其中：p为拍摄Di的位置，[as，ae]为拍摄Di的镜头的可视角度范围，γ为拍摄Di的镜头的可视距离，t为拍摄Di的时间；
S204、对Di进行分割，得到Di对应的视频帧集合Gi=｛Gi1，Gi2，……，Giz｝，其中z为Di的帧数，Gij为Di第j帧的图片数据，获取Gij的空间属性Fij=（p，as，ae，γ，t），得到Di的空间属性Fi=（Fi1，Fi2，……，Fiz），将Fi存入W；
S205、重复步骤S202至S204，直到对D中所有Di完成处理，获得与所述影像数据集合D相对应的视阈集合W；
S206、基于W获取Fi，当Fi=（p，as，ae，γ，t）时，将Fi存入W'，当Fi=（Fi1，Fi2，……，Fiz）时，执行步骤S207；
S207、获取Fij和Fi(j+1)的相交区域，其中，j=1，2，……，z-1，计算得到Fij和Fi(j+1)相交区域面积与Fij面积的比值Sij，以及计算得到Fij和Fi(j+1)相交区域面积与Fi(j+1)面积的比值Si(j+1)，当Sij≥Si(j+1)时，将Fij和Fi(j+1)融合为Fij，并将Fij存入集合W'，将Fij对应的图片数据Gij存入集合D'，否则，将Fij和Fi(j+1)融合为Fi(j+1)，并将Fi(j+1)存入集合W'，将Fi(j+1)对应的图片数据Gi(j+1)存入集合D'；
S208、重复步骤S206至步骤S207，直到对集合W中的所有Fi全部完成处理，得到一级融合后的视阈集合W'以及与W'对应的一级融合后的影像数据集合D'；
S209、复制集合W'得到W''，并清空集合W'；
S210、获取空间属性Fv，Fv∈W''，基于Fv获取拍摄位置Fv.p；
S211、获取空间属性Fu，Fu∈W''，Fu≠Fv，基于Fu获取拍摄位置Fu.p；
S212、当Fv.p＝Fu.p时，执行步骤S213，当Fv.p≠Fu.p时，执行步骤S214；
S213、计算得到Fv和Fu相交区域面积与Fv面积的比值Sv，以及计算得到Fv和Fu相交区域面积与Fu面积的比值Su，当Sv≥Su时，将Fv存入集合W'，将Fu对应的图片数据Gu从集合D'中删除，否则，将Fu存入集合W'，将Fv对应的图片数据Gv从集合D'中删除，并执行步骤S214；
S214、重复步骤S211至步骤S213，直到对集合W''中的所有符合条件的Fu全部完成处理；
S215、重复步骤S210至步骤S214，直到对集合W''中的所有Fv全部完成处理，得到二级融合后的视阈集合W'以及与W'对应的二级融合后的影像数据集合D'；
所述步骤S300还包括以下步骤：
S310、基于用户获取若干空间元素并进行初始类别识别，获得h个空间元素类别，构建空间元素类别集合O=｛O1，O2，……，Oh｝，其中Oq为一种类别的空间元素的集合并为Oq设置概述词，1≤q≤h，Oq初始化为空集；
S320、基于若干所述空间元素，获取空间元素or并进行识别，得到or的概述词or.word、or的名称信息or.name和or的位置信息or.location；
S330、基于空间元素类别集合O，获得Oq，其中Oq的概述词与or.word相同，执行操作Oq←Oq∪{or}；
S340、重复步骤S320至步骤S330，直到若干所述空间元素全部完成处理，得到完成标记的空间元素类别集合O。
2.根据权利要求1所述的基于FOV的影像数据融合索引方法，其特征在于，所述步骤S410还包括以下步骤：
S411、建立一级聚类集合C，C初始化为空集；
S412、获取W'中的一个视阈元素Fi=（p，as，ae，γ，t），当C为空集时，执行步骤S413，否则，执行步骤S414；
S413、建立聚类C1，将Fi存入C1，基于Fi为C1设置属性，所述属性包括时间属性C1.time、聚类元素属性C1.fov、影像属性C1.image、空间元素属性C1.elements、一级概述词属性C1.word1和二级概述词属性C1.word2，并将C1存入集合C，执行步骤S417；
所述时间属性C1.time=[Fi.t，Fi.t]，为能覆盖聚类C1中所有视阈元素拍摄时间的最小时间段；聚类元素属性C1.fov={Fi}，为构成此聚类的所有视阈元素；影像属性C1.image={Gi}，为从D'中移除的与Fi所对应的影像数据；空间元素属性C1.elements={ox，……，oy}，为从O中获取的与Fi相交的空间元素；一级概述词属性C1.word1，为{ox，……，oy}所属O中子集合对应的概述词所构成的集合；二级概述词属性C1.word2={ox.word，……，oy.word}；
S414、获取集合C中的一个聚类Cb，获取其时间属性Cb.time=[ts, te]，当Fi.t位于时间段[ts, te]内，将Fi分配给聚类Cb，更新Cb属性并执行步骤S417，否则执行步骤S415，所述更新Cb属性包括：Cb.fov=Cb.fov∪{Fi}，Cb.image=Cb.image∪{ox，……，oy}，将ox，……，oy所属O中子集合对应的概述词存入集合Cb.word1，Cb.word2=Cb.word2∪ {ox.word, ...,oy.word}；
S415、重复步骤S414，直到集合C中的所有聚类全部判断完毕，当没有在C中找到聚类的时间属性[ts, te]覆盖Fi.t时，执行步骤S416；
S416、建立聚类Cx，将Fi存入Cx，基于Fi为Cx设置属性，所述属性包括时间属性Cx.time、聚类元素属性Cx.fov、影像属性Cx.image、空间元素属性Cx.elements、一级概述词属性Cx.word1和二级概述词属性Cx.word2，并将Cx存入集合C，执行步骤S417；
S417、重复步骤S412至步骤S416，直到W'中所有Fi全部完成处理，获得一级时间聚类集合C。
3.根据权利要求2所述的基于FOV的影像数据融合索引方法，其特征在于，所述步骤S420还包括以下步骤：
S421、建立二级空间聚类集合C'，所述二级空间聚类集合C'初始化为空；
S422、获取集合C中的一个聚类Cb及其聚类元素属性Cb.fov；
S423、将Cb.fov中的视阈元素按拍摄位置分为k组聚类{L1，L2，……，Lk}，其中一组聚类中元素数至少为1且一组聚类中所有元素的拍摄位置相同，获取其中一组聚类Lv，1≤v≤k，为Lv设置属性并将Li存入二级空间聚类集合C'；
S424、重复步骤S422至步骤S423，直到集合C中的所有元素全部完成处理。
4.根据权利要求3所述的基于FOV的影像数据融合索引方法，其特征在于，在步骤S423中所述为Lv设置属性包括设置如下属性：
聚类元素属性Lv.fov，指的是聚类Lv中的视阈元素构成的集合；
空间覆盖属性Lv.cover，指的是以聚类Lv中视阈元素的拍摄位置p为中心，以聚类Lv中视阈元素的最大可视聚类R为半径的圆形区域；
影像属性Lv.image，指的是影像属性Cb.image中与Lv中视阈元素对应的影像数据构成的集合；
空间元素属性Lv.elements，指的是由聚类Lv中的视阈元素构成的集合；
父亲属性Lv.parent，指的是一个指针，所述指针用于直接获取产生Lv的集合Cb；
时间属性Lv.time，指的是由拍摄聚类Lv中的视阈元素的时刻构成的集合；
一级概述词属性Lv.word1；
二级概述词属性Lv.word2。
5.根据权利要求3所述的基于FOV的影像数据融合索引方法，其特征在于，所述步骤S430还包括以下步骤：
S431、获取二级空间聚类集合C'中的聚类Lv，将Lv构建为底层节点nodev，为nodev设置属性；
其中，所述为nodev设置属性包括设置如下属性：
聚类元素属性nodev.fov←Lv.fov；
空间覆盖属性nodev.cover←Lv.cover；
影像属性nodev.image←Lv.image；
空间元素属性nodev.elements←Lv.elements；
父亲属性nodev.parent←Lv.parent；
时间属性nodev.time←Lv.time；
一级概述词属性nodev.word1←Lv.word1；
二级概述词属性nodev.word2←Lv.word2；
S432、重复步骤S431，直到二级空间聚类集合C'中的所有元素全部完成处理，执行步骤S433；
S433、获取一级时间聚类集合C中的聚类Cb，将Cb构建为上层节点nodeb，为nodeb设置属性；
其中，所述为nodeb设置属性包括设置如下属性：
聚类元素属性nodeb.fov，为根据Cb生成的底层节点构成的集合；
空间覆盖属性nodev.cover，为能包围根据Cb生成的底层节点的最小包围圆形区域；
影像属性nodev.image←Cb.image；
空间元素属性nodev.elements←Cb.elements；
时间属性nodev.time←Cb.time；
一级概述词属性nodev.word1←Cb.word1；
二级概述词属性nodev.word2←Cb.word2；
S434、重复步骤S433，直到一级空间聚类集合C中的所有元素全部完成处理，执行步骤S435；
S435、获取当前上层节点数，当当前上层节点数≤M时，执行步骤S436，否则执行步骤S437，所述M为预设值；
S436、将当前上层节点按照覆盖范围进行聚类，其中，当前上层节点数＞M，得到λ组聚类，并基于λ组聚类构建为λ个上层节点，为全部节点设置属性，当全部节点的设置属性完成后，执行步骤S435；
S437、将所有上层节点构建为一个上层节点Root，并为Root设置属性，完成地理因素约束的多元空间索引的建立。
6.根据权利要求5所述的基于FOV的影像数据融合索引方法，其特征在于，步骤S436和步骤S437中的所述设置属性包括聚类元素属性、空间覆盖属性、影像属性空间元素属性、时间属性、一级概述词属性和二级概述词属性的设置。
7.一种基于FOV的影像数据融合索引装置，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至6中任一项所述的基于FOV的影像数据融合索引方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如权利要求1至6中任一项所述的基于FOV的影像数据融合索引方法。
CN202210627004.7A 2022-06-06 2022-06-06 一种基于fov的影像数据融合索引方法 Active CN114707014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210627004.7A CN114707014B (zh) 2022-06-06 2022-06-06 一种基于fov的影像数据融合索引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210627004.7A CN114707014B (zh) 2022-06-06 2022-06-06 一种基于fov的影像数据融合索引方法

Publications (2)

Publication Number Publication Date
CN114707014A CN114707014A (zh) 2022-07-05
CN114707014B true CN114707014B (zh) 2022-08-26

Family

ID=82177956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210627004.7A Active CN114707014B (zh) 2022-06-06 2022-06-06 一种基于fov的影像数据融合索引方法

Country Status (1)

Country Link
CN (1) CN114707014B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048547B (zh) * 2022-07-25 2022-11-11 北京中超伟业信息安全技术股份有限公司 一种应用于安防监控图片视频数据的安全保护方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520557A (zh) * 2018-04-10 2018-09-11 中国人民解放军战略支援部队信息工程大学 一种图形图像融合的海量建筑绘制方法
CA3031366A1 (en) * 2018-01-30 2019-07-30 Deluxe Entertainment Services Group Inc. Cognitive indexing of images in digital video content
CN111460060A (zh) * 2020-03-04 2020-07-28 华中科技大学 一种用户感兴趣区域遥感影像空间索引方法
CN111833380A (zh) * 2020-09-17 2020-10-27 武汉光谷信息技术股份有限公司 一种多视角影像融合的空间目标跟踪系统及方法
CN113254701A (zh) * 2021-06-21 2021-08-13 北京电信易通信息技术股份有限公司 一种基于fov模型的视频数据索引构建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4841553B2 (ja) * 2005-08-17 2011-12-21 パナソニック株式会社 映像シーン分類装置、映像シーン分類方法、プログラム、記録媒体、集積回路およびサーバ−クライアントシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3031366A1 (en) * 2018-01-30 2019-07-30 Deluxe Entertainment Services Group Inc. Cognitive indexing of images in digital video content
CN108520557A (zh) * 2018-04-10 2018-09-11 中国人民解放军战略支援部队信息工程大学 一种图形图像融合的海量建筑绘制方法
CN111460060A (zh) * 2020-03-04 2020-07-28 华中科技大学 一种用户感兴趣区域遥感影像空间索引方法
CN111833380A (zh) * 2020-09-17 2020-10-27 武汉光谷信息技术股份有限公司 一种多视角影像融合的空间目标跟踪系统及方法
CN113254701A (zh) * 2021-06-21 2021-08-13 北京电信易通信息技术股份有限公司 一种基于fov模型的视频数据索引构建方法及系统

Also Published As

Publication number Publication date
CN114707014A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111709339B (zh) 一种票据图像识别方法、装置、设备及存储介质
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
CN115129848B (zh) 一种视觉问答任务的处理方法、装置、设备和介质
US20220318936A1 (en) Systems, methods, and program products for facilitating parcel combination
CN114707014B (zh) 一种基于fov的影像数据融合索引方法
CN110046616A (zh) 图像处理模型生成、图像处理方法、装置、终端设备及存储介质
KR20220042356A (ko) 타깃 재식별 방법, 장치, 기기, 저장 매체 및 프로그램 제품
CN111737800A (zh) 图元选择方法、装置及电子设备
CN110543895A (zh) 一种基于VGGNet和ResNet的图像分类方法
CN107798725A (zh) 基于Android的二维住房户型识别和三维呈现方法
CN111125400B (zh) 虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法
CN109902808B (zh) 一种基于浮点数位变异遗传算法优化卷积神经网络的方法
CN113157183B (zh) 深度学习模型构建方法、装置、电子设备及存储介质
CN115860152B (zh) 一种面向人物军事知识发现的跨模态联合学习方法
CN114780768A (zh) 一种视觉问答任务处理方法、系统、电子设备及存储介质
CN117083605A (zh) 用于文本-图像-布局变换器模型的迭代训练
CN107368832A (zh) 基于图像的目标检测及分类方法
CN114399784A (zh) 一种基于cad图纸的自动识别方法及装置
CN112632406B (zh) 查询方法、装置、电子设备及存储介质
CN116030466B (zh) 图像文本信息识别与处理方法、装置及计算机设备
CN116958698A (zh) 一种基于街景图像多模态信息的建筑物分类方法
US20220412765A1 (en) Generating Positions of Map Items for Placement on a Virtual Map
CN116701590A (zh) 基于知识图谱构建答案语义空间的视觉问答方法
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN115546221A (zh) 一种钢筋计数方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant