CN115222920B - 基于图像的数字孪生时空知识图谱构建方法和装置 - Google Patents
基于图像的数字孪生时空知识图谱构建方法和装置 Download PDFInfo
- Publication number
- CN115222920B CN115222920B CN202211140124.0A CN202211140124A CN115222920B CN 115222920 B CN115222920 B CN 115222920B CN 202211140124 A CN202211140124 A CN 202211140124A CN 115222920 B CN115222920 B CN 115222920B
- Authority
- CN
- China
- Prior art keywords
- original image
- dimensional coordinates
- image
- target object
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 235000019646 color tone Nutrition 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000005079 cognition system Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了基于图像的数字孪生时空知识图谱构建方法和装置。方法包括根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳；根据目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标；根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系。以此方式，可以将二维原始图像，与三维空间建立映射关系，并且以时间为动态维度，建立起二维图像的时空知识图谱，具有通用性强、易用性高的优点。
Description
技术领域
本申请涉及知识图谱领域，并且更具体地，涉及基于图像的数字孪生时空知识图谱构建方法和装置。
背景技术
随着人工智能等新一代信息技术的发展，视频或图像的AI智能分析已日趋完备，典型的有基于图像的目标检测、目标跟踪、对象分类，而这些智能分析均基于二维像素空间，脱离图像本体都缺乏更高维度空间关联和分析意义，即不同时间、不同物理空间的图像智能分析的结果彼此之间时空关系很难匹配，缺乏统一的时空关联认知。
发明内容
根据本申请的实施例，提供了一种基于图像的数字孪生时空知识图谱构建方法和装置。
在本申请的第一方面，提供了一种基于图像的数字孪生时空知识图谱构建方法。该方法包括：
根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳；
根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标；
根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系。
可选的，所述根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标包括：
根据目标对象二维坐标、摄像机位置信息和空间矫正模型，确定目标对象三维坐标；
根据原始图像二维坐标、摄像机位置信息和空间矫正模型，确定原始图像三维坐标。
可选的，在根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标之前还包括：
分别对原始图像和卫星正射图像进行二值化处理，生成各自的灰度图；
对原始图像的灰度图和卫星正射图像的灰度图进行直方图匹配运算，使得原始图像的灰度图和卫星正射图像的灰度图的色调保持一致；
将原始图像的灰度图和卫星正射图像的灰度图进行特征点匹配计算，确定第一特征点；
根据第一特征点和卫星正射图像，确定原始图像二维坐标。
可选的，在根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标之前还包括：
分别对目标对象和卫星正射图像的二维图像进行二值化处理，生成各自的灰度图；
对目标对象的灰度图和卫星正射图像的灰度图进行直方图匹配运算，使得目标对象的灰度图和卫星正射图像的灰度图的色调保持一致；
将目标对象的灰度图和卫星正射图像的灰度图进行特征点匹配计算，确定第二特征点；
根据第二特征点和卫星正射图像，确定目标对象二维坐标。
可选的，根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系包括：
将目标对象三维坐标与三维空间网格匹配，确定每个目标对象所处空间网格编码；
根据与目标对象匹配的时间戳、目标对象所处的空间网格编码，确定目标对象三维坐标、三维空间网格以及时间戳之间的关联体系。
可选的，根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系还包括：
将原始图像三维坐标与空间网格匹配，确定每一原始图像三维坐标在空间网格中的空间网格编码；
根据原始图像三维坐标与原始图像二维坐标以及与空间网格编码之间的对应关系，建立原始图像二维坐标与空间网格编码之间的关联体系；
根据目标对象三维坐标与原始图像三维坐标之间的对应关系，确定目标对象三维坐标、原始图像二维坐标、三维空间网格以及时间戳之间的关联体系。
可选的，所述根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳包括：
基于图像标定方法，获取原始图像的畸变参数，根据获取的畸变参数将原始图像矫正为无畸变图像；
基于帧间差分方法，根据多个原始图像的无畸变图像，确定背景图；
基于帧间差分方法，根据原始图像和背景图，确定目标对象；
基于预设的变换规则，根据原始图像确定原始图像二维坐标，根据目标对象确定目标对象二维坐标；
根据原始图像的拍摄时间，确定对应的目标对象的时间戳。
在本申请的第二方面，提供了一种基于图像的数字孪生时空知识图谱构建装置。该装置包括：
解析模块，用于根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳；
空间映射模块，用于根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标；
构建模块，用于根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系。
在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。
本申请公开的一种基于图像的数字孪生时空知识图谱构建方法和装置，方法能够将二维监控图像，与三维空间建立映射关系，并且以时间为动态维度，建立起二维图像的时空知识图谱，充分考虑了空间关系和时间关系的描述，通用性强、易用性高，不仅时空知识图谱构建效率高，更能为图像像素空间升维至三维空间开展各种应用分析提供一种新颖和更高维度科学方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本申请的实施例的基于图像的数字孪生时空知识图谱构建方法的流程图；
图2示出了根据本申请的实施例的基于图像的数字孪生时空知识图谱构建装置的方框图；
图3示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
本申请中，公开了一种基于图像的数字孪生时空知识图谱构建方法，能够根据获取到的原始图像，确定原始图像中的目标对象，并将二维的原始图像、时间戳与三维空间网格建立关联体系，令二维图像可以与三维空间网格关联，使得可以将二维的原始图像转化为三维图像，并呈现在三维空间网格中，原始图像和目标图像均是与时间戳关联的，因此，根据原始图像生成的三维图像也是与时间戳关联的，即可以以时间为动态维度，展示历史时刻的目标对象在原始图像中的三维形态。
图1示出了根据本申请实施例的基于图像的数字孪生时空知识图谱构建方法的流程图。
方法包括：
步骤S100、根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳。
在本申请实施例中，原始图像为二维图像，获取原始图像的方式可以是静态抓拍，也可以是从视频流中获取的单帧图像，抓取原始图像的设备可以是监控摄像头，本申请能够将监控摄像头拍摄到的原始图像进行处理，识别其中的目标对象，并建立多个二维原始图像之间的时空关系图谱，将二维图像升级至三维空间，并能够根据时间戳展示与其对应的三维画面。目标对象可以是行人、车辆或静态资产等。
其中，确定原始图像中的目标对象的方式可以是首先基于图像标定方法，获取原始图像的畸变参数，在根据畸变参数将原始图像矫正为无畸变图像，然后再提取二维背景图。具体的方式为基于帧间差分方法，调取多个原始图像的无畸变图像，再对多个原始图像进行差分运算，确定目标对象最少的原始图像为背景图，或确定不包括目标对象的原始图像为背景图。
目标对象可以是预先设定的一个或多个类型的运动目标，例如行人、车辆或其他运动目标，在确定背景图时，首先可以根据多个矫正好的原始图像的计算结果，确定运动目标，然后确定运动目标最少的原始图像为背景图。
在确定背景图后 ，便可以实时获取监控摄像头拍下的原始图像，然后基于帧间差分运算方法，将原始图像与背景图做差分预算，得到只包括目标对象的二维图像。
在本申请实施例中，可以基于预设的变换规则，确定原始图像的二维坐标和目标对象的二维坐标，具体的变换规则可以是利用自定义数据集的TensorFlow或YOLO V5神经网络模型对原始图像进行检测，确定原始图像的二维坐标，再对只包括目标对象的二维图像中的目标对象进行检测，并确定目标对象的二维坐标。原始图像的时间戳可以是原始图像的拍摄时间，原始图像的时间戳可以作为目标对象在二维空间内对应的时间戳。
步骤S200、根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标。
在本申请实施例中，首先需要对分别对目标对象、原始图像以及卫星正射图像进行二值化处理，生成灰度图，使得目标对象、原始图像以及卫星正射图像能够统一至灰度空间。再对目标对象的灰度图和卫星正射图像的灰度图进行直方图匹配运算，使得二者影像的色调保持一致。对原始图像的灰度图和卫星正射图像的灰度图进行直方图匹配运算，使得二者形象的色调保持一致。然后利用SIFI方法，对原始图像的灰度图和卫星正射图像的灰度图进行特征点匹配运算，以确定第一特征点。再利用SIFI方法对目标对象的灰度图和卫星正射图像的灰度图进行特征点匹配运算，迭代收敛以确定第二特征点，并能够提升第二特征点的精度。
在本申请实施例中，通过对原始图像的灰度图与卫星正射图像的灰度图之间的特征点匹配运算，能够将原始图像中的特征与卫星正射图像中的特征对齐，够将原始图像二维坐标与卫星正射图像的坐标统一，同理，目标图像的灰度图与卫星正射图像的灰度图之间进行特征点匹配运算，能够将目标对象二维坐标与卫星正射图像统一，即令原始图像二维坐标和目标对象二维坐标之间能够匹配起来，且每个原始图像二维坐标和每个目标对象二维坐标均是唯一的。
在本申请实施例中，确定目标对象三维坐标的方式可以是利用空间矫正模型，将目标对象二维坐标转换为目标对象三维坐标。
具体地，空间矫正模型可以是：G=P*M*R*f(x,y,1)，其中，G为三维坐标，P为预设的局部坐标系投影矩阵，M为世界坐标投影矩阵，R为虚拟摄像机矫正矩阵，(x,y）为二维坐标，(x,y,1)为在二维坐标中补位一个z坐标得到的，f(x,y,1)为三维坐标矩阵。
建立空间矫正模型的方式为：首先对原始图像涵盖的区域进行三维重建，然后根据摄像机位置信息，确定在三维空间中的虚拟监控点位，虚拟监控点位的位置需要与摄像机位置信息一致，却虚拟监控点位处的虚拟摄像机的姿态需要时实际的摄像机的姿态一致。此处虚拟摄像机的位置和姿态可以是手动设置的。然后根据该虚拟监控点位，设定局部坐标系投影矩阵，世界坐标投影矩阵和虚拟摄像机矫正矩阵。
在计算目标对象三维坐标时，G为目标对象三维坐标，f(x,y）为目标对象二维坐标，将目标对象二维坐标带入上述空间矫正模型，便可以计算得到目标对象三维坐标，然后令目标对象在二维空间的时间戳为目标对象在三维空间的时间戳。
在计算于原始图像三维坐标时，G为原始图像三维坐标，f(x,y）为原始图像二维坐标，将原始图像二维坐标带入上述空间矫正模型，便可有计算得到原始图像三维坐标。
在本申请实施例中，将原始图像二维坐标转换为与卫星正射图像关联的原始图像三维坐标的目的是为三维视频播放提供虚拟载体。具体的方式可以是在原始图像覆盖的区域内，构建几何三角网图形，并以纹理投影的方式将原始图像融合到几何三角网图形上，使得在三维虚拟空间中形成广度和深度，并且生成的虚拟载体能够与实际的地理位置相匹配，实现原始图像的实时数字场景预览以及根据历史原始图像实现数字孪生场景回放。
步骤S300、根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系。
在本申请实施例中，首先需要建立三维空间网格，建立三维空间网格的方式可以是首先获取一个空间立方体，然后对空间立方体进行网格剖分，得到SpatialArea(4×M×N)，4表示每个网格为4维的对象；M×N表示整个研究物理区域（即原始图像的拍摄区域）被划分为M×N个行列空间网格对象。并对每块空间网格标注空间标识符，SpatialID，整个研究物理区域划分成的空间网格网格集合为SpatialArea{SpatialID[1],SpatialID[2],......,SpatialID[M×N)]}。
进一步地，将目标对象三维坐标与空间网格匹配，使得目标对象能够与空间标识符建立对应关系，再匹配到目标对象的时间戳，即针对目标对象建立起统一的时空标识体系。
再以原始图像三维坐标为基础，将原始图像三维坐标与空间网格匹配，确定每一原始图像三维坐标在三维空间网格中的空间标识符，然后根据原始图像三维坐标与原始图像二维坐标之间的对应关系，建立起原始图像二维坐标与空间标识符之间的对应关系，将原始图像二位坐标映射到三维空间网格中，再匹配到原始图像的时间戳，建立起二维原始图像中的每一个像素、空间标识符以及时间戳之间的关联体系，即针对每一帧原始图像建立起统一的时空标识体系。
最后，根据第一特征点和第二特征点，建立原始图像二维坐标和目标对象二维坐标之间的对应关系，进而确定原始图像三维坐标和目标对象三维坐标之间的对应关系。进一步，建立起目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系，从而完整色构建从二维图像扫三维空间的时空知识图谱双向关联认知体系。
在本申请实施例中，根据建立起的时空关系图谱，可以查询到同一空间网格内不同时刻出现过哪些监测目标，例如，目标对象为ObjID，则可以根据SpatialArea[m].contain{ObjID[i],ObjID[j],ObjID[k]....ObjID[n]}，确定某特定的现场出现过哪些人员和车辆，其中，m为空间网格ID号，i,j,k,…，n为目标对象的ID号。还可以查询同一个监测目标在不同时刻出现在哪些空间网格内，例如，根据ObjID[m].In{SpatialID[i],SpatialID[j],SpatialID[k]....SpatialID[n]}，可以确定某个特定人员或车辆，在一个时间段内，出现在哪些空间网格中。
此外，在同一个空间网格SpatialArea[m]内，对于动态的目标对象ObjID[i]，可以通过时空知识图谱，获取该时刻该目标对象ObjID[i]出现在监控图像像素空间体系中的对象PixelID[i]，驱动监控图像快速切换至PixelID[i]所在时刻，实现基于时空知识图谱的像素空间监控图像实时或历史数据的快速调取，并且可以根据时间可以查到目标对象在某个时间点对应的孪生场景，进行数字孪生场景的预览或者回放，提升监控视频空间感知能力。
当监控图像中出现异常关注区域时，可以通过人机交互界面拾取所述异常关注区域中的某个像素坐标PixelID[j]，然后通过时空知识图谱，快速获取该像素关联的时空网格编码SpatialArea[j]，再获悉该时空网格区域内关联的动态目标对象{ObjID[1],ObjID[2],ObjID[k]....ObjID[n]}如人员或车辆，实现区域内时空关联目标的动态实时筛查与跟踪。
本申请公开的一种基于图像的数字孪生时空知识图谱构建方法，在不需要其他额外的大量先验专业知识数据的前提下，仅从日常运营中的图像数据中通过空间计算分析的方式快速构建时空知识图谱，能够为各种复杂时空关联认知体系提供快速构建知识图谱和基于时空图谱分析的高效手段。针对时空关联知识的特征，不需要结合具体的业务场景数据和专业领域知识，仅通过视频视觉的方式对知识的概念、实体和关系进行语义化、网格化和时空拓扑化，并充分考虑了空间关系和时间关系的描述，高效建立了时空关系和语义关系的映射关联，通用性强、易用性高，不仅时空知识图谱构建效率高，更能为图像像素空间升维至三维空间开展各种应用分析提供一种新颖和更高维度科学方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图2示出了根据本申请的实施例的基于图像的数字孪生时空知识图谱构建装置的方框图。装置包括：
解析模块201，用于根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳；
空间映射模块202，用于根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标；
构建模块203，用于根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系。
在一种较佳的示例中，所述根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标包括：
根据目标对象二维坐标、摄像机位置信息和空间矫正模型，确定目标对象三维坐标；
根据原始图像二维坐标、摄像机位置信息和空间矫正模型，确定原始图像三维坐标；
所述空间矫正模型为：G=P*M*R*f(x,y,1)，所述G为三维坐标；所述P为预设的局部坐标系投影矩阵；所述M为世界坐标投影矩阵；所述R为虚拟摄像机矫正矩阵；(x,y）为二维坐标，(x,y,1)为在二维坐标中补位一个z坐标得到的，f(x,y,1)为三维坐标矩阵。
在一种较佳的示例中，在根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标之前还包括：
分别对原始图像和卫星正射图像的二维图像进行二值化处理，生成各自的灰度图；
对原始图像的灰度图和卫星正射图像的灰度图进行直方图匹配运算，并使得原始图像的灰度图和卫星正射图像的灰度图的色调保持一致；
将原始图像的灰度图和卫星正射图像的灰度图进行特征点匹配计算，确定第一特征点；
根据第一特征点对准原始图像二维坐标与卫星正射图像二维坐标。
在一种较佳的示例中，在根据所述目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标之前还包括：
分别对目标对象和卫星正射图像的二维图像进行二值化处理，生成各自的灰度图；
对目标对象的灰度图和卫星正射图像的灰度图进行直方图匹配运算，并使得目标对象的灰度图和卫星正射图像的灰度图的色调保持一致；
将目标对象的灰度图和卫星正射图像的灰度图进行特征点匹配计算，确定第二特征点；
根据第二特征点对准目标对象二维坐标与卫星正射图像二维坐标。
在一种较佳的示例中，根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系包括：
将目标对象三维坐标与三维空间网格匹配，确定每个目标对象所处空间网格编码；
根据与目标对象匹配的时间戳、目标对象所处的空间网格编码，确定目标对象三维坐标、三维空间网格以及时间戳之间的关联体系。
在一种较佳的示例中，根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系还包括：
将原始图像三维坐标与空间网格匹配，确定每一原始图像三维坐标在空间网格中的空间网格编码；
根据原始图像三维坐标与原始图像二维坐标以及与空间网格编码之间的对应关系，建立原始图像二维坐标与空间网格编码之间的关联体系；
根据目标对象三维坐标与原始图像三维坐标之间的对应关系，确定目标对象三维坐标、原始图像二维坐标、三维空间网格以及时间戳之间的关联体系。
在一种较佳的示例中，所述根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳包括：
基于图像标定方法，获取原始图像的畸变参数，根据获取的畸变参数将原始图像矫正为无畸变图像；
基于帧间差分方法，根据多个原始图像的无畸变图像，确定背景图；
基于帧间差分方法，根据原始图像和背景图，确定目标对象；
基于预设的变换规则，根据原始图像确定原始图像二维坐标，根据目标对象确定目标对象二维坐标；
根据原始图像的拍摄时间，确定对应的目标对象的时间戳。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图3示出了适于用来实现本申请实施例的电子设备的结构示意图。
如图3所示，电子设备包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地，根据本申请的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括解析模块、空间映射模块和构建模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，解析模块还可以被描述为“用于根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳的模块”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的基于图像的数字孪生时空知识图谱构建方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种基于图像的数字孪生时空知识图谱构建方法，其特征在于，包括：
根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳；
根据目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标；
根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系；
所述确定目标对象三维坐标包括：
对原始图像覆盖的区域三维重建，根据摄像机位置信息确定三维空间中的虚拟监控点位；
根据虚拟监控点位确定坐标系投影矩阵、世界坐标投影矩阵和虚拟摄像机矫正矩阵；
根据目标对象二维坐标、坐标系投影矩阵、世界坐标投影矩阵和虚拟摄像机矫正矩阵确定目标对象三维坐标；
所述根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系包括：
将原始图像三维坐标与空间网格匹配，确定每一原始图像三维坐标在空间网格中的空间网格编码；
根据原始图像三维坐标与原始图像二维坐标以及与空间网格编码之间的对应关系，建立原始图像二维坐标与空间网格编码之间的关联体系。
2.根据权利要求1所述的基于图像的数字孪生时空知识图谱构建方法，其特征在于，所述根据目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标包括：
根据原始图像二维坐标、摄像机位置信息和空间矫正模型，确定原始图像三维坐标。
3.根据权利要求1所述的基于图像的数字孪生时空知识图谱构建方法，其特征在于，在根据目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标之前还包括：
分别对原始图像和卫星正射图像进行二值化处理，生成各自的灰度图；
对原始图像的灰度图和卫星正射图像的灰度图进行直方图匹配运算，使得原始图像的灰度图和卫星正射图像的灰度图的色调保持一致；
将原始图像的灰度图和卫星正射图像的灰度图进行特征点匹配计算，确定第一特征点；
根据第一特征点和卫星正射图像，确定原始图像二维坐标。
4.根据权利要求1所述的基于图像的数字孪生时空知识图谱构建方法，其特征在于，在根据目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标之前还包括：
分别对目标对象和卫星正射图像的二维图像进行二值化处理，生成各自的灰度图；
对目标对象的灰度图和卫星正射图像的灰度图进行直方图匹配运算，使得目标对象的灰度图和卫星正射图像的灰度图的色调保持一致；
将目标对象的灰度图和卫星正射图像的灰度图进行特征点匹配计算，确定第二特征点；
根据第二特征点和卫星正射图像，确定目标对象二维坐标。
5.根据权利要求1所述的基于图像的数字孪生时空知识图谱构建方法，其特征在于，根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系还包括：
将原始图像三维坐标与空间网格匹配，确定每一原始图像三维坐标在空间网格中的空间网格编码；
根据原始图像三维坐标与原始图像二维坐标以及与空间网格编码之间的对应关系，建立原始图像二维坐标与空间网格编码之间的关联体系；
根据目标对象三维坐标与原始图像三维坐标之间的对应关系，确定目标对象三维坐标、原始图像二维坐标、三维空间网格以及时间戳之间的关联体系。
6.根据权利要求1所述的基于图像的数字孪生时空知识图谱构建方法，其特征在于，所述根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳包括：
基于图像标定方法，获取原始图像的畸变参数，根据获取的畸变参数将原始图像矫正为无畸变图像；
基于帧间差分方法，根据多个原始图像的无畸变图像，确定背景图；
基于帧间差分方法，根据原始图像和背景图，确定目标对象；
基于预设的变换规则，根据原始图像确定原始图像二维坐标，根据目标对象确定目标对象二维坐标；
根据原始图像的拍摄时间，确定对应的目标对象的时间戳。
7.一种基于图像的数字孪生时空知识图谱构建装置，其特征在于，包括：
解析模块（201），用于根据获取的原始图像确定目标对象二维坐标、原始图像二维坐标和目标对象的时间戳；
空间映射模块（202），用于根据目标对象二维坐标、原始图像二维坐标、获取的卫星正射图像和获取的摄像机位置信息，确定目标对象三维坐标和原始图像三维坐标，所述确定目标对象三维坐标包括：
对原始图像覆盖的区域三维重建，根据摄像机位置信息确定三维空间中的虚拟监控点位；
根据虚拟监控点位确定坐标系投影矩阵、世界坐标投影矩阵和虚拟摄像机矫正矩阵；
根据目标对象二维坐标、坐标系投影矩阵、世界坐标投影矩阵和虚拟摄像机矫正矩阵确定目标对象三维坐标；
构建模块（203），用于根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系，所述根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、原始图像二维坐标、三维空间网格、摄像机位置信息以及时间戳之间的关联体系包括：将原始图像三维坐标与空间网格匹配，确定每一原始图像三维坐标在空间网格中的空间网格编码；
根据原始图像三维坐标与原始图像二维坐标以及与空间网格编码之间的对应关系，建立原始图像二维坐标与空间网格编码之间的关联体系。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211140124.0A CN115222920B (zh) | 2022-09-20 | 2022-09-20 | 基于图像的数字孪生时空知识图谱构建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211140124.0A CN115222920B (zh) | 2022-09-20 | 2022-09-20 | 基于图像的数字孪生时空知识图谱构建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115222920A CN115222920A (zh) | 2022-10-21 |
| CN115222920B true CN115222920B (zh) | 2023-01-17 |
Family
ID=83617115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211140124.0A Active CN115222920B (zh) | 2022-09-20 | 2022-09-20 | 基于图像的数字孪生时空知识图谱构建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222920B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363538B (zh) * | 2023-06-01 | 2023-08-01 | 贵州交投高新科技有限公司 | 一种基于无人机的桥梁检测方法及系统 |
| CN116567648B (zh) * | 2023-07-05 | 2023-09-19 | 四川创智联恒科技有限公司 | 一种数据波束下的波位图谱生成方法及系统 |
| CN117670946A (zh) * | 2023-12-04 | 2024-03-08 | 北京星河大地数字科技有限公司 | 一种视频目标地理位置映射方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100533487C (zh) * | 2007-04-19 | 2009-08-26 | 北京理工大学 | 基于单幅对称图像的光滑曲面三维实体模型重建方法 |
| CN101483770B (zh) * | 2008-01-08 | 2011-03-16 | 华为技术有限公司 | 一种编解码方法及装置 |
| CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
| CN109190508B (zh) * | 2018-08-13 | 2022-09-06 | 南京财经大学 | 一种基于空间坐标系的多摄像头数据融合方法 |
| CN113421182B (zh) * | 2021-05-20 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-20 CN CN202211140124.0A patent/CN115222920B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115222920A (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115222920B (zh) | 基于图像的数字孪生时空知识图谱构建方法和装置 | |
| CN108335353B (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
| CN110400363B (zh) | 基于激光点云的地图构建方法和装置 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| CN111553947A (zh) | 目标对象的定位方法、装置 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| CN114694136A (zh) | 一种物品展示方法、装置、设备及介质 | |
| CN114638846A (zh) | 拾取位姿信息确定方法、装置、设备和计算机可读介质 | |
| CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN116188660B (zh) | 一种基于流式渲染的点云数据处理方法及相关装置 | |
| CN112270748A (zh) | 基于图像的三维重建方法及装置 | |
| CN116863083A (zh) | 变电站三维点云数据的处理方法和装置 | |
| CN111402392A (zh) | 光照模型计算方法、材质参数的处理方法及其处理装置 | |
| CN109118576A (zh) | 基于bds位置服务的大型场景三维重建系统及重建方法 | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
| Gupta et al. | Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview | |
| CN114140581A (zh) | 一种自动建模方法、装置、计算机设备及存储介质 | |
| CN110196638B (zh) | 基于目标检测和空间投影的移动端增强现实方法和系统 | |
| CN108921908B (zh) | 表面光场的采集方法、装置及电子设备 | |
| CN112766068A (zh) | 一种基于网格化标注的车辆检测方法及系统 | |
| CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN110930507A (zh) | 一种基于三维地理信息的大场景跨境头目标追踪方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |