CN112802208B - 一种航站楼内三维可视化方法及装置 - Google Patents

一种航站楼内三维可视化方法及装置 Download PDF

Info

Publication number
CN112802208B
CN112802208B CN202110337233.0A CN202110337233A CN112802208B CN 112802208 B CN112802208 B CN 112802208B CN 202110337233 A CN202110337233 A CN 202110337233A CN 112802208 B CN112802208 B CN 112802208B
Authority
CN
China
Prior art keywords
background frame
camera
building
monitoring
target background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110337233.0A
Other languages
English (en)
Other versions
CN112802208A (zh
Inventor
王朝
党婉丽
耿龙
邓睿
李本超
郑怀宇
罗谦
杜雨弦
潘野
陈肇欣
梅刚
彭文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN202110337233.0A priority Critical patent/CN112802208B/zh
Publication of CN112802208A publication Critical patent/CN112802208A/zh
Application granted granted Critical
Publication of CN112802208B publication Critical patent/CN112802208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供了一种航站楼内三维可视化方法及装置，该方法包括：获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧；针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧；针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型。本申请实施例所提出的一种航站楼内三维可视化方法结合了航站楼三维模型，与实景进行拼接融合，提升了航站楼监控的易用性，从而提高了航站楼监控的效率。

Description

一种航站楼内三维可视化方法及装置
技术领域
本申请涉及领域，具体而言，涉及一种航站楼内三维可视化方法及装置。
背景技术
机场航站楼室内的监控系统是对于机场安全的一项重要保障，现有的机场航站楼室内监控平台仅关注二维监控画面，并通过定时轮询摄像机监控机场航站楼的重点区域，以九宫格或十二宫格的形式同时显示多个摄像头的监控画面。
现有技术存在部分监控图像质量差并存在明显的图像畸变情况，并由于机场室内场景常常存在建筑遮挡，无法展开高视点大面积的监控，多以窄视角小范围监控为主。在展示方面，现有技术局限于单一摄像头的展示，不能同时在一个显示屏集中呈现大量监控摄像画面，难以实现区域监控，并且通过九宫格或十二宫格的显示模式需要监控人员同时观看多个分镜画面，工作人员注意力较为分散，无法保证对各摄像头的图像做到同时检查。并且当需要即时跟踪特定单位时，由于没有将将空摄像头与真实地理位置关联，无法确定画面之间的空间位置关系，容易丢失目标。
发明内容
有鉴于此，本申请的目的在于提供一种航站楼内三维可视化方法及装置，用于解决现有技术中如何实现航站楼三维可视化的场景融合的问题。
第一方面，本申请实施例提供了一种航站楼内三维可视化方法，该方法包括：
获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧；
针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧；所述图像预处理包括图像校畸和图像拼接；
针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；
根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型。
在一些实施例中，在获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧之前，还包括：
获取航站楼监控场景图像作为训练图像，并根据预设标定模板对所述训练图像进行监控摄像机的相机参数标定，得到所述训练图像的相机参数矩阵；
将所述训练图像和相机参数矩阵以及预设标准数据集输入到多层深度神经网络进行模型训练，得到相机自标定网络模型。
在一些实施例中，所述针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧，包括：
针对每个待处理背景帧，通过相机自标定网络模型，计算得到该待处理背景帧所对应的监控摄像机的相机参数矩阵；
针对每个待处理背景帧，计算畸变参数，并根据所述畸变参数和球相机模型对该待处理背景帧进行图像校畸，得到该待处理背景帧对应的校畸背景帧；针对每个校畸背景帧，确定该校畸背景帧是否与其他校畸背景帧存在图像重合；
若该校畸背景帧与其他校畸背景帧存在图像重合，则筛选出与该校畸背景帧重合的其他校畸背景帧，并以该校畸背景帧的相机参数矩阵计算相邻监控摄像机间的单应变换矩阵，并根据所述单应变换矩阵进行该校畸背景帧与所述其他校畸背景帧的图像拼接，得到拼接背景帧；
将所述拼接背景帧与未进行图像拼接的校畸背景帧确定为目标背景帧。
在一些实施例中，所述针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局，包括：
针对每个目标背景帧，通过深度神经网络进行深度估计，得到每个目标背景帧的深度图；
提取所述目标背景帧中的直线，并估计该目标背景帧中的室内布局平面的消失点；
根据所述目标背景帧的所述消失点，对该目标背景帧中的直线进行筛选，得到该目标背景帧的直线集合，并根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面；
对所述目标背景帧进行图像语义分割，以构建该目标背景帧中各建筑结构所对应的掩码矩阵；
根据所述拟合平面和掩码矩阵，得到不同建筑结构对应的像素集合；
根据所述不同建筑结构对应的像素集合和该目标背景帧的深度图，通过随机一致性采样进行拟合，得到不同建筑结构对应的平面参数；
根据所述不同建筑结构对应的平面参数，构建室内场景平面，并根据所述该目标背景帧的相机参数矩阵，构建相机视锥平面；
根据所述室内场景平面和相机视锥平面，得到该目标背景帧的几何布局。
在一些实施例中，所述根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型，包括：
根据航站楼CAD图纸，生成航站楼三维模型；
获取监控摄像机标识码，确定各监控摄像机在所述航站楼三维模型中的位置参数，并根据所述各监控摄像机的相机参数矩阵构建对应的投影矩阵；
根据所述几何布局，对所述目标背景帧进行纹理分割，得到多个纹理块，并确定各纹理块的顶点；
根据所述各纹理块的顶点以及所述各监控摄像机的位置参数和投影矩阵，将各纹理块映射到所述航站楼三维模型中，得到航站楼的实景三维模型。
第二方面，本申请实施例提供了一种航站楼内三维可视化装置，包括：
获取模块，用于获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧；
预处理模块，用于针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧；
分析模块，用于针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；
构建模块，用于根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型。
在一些实施例中，所述预处理模块，包括：
运算单元，用于针对每个待处理背景帧，通过并将该图像深度输入相机自标定网络模型，计算得到该待处理背景帧所对应的监控摄像机的相机参数矩阵；
校畸单元，用于针对每个待处理背景帧，计算畸变参数，并根据所述畸变参数和球相机模型对该待处理背景帧进行图像校畸，得到该待处理背景帧对应的校畸背景帧；
拼接单元，用于针对每个校畸背景帧，确定该校畸背景帧是否与其他校畸背景帧存在图像重合；若该校畸背景帧与其他校畸背景帧存在图像重合，则筛选出于该校畸背景帧重合的其他校畸背景帧，并以该校畸背景帧的相机参数矩阵计算相邻监控摄像机间的单应变换矩阵，并根据所述单应变换矩阵进行该校畸背景帧与所述其他校畸背景帧的图像拼接，得到拼接背景帧；
确定单元，用于将所述拼接背景帧与未进行图像拼接的校畸背景帧确定为目标背景帧。
在一些实施例中，所述分析模块，包括：
深度单元，用于针对每个目标背景帧，通过深度神经网络进行深度估计，得到每个目标背景帧的深度图；
提取单元，用于提取所述目标背景帧中的直线，并估计该目标背景帧中的室内布局平面的消失点；
筛选单元，用于根据所述目标背景帧的所述消失点，对该目标背景帧中的直线进行筛选，得到该目标背景帧的直线集合，并根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面；
分割单元，用于对所述目标背景帧进行图像语义分割，以构建该目标背景帧中各建筑结构所对应的掩码矩阵；
分类单元，用于根据所述拟合平面和掩码矩阵，得到不同建筑结构对应的像素集合；
拟合单元，用于根据所述不同建筑结构对应的像素集合和该目标背景帧的深度图，通过随机一致性采样进行拟合，得到不同建筑结构对应的平面参数；
平面单元，用于根据所述不同建筑结构对应的平面参数，构建室内场景平面，并根据所述该目标背景帧的相机参数矩阵，构建相机视锥平面；
布局单元，用于根据所述室内场景平面和相机视锥平面，得到该目标背景帧的几何布局。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面中任一项所述的方法的步骤。
本申请实施例提出的一种航站楼内三维可视化方法，通过选取人流较少、光线条件适中的监控视频帧作为待处理背景帧，并对待处理背景帧进行图像的校畸、拼接等预处理，得到目标背景帧，然后针对目标背景帧进行几何结构分析，得到摄像机监控区域的几何布局，最后根据航站楼CAD图纸、监控摄像机位置参数和摄像机监控区域的几何布局，构建航站楼的实景三维模型。本申请实施例所提出的一种航站楼内三维可视化方法结合了航站楼三维模型，与实景进行拼接融合，提升了航站楼监控的易用性，从而提高了航站楼监控的效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种航站楼内三维可视化方法的流程示意图；
图2为本申请实施例提供的一种相机参数矩阵的标定模板的示意图；
图3为本申请实施例提供的一种球相机模型的示意图；
图4为本申请实施例提供的一种航站楼内三维可视化装置的结构示意图；
图5为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了优化现有的室内环境的三维可视化方法，以实现虚实结合、动静结合的监控平台，本申请以机场航站楼为例，具体提供了一种航站楼内三维可视化方法，如图1所示，包括以下步骤：
步骤S101、获取航站楼监控视频，并根据预设选取条件从上述航站楼监控视频中选取多个待处理背景帧；
步骤S102、针对上述多个待处理背景帧，进行图像预处理，得到目标背景帧；所述图像预处理包括图像校畸和图像拼接；
步骤S103、针对上述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；
步骤S104、根据航站楼CAD图纸、监控摄像机位置参数和上述摄像机监控区域的几何布局，构建航站楼的实景三维模型。
具体地，航站楼的室内建筑布局多样，情况复杂，监控画面中存在多种建筑结构类别，相互遮挡较多，对于低层视觉特征辨识力较弱，且室内的环境复杂，人流通常较为密集，又因为建筑结构原因和环境原因，光照通常不均匀。
为了保证航站楼的几何布局推断的准确性，应设定背景帧的预设选取条件为无密集人流，且不存在明显的光照问题的视频帧。因此需要通过人工或机器算法从航站楼的监控视频流中抓取符合上述预设选取条件的视频帧，但抓取到的视频帧由于监控摄像机所处的位置还需要进行进一步地预处理，因此作为待处理背景帧进行存储。
监控摄像机分布于航站楼中各个区域，这些区域主要分为以下三种：
（1）值机区域：由值机大厅和值机柜台组成，该区域大多视野广、遮挡少，并且常采用广角相机进行监控，由于广角相机的镜头特点，采集到的图像畸变严重；
（2）安检区域：由安检通道构成，该区域视野窄、遮挡多，监控摄像机的图像间存在较多的重合部分；
（3）候机区域：由连廊、通道、候机区等组成，该区域的监控摄像头间距较远，分布离散。
针对待处理背景帧不同程度的图像畸变和图像区域重合，需要针对其缺陷进行对应的图像处理（图像校畸、图像拼接等），以得到目标背景帧。
对于目标背景帧就可以进行基于单目视觉的航站楼室内几何布局推断，通过结合传统布局方法的思想以及图像分割、深度估计、随机一致性采样等深度学习算法，在最大程度上保证精度的前提下进行几何布局推断，得到航站楼的几何布局。
根据航站楼的建筑CAD图纸构建三维模型，再通过监控摄像机位置参数、监控摄像机参数和推断出的航站楼几何布局，将背景帧的图像融合到三维模型中，以构建航站楼的实景三维模型。
实景三维模型还可以进一步应用，例如虚拟游览。虚拟游览需要先在实景三维模型的基础上，根据监控摄像头在航站楼CAD图纸中的位置分布，找到相机观测区域在实景三维模型中的具体位置，以进行融合得到三维室内布局模型，再设置布局模型的绘制方式、光照法向量、深度剔除方式，并根据监控摄像机标识将对应的监控视频流逐帧将视频数据纹理绘制到三维室内布局模型上，为实景三维模型添加光源，保证与三维室内布局模型一致，最后为实景三维模型添加观察摄像机，用户可以通过观察摄像机通过不同的机位游览航站楼。
在一些实施例中，在步骤S101之前，还包括：
步骤105、获取航站楼监控场景图像作为训练图像，并根据预设标定模板对上述训练图像进行监控摄像机的相机参数标定，得到上述训练图像的相机参数矩阵；
步骤106、将上述训练图像和相机参数矩阵以及预设标准数据集输入到多层深度神经网络进行模型训练，得到相机自标定网络模型。
具体地，针对训练图像，使用形如图2所示的图像作为预设标定模板，计算训练图像角点间距与预设标定模板中角点间距之间的映射关系，该映射关系就是相机参数矩阵。该预设标定模板的特点是相邻网格间距都相同，该预设标定模板可以根据标定的场景大小而增减行列数和模板尺寸。
为了训练相机自标定网络模型，需要用航站楼监控场景图像作为输入，已标定的相机参数矩阵作为输出，训练该相机自标定网络模型。相机自标定网络模型是以多层卷积神经网络构建的。
假定摄像机相心位于图像中心(图像尺寸x×y)，则cx=x/2，cy=y/2。摄像机内参数矩阵K的计算公式为：
Figure 579671DEST_PATH_IMAGE001
其中，R是相机旋转矩阵，t是相机位移矢量，（X，Y，Z）是二维图像中点（u，v）在三维空间中对应点的三维几何坐标。
将已标注相机参数的训练图像输入SingleNet深度神经网络进行训练。SingleNet深度神经网络选取相机模型如图3所示(球相机模型)，其中，O为球模型中心；Oc为相机中心；f是相机的焦距；ξ为图像畸变参数，当ξ=0时，说明球模型中心和相机中心重合，相机拍摄图像无畸变。
为了保证训练得到的相机自标定网络模型的精度，在训练过程中还加入了一些预设标准数据及，该预设标准数据集为室内标准数据集，也就是标准室内场景的监控图像和相机参数矩阵。
在一些实施例中，上述步骤S102，包括：
步骤1021、针对每个待处理背景帧，通过相机自标定网络模型，计算得到该待处理背景帧所对应的监控摄像机的相机参数矩阵；
步骤1022、针对每个待处理背景帧，计算畸变参数，并根据所述畸变参数和球相机模型对该待处理背景帧进行图像校畸，得到该待处理背景帧对应的校畸背景帧；
步骤1023、针对每个校畸背景帧，确定该校畸背景帧是否与其他校畸背景帧存在图像重合；
步骤1024、若该校畸背景帧与其他校畸背景帧存在图像重合，则筛选出与该校畸背景帧重合的其他校畸背景帧，并以该校畸背景帧的相机参数矩阵计算相邻监控摄像机间的单应变换矩阵，并根据所述单应变换矩阵进行该校畸背景帧与所述其他校畸背景帧的图像拼接，得到拼接背景帧；
步骤1025、将所述拼接背景帧与未进行图像拼接的校畸背景帧确定为目标背景帧。
具体地，这里的相机参数矩阵指的是相机的内参数矩阵，对于每个待处理背景帧都需要先计算相机参数矩阵，这一计算用到训练好的相机自标定网络模型，通过深度神经网络对各待处理背景帧进行图像深度的提取，然后将图像深度输入到相机自标定网络模型中，就可得到各待处理背景帧的相机参数矩阵。相机参数矩阵是图像拼接计算单应矩阵、图像深度估计以及计算平面参数的基础。相机参数矩阵如下所示：
Figure 506039DEST_PATH_IMAGE002
其中，fx,fy是相机的焦距，cx,cy是相机的中心，s是相机的扭矩。
对于待处理背景帧，需要根据先对各待处理背景帧进行图像校畸得到校畸背景帧，再对校畸背景帧中存在图像区域重合的校畸背景帧进行图像拼接，一般地，由于值机区域多采用广角相机，因此对应的待处理背景帧都需要校畸，而安检区域的摄像头监控区域重合较多，因此对应的待处理背景帧多需要进行拼接。具体处理方式如下：
（1）图像校畸：如图2所示，假设三维空间中存在一点Pw=(X,Y,Z)，则点Pw在单位球模型表面对应的投影点为点Ps=(Xs,Ys,Zs)=Pw/‖Pw‖，在二维图像中对应的平面点为p=(x,y)。基于三点间的投影关系，我们可以同时计算摄像头内参数矩阵和图像畸变参数。那么就利用该畸变参数，对待处理背景帧进行校畸；
（2）图像拼接：为了保证三维可视化的效果，需要计算存在图像区域重合的相邻监控摄像机间的单应变换矩阵，通过该单应变换矩阵计算图像拼接矩阵，图像拼接矩阵H’计算公式如下：
Figure 117149DEST_PATH_IMAGE003
其中，H是图像间的单应矩阵，Wi是图像各像素点权重，G是图像间各像素点的映射矩阵；
然后，按图像通道对图像进行叠加，根据缝合线对待处理背景帧的重合区域进行融合，拼接公式如下：
R(IC)=(1-α)R(IB)+αR(IA)
其中，R代表R、G、B通道，IA、IB是融合图像，IC是输出图像，α是融合参数。
在一些实施例中，上述步骤S103，包括：
步骤1031、针对每个目标背景帧，通过深度神经网络进行深度估计，得到每个目标背景帧的深度图；
步骤1032、提取上述目标背景帧中的直线，并估计该目标背景帧中的室内布局平面的消失点；
步骤1033、根据上述目标背景帧的上述消失点，对该目标背景帧中的直线进行筛选，得到该目标背景帧的直线集合，并根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面；
步骤1034、对上述目标背景帧进行图像语义分割，以构建该目标背景帧中各建筑结构所对应的掩码矩阵；
步骤1035、根据上述拟合平面和掩码矩阵，得到不同建筑结构对应的像素集合；
步骤1036、根据上述不同建筑结构对应的像素集合和该目标背景帧的深度图，通过随机一致性采样进行拟合，得到不同建筑结构对应的平面参数；
步骤1037、根据上述不同建筑结构对应的平面参数，构建室内场景平面，并根据上述该目标背景帧的相机参数矩阵，构建相机视锥平面；
步骤1038、根据上述室内场景平面和相机视锥平面，得到该目标背景帧的几何布局。
具体地，航站楼建筑多数情况都符合曼哈顿世界结构，因此基于曼哈顿假设对目标背景帧进行直线检测，提取目标背景帧中的直线。并通过检测到的直线估计该目标背景帧中室内布局平面的消失点，公式如下：
Figure 470770DEST_PATH_IMAGE004
其中，v是消失点的矢量形式，l1，l2是直线的向量表示形式。
然后，根据该消失点对所有直线进行筛选，得到与消失点的矢量方向之差小于预设角度阈值的直线，形成直线集合。其中预设角度阈值一般设为22.5°，本申请对此不予限制。
然后，根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面，该拟合平面包含了该平面的像素。
接着通过对目标背景帧进行图像语义分割，对目标背景帧中的墙壁、地面、天花板、门、窗等建筑结构进行分类，并分别构建对应的掩码矩阵。将各建筑结构所对应的掩码矩阵与拟合平面进行求交计算，得到各建筑结构对应的像素集合。
针对每个目标背景帧，都通过深度神经网络进行了深度估计，以得到对应的深度图。在得到深度图的前提下，对于各建筑结构的像素集合进行像素点采样，并基于随机一致性采样的拟合方式，以得到各建筑结构平面的平面参数。基于该平面参数可以构建三维空间中的室内场景平面，同时，基于监控摄像机的相机中心和相机参数矩阵可以构建三维空间中的视锥平面。将上述室内场景平面与视锥平面进行两两相交，所得到的所有交线的集合就是该目标背景帧的几何布局。
在一些实施例中，上述步骤S104，包括：
步骤1041、根据航站楼CAD图纸，生成航站楼三维模型；
步骤1042、获取监控摄像机标识码，确定各监控摄像机在上述航站楼三维模型中的位置参数，并根据上述各监控摄像机的相机参数矩阵构建对应的投影矩阵；
步骤1043、根据上述几何布局，对上述目标背景帧进行纹理分割，得到多个纹理块，并确定各纹理块的顶点；
步骤1044、根据上述各纹理块的顶点以及上述各监控摄像机的位置参数和投影矩阵，将各纹理块映射到上述航站楼三维模型中，得到航站楼的实景三维模型。
具体地，根据航站楼建筑CAD图纸可以生成航站楼室内的三维模型，但该三维模型是不包含纹理的，需要通过将航站楼室内场景的纹理绘制在该三维模型上，以形成航站楼的实景三维模型。
获取监控摄像机标识码ID，读取各监控摄像机位置参数和室内布局参数，以确定各监控摄像机在航站楼三维模型中的三维位置参数，同时，根据该三维位置参数和监控摄像机的相机参数矩阵构建对应的投影矩阵。
根据推断出的航站楼的几何布局，对目标背景帧进行纹理分割，得到多个纹理块，并确定各纹理块的顶点（各顶点在航站楼三维模型中的位置参数）。
最后依据各纹理块的顶点的位置参数，以及各监控摄像机的位置参数和投影矩阵，将各纹理块映射在航站楼三维模型中对应的建筑结构上，得到融合了实际场景图像的航站楼的实景三维模型。
本申请实施例还提供了一种航站楼内三维可视化装置，如图4所示，包括：
获取模块30，用于获取航站楼监控视频，并根据预设选取条件从上述航站楼监控视频中选取多个待处理背景帧；
预处理模块31，用于针对上述多个待处理背景帧，进行图像预处理，得到目标背景帧；
分析模块32，用于针对上述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；
构建模块33，用于根据航站楼CAD图纸、监控摄像机位置参数和上述摄像机监控区域的几何布局，构建航站楼的实景三维模型。
在一些实施例中，上述预处理模块31，包括：
运算单元，用于针对每个待处理背景帧，通过相机自标定网络模型，计算得到该待处理背景帧所对应的监控摄像机的相机参数矩阵；
校畸单元，用于针对每个待处理背景帧，计算畸变参数，并根据所述畸变参数和球相机模型对该待处理背景帧进行图像校畸，得到该待处理背景帧对应的校畸背景帧；
拼接单元，用于针对每个校畸背景帧，确定该校畸背景帧是否与其他校畸背景帧存在图像重合；若该校畸背景帧与其他校畸背景帧存在图像重合，则筛选出于该校畸背景帧重合的其他校畸背景帧，并以该校畸背景帧的相机参数矩阵计算相邻监控摄像机间的单应变换矩阵，并根据所述单应变换矩阵进行该校畸背景帧与所述其他校畸背景帧的图像拼接，得到拼接背景帧；
确定单元，用于将所述拼接背景帧与未进行图像拼接的校畸背景帧确定为目标背景帧。
在一些实施例中，上述分析模块32，包括：
深度单元，用于针对每个目标背景帧，通过深度神经网络进行深度估计，得到每个目标背景帧的深度图；
提取单元，用于提取上述目标背景帧中的直线，并估计该目标背景帧中的室内布局平面的消失点；
筛选单元，用于根据上述目标背景帧的上述消失点，对该目标背景帧中的直线进行筛选，得到该目标背景帧的直线集合，并根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面；
分割单元，用于对上述目标背景帧进行图像语义分割，以构建该目标背景帧中各建筑结构所对应的掩码矩阵；
分类单元，用于根据上述拟合平面和掩码矩阵，得到不同建筑结构对应的像素集合；
拟合单元，用于根据上述不同建筑结构对应的像素集合和该目标背景帧的深度图，通过随机一致性采样进行拟合，得到不同建筑结构对应的平面参数；
平面单元，用于根据上述不同建筑结构对应的平面参数，构建室内场景平面，并根据上述该目标背景帧的相机参数矩阵，构建相机视锥平面；
布局单元，用于根据上述室内场景平面和相机视锥平面，得到该目标背景帧的几何布局。
对应于图1中的一种航站楼内三维可视化方法，本申请实施例还提供了一种计算机设备400，如图5所示，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述一种航站楼内三维可视化方法。
具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述一种航站楼内三维可视化方法，解决了现有技术中如何实现航站楼三维可视化的场景融合的问题。
对应于图1中的一种航站楼内三维可视化方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述一种航站楼内三维可视化方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述一种航站楼内三维可视化方法，解决了现有技术中如何实现航站楼三维可视化的场景融合的问题，本申请实施例提出的一种航站楼内三维可视化方法，通过选取人流较少、光线条件适中的监控视频帧作为待处理背景帧，并对待处理背景帧进行图像的校畸、拼接等预处理，得到目标背景帧，然后针对目标背景帧进行几何结构分析，得到摄像机监控区域的几何布局，最后根据航站楼CAD图纸、监控摄像机位置参数和摄像机监控区域的几何布局，构建航站楼的实景三维模型。本申请实施例所提出的一种航站楼内三维可视化方法结合了航站楼三维模型，与实景进行拼接融合，提升了航站楼监控的易用性，从而提高了航站楼监控的效率。
在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种航站楼内三维可视化方法，其特征在于，包括：
获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧；
针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧；所述图像预处理包括图像校畸和图像拼接；
针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；
根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型；
所述针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局，包括：
针对每个目标背景帧，通过深度神经网络进行深度估计，得到每个目标背景帧的深度图；
提取所述目标背景帧中的直线，并估计该目标背景帧中的室内布局平面的消失点；
根据所述目标背景帧的所述消失点，对该目标背景帧中的直线进行筛选，得到该目标背景帧的直线集合，并根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面；
对所述目标背景帧进行图像语义分割，以构建该目标背景帧中各建筑结构所对应的掩码矩阵；
根据所述拟合平面和掩码矩阵，得到不同建筑结构对应的像素集合；
根据所述不同建筑结构对应的像素集合和该目标背景帧的深度图，通过随机一致性采样进行拟合，得到不同建筑结构对应的平面参数；
根据所述不同建筑结构对应的平面参数，构建室内场景平面，并根据所述该目标背景帧的相机参数矩阵，构建相机视锥平面；
根据所述室内场景平面和相机视锥平面，得到该目标背景帧的几何布局；
所述根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型，包括：
根据航站楼CAD图纸，生成航站楼三维模型；
获取监控摄像机标识码，确定各监控摄像机在所述航站楼三维模型中的位置参数，并根据所述各监控摄像机的相机参数矩阵构建对应的投影矩阵；
根据所述几何布局，对所述目标背景帧进行纹理分割，得到多个纹理块，并确定各纹理块的顶点；
根据所述各纹理块的顶点以及所述各监控摄像机的位置参数和投影矩阵，将各纹理块映射到所述航站楼三维模型中，得到航站楼的实景三维模型。
2.如权利要求1所述的方法，其特征在于，在获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧之前，还包括：
获取航站楼监控场景图像作为训练图像，并根据预设标定模板对所述训练图像进行监控摄像机的相机参数标定，得到所述训练图像的相机参数矩阵；
将所述训练图像和相机参数矩阵以及预设标准数据集输入到多层深度神经网络进行模型训练，得到相机自标定网络模型。
3.如权利要求1所述的方法，其特征在于，所述针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧，包括：
针对每个待处理背景帧，通过相机自标定网络模型，计算得到该待处理背景帧所对应的监控摄像机的相机参数矩阵；
针对每个待处理背景帧，计算畸变参数，并根据所述畸变参数和球相机模型对该待处理背景帧进行图像校畸，得到该待处理背景帧对应的校畸背景帧；针对每个校畸背景帧，确定该校畸背景帧是否与其他校畸背景帧存在图像重合；
若该校畸背景帧与其他校畸背景帧存在图像重合，则筛选出与该校畸背景帧重合的其他校畸背景帧，并以该校畸背景帧的相机参数矩阵计算相邻监控摄像机间的单应变换矩阵，并根据所述单应变换矩阵进行该校畸背景帧与所述其他校畸背景帧的图像拼接，得到拼接背景帧；
将所述拼接背景帧与未进行图像拼接的校畸背景帧确定为目标背景帧。
4.一种航站楼内三维可视化装置，其特征在于，包括：
获取模块，用于获取航站楼监控视频，并根据预设选取条件从所述航站楼监控视频中选取多个待处理背景帧；
预处理模块，用于针对所述多个待处理背景帧，进行图像预处理，得到目标背景帧；
分析模块，用于针对所述目标背景帧，进行几何结构分析，得到摄像机监控区域的几何布局；
构建模块，用于根据航站楼CAD图纸、监控摄像机位置参数和所述摄像机监控区域的几何布局，构建航站楼的实景三维模型；
所述分析模块，包括：
深度单元，用于针对每个目标背景帧，通过深度神经网络进行深度估计，得到每个目标背景帧的深度图；
提取单元，用于提取所述目标背景帧中的直线，并估计该目标背景帧中的室内布局平面的消失点；
筛选单元，用于根据所述目标背景帧的所述消失点，对该目标背景帧中的直线进行筛选，得到该目标背景帧的直线集合，并根据该目标背景帧的直线集合进行平面拟合，得到该目标背景帧对应的至少一个拟合平面；
分割单元，用于对所述目标背景帧进行图像语义分割，以构建该目标背景帧中各建筑结构所对应的掩码矩阵；
分类单元，用于根据所述拟合平面和掩码矩阵，得到不同建筑结构对应的像素集合；
拟合单元，用于根据所述不同建筑结构对应的像素集合和该目标背景帧的深度图，通过随机一致性采样进行拟合，得到不同建筑结构对应的平面参数；
平面单元，用于根据所述不同建筑结构对应的平面参数，构建室内场景平面，并根据所述该目标背景帧的相机参数矩阵，构建相机视锥平面；
布局单元，用于根据所述室内场景平面和相机视锥平面，得到该目标背景帧的几何布局；
所述构建模块，具体用于：根据航站楼CAD图纸，生成航站楼三维模型；获取监控摄像机标识码，确定各监控摄像机在所述航站楼三维模型中的位置参数，并根据所述各监控摄像机的相机参数矩阵构建对应的投影矩阵；根据所述几何布局，对所述目标背景帧进行纹理分割，得到多个纹理块，并确定各纹理块的顶点；根据所述各纹理块的顶点以及所述各监控摄像机的位置参数和投影矩阵，将各纹理块映射到所述航站楼三维模型中，得到航站楼的实景三维模型。
5.如权利要求4所述的装置，其特征在于，所述预处理模块，包括：
运算单元，用于针对每个待处理背景帧，通过相机自标定网络模型，计算得到该待处理背景帧所对应的监控摄像机的相机参数矩阵；
校畸单元，用于针对每个待处理背景帧，计算畸变参数，并根据所述畸变参数和球相机模型对该待处理背景帧进行图像校畸，得到该待处理背景帧对应的校畸背景帧；
拼接单元，用于针对每个校畸背景帧，确定该校畸背景帧是否与其他校畸背景帧存在图像重合；若该校畸背景帧与其他校畸背景帧存在图像重合，则筛选出于该校畸背景帧重合的其他校畸背景帧，并以该校畸背景帧的相机参数矩阵计算相邻监控摄像机间的单应变换矩阵，并根据所述单应变换矩阵进行该校畸背景帧与所述其他校畸背景帧的图像拼接，得到拼接背景帧；
确定单元，用于将所述拼接背景帧与未进行图像拼接的校畸背景帧确定为目标背景帧。
6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-3中任一项所述的方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-3中任一项所述的方法的步骤。
CN202110337233.0A 2021-03-30 2021-03-30 一种航站楼内三维可视化方法及装置 Active CN112802208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110337233.0A CN112802208B (zh) 2021-03-30 2021-03-30 一种航站楼内三维可视化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110337233.0A CN112802208B (zh) 2021-03-30 2021-03-30 一种航站楼内三维可视化方法及装置

Publications (2)

Publication Number Publication Date
CN112802208A CN112802208A (zh) 2021-05-14
CN112802208B true CN112802208B (zh) 2021-06-22

Family

ID=75815912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110337233.0A Active CN112802208B (zh) 2021-03-30 2021-03-30 一种航站楼内三维可视化方法及装置

Country Status (1)

Country Link
CN (1) CN112802208B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565815B (zh) * 2022-02-25 2023-11-03 包头市迪迦科技有限公司 一种基于三维模型的视频智能融合方法及系统
CN114972023A (zh) * 2022-04-21 2022-08-30 合众新能源汽车有限公司 图像拼接处理方法、装置、设备及计算机存储介质
CN117453220B (zh) * 2023-12-26 2024-04-09 青岛民航凯亚系统集成有限公司 基于Unity3D的机场旅客自助服务系统及构建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327573A (zh) * 2016-08-25 2017-01-11 成都慧途科技有限公司 一种针对城市建筑的实景三维建模方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951502B (zh) * 2010-10-19 2012-11-21 北京硅盾安全技术有限公司 一种三维智能视频监控方法
JP7279892B2 (ja) * 2019-02-13 2023-05-23 Ｎｅｃソリューションイノベータ株式会社 顔向き検出装置、顔向き検出方法、及びプログラム
CN111415416B (zh) * 2020-03-31 2023-12-15 武汉大学 一种监控实时视频与场景三维模型融合方法及系统
CN111836012B (zh) * 2020-06-28 2022-05-13 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
CN112465976B (zh) * 2020-12-14 2021-07-20 广州港数据科技有限公司 堆场三维地图建立方法、库存管理方法、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327573A (zh) * 2016-08-25 2017-01-11 成都慧途科技有限公司 一种针对城市建筑的实景三维建模方法

Also Published As

Publication number Publication date
CN112802208A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112802208B (zh) 一种航站楼内三维可视化方法及装置
Koch et al. Evaluation of cnn-based single-image depth estimation methods
WO2022012192A1 (zh) 三维人脸模型的构建方法、装置、设备及存储介质
US11816829B1 (en) Collaborative disparity decomposition
CN107484428B (zh) 用于显示对象的方法
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
US20100328308A1 (en) Three Dimensional Mesh Modeling
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN104463899A (zh) 一种目标对象检测、监控方法及其装置
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN110838164A (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
KR20180123302A (ko) 볼의 궤적을 시각화하는 방법 및 장치
CN113724391A (zh) 三维模型构建方法、装置、电子设备和计算机可读介质
WO2020151078A1 (zh) 一种三维重建的方法和装置
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
Tanaka et al. Single-Image Camera Calibration for Furniture Layout Using Natural-Marker-Based Augmented Reality
CN115527008A (zh) 基于混合现实技术的安全模拟体验培训系统
Abdelhafiz et al. Automatic texture mapping mega-projects
Chen et al. A 3-D surveillance system using multiple integrated cameras
CN110458927A (zh) 一种自动将图片生成三维户型模型的信息处理方法
CN116433848B (zh) 屏幕模型生成方法、装置、电子设备和存储介质
CN117115274B (zh) 三维信息的确定方法、装置、设备及存储介质
CN116664895B (zh) 一种基于ar/ai/3dgis技术的图像与模型的匹配方法
CN115862089B (zh) 基于人脸识别的安防监控方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant