CN111192362B - 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法 - Google Patents

一种动态三维地理场景实时采集的虚拟复眼系统的工作方法 Download PDF

Info

Publication number
CN111192362B
CN111192362B CN201911304441.XA CN201911304441A CN111192362B CN 111192362 B CN111192362 B CN 111192362B CN 201911304441 A CN201911304441 A CN 201911304441A CN 111192362 B CN111192362 B CN 111192362B
Authority
CN
China
Prior art keywords
compound eye
shooting
grid
geographic
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911304441.XA
Other languages
English (en)
Other versions
CN111192362A (zh
Inventor
王汉熙
蒋靳
郑晓钧
胡佳文
江南
黄鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201911304441.XA priority Critical patent/CN111192362B/zh
Publication of CN111192362A publication Critical patent/CN111192362A/zh
Application granted granted Critical
Publication of CN111192362B publication Critical patent/CN111192362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Instructional Devices (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及三维数字场景构建领域，提供一种动态三维地理场景实时采集的虚拟复眼系统的工作方法。本发明中的虚拟复眼系统包括覆盖地形地貌的地理空间三维采集网格、由多具复眼相机协同组成的动态虚拟复眼数据采集模块、单具复眼定位模块、任务分配与调度模块。本发明数据采集具有时空一致性，保证重构的是同一时间断面的三维场景，可以实现动态三维场景采集；本发明提出地理场景最佳拍摄点选取方法，以网格化的建模方法求出复眼相机拍摄点，事先规划复眼相机占位，减少数据冗余；本发明提出一种动态三维地理场景科学化拍摄采集方案，保证三维地理场景按帧率要求刷新。

Description

一种动态三维地理场景实时采集的虚拟复眼系统的工作方法
技术领域
本发明涉及三维数字场景构建领域，具体的说是一种动态三维地理场景实时采集的虚拟复眼系统的工作方法。
背景技术
对于地理信息采集，目前有3条技术路径，一是通过卫星航拍照片或遥感采集数据，二是通过侦察机航拍采集照片，三是通过无人机航拍采集照片。
无论是采用卫星照片、遥感数据，或是航拍照片构建地理信息场景，其产品的主要形式有二，一是具有单一拍摄视点、单一拍摄视角和单一拍摄视线的时空一致性静态二维场景；二是具有虚拟视点、虚拟视角和虚拟视线的非时空一致性静态三维场景。
面向智慧时代的地理信息服务，其基础是具有实时任意视点、任意视角和任意视线的时空一致性实时动态三维场景；在这种场景范围和时空内，观察者可以按照其主观意愿，实现任意方位、任意角度和任意距离的沉浸交互。
通过实践发现，现有的采集方案存在以下问题：
1.采集的数据不具有时空一致性，所构建的三维场景缺乏基于时空一致性的动态可信性。时空一致性拍摄是指原始数据是在统一时钟下的同一时刻拍摄，影像获取的时间与影像中各个物体在那一时刻的空间位置和姿态是一致的。单个相机连续拍摄时不具有时空一致性，不同空间位置的影像是在不同时间节点拍摄的，两次拍摄的影像之间存在时间间隔，根据场景的大小整个拍摄过程需要几十分钟至几个月不等，最后得到的是不同时间断面影像拼接的三维场景，很多动态事物不会被拍摄到或多次被拍摄到，从而得到与实际场景不符的三维虚拟场景。
2.对相机的拍摄点没有合理规划，相机拍摄的过程主要依靠人为的飞行控制，或者通过飞行控制软件按照飞行面积进行简单的飞行路线规划，导致数据大量冗余或部分数据缺失；
3.采集作业中采集者的主观性较强，难以建立科学化、规范化、标准化和定量化采集方案，难以保持采集品质的稳定，难以提高后期制作效率。
发明内容
本发明的目的就是为了克服上述现有技术中的不足之处，提供一种动态三维地理场景实时采集的虚拟复眼系统的工作方法，实现时空一致的实时拍摄、实时制作，得到更加精确真实的具有时空一致性的大面积地理空间实时动态三维场景。
本发明的目的是通过如下技术措施来实现的。
一种动态三维地理场景实时采集的虚拟复眼系统，包括覆盖地形地貌的地理空间三维采集网格，由多具复眼相机协同组成的动态虚拟复眼数据采集模块，单具复眼定位模块，任务分配与调度模块。
所述地理空间三维采集网格是按照设计精度划分待采集地理区域的网格体系，将不规则的地理区域离散化为格点组成的离散点集，离散点集组成复眼单体可能的拍摄点，在采集网格内合理规划选取复眼拍摄点，采集网格是虚拟复眼系统规划的基础。
所述数据采集模块，用于采集特定位置和特定角度的照片或影像视频，并将采集到的图片或影像视频数据通过无线网络方式实时传回，用于重构地理空间三维场景模型。
数据采集模块由面向地理场景的所有复眼相机协同构建；按照既定的地理空间三维采集网格规划，以网格节点为定位，布局复眼相机。
将面向地理场景的所有复眼相机按照既定的地理空间三维采集网格规划，虚拟组集为一个完整和体系化的复眼系统，称之为虚拟复眼；虚拟复眼由多个复眼相机根据既定的地理空间三维采集网格规划，相互协同、共同组建为一个对于整个地理空间实现完整无缝、全面覆盖、多层采集的复眼集群，定点定位定时采集大面地理照片或影像视频，每个复眼相机拥有多个镜头，一个单独镜头称之为子眼；所有镜头按照统一时钟的规定实施数据采集，获得具有时空一致性的数据。
所述定位模块，由GPS/北斗定位器/虚拟陀螺协同组成；GPS/北斗定位器/虚拟陀螺安装在复眼相机中，用于接收GPS/北斗定位信号，确定复眼相机及拍摄区域的全球地理坐标，监测相机整体姿态和子眼姿态。
所述任务分配与调度模块，根据地理空间三维采集网格规划发布以下3项任务，一是为每具复眼相机分配占位节点包括地理坐标、海拔高度、相互位置、子眼姿态，确定拍摄任务包括任务子眼、空间姿态、光学参数、拍摄范围，下达拍摄指令包括拍摄时刻、加注印戳、打包入库、设置回传路径，将拍摄指令传输给各复眼相机；二是为飞行在空中的无人机和无人飞艇分配占位节点包括地理坐标、海拔高度、相互位置；三是采取应答方式，向复眼相机发送校准命令宝库时间校准命令、占位校准命令、位姿校准命令、作业校准命令，进行时钟校准、占位校准、位姿校准和作业校准。
在上述技术方案中，所述复眼相机是一种拥有多个镜头，可沿水平面360°和垂直面360°同时采集图像的设备，复眼相机可附着于静态自然物、静态人工物，或直接抛洒于地面，还可直接悬挂于无人机或无人飞艇；各复眼相机根据上位机发布的统一时钟和采集指令，调集子眼采集场景图片或影像视频数据；并将相关数据，加注复眼相机/子眼编号、位置、姿态、拍摄时序信息回传上位机。
在上述技术方案中，所述任务分配与调度模块将地理空间三维采集网格规划中的占位节点换算为复眼占位的地理坐标、海拔高度、协同规则；根据地理空间三维采集网格规划及复眼协同规则，计算需要调度的复眼相机子眼，确定子眼任务和子眼姿态；根据地理空间三维采集网格规划，以及子眼任务和子眼姿态，计算出各占位节点上搭载复眼相机的云台的角度、航角与水平角；调节云台，使复眼相机保持拍摄姿态；调节复眼相机内部的各子眼拍摄参数，控制复眼相机拍照；在挂置复眼相机的飞行器受空气气流干扰造成复眼漂移时，或者复眼相机局部受损时，动态保持网格整体稳定。
本发明提供了一种上述的动态三维地理场景实时采集的虚拟复眼系统的工作方法，包括以下步骤：
(1)选定地理场景，建立坐标系，采集面积由100m×100m到100km×100km，在任务分配与调度模块中，以多边形表示目标区域，选取合适的单位建立直角坐标系。
(2)划分采集网格，选取合适大小的正方形单位网格，对目标区域进行网格划分，产生网格格点，将面集合转换为离散点集。
(3)确定即将使用的复眼相机对地拍摄的有效视野形状。
复眼相机单体的有效视野形状多种多样，复眼相机由多个镜头排列组成，多设计为对称结构，有效视野形状为正多边形，如矩形、正五边形、正六边形、正八边形等等；有效视野形状根据复眼相机单体的镜头设计排列方式确定。
(4)根据所需清晰度的精度和相机参数确定复眼相机拍摄高度；拍摄高度通过采集精度模型确定，采集精度模型如下：
采集精度确定以正视地理区域的子眼视野范围为准，在相机不变的情况下，相机高度越高，拍摄的范围越大，场景细节越模糊；反之，相机高度越低，拍摄范围越小，场景细节越清晰。单孔径光学系统的成像模型，镜头的进光孔为圆形，真实成像区域也是圆形，但感光元件(如CCD或CMOS)为矩形，得到的图像为圆形的内接矩形，其长宽比一般为1:1、4:3、3:2、16:9等，记长宽比为a:b，说明书附图中的图1为正视子眼成像示意图：
顶部O点表示子眼，子眼竖直拍摄平滑地面，底部圆形代表镜头取景区域，圆形所在平面表示地面，h表示子眼到地面的距离，即拍摄距离。镜头视场角为θ，也就是镜头与圆形取景面形成的圆锥的角度，圆内接矩形为实际成像区域，此时θ指对角线视场角，矩形的两对平行边分别与O点形成两个夹角θ1和θ2，与普通相机一样，当子眼镜头水平拍摄时，这两个角分别叫水平视场角和垂直视场角。矩形长宽比是确定的，当对角线确定时，这个矩形的形状就确定了，因此对角线视场角θ的大小确定了，θ1和θ2的大小也确定了。
图1中，对角线视场角θ、拍摄距离h、图像长宽比a∶b为已知参数，可求得矩形视野范围的长(AB)和宽(BC)与高度h的关系为：
Figure GDA0004105598720000061
根据所需的清晰度确定视野范围，再根据公式求出拍摄高度h。
(5)确定复眼相机有效视野形状的大小，复眼相机对地拍摄的有效视野形状，其大小与高度h呈线性关系，拍摄高度确定，则复眼相机有效视野形状的大小随之确定。
(6)求解所需最少的复眼相机数量，并给出各个复眼相机的最佳拍摄点坐标，要求复眼相机完全覆盖拍摄目标区域且图像可用于全景图拼接，全景图拼接原始图像根据场景信息丰富程度需要相邻图像具有20％-50％的重叠度。
(7)组建虚拟复眼体系，由任务分配与调度模块控制挂置复眼相机的飞行器至指定位置和高度，组成虚拟复眼系统，参与采集的复眼及所属子眼必须处于统一时钟、GPS/北斗定位/虚拟陀螺、数据库及通信网络下，进行空间位姿标定、地理位置标定、统一时钟标定。
(8)实施拍摄，各个复眼相机在统一时钟下的时序节拍实施拍摄和数据存储，此时数据满足时空一致性，所有采集数据附有位置和姿态信息，并加打时间戳，通过网络实现数据高速回传，由计算机系统自动重构同一时刻下的三维数字场景，虚拟复眼按动态场景帧率要求每隔(1/帧率)秒拍摄，实现实时刷新的动态拍摄。
在上述技术方案中，步骤(6)中所述的“求解所需最少的复眼相机数量，并给出各个复眼相机的最佳拍摄点坐标”的具体方法为：
(6-1)目标区域离散化，目标区域由平面多边形转化为平面点集，平面点集应完整且不冗余的包覆平面多边形，复眼相机有效视野形状的中心点只能放置在网格格点；
(6-2)有效视野形状对目标区域完全覆盖，要完全覆盖目标区域中的所有网格格点，只需保证每个格点都被至少有一个放置在其他格点上的有效视野形状覆盖到，以gi表示i点是否放置有效视野形状，当gi＝1时，在i点放置有效视野形状，dij＝0表示当i点放置有效视野形状时，j点没有被i点的有效视野形状覆盖；dij＝1表示当i点放置有效视野形状时，j点被i点的有效视野形状覆盖在内，当i点的采集网格覆盖到j点时，gi＝1且dij＝1，要想全部格点都被覆盖，可得完全覆盖公式如下：
Figure GDA0004105598720000071
(6-3)设定相邻有效视野形状之间的重叠度，
Figure GDA0004105598720000072
表示i、k两点的正六边形重叠区域内格点数量，F表示特定网格密度下有效视野形状对格点的最大覆盖量，i、k两点的有效视野形状重叠度K的表达式为：
Figure GDA0004105598720000081
(6-4)求解拍摄点，根据完全覆盖约束和重叠度约束，设定重叠度下限Klow，使K≥Klow，得到完全覆盖目标区域且可以用于全景图拼接的复眼相机拍摄点，若拍摄点求解结果不理想，增加采集网格密度再次计算。
本发明一种动态三维地理场景实时采集的虚拟复眼系统的工作方法，与现有技术相比具有以下优点：
一，数据采集具有时空一致性，保证重构的是同一时间断面的三维场景，可以实现动态三维场景采集。
二，提出地理场景最佳拍摄点选取方法，以网格化的建模方法求出复眼相机拍摄点，事先规划复眼相机占位，减少数据冗余。
三，提出一种动态三维地理场景科学化拍摄采集方案，保证三维地理场景按帧率要求刷新。
附图说明
图1为正视子眼成像示意图。
图2为本发明三维地理场景实时采集的虚拟复眼系统的工作方法流程图。
图3为本实施例中目标区域示意图。
图4为本实施例中网格划分及目标区域离散化处理示意图。
图5为本实施例中下视型复眼相机示意图。
图6为本实施例中正六边形有效视野形状示意图。
图7为本实施例中最佳拍摄点计算结果示意图。
具体实施方式
下面将结合附图，对本发明中的技术方案进行清楚、完整地描述。
本实施例提供一种动态三维地理场景实时采集的虚拟复眼系统，包括覆盖地形地貌的地理空间三维采集网格，由多具复眼相机协同组成的动态虚拟复眼数据采集模块，单具复眼定位模块，任务分配与调度模块。
所述地理空间三维采集网格是按照设计精度划分待采集地理区域的网格体系，将不规则的地理区域离散化为格点组成的离散点集，离散点集组成复眼单体可能的拍摄点，在采集网格内合理规划选取复眼拍摄点，采集网格是虚拟复眼系统规划的基础。
所述数据采集模块，用于采集特定位置和特定角度的照片或影像视频，并将采集到的图片或影像视频数据通过无线网络方式实时传回，用于重构地理空间三维场景模型。
数据采集模块由面向地理场景的所有复眼相机协同构建；按照既定的地理空间三维采集网格规划，以网格节点为定位，布局复眼相机。
将面向地理场景的所有复眼相机按照既定的地理空间三维采集网格规划，虚拟组集为一个完整和体系化的复眼系统，称之为虚拟复眼；虚拟复眼由多个复眼相机根据既定的地理空间三维采集网格规划，相互协同、共同组建为一个对于整个地理空间实现完整无缝、全面覆盖、多层采集的复眼集群，定点定位定时采集大面地理照片或影像视频，每个复眼相机拥有多个镜头，一个单独镜头称之为子眼；所有镜头按照统一时钟的规定实施数据采集，获得具有时空一致性的数据。
复眼相机云台是一种固定和驱动复眼相机的机械臂，具有支撑/吊挂/举托/侧移等功能，用于保持复眼相机稳定、调整复眼相机的工作姿态和位置，防止/隔离/减轻振动；云台结构中有关节机构、步进电机和连杆支架，使云台能够在水平和竖直方向上旋转、伸展、收缩、侧移等，从而细致调整复眼相机的拍摄角度和姿态；云台安装在动态载体(如无人机、微型飞艇等)/静态自然物(如山壁、树木等)/静态人工物(如高层建筑墙体)上，复眼相机固接在云台上。
所述定位模块，由GPS/北斗定位器/虚拟陀螺协同组成；GPS/北斗定位器/虚拟陀螺安装在复眼相机中，用于接收GPS/北斗定位信号，确定复眼相机及拍摄区域的全球地理坐标，监测相机整体姿态和子眼姿态。
所述任务分配与调度模块，根据地理空间三维采集网格规划发布以下3项任务，一是为每具复眼相机分配占位节点包括地理坐标、海拔高度、相互位置、子眼姿态，确定拍摄任务包括任务子眼、空间姿态、光学参数、拍摄范围，下达拍摄指令包括拍摄时刻、加注印戳、打包入库、设置回传路径，将拍摄指令传输给各复眼相机；二是为飞行在空中的无人机和无人飞艇分配占位节点包括地理坐标、海拔高度、相互位置；三是采取应答方式，向复眼相机发送校准命令宝库时间校准命令、占位校准命令、位姿校准命令、作业校准命令，进行时钟校准、占位校准、位姿校准和作业校准。
在上述技术方案中，所述复眼相机是一种拥有多个镜头，可沿水平面360°和垂直面360°同时采集图像的设备，复眼相机可附着于静态自然物、静态人工物，或直接抛洒于地面，还可直接悬挂于无人机或无人飞艇；各复眼相机根据上位机发布的统一时钟和采集指令，调集子眼采集场景图片或影像视频数据；并将相关数据，加注复眼相机/子眼编号、位置、姿态、拍摄时序信息回传上位机。
在上述技术方案中，所述任务分配与调度模块将地理空间三维采集网格规划中的占位节点换算为复眼占位的地理坐标、海拔高度、协同规则；根据地理空间三维采集网格规划及复眼协同规则，计算需要调度的复眼相机子眼，确定子眼任务和子眼姿态；根据地理空间三维采集网格规划，以及子眼任务和子眼姿态，计算出各占位节点上搭载复眼相机的云台的角度、航角与水平角；调节云台，使复眼相机保持拍摄姿态；调节复眼相机内部的各子眼拍摄参数，控制复眼相机拍照；在挂置复眼相机的飞行器受空气气流干扰造成复眼漂移时，或者复眼相机局部受损时，动态保持网格整体稳定。
本实施例还提供一种动态三维地理场景实时采集虚拟复眼系统的工作方法，如图2所示，包括以下步骤：
(1)如图3所示，选定地理场景，建立坐标系。采集面积可以由100m×100m到100km×100km，甚至更为广大，在任务分配与调度模块中，以多边形表示目标区域，选取合适的单位建立直角坐标系。本例中，在100×100单位的直角坐标系中以多边形表示目标区域，多边形的顶点坐标为S＝{(10，50)，(30，10)，(60，10)，(80，30)，(50，90)}。
(2)如图4所示，划分采集网格。选取合适大小的正方形单位网格，对目标区域进行网格划分，产生网格格点，将面集合转换为离散点集。本例中，选取网格单位长度为5，划分出本密度下的采集网格。
(3)确定即将使用的复眼相机对地拍摄的有效视野形状。例如使用一种周向6个子眼，底部1个子眼的下视型复眼相机(如图5所示)，其采集网格为正六边形(如图6所示)。
(4)根据所需的清晰度确定视野范围，结合相机参数(角线视场角θ、拍摄距离h、图像长宽比a∶b)等信息，依据采集精度模型确定复眼相机拍摄高度。
(5)根据拍摄高度h确定复眼相机有效视野形状的大小。本例中的下视型复眼相机有效视野与高度h的关系为：
Figure GDA0004105598720000121
上式由建模计算求得。假设计算的正六边形边长l＝22。
(6)求解所需最少的复眼相机数量，并给出各个复眼相机的最佳拍摄点坐标。
(6-1)目标区域离散化，目标区域由平面多边形转化为平面点集，平面点集应完整且不冗余的包覆平面多边形，复眼相机有效视野形状的中心点只能放置在网格格点。
(6-2)有效视野形状对目标区域完全覆盖，要完全覆盖目标区域中的所有网格格点，只需保证每个格点都被至少有一个放置在其他格点上的有效视野形状覆盖到，以gi表示i点是否放置有效视野形状，当gi＝1时，在i点放置有效视野形状，dij＝0表示当i点放置有效视野形状时，j点没有被i点的有效视野形状覆盖；dij＝1表示当i点放置有效视野形状时，j点被i点的有效视野形状覆盖在内，当i点的有效视野形状覆盖到j点时，gi＝1且dij＝1，要想全部格点都被覆盖，可得完全覆盖公式如下：
Figure GDA0004105598720000131
(6-3)设定相邻采集网格之间的重叠度。
Figure GDA0004105598720000132
表示i、k两点的正六边形重叠区域内格点数量，F表示特定网格密度下有效视野形状对格点的最大覆盖量，在本实施例中，F＝47，i、k两点的有效视野形状重叠度K的表达式为：
Figure GDA0004105598720000133
(6-4)求解拍摄点。根据完全覆盖约束和重叠度约束，设定重叠度下限Klow，在本实施例中，令Klow＝30％，这也是在全景图拼接领域较多使用的重叠度，使K≥Klow，得到完全覆盖目标区域且可以用于全景图拼接的复眼相机拍摄点。如图7所示，每个正六边形的中点代表拍摄点，结果表明，最少需要8个复眼相机才能满足要求，这8个最佳拍摄点的坐标为：1(40，75)、2(55，60)、3(35，55)、4(45，45)、5(25，40)、6(65，40)、7(40，25)、8(60，25)。
(7)组建虚拟复眼体系。由任务分配模块控制搭载复眼相机的载体(无人机或无人飞艇等)至指定位置和高度，组成虚拟复眼系统，参与采集的复眼及所属子眼必须处于统一时钟、GPS/北斗定位/虚拟陀螺、数据库及通信网络下，进行空间位姿标定、地理位置标定、统一时钟标定。
(8)实施拍摄，各个复眼相机在统一时钟下的时序节拍实施拍摄和数据存储，此时数据满足时空一致性，所有采集数据附有位置和姿态信息，并加打时间戳，通过网络实现数据高速回传，由计算机系统自动重构同一时刻下的三维数字场景，虚拟复眼按动态场景帧率要求每隔(1/帧率)秒拍摄，实现实时刷新的动态拍摄。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种动态三维地理场景实时采集的虚拟复眼系统的工作方法，其特征是所述动态三维地理场景实时采集的虚拟复眼系统，包括覆盖地形地貌的地理空间三维采集网格，由多具复眼相机协同组成的动态虚拟复眼数据采集模块，单具复眼定位模块，任务分配与调度模块；
所述地理空间三维采集网格是按照设计精度划分待采集地理区域的网格体系，将不规则的地理区域离散化为格点组成的离散点集，离散点集组成复眼单体可能的拍摄点，在采集网格内合理规划选取复眼拍摄点，采集网格是虚拟复眼系统规划的基础；
所述数据采集模块，用于采集特定位置和特定角度的照片或影像视频，并将采集到的图片或影像视频数据通过无线网络方式实时传回，用于重构地理空间三维场景模型；
数据采集模块由面向地理场景的所有复眼相机协同构建；按照既定的地理空间三维采集网格规划，以网格节点为定位，布局复眼相机；
将面向地理场景的所有复眼相机按照既定的地理空间三维采集网格规划，虚拟组集为一个完整和体系化的复眼系统，称之为虚拟复眼；虚拟复眼由多个复眼相机根据既定的地理空间三维采集网格规划，相互协同、共同组建为一个对于整个地理空间实现完整无缝、全面覆盖、多层采集的复眼集群，定点定位定时采集大面地理照片或影像视频，每个复眼相机拥有多个镜头，一个单独镜头称之为子眼；所有镜头按照统一时钟的规定实施数据采集，获得具有时空一致性的数据；
所述定位模块，由GPS/北斗定位器/虚拟陀螺协同组成；GPS/北斗定位器/虚拟陀螺安装在复眼相机中，用于接收GPS/北斗定位信号，确定复眼相机及拍摄区域的全球地理坐标，监测相机整体姿态和子眼姿态；
所述任务分配与调度模块，根据地理空间三维采集网格规划发布以下3项任务，一是为每具复眼相机分配占位节点包括地理坐标、海拔高度、相互位置、子眼姿态，确定拍摄任务包括任务子眼、空间姿态、光学参数、拍摄范围，下达拍摄指令包括拍摄时刻、加注印戳、打包入库、设置回传路径，将拍摄指令传输给各复眼相机；二是为飞行在空中的无人机和无人飞艇分配占位节点包括地理坐标、海拔高度、相互位置；三是采取应答方式，向复眼相机发送校准命令宝库时间校准命令、占位校准命令、位姿校准命令、作业校准命令，进行时钟校准、占位校准、位姿校准和作业校准；
虚拟复眼系统的工作方法包括以下步骤：
(1)选定地理场景，建立坐标系，采集面积由100m×100m到100km×100km，在任务分配与调度模块中，以多边形表示目标区域，选取合适的单位建立直角坐标系；
(2)划分采集网格，选取合适大小的正方形单位网格，对目标区域进行网格划分，产生网格格点，将面集合转换为离散点集；
(3)确定即将使用的复眼相机对地拍摄的有效视野形状；
复眼相机单体的有效视野形状多种多样，复眼相机由多个镜头排列组成，多设计为对称结构，有效视野形状为正多边形，有效视野形状根据复眼相机单体的镜头设计排列方式确定；
(4)根据所需清晰度的精度和相机参数确定复眼相机拍摄高度；拍摄高度通过采集精度模型确定；
(5)确定复眼相机有效视野形状的大小，复眼相机对地拍摄的有效视野形状，其大小与高度h呈线性关系，拍摄高度确定，则复眼相机有效视野形状的大小随之确定；
(6)求解所需最少的复眼相机数量，并给出各个复眼相机的最佳拍摄点坐标，要求复眼相机完全覆盖拍摄目标区域且图像可用于全景图拼接，全景图拼接原始图像根据场景信息丰富程度需要相邻图像具有20％-50％的重叠度；
(7)组建虚拟复眼体系，由任务分配与调度模块控制挂置复眼相机的飞行器至指定位置和高度，组成虚拟复眼系统，参与采集的复眼及所属子眼必须处于统一时钟、GPS/北斗定位/虚拟陀螺、数据库及通信网络下，进行空间位姿标定、地理位置标定、统一时钟标定；
(8)实施拍摄，各个复眼相机在统一时钟下的时序节拍实施拍摄和数据存储，此时数据满足时空一致性，所有采集数据附有位置和姿态信息，并加打时间戳，通过网络实现数据高速回传，由计算机系统自动重构同一时刻下的三维数字场景，虚拟复眼按动态场景帧率要求每隔
Figure FDA0004105598710000031
秒拍摄，实现实时刷新的动态拍摄。
2.根据权利要求1所述的动态三维地理场景实时采集的虚拟复眼系统的工作方法，其特征是：步骤(6)中所述的“求解所需最少的复眼相机数量，并给出各个复眼相机的最佳拍摄点坐标”的具体方法为：
(6-1)目标区域离散化，目标区域由平面多边形转化为平面点集，平面点集应完整且不冗余的包覆平面多边形，复眼相机有效视野形状的中心点只能放置在网格格点；
(6-2)有效视野形状对目标区域完全覆盖，要完全覆盖目标区域中的所有网格格点，只需保证每个格点都被至少有一个放置在其他格点上的有效视野形状覆盖到，以gi表示i点是否放置有效视野形状，当gi＝1时，在i点放置有效视野形状，dij＝0表示当i点放置有效视野形状形时，j点没有被i点的有效视野形状覆盖；dij＝1表示当i点放置有效视野形状时，j点被i点的有效视野形状覆盖在内，当i点的有效视野形状覆盖到j点时，gi＝1且dij＝1，要想全部格点都被覆盖，可得完全覆盖公式如下：
Figure FDA0004105598710000041
(6-3)设定相邻有效视野形状之间的重叠度，
Figure FDA0004105598710000042
表示i、k两点的正六边形重叠区域内格点数量，F表示特定网格密度下有效视野形状对格点的最大覆盖量，i、k两点的有效视野形状重叠度K的表达式为：
Figure FDA0004105598710000043
(6-4)求解拍摄点，根据完全覆盖约束和重叠度约束，设定重叠度下限Klow，使K≥Klow，得到完全覆盖目标区域且可以用于全景图拼接的复眼相机拍摄点，若拍摄点求解结果不理想，增加采集网格密度再次计算。
3.根据权利要求1所述的动态三维地理场景实时采集的虚拟复眼系统的工作方法，其特征是：所述复眼相机是一种拥有多个镜头，可沿水平面360°和垂直面360°同时采集图像的设备，复眼相机可附着于静态自然物、静态人工物，或直接抛洒于地面，还可直接悬挂于无人机或无人飞艇；各复眼相机根据上位机发布的统一时钟和采集指令，调集子眼采集场景图片或影像视频数据；并将相关数据，加注复眼相机/子眼编号、位置、姿态、拍摄时序信息回传上位机。
4.根据权利要求1所述的动态三维地理场景实时采集的虚拟复眼系统的工作方法，其特征是：所述任务分配与调度模块将地理空间三维采集网格规划中的占位节点换算为复眼占位的地理坐标、海拔高度、协同规则；根据地理空间三维采集网格规划及复眼协同规则，计算需要调度的复眼相机子眼，确定子眼任务和子眼姿态；根据地理空间三维采集网格规划，以及子眼任务和子眼姿态，计算出各占位节点上搭载复眼相机的云台的角度、航角与水平角；调节云台，使复眼相机保持拍摄姿态；调节复眼相机内部的各子眼拍摄参数，控制复眼相机拍照；在挂置复眼相机的飞行器受空气气流干扰造成复眼漂移时，或者复眼相机局部受损时，动态保持网格整体稳定。
CN201911304441.XA 2019-12-17 2019-12-17 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法 Active CN111192362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911304441.XA CN111192362B (zh) 2019-12-17 2019-12-17 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911304441.XA CN111192362B (zh) 2019-12-17 2019-12-17 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法

Publications (2)

Publication Number Publication Date
CN111192362A CN111192362A (zh) 2020-05-22
CN111192362B true CN111192362B (zh) 2023-04-11

Family

ID=70709979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911304441.XA Active CN111192362B (zh) 2019-12-17 2019-12-17 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法

Country Status (1)

Country Link
CN (1) CN111192362B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489226B (zh) * 2020-11-26 2024-07-26 京东方科技集团股份有限公司 虚拟现实设备图像显示方法、装置、存储介质及电子设备
CN112800157B (zh) * 2021-01-11 2022-08-19 武汉旭云智慧交通有限公司 一种动态占位网格模型构建方法及其应用架构设计方法
CN113110567B (zh) * 2021-03-05 2022-11-15 广州大学 基于无人机的建筑外观勘测方法、装置、设备及介质
CN112884903A (zh) * 2021-03-22 2021-06-01 浙江浙能兴源节能科技有限公司 一种行车三维建模系统及其方法
CN115065867B (zh) * 2022-08-17 2022-11-11 中国科学院空天信息创新研究院 基于无人机视频金字塔模型的动态处理方法及装置
CN115410104B (zh) * 2022-09-16 2023-06-16 湖南胜云光电科技有限公司 一种获取飞行器的图像采集点的数据处理系统
CN116843824B (zh) * 2023-03-17 2024-11-05 瞰景科技发展(上海)有限公司 三维模型实时重建方法、装置及系统
CN118096805B (zh) * 2024-04-24 2024-07-16 广州开得联智能科技有限公司 一种全景点的布局方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5837861A (en) * 1997-02-10 1998-11-17 Inspire Pharmaceuticals, Inc. Dinucleotides and their use as modulators of mucociliary clearance and ciliary beat frequency
CN108345835A (zh) * 2018-01-15 2018-07-31 上海大学 一种基于仿复眼感知的目标识别方法
CN109040730A (zh) * 2018-08-20 2018-12-18 武汉理工大学 一种动态花海场景系统及其工作方法
CN109118585A (zh) * 2018-08-01 2019-01-01 武汉理工大学 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机系统及其工作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5837861A (en) * 1997-02-10 1998-11-17 Inspire Pharmaceuticals, Inc. Dinucleotides and their use as modulators of mucociliary clearance and ciliary beat frequency
CN108345835A (zh) * 2018-01-15 2018-07-31 上海大学 一种基于仿复眼感知的目标识别方法
CN109118585A (zh) * 2018-08-01 2019-01-01 武汉理工大学 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机系统及其工作方法
CN109040730A (zh) * 2018-08-20 2018-12-18 武汉理工大学 一种动态花海场景系统及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭书基 ; 史立芳 ; 曹阿秀 ; 吴向东 ; 邓启凌 ; .基于大视场人工复眼定位技术.光子学报.2016,(第05期),全文. *

Also Published As

Publication number Publication date
CN111192362A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111192362B (zh) 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法
US20210239815A1 (en) Movable object performing real-time mapping using a payload assembly
CN107504957B (zh) 利用无人机多视角摄像快速进行三维地形模型构建的方法
US11086324B2 (en) Structure from motion (SfM) processing for unmanned aerial vehicle (UAV)
CN109118585B (zh) 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机系统及其工作方法
US8937640B2 (en) Digital 3D/360 degree camera system
CN110537365B (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
JP2022508135A (ja) 測量システム、測量方法、装置及びデバイス
CN109547769B (zh) 一种公路交通动态三维数字场景采集构建系统及其工作方法
JP2014185947A (ja) ３次元復元のための画像撮影方法
US11769295B2 (en) System and method of highly-scalable mapping and 3D terrain modeling with aerial images
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
CN109931912A (zh) 一种航空倾斜摄影方法及装置
CN110675484A (zh) 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法
JP2022507715A (ja) 測量方法、装置及びデバイス
CN113282108A (zh) 基于无人机技术快速精准采集低空遥感影像的方法
CN102831816B (zh) 一种提供实时场景地图的装置
WO2020088414A1 (en) A movable object performing real-time mapping using a payload assembly
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
CN115014361A (zh) 航线规划方法、装置及计算机存储介质
WO2021016907A1 (zh) 确定环绕航线的方法、航拍方法、终端、无人飞行器及系统
JP4178469B2 (ja) 空中写真画像データーセットの構成方法
WO2020103024A1 (zh) 一种作业控制系统、作业控制方法、装置、设备及介质
CN115046531A (zh) 一种基于无人机的杆塔测量方法、电子平台和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant