CN113838197A - 区域重构方法和系统 - Google Patents

区域重构方法和系统 Download PDF

Info

Publication number
CN113838197A
CN113838197A CN202111428587.2A CN202111428587A CN113838197A CN 113838197 A CN113838197 A CN 113838197A CN 202111428587 A CN202111428587 A CN 202111428587A CN 113838197 A CN113838197 A CN 113838197A
Authority
CN
China
Prior art keywords
image sequence
target area
image
unit
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111428587.2A
Other languages
English (en)
Inventor
邓海峰
计洁
李忠超
任高月
蔡盛
耿浩轩
赵斐斐
冯绍晰
刘俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Gallop Sky Electronic Technology Co ltd
Original Assignee
Nanjing Gallop Sky Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Gallop Sky Electronic Technology Co ltd filed Critical Nanjing Gallop Sky Electronic Technology Co ltd
Priority to CN202111428587.2A priority Critical patent/CN113838197A/zh
Publication of CN113838197A publication Critical patent/CN113838197A/zh
Priority to PCT/CN2022/076070 priority patent/WO2023092865A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种区域重构方法和系统，其中，该方法包括：采集目标区域的图像序列，该目标区域中包括一个或多个待测对象；获取该图像序列中的各张图像的先验位姿数据；根据该图像序列和该先验位姿数据，对该目标区域进行重建，得到该图像序列重建后的位姿与该目标区域的点云模型；根据该重建信息，确定出该目标区域中的待测对象的空间数据。

Description

区域重构方法和系统
技术领域
本申请涉及测绘技术领域，具体而言，涉及一种区域重构方法和系统。
背景技术
在测绘领域，GNSS（Global Navigation Satellite System，全球卫星导航定位系统）接收机是主要的点测量和点放样工具。
但GNSS接收机解算的是天线相位中心的位置坐标，而实际测绘工作中待测量点与待放样点大多是位于地面的地物点，因此在测绘时，GNSS接收机需配合测量杆将解算的天线相位中心位置坐标传递至地面上的地物点。因此，在测量时则需要多个相关人员配合才能够实现测量，测量手段相对复杂。
发明内容
本申请的目的在于提供一种区域重构方法和系统，能够结合测绘手段相对复杂的问题。
第一方面，本申请实施例提供一种区域重构方法，包括：
采集目标区域的图像序列，所述目标区域中包括一个或多个待测对象；
获取所述图像序列中的各张图像的先验位姿数据；
根据所述图像序列和所述先验位姿数据，对所述目标区域进行重建，得到该图像序列重建后的位姿与所述目标区域的点云模型。
在一种可选的实施方式中，所述先验位姿数据包括：所述图像序列中的各张图像对应的空间位置参数和姿态参数；所述获取所述图像序列中的各张图像的先验位姿数据，包括：
通过定位系统确定出所述图像序列中的各张图像的空间位置参数和姿态参数。
在上述实现方式中，在确定先验位姿数据时，可以确定出图像序列中各张图像对应的空间位置参数和姿态参数，可以从多个维度先初始获知图像序列的先验位姿，以为后续的目标区域的重构提供数据支持，提高目标区域的点云模型构建效率，也能够使构建的点云模型更加准确。
在一种可选的实施方式中，所述通过定位系统确定出所述图像序列中的各张图像的空间位置参数和姿态参数，包括：
使用全球导航卫星系统和惯性导航系统形成的组合导航系统，确定所述图像序列中各张图像的先验位姿数据；
或者，使用全球导航卫星系统确定所述图像序列的各张图像对应的空间位置参数，使用航姿参考系统确定出所述图像序列的各张图像对应的姿态参数；
或者，使用全球导航卫星系统和视觉里程计形成的组合设备，确定出所述图像序列的各张图像对应的先验位姿数据。
在上述实施方式中，可以使用不同的结构确定出目标区域的先验位姿数据，使获得先验位姿数据的灵活性更高。
在一种可选的实施方式中，所述根据所述图像序列和所述先验位姿数据，对所述目标区域进行重建，得到所述图像序列重建后的位姿与所述目标区域的点云模型，包括：
基于所述图像序列和所述先验位姿数据，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系；
根据所述第一空间关系，进行稠密重建，以确定出所述图像序列中的各个特征点的第二空间关系，以得到所述图像序列重建后的位姿与所述目标区域的点云模型。
在上述实施方式中，可以通过稀疏重构和稠密重构两级构建，可以使构建的点云模型的精确的更高。
在一种可选的实施方式中，所述基于所述图像序列和所述先验位姿数据，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系，包括：
使用运动结构恢复技术，在所述先验位姿数据和所述图像序列基础上，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系；
或者，使用空三技术，在所述先验位姿数据和所述图像序列基础上，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系。
在一种可选的实施方式中，所述根据所述第一空间关系，进行稠密重建，以确定出所述图像序列中的各个特征点的第二空间关系，以得到所述目标区域的点云模型，包括：
在所述各个特征点的第一空间关系的基础上，对所述图像序列中的各个特征点进行密集匹配和/或三角化技术，以对所述目标区域进行稠密构建，以得到所述图像序列重建后的位姿与所述目标区域的点云模型。
在一种可选的实施方式中，所述方法还包括：
根据所述点云模型，确定出所述目标区域中的待测对象的空间数据。
在一种可选的实施方式中，所述根据所述点云模型，确定出所述目标区域中的待测对象的空间数据，包括：
从所述点云模型中确定出所述目标区域中的待测对象的多个关键点的坐标；
根据所述多个关键点的坐标确定出所述待测对象的空间数据。
在上述实施方式中，可以确定出目标区域中的各个对象的空间上个各项数据，可以实现在不接触对象的情况下就能够测量对象的相关位置关系或尺寸数据。
在一种可选的实施方式中，所述方法还包括：
根据所述点云模型，生成所述目标区域的数字地表模型和/或数字高程模型。
第二方面，本申请实施例提供一种区域重构装置，包括：
采集模块，用于采集目标区域的图像序列，所述目标区域中包括一个或多个待测对象；
获取模块，用于获取所述图像序列中的各张图像的先验位姿数据；
重建模块，用于根据所述图像序列和所述先验位姿数据，对所述目标区域进行重建，得到该图像序列重建后的位姿与所述目标区域的点云模型。
第三方面，本申请实施例提供一种区域重构系统，包括：
卫星导航定位单元和惯性测量单元，用于采集目标区域的位姿数据；
采集单元，用于采集所述目标区域的图像序列；
处理单元，用于对所述位姿数据和所述图像序列进行处理，以得到所述目标区域的点云模型。
在一种可选的实施方式中，还包括：
显示单元，用于对所述处理单元确定的数据进行显示。
在一种可选的实施方式中，还包括：第一外壳；
所述卫星导航定位单元、所述惯性测量单元、所述采集单元、所述处理单元以及所述显示单元安装在所述第一外壳内。
在一种可选的实施方式中，还包括：第二外壳和第三外壳；
所述卫星导航定位单元、所述惯性测量单元、所述采集单元以及所述处理单元安装在所述第二外壳内；
所述显示单元安装在所述第三外壳内；
所述处理单元与所述显示单元通信连接。
在一种可选的实施方式中，第四外壳和第五外壳；
所述卫星导航定位单元、所述惯性测量单元以及所述采集单元安装在所述第四外壳内；
所述处理单元以及所述显示单元安装在所述第五外壳内；
所述处理单元分别与所述卫星导航定位单元、所述惯性测量单元和所述采集单元通信连接。
第四方面，本申请实施例提供一种区域重构系统，包括：终端设备和服务器；
所述终端设备包括：卫星导航定位单元、惯性测量单元和采集单元；
所述卫星导航定位单元和所述惯性测量单元，用于采集目标区域的位姿数据；
所述采集单元，用于采集所述目标区域的图像序列；
所述服务器，用于接收所述终端设备发送的所述位姿数据和所述图像序列，对所述位姿数据和所述图像序列进行处理，以得到所述目标区域的点云模型。
本申请实施例的有益效果是：通过上述的先确定先验位姿数据，然后再基于图像和先验位姿数据对目标区域进行重构，可以实现不接触的情况下就能够实现对待测对象的测量，先验的位姿在能够简化目标区域重构所需的操作的基础上，还能够使重构得到的目标区域的点云模型能够更加准确。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的区域重构系统的方框示意图；
图2为本申请实施例提供的区域重构系统的结构示意图；
图3为本申请实施例提供的区域重构方法的流程图；
图4为本申请实施例提供的区域重构方法中使用到的特征点的确定手段示意图；
图5为本申请实施例提供的区域重构装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
发明人了解到，在测绘领域中，通常是使用GNSS接收机基于卫星导航定位技术进行测绘，该GNSS接收机测绘技术属于有源测量，需要接收卫星端播发的电磁波信号，如果卫星播发的电磁波信号被遮挡，则会导致定位质量降低甚至无法定位。在不能接收到卫星播发的电磁波信号时，常用的解决方案是使用全站仪作为补充测量手段，需要用户多携带一套全站仪和脚架，且全站仪的操作相对麻烦，往往需要多人配合，且GNSS 接收机配合测量杆一次只能测量一个点，此种测绘方式效率较低，上述问题是限制GNSS接收机在测绘领域应用的主要因素。
基于上述研究，本申请实施例提供了一种区域重构方法和区域重构系统，通过图像实现非接触的方式对目标区域进行定位重构。下面通过一些实施例对本申请进行描述。
实施例一
为便于对本实施例进行理解，首先对执行本申请实施例所公开的一种区域重构方法的执行设备进行详细介绍。
如图1所示，是本申请实施例提供的区域重构系统的结构示意图。
本实施例中的区域重构系统10可以包括：卫星导航定位单元110、惯性测量单元120、采集单元130以及处理单元140。
本实施例中的卫星导航定位单元可以是全球导航卫星定位系统（GlobalNavigation Satellite System ，GNSS）。通过该卫星导航定位单元可以确定出待测对象的位置数据。
示例性地，该卫星导航定位单元可以是集成了卫星导航定位功能的芯片，该芯片中还可以电源模块、通信模块、天线、存储器以及处理器等单元。该电源模块用于给该芯片中的各个模块提供所需的电源。该通信模块用于与区域重构系统的其他单元实现通信。该处理器用于执行使用该卫星导航定位单元进行定位时所需的指令。
该惯性测量单元为用于测量待测对象的三轴姿态角以及加速度的装置。该惯性测量单元可以包括三个单轴的加速度计和三个单轴的陀螺。该加速度计用于测量待测对象的加速度信号，该陀螺可用于测量待测对象的角速度信号。通过测量得到的待测对象在三维空间中的角速度和加速度，可以解算出待测对象的姿态。
可选地，该惯性测量单元可以是集成惯性测量功能的芯片。该芯片还可以包括电源模块、通信模块、天线、存储器和处理器等单元。该电源模块用于为该芯片上的各个组件提供所需电源，该通信模块和天线用于与区域重构系统的其他单元实现通信，该处理器用于执行使用该惯性测量功能测量待测对象的姿态数据时所需的指令。
该采集单元用于采集待测对象的图像数据。示例性地，该采集单元可以是相机。可选地，该采集单元也可以包括多个相机。
上述的处理单元可能是一种集成电路芯片，具有信号的处理能力。上述的处理单元可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signal processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
示例性地，需要对目标区域进行测量时，则可以使用该区域重构系统，在距离目标区域设定距离，确定出该目标区域不同角度的图像序列及其位置数据、姿态数据。
本实施例中，区域重构系统还可以包括显示单元150，该显示单元用于显示采集得到的目标区域的图像，也可以用于显示基于图像序列构建的目标区域的模型。
示例性地，上述的显示单元在区域重构系统与用户之间提供一个交互界面（例如用户操作界面）或用于显示图像数据给用户参考。在本实施例中，该显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作。
本实施例中的区域重构系统的卫星导航定位单元、惯性测量单元、采集单元和处理单元的布置方式可以基于不同的需求有不同，下面通过几种可选的实施方式描述区域重构系统的卫星导航定位单元、惯性测量单元、采集单元和处理单元等各个单元的布置方式。
在第一种可选的实施方式中，上述的卫星导航定位单元、惯性测量单元、采集单元和处理单元集成在一个设备中。
该区域重构系统还可以包括：第一外壳。卫星导航定位单元、惯性测量单元、采集单元、处理单元以及显示单元可以安装在该第一外壳内。
示例性地，卫星导航定位单元、惯性测量单元、采集单元、处理单元以及显示单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在第二种可选的实施方式中，上述的卫星导航定位单元、惯性测量单元、采集单元和处理单元布置在两个设备中。
示例性地，该区域重构系统可以包括第二外壳和第三外壳。
其中，卫星导航定位单元、惯性测量单元、采集单元以及处理单元安装在第二外壳内。该第二外壳与其内部安装的各个单元可形成一个设备。该显示单元安装在第三外壳内。该第三外壳与其内部安装的显示单元可形成一个设备。
第三外壳内安装的卫星导航定位单元、惯性测量单元、采集单元以及处理单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，两个设备之间可以通信连接。例如，该处理单元与该显示单元通信连接。可选地，该处理单元与该显示单元可以通过无线通信连接，例如，可以通过蓝牙、WiFi等近场通信方式实现无线连接。可选地，该处理单元与该显示单元也可以通过有线通信连接。
示例性地，该区域重构系统可以包括第四外壳和第五外壳。
其中，卫星导航定位单元、惯性测量单元以及采集单元安装在该第四外壳内；该处理单元以及显示单元安装在该第五外壳内。
第四外壳内部卫星导航定位单元、惯性测量单元以及采集单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
第五外壳内的处理单元和显示单元之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，两个设备之间可以通信连接。例如，第五外壳内部的处理单元可以分别与第四外壳中的卫星导航定位单元、惯性测量单元和采集单元通信连接。
在一个可选的实施方式中，上述的显示单元也可以是一移动终端的显示单元，该移动终端可以与包含该卫星导航定位单元、惯性测量单元、采集单元以及处理单元的测量设备通信连接。
该移动终端可以是个人电脑（personal computer，PC）、平板电脑、智能手机、个人数字助理（personal digital assistant，PDA）、测量手簿等移动智能终端。
在第三种选的实施方式中，如图2所示，该区域重构系统可以包括终端设备200和服务器300。
该终端设备200中可以包括卫星导航定位单元、惯性测量单元以及采集单元。
可选地，该终端设备200中还可以包括显示单元。
该服务器300中可以包括处理单元。
可选地，该终端设备200中还可以包括显示单元。
该服务器300中可以包括处理单元。
本实施例中，终端设备200与服务器300可以通信连接，例如，可以通过4G、5G等移动数据网络进行通信。
在第四种选的实施方式中，如图2所示，该区域重构系统可以还包括终端设备、显示终端和服务器。
其中，区域重构系统的卫星导航定位单元、惯性测量单元以及采集单元可以集成在终端设备中，区域重构系统的显示单元集成在显示终端中，区域重构系统的处理单元可以集成在服务器中。
当然，基于不同的需求，区域重构系统的卫星导航定位单元、惯性测量单元、采集单元、处理单元以及显示单元还可以以与上述几种实施方式不同的实施方式布置。
例如，区域重构系统的卫星导航定位单元、惯性测量单元、采集单元、处理单元以及显示单元各个单元可以均布置在一个独立的设备中。可选地，每个独立设备中可以包括电源模块、通信模块、存储器和处理器等单元，以使每一个独立设备可以独立实现所需的功能。
再例如，区域重构系统的卫星导航定位单元、惯性测量单元布置在一个设备中，采集单元、处理单元以及显示单元各个单元可以均布置另一个设备中。
本实施例中，区域重构系统的卫星导航定位单元、惯性测量单元、采集单元各个单元的数据可以传输给处理单元，该处理单元的数据可以传输给显示单元。
本实施例中的区域重构系统10可以用于执行本申请实施例提供的各个区域重构方法中的各个步骤。下面通过几个实施例详细描述区域重构方法的实现过程。
实施例二
请参阅图3，是本申请实施例提供的区域重构方法的流程图。本实施例中的方法可以应用于区域重构系统。下面将对图3所示的具体流程进行详细阐述。
步骤410，采集目标区域的图像序列。
上述目标区域中包括一个或多个待测对象。不同场景下，待测对象可能不同。例如，该目标区域为城市居民区，则该待测对象可以城市居民区中的各个房屋。再例如，该目标区域为一矿区，则待测对象可以为矿区的各项设施。再例如，该目标区域为一建筑工地，则待测对象可以为工地中的土方、边界等。
步骤420，获取该图像序列中的各张图像的先验位姿数据。
该先验位姿数据可以包括图像序列中的各张图像对应的空间位置参数和/或姿态参数。
本实施例中区域重构系统可以包括定位系统，则可以通过该定位系统确定出图像序列中各张图像对应的空间位置参数。
本实施例中区域重构系统可以包括惯性测量单元，则可以通过该惯性测量单元确定出图像序列中各张图像对应的空间位置参数。
可选地，区域重构系统可以包括定位系统可以包括定位功能和惯性测量功能，则可以通过该定位系统确定出图像序列中各张图像对应的空间位置参数和位姿参数。
本实施例中，步骤410和步骤420并不一定需要有先后执行顺序，例如，可以在采集目标区域的图像序列时，基于采集设备实时的状态，可以确定出采集图像时，采集设备的坐标以及采集设备的姿态，将该采集设备的坐标作为图像对应的空间位置参数，将采集设备的姿态作为图像对应的位姿参数。
可选地，步骤410也可以在步骤420之前执行，例如，每采集一张图像后，在采集设备姿态不改变的状态下，采集当前采集设备的坐标和姿态。
可选地，步骤410也可以在步骤420之后执行，例如，每采集一张图像之前，先确定出采集设备的坐标和姿态，在确定了采集设备坐标和姿态后，该采集设备再采集目标区域的图像。
步骤430，根据该图像序列和该先验位姿数据，对该目标区域进行重建，得到该图像序列重建后的位姿与该目标区域的点云模型。
本实施例中，可以通过图像序列确定出图像中的各个特征点的三维坐标。然后，根据先验位姿数据以及各个特征点的三维坐标构建目标区域的点云模型，以及得到该图像序列重建后的位姿。
在一种实施方式中，可以针对任意一个目标特征点，采集设备至少在两个不同的位置采集该目标特征点的图像。然后可以通过双目视觉定位方法，确定出各个特征点的三维坐标。
如图4所示，图中示出了三张图像，其中，P1，P2，P3分别表示三张图像的空间位置参数和姿态参数。其中，三张图像的空间位置参数和姿态参数可以再采集三张图像时，使用定位系统确定。
其中，图示中的xj表示目标特征点表示为；uij，u2j，u3j表示特征点在三张图像中的像素坐标。
在图4所示的实例中，可以以P1，P2，P3和uij，u2j，u3j为基础，计算得到目标特征点xj的三维坐标。
在一种实施方式中，上述图像序列中的图像可以是深度图像，根据采集各个特征点时，采集设备的位置以及各个特征点的深度图像确定出各个特征点的三维坐标。
在一可选的实施方式中，还可以通过SLAM（simultaneous localization andmapping，同步定位与建图）算法，根据该图像序列和该先验位姿数据，对该待测对象进行重建，得到该目标区域的点云模型。
本实施例中，还可以先获取交互数据，基于交互数据、图像序列和该先验位姿数据，对该待测对象进行重建，得到该目标区域的点云模型。
示例性地，该交互数据可以通过与用户交互得到。
示例性地，该交互数据可以包括用户预先设定的参数，例如，可以包括待测对象的预计尺寸等。
该交互数据还可以包括针对图像序列中的图像的操作。例如，针对 图像的操作可以包括图像放大、图像缩小、图像旋转、图像平移、在图像中选点、对图像进行标记、图像中的对象的属性录入等图像操作。
示例性地，该交互数据还可以包括在图像序列中的图像中选择包含待测量对象的图像。
通过上述的实现方式中，在构建目标区域的点云模型时，可以基于区域重构系统所具有的定位功能，可以确定出目标区域中的各个特征点和各个待测对象的先验位姿数据，然后再结合图像序列可以确定出各个特征点的三维坐标，以此确定出的目标区域的点云模型。相较于直接通过GNSS接收机对待测对象进行测试而言，由于可以通过图像序列对目标区域进行重构，从而可以弥补GNSS接收机测量时信号被遮挡的情况，能够使确定出的点云模型的效果更好，进一步地，由于基于图像序列确定点云模型之前有了先验位姿数据的支持，使确定出的点云模型也能够更加准确。
基于不同结构的区域重构系统，可以采用不同的先验位姿数据确定方式，下面通过几种实施方式描述先验位姿数据的确定 。
在一种实施方式中，可以使用全球导航卫星系统和惯性导航系统形成的组合导航系统，确定该图像序列中各张图像的先验位姿数据。
本实施方式中，全球导航卫星系统和惯性导航系统形成的组合导航系统也可以理解为GNSS/INS组合导航系统。
在另一种实施方式中，可以使用全球导航卫星系统确定该图像序列的各张图像对应的空间位置参数，使用航姿参考系统确定出该图像序列的各张图像对应的姿态参数。
其中，航姿参考系统可以是加速度计、陀螺仪和磁力计构成的AHRS（
Attitude and heading reference system，航姿参考系统）系统。
在另一种实施方式中，可以使用全球导航卫星系统和视觉里程计形成的组合设备，确定出该图像序列的各张图像对应的先验位姿数据。
视觉里程计可以是VIO（Visual-Inertial Odometry，视觉惯性里程计）。该视觉惯性里程计可以包括视觉传感器和惯性测量单元。
视觉里程计可以表示为VIO（Visual Odometry，视觉里程计）。
为了使构建的点云模型能够更加的准确，还可以通过两级构建流程：稀疏构建和稠密构建，确定出目标区域的点云模型。示例性地，步骤430可以包括：步骤431和步骤432。
步骤431，基于该图像序列和该先验位姿数据，对该目标区域进行稀疏重建，以确定出该图像序列中的各个特征点的第一空间关系。
示例性地，该第一空间关系可以包括各个特征点的三维坐标和各个特征点的共视关系。
其中，该共视关系可以表示两个视觉定位特征点在同一环境采集图像中的位置关系。
在一种实施方式中，可以使用运动结构恢复技术，在该先验位姿数据和该图像序列基础上，对该目标区域进行稀疏重建，以确定出该图像序列中的各个特征点的第一空间关系。
运动结构恢复技术表示 SFM（structure from motion）技术。该SFM技术可以从上述的图像序列中恢复目标区域中的各个待测对象的三维信息。
在另一种实施方式中，可以使用空三技术，在该先验位姿数据和该图像序列基础上，对该目标区域进行稀疏重建，以确定出该图像序列中的各个特征点的第一空间关系。
步骤432，根据该第一空间关系，进行稠密重建，以确定出该图像序列中的各个特征点的第二空间关系，以得到该图像序列重建后的位姿与该目标区域的点云模型。
可选地，可以在该各个特征点的第一空间关系的基础上，对该图像序列中的各个特征点进行密集匹配，以对该目标区域进行稠密构建，以得到该目标区域的点云模型。
可选地，可以在该各个特征点的第一空间关系的基础上，使用三角化技术对该图像序列中的各个特征点进行密集匹配，以实现对该目标区域进行稠密构建，以得到该目标区域的点云模型。
在一些可选的实施方式中，也可以仅基于步骤431的稀疏构建得到目标区域的点云模型。
本实施例中，区域重构方法还可以包括：步骤440，根据该点云模型，生成该目标区域的数字地表模型和/或数字高程模型。
在构建了点云模型的基础上，还可以对目标区域中的各个待测对象的尺寸进行确定，也可以通过点云模型确定出目标区域中的任意两个待测对象的相对距离、相对位置关系等。
区域重构方法还可以包括：步骤450，根据该点云模型，确定出该目标区域中的待测对象的空间数据。
可选地，步骤450可以包括步骤451和步骤452。
步骤451，从该点云模型中确定出该目标区域中的待测对象的多个关键点的坐标。
该关键点可以是能够表示待测对象的一点，例如，该待测对象为矿区的各项设施时，则设施的关键点可以是设施的最高点、设施的基座上的一点等。再例如，该待测对象为房屋时，则房屋的关键点可以是房屋外部结构中的各个顶点、房屋的地基边缘上的一点等。其中，待测对象不同，对应的关键点也可能不同。
示例性地，可以根据接收到的用户输入的信息确定出待测对象，再从该点云模型中筛选出该待测对象的关键点的坐标。
例如，目标区域为一片矿区，接收到用户输入的信息为矿区中所存在的目标设施。则可以根据该目标设施确定出待测对象为目标区域中的目标设施，则可以从该目标区域的点云模型中筛选出能够表示目标设施的特殊性的点作为关键点。
可选地，可以通过人机交互界面，获取用户在点云模型中选出的待测对象，以及针对待测对象所需要测量的数据。例如，获取用户在点云模型或图像序列中的上选择待测对象的关键点、待测对象中的两点距离、待测对象对应的面。
步骤452，根据该多个关键点的坐标确定出该待测对象的空间数据。
示例性地，该空间数据可以包括待测对象的体积、待测对象的高度、待测对象的其中一面的面积、多个待测对象的相互距离等。
基于本发明提出的非接触式测量系统，可以实现遮挡环境的测绘工作，可以通过拍摄多张图像，即可通过在图像上选择对应的待测量地物点实现测量，从而解决GNSS接收机测量时存在遮挡的情况，并且一次数据采集可以测量拍摄目标区域内的所有待测对象，可以极大地提升作业效率，另外，基于点云模型可以测量构筑物的体积和面积等信息，扩展了系统的使用场景。
实施例三
基于同一申请构思，本申请实施例中还提供了与区域重构方法对应的区域重构装置，由于本申请实施例中的装置解决问题的原理与前述的区域重构方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。
请参阅图5，是本申请实施例提供的区域重构装置的功能模块示意图。本实施例中的区域重构装置中的各个模块用于执行上述方法实施例中的各个步骤。区域重构装置包括：采集模块510、获取模块520和重建模块530，其中各个模块的内容如下。
采集模块510，用于采集目标区域的图像序列，该目标区域中包括一个或多个待测对象；
获取模块520，用于获取该图像序列中的各张图像的先验位姿数据；
重建模块530，用于根据该图像序列和该先验位姿数据，对该目标区域进行重建，得到该图像序列重建后的位姿与该目标区域的点云模型。
此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中该的区域重构方法的步骤。
本申请实施例所提供的区域重构方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，该程序代码包括的指令可用于执行上述方法实施例中该的区域重构方法的步骤，具体可参见上述方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
该功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上该仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种区域重构方法，其特征在于，包括：
采集目标区域的图像序列，所述目标区域中包括一个或多个待测对象；
获取所述图像序列中的各张图像的先验位姿数据；
根据所述图像序列和所述先验位姿数据，对所述目标区域进行重建，得到所述图像序列重建后的位姿与所述目标区域的点云模型。
2.根据权利要求1所述的方法，其特征在于，所述先验位姿数据包括：所述图像序列中的各张图像对应的空间位置参数和姿态参数；所述获取所述图像序列中的各张图像的先验位姿数据，包括：
通过定位系统确定出所述图像序列中的各张图像的空间位置参数和姿态参数。
3.根据权利要求2所述的方法，其特征在于，所述通过定位系统确定出所述图像序列中的各张图像的空间位置参数和姿态参数，包括：
使用全球导航卫星系统和惯性导航系统形成的组合导航系统，确定所述图像序列中各张图像的先验位姿数据；
或者，使用全球导航卫星系统确定所述图像序列的各张图像对应的空间位置参数，使用航姿参考系统确定出所述图像序列的各张图像对应的姿态参数；
或者，使用全球导航卫星系统和视觉里程计形成的组合设备，确定出所述图像序列的各张图像对应的先验位姿数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述图像序列和所述先验位姿数据，对所述目标区域进行重建，得到所述图像序列重建后的位姿与所述目标区域的点云模型，包括：
基于所述图像序列和所述先验位姿数据，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系；
根据所述第一空间关系，进行稠密重建，以确定出所述图像序列中的各个特征点的第二空间关系，以得到所述图像序列重建后的位姿与所述目标区域的点云模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述图像序列和所述先验位姿数据，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系，包括：
使用运动结构恢复技术，在所述先验位姿数据和所述图像序列基础上，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系；
或者，使用空三技术，在所述先验位姿数据和所述图像序列基础上，对所述目标区域进行稀疏重建，以确定出所述图像序列中的各个特征点的第一空间关系。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一空间关系，进行稠密重建，以确定出所述图像序列中的各个特征点的第二空间关系，以得到所述目标区域的点云模型，包括：
在所述各个特征点的第一空间关系的基础上，对所述图像序列中的各个特征点进行密集匹配和/或三角化技术，以对所述目标区域进行稠密构建，以得到所述图像序列重建后的位姿与所述目标区域的点云模型。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述点云模型，确定出所述目标区域中的待测对象的空间数据。
8.根据权利要求7所述的方法，其特征在于，所述根据所述点云模型，确定出所述目标区域中的待测对象的空间数据，包括：
从所述点云模型中确定出所述目标区域中的待测对象的多个关键点的坐标；
根据所述多个关键点的坐标确定出所述待测对象的空间数据。
9.根据权利要求1-8任意一项所述的方法，其特征在于，所述方法还包括：
根据所述点云模型，生成所述目标区域的数字地表模型和/或数字高程模型。
10.一种区域重构装置，其特征在于，包括：
采集模块，用于采集目标区域的图像序列，所述目标区域中包括一个或多个待测对象；
获取模块，用于获取所述图像序列中的各张图像的先验位姿数据；
重建模块，用于根据所述图像序列和所述先验位姿数据，对所述目标区域进行重建，得到该图像序列重建后的位姿与所述目标区域的点云模型。
11.一种区域重构系统，其特征在于，包括：
卫星导航定位单元和惯性测量单元，用于采集目标区域的位姿数据；
采集单元，用于采集所述目标区域的图像序列；
处理单元，用于对所述位姿数据和所述图像序列进行处理，以得到所述目标区域的点云模型。
12.根据权利要求11所述的区域重构系统，其特征在于，还包括：
显示单元，用于对所述处理单元确定的数据进行显示。
13.根据权利要求12所述的区域重构系统，其特征在于，还包括：第一外壳；
所述卫星导航定位单元、所述惯性测量单元、所述采集单元、所述处理单元以及所述显示单元安装在所述第一外壳内。
14.根据权利要求12所述的区域重构系统，其特征在于，还包括：第二外壳和第三外壳；
所述卫星导航定位单元、所述惯性测量单元、所述采集单元以及所述处理单元安装在所述第二外壳内；
所述显示单元安装在所述第三外壳内；
所述处理单元与所述显示单元通信连接。
15.根据权利要求12所述的区域重构系统，其特征在于，第四外壳和第五外壳；
所述卫星导航定位单元、所述惯性测量单元以及所述采集单元安装在所述第四外壳内；
所述处理单元以及所述显示单元安装在所述第五外壳内；
所述处理单元分别与所述卫星导航定位单元、所述惯性测量单元和所述采集单元通信连接。
16.一种区域重构系统，其特征在于，包括：终端设备和服务器；
所述终端设备包括：卫星导航定位单元、惯性测量单元和采集单元；
所述卫星导航定位单元和所述惯性测量单元，用于采集目标区域的位姿数据；
所述采集单元，用于采集所述目标区域的图像序列；
所述服务器，用于接收所述终端设备发送的所述位姿数据和所述图像序列，对所述位姿数据和所述图像序列进行处理，以得到所述目标区域的点云模型。
CN202111428587.2A 2021-11-29 2021-11-29 区域重构方法和系统 Pending CN113838197A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111428587.2A CN113838197A (zh) 2021-11-29 2021-11-29 区域重构方法和系统
PCT/CN2022/076070 WO2023092865A1 (zh) 2021-11-29 2022-02-11 区域重构方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111428587.2A CN113838197A (zh) 2021-11-29 2021-11-29 区域重构方法和系统

Publications (1)

Publication Number Publication Date
CN113838197A true CN113838197A (zh) 2021-12-24

Family

ID=78971887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111428587.2A Pending CN113838197A (zh) 2021-11-29 2021-11-29 区域重构方法和系统

Country Status (2)

Country Link
CN (1) CN113838197A (zh)
WO (1) WO2023092865A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092865A1 (zh) * 2021-11-29 2023-06-01 南京天辰礼达电子科技有限公司 区域重构方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635856B (zh) * 2023-11-07 2024-06-11 广东省地质调查院 一种矿山开采原始数字高程模型重建方法、系统和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080784A (zh) * 2019-11-27 2020-04-28 贵州宽凳智云科技有限公司北京分公司 一种基于地面图像纹理的地面三维重建方法和装置
CN112085844A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法
CN113409444A (zh) * 2021-05-21 2021-09-17 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN113674424A (zh) * 2021-08-31 2021-11-19 北京三快在线科技有限公司 一种电子地图绘制的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145339B (zh) * 2019-12-25 2023-06-02 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
US11244500B2 (en) * 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
CN111462213B (zh) * 2020-03-16 2021-07-13 天目爱视（北京）科技有限公司 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
CN113820735B (zh) * 2021-08-31 2023-12-01 上海华测导航技术股份有限公司 位置信息的确定方法、位置测量设备、终端及存储介质
CN113838197A (zh) * 2021-11-29 2021-12-24 南京天辰礼达电子科技有限公司 区域重构方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080784A (zh) * 2019-11-27 2020-04-28 贵州宽凳智云科技有限公司北京分公司 一种基于地面图像纹理的地面三维重建方法和装置
CN112085844A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法
CN113409444A (zh) * 2021-05-21 2021-09-17 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN113674424A (zh) * 2021-08-31 2021-11-19 北京三快在线科技有限公司 一种电子地图绘制的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万刚等: "《无人机测绘技术及应用》", 31 December 2015 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092865A1 (zh) * 2021-11-29 2023-06-01 南京天辰礼达电子科技有限公司 区域重构方法和系统

Also Published As

Publication number Publication date
WO2023092865A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
US9110150B2 (en) Positioning device, positioning method, program, and recording medium
US20170372172A1 (en) Apparatus and method for spatially referencing images
CN108426573B (zh) 一种终端设备的行人步态检测方法及终端设备
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
EP3639221B1 (en) Onscene command vision
WO2011091552A1 (en) Extracting and mapping three dimensional features from geo-referenced images
JP2001503134A (ja) 携帯可能な手持ちデジタル地理データ・マネージャ
CN113838197A (zh) 区域重构方法和系统
JP2015055534A (ja) 情報処理装置、情報処理装置の制御プログラム及び情報処理装置の制御方法
CN102338639A (zh) 信息处理设备和信息处理方法
CN113820735B (zh) 位置信息的确定方法、位置测量设备、终端及存储介质
US11959749B2 (en) Mobile mapping system
CN112348886A (zh) 视觉定位方法、终端和服务器
Cervenak et al. ARKit as indoor positioning system
KR20190114696A (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR101155761B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
CN104978476B (zh) 利用智能手机进行室内地图现场补测的方法
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
Lee et al. Distant object localization with a single image obtained from a smartphone in an urban environment
US8903163B2 (en) Using gravity measurements within a photogrammetric adjustment
EP2569958B1 (en) Method, computer program and apparatus for determining an object in sight
CN110320496B (zh) 一种室内定位方法及装置
JP2011022662A (ja) 携帯電話端末及び情報処理システム
Chen et al. Panoramic epipolar image generation for mobile mapping system
CN115508894B (zh) 地面网格参数的确定方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination