CN112132960B - 一种三维重建方法、装置和电子设备 - Google Patents

一种三维重建方法、装置和电子设备 Download PDF

Info

Publication number
CN112132960B
CN112132960B CN202011040533.4A CN202011040533A CN112132960B CN 112132960 B CN112132960 B CN 112132960B CN 202011040533 A CN202011040533 A CN 202011040533A CN 112132960 B CN112132960 B CN 112132960B
Authority
CN
China
Prior art keywords
feature
image
points
matching
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011040533.4A
Other languages
English (en)
Other versions
CN112132960A (zh
Inventor
王珏
周院进
齐焕然
王雪锋
李品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boneng Technology Co ltd
Original Assignee
Beijing Boneng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boneng Technology Co ltd filed Critical Beijing Boneng Technology Co ltd
Priority to CN202011040533.4A priority Critical patent/CN112132960B/zh
Publication of CN112132960A publication Critical patent/CN112132960A/zh
Application granted granted Critical
Publication of CN112132960B publication Critical patent/CN112132960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种三维重建方法、装置和电子设备，其中，该方法包括：获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；对采集到的飞机的近机位停靠图像进行处理，得到飞机的近机位停靠图像的第一特征点，并将第一特征点与近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；对第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；确定出第一匹配特征点对和第二匹配特征点对中的动态特征点；利用动态特征点进行三维重建，得到飞机的近机位停靠三维模型；可以精细化三维模型，模型精细化程度更高，利用得到的飞机的近机位停靠三维模型可以了解到飞机近机位的全方位状况。

Description

一种三维重建方法、装置和电子设备
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种三维重建方法、装置和电子设备。
背景技术
目前，实时三维建模技术广泛应用于无人驾驶方面，但在机场中并未见到相关使用。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种三维重建方法、装置和电子设备。
第一方面，本发明实施例提供了一种三维重建方法，包括：
获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；
对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；
对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；
确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点；
利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型。
第二方面，本发明实施例还提供了一种三维重建装置，包括：
获取模块，用于获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；
第一处理模块，用于对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；
第二处理模块，用于对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；
第三处理模块，用于确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点；
第四处理模块，用于利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型。
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面所述的方法的步骤。
本发明实施例上述第一方面至第四方面提供的方案中，通过利用设置在廊桥上的双目摄像机采集飞机的近机位停靠图像，对采集到的飞机的近机位停靠图像进行处理，得到第一匹配特征点对和第二匹配特征点对，确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点，然后利用所述动态特征点进行三维重建，可以使三维模型精细化程度更高，利用得到的飞机的近机位停靠三维模型可以了解到飞机近机位的全方位状况；同时在三维重建的过程中，利用所述动态特征点进行三维重建，可以减少静态场景的重复构建过程，提高了实时化建模的速度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例1所提供的一种三维重建方法的流程图；
图2示出了本发明实施例2所提供的一种三维重建装置的结构示意图；
图3示出了本发明实施例3所提供的一种电子设备的结构示意图。
具体实施方式
目前，实时三维建模技术广泛应用于无人驾驶方面，但在机场中并未见到相关使用。
基于此，本申请实施例提出一种三维重建方法、装置和电子设备，通过利用设置在廊桥上的双目摄像机采集飞机的近机位停靠图像，对采集到的飞机的近机位停靠图像进行处理，得到第一匹配特征点对和第二匹配特征点对，确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点，然后利用所述动态特征点进行三维重建，得到飞机的近机位停靠三维模型，可以使三维模型精细化程度更高，利用得到的飞机的近机位停靠三维模型可以了解到飞机近机位的全方位状况；同时在三维重建的过程中，利用所述动态特征点进行三维重建，可以减少静态场景的重复构建过程，提高了实时化建模的速度。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。
实施例1
本实施例提出的一种三维重建方法，执行主体是服务器。
所述服务器，可以采用现有技术中任何可以进行三维重建的计算设备，这里不再一一赘述。
为了使所述服务器可以获取到廊桥上设置的双目摄像机采集的近机位停靠图像，可以让所述服务器与所述双目摄像机通过有线或者无线的方式连接，从而让所述服务器可以获取到廊桥上设置的双目摄像机采集的近机位停靠图像。
在将双目摄像机安装到廊桥上后，执行本实施例提出的三维重建方法之前，可以先执行以下三个步骤：
(1)相机标定
在双目摄像机安装好后，调整双目摄像机的朝向，使双目摄像机中的两个摄像机有足够的重叠度，能够满足后续的三维立体建模，利用2D平面靶标的方法对相机的内、外参数、畸变等进行标定，确定图像坐标系与世界坐标系的关系。
(2)特征提取与匹配
通过双目摄像机中的两个摄像机分别获得同一个地面物体的视频影像，通过服务器自身运行的SLAM系统对双目摄像机采集的第一帧影像利用SIFT特征提取算法进行特征提取，再根据一致性约束原则进行匹配，得到左右两帧图片中的匹配点对，并存储到数据库中。所述数据库设置在所述服务器中。
(3)立体建模
根据三角测量原理，计算数据库中的每对特征点在世界坐标系中的坐标，得到三维点云。通过构建模型，即得到三维模型。
在得到三维模型后，就可以执行本实施例提出的三维重建方法，使用设置在廊桥上的双目摄像机采集飞机的近机位停靠图像，进行机场内一些场景(如：飞机的近机位停靠和近机位停靠时机场内车辆和人员等活动场景)的三维重建。
在本实施例提出的三维重建方法中，以飞机的近机位停靠的场景进行说明。
参见图1所示的一种三维重建方法的流程图，本实施例提出一种三维重建方法，包括以下具体步骤：
步骤100、获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像。
在上述步骤100中，双目摄像机采集飞机的近机位停靠图像，包括：左目图像和右目图像。
步骤102、对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对。
在上述步骤102中，对采集到的飞机的近机位停靠图像进行处理时，首先，利用SHIFT特征提取算法分别提取上述左目图像的图像特征和上述右目图像的第一特征点，并基于提取的上述左目图像和上述右目图像的第一特征点，进行上述左目图像和上述右目图像的匹配操作，得到上述左目图像和上述右目图像的第一匹配点对；然后，获取所述近机位停靠图像的上一帧近机位停靠图像的左目图像和上述右目图像的第二匹配点对，所述第二匹配点对，包括第二特征点；再者，利用第二匹配点对中的第二特征点对第一匹配点对中的第一特征点进行跟踪，将第一匹配点对中的所述第一特征点与第二匹配点对中的第二特征点进行匹配，得到第一匹配特征点对，并将第一匹配特征点对存储到数据库中。
所述第一匹配特征点对，是指分别位于近机位停靠图像的左目图像和所述近机位停靠图像的上一帧近机位停靠图像的左目图像中的两个相匹配的特征点，或者是指分别位于近机位停靠图像的右目图像和所述近机位停靠图像的上一帧近机位停靠图像的右目图像中的两个相匹配的特征点。
利用第二匹配点对中的第二特征点对第一匹配点对中的第一特征点进行跟踪，将第一匹配点对中的所述第一特征点与第二匹配点对中的第二特征点进行匹配，得到第一匹配特征点对的过程是现有技术，这里不再赘述。
利用SHIFT特征提取算法除了可以提取出第一特征点外，还可以得到所述第一特征点在所述近机位停靠图像中的特征点坐标以及所述第一特征点的像素值。
将第一匹配点对中的所述第一特征点与第二匹配点对中的第二特征点进行匹配后，除了得到第一匹配特征点对外，还会得到所述第一特征点中未匹配的特征点。
步骤104、对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对。
为了得到第二匹配特征点对，上述步骤104可以执行以下步骤(1)至步骤(9)：
(1)获取所述第一特征点中未匹配的特征点在所述近机位停靠图像中的特征点坐标；
(2)以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第一正方形区域的中心，按照预设的所述第一正方形区域的边长，在所述上一帧近机位停靠图像中设置第一正方形区域；
(3)获取所述第一正方形区域中特征点的像素值，对第一正方形区域中特征点的像素值进行卷积计算，得到所述像素值的第一卷积计算结果；
(4)将所述第一卷积计算结果输入到全链接神经网络模型中，得到第一特征向量；
(5)以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第二正方形区域的中心，按照预设的所述第二正方形区域的边长，在所述近机位停靠图像中设置第二正方形区域；其中，所述第二正方形区域的边长大于所述第一正方形区域的边长；
(6)搜索所述第二正方形区域中以所述第一正方形区域的边长为子区域边长的正方形子区域；
(7)获取所述正方形子区域中特征点的像素值，对所述正方形子区域中特征点的像素值进行卷积计算，得到所述正方形子区域中像素点的像素值的第二卷积计算结果；
(8)将所述第二卷积计算结果输入到全链接神经网络模型中，得到第二特征向量；
(9)基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对。
在上述步骤(2)中，预设的所述第一正方形区域的边长，缓存在所述服务器中。
在一个实施方式中，第一正方形区域的边长，可以设置为5个长度单位或者7个长度单位。
在上述步骤(3)中，在得到第一正方形区域后，可以确定第一正方形区域中有哪些特征点，从而可以基于第一正方形区域中特征点的特征点坐标获取到所述第一正方形区域中特征点的像素值。
在上述步骤(4)中，所述全链接神经网络模型运行在服务器中。将所述第一卷积计算结果输入到全链接神经网络模型中，得到第一特征向量的具体过程是现有技术，这里不再赘述。
在上述步骤(5)中，预设的所述第二正方形区域的边长，缓存在所述服务器中。
在上述步骤(7)中，在得到正方形子区域后，可以确定正方形子区域中有哪些特征点，从而可以基于正方形子区域中特征点的特征点坐标获取到所述正方形子区域中特征点的像素值。
在上述步骤(8)中，将所述第二卷积计算结果输入到全链接神经网络模型中，得到第二特征向量的具体过程是现有技术，这里不再赘述。
在上述步骤(9)中，基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对，包括以下步骤(91)至步骤(93)：
(91)通过以下公式对所述第一特征向量和所述第二特征向量的相似系数进行计算：
其中，sj表示所述第一特征向量和所述第二特征向量的相似系数；k表示所述第一特征向量和所述第二特征向量的维度；j表示1,2……(M-N+1)×(M-N+1)；M表示第二正方形区域的边长；N表示第一正方形区域的边长；
(92)将所述近机位停靠图像的未匹配的特征点中，作为计算得到最大的相似系数的第二特征向量对应的正方形子区域的中心的特征点，确定为与所述上一帧近机位停靠图像中作为第一正方形区域的中心的特征点相同的新增特征点；
(93)对所述近机位停靠图像中左目图像和右目图像的新增特征点进行处理，得到第二匹配特征点对。
在上述步骤(92)中，对所述近机位停靠图像中左目图像和右目图像的新增特征点进行处理，得到第二匹配特征点对的具体过程与上述步骤102中将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对的过程类似，这里不再赘述。
在上述步骤(93)中，对所述近机位停靠图像中左目图像和右目图像的新增特征点进行处理，得到第二匹配特征点对的过程与上述步骤102中描述的将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对的过程类似，这里不再赘述。
将得到的第二匹配特征点对存储到数据库中。
在通过上述步骤104得到第二匹配特征点对后，可以继续执行以下步骤106和步骤108，进行三维重建操作。
步骤106、确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点。
在上述步骤106中，具体地，为了确定出动态特征点，可以执行以下步骤(1)至步骤(3)：
(1)获取所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的第一坐标以及所述上一帧近机位停靠图像中的第二坐标；
(2)对特征点在所述近机位停靠图像与所述上一帧近机位停靠图像中的欧氏距离进行计算；
(3)将所述欧氏距离大于欧氏距离阈值的特征点确定为动态特征点，从而确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点。
在上述步骤(1)中，所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的第一坐标，就是所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的特征点坐标。
所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的第二坐标，就是所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述上一帧近机位停靠图像中的特征点坐标。
在上述步骤(2)中，通过以下公式1计算特征点在所述近机位停靠图像与所述上一帧近机位停靠图像中的欧氏距离：
其中，dk→k+1表示特征点在所述近机位停靠图像与所述上一帧近机位停靠图像中的欧氏距离；x(k)表示第一坐标的横坐标；y(k)表示第一坐标的纵坐标；x(k-1)表示第二坐标的横坐标；y(k-1)表示第二坐标的纵坐标。
在上述步骤(3)中，所述欧氏距离阈值，缓存在服务器中。除了确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点外，将所述第一匹配特征点对和所述第二匹配特征点对中所述欧氏距离小于等于欧氏距离阈值的特征点确定为静态特征点。
由于双目摄像机的位置是固定不变的，对于静态特征点，在双目摄像机中的成像坐标位置是不发生变化的；对于动态特征点，在双目摄像机中的成像坐标会随着时间发生一定距离的移动。因此通过比较同一个特征点在前一帧和当前帧中的坐标，即可确定特征点是否发生了移动。
所述动态特征点表征的动态目标为车辆、人员、飞机等。所述静态特征点表征的静态目标为油栓盖、停止线、边界线、廊桥及其他固定设施等。
对于静态特征点，由于不是用于表征关键性的动态目标，没有必要进行多次重复计算，那么服务器将静态特征点从数据库中删除。
有时，对于位于图像边缘的动态特征点，如果特征点移动距离与特征点坐标满足如下公式，即特征点在下一帧中会出现由于活动目标离开视野区域，而无法在当下一帧中无法找到匹配点的情况，则将这样的动态特征点作为待消失特征点处理。
其中：[0,DX]和[0,DY]分别为X方向上和Y方向上所述近机位停靠图像或者所述上一帧近机位停靠图像的大小；x(k)表示第一坐标的横坐标；y(k)表示第一坐标的纵坐标；x(k-1)表示第二坐标的横坐标；y(k-1)表示第二坐标的纵坐标。
所述近机位停靠图像或者所述上一帧近机位停靠图像的大小是相同的。
在对所述近机位停靠图像的下一帧近机位停靠图像中的特征点跟踪过程中，不再对待消失特征点进行跟踪，将待消失特征点从所述数据库中删除。
步骤108、利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型。
在上述步骤108中，为了得到所述飞机的近机位停靠三维模型，可以先根据三角测量原理，使用所述数据库中存储的动态特征点进行三维重建计算，得到当前帧的三维点云；由于表征动态目标的大量动态特征点是通过跟踪所得，所以前一帧三维点云与当前帧三维点云之间存在一个刚体运动，通过跟踪点的匹配关系，将前一帧三维点云数据经过刚体变换为当前帧所在的坐标，再利用当前帧三维点云的坐标与前一帧经过刚体变换得到的相对应的三维点云的坐标，经过滤波处理，得到当前帧更加平滑、更加精确的三维点云坐标，对于待消失特征点的点云不进行平滑处理，但要保留其经过刚体变换之后的坐标，对于新增的特征点云，不进行平滑处理；最后，将前一帧获得的动态目标的三维点云，经过三角化处理等操作，形成可视化的所述飞机的近机位停靠三维模型，并展示在三维场景中；在将可视化的所述飞机的近机位停靠三维模型展示在三维场景中后，进行下一帧的特征点跟踪。
这里，术语“当前帧”是指“近机位停靠图像”；术语“前一帧”是指“所述近机位停靠图像的上一帧近机位停靠图像”；术语“下一帧”是指“所述近机位停靠图像的下一帧近机位停靠图像”。
综上所述，本实施例提出的三维重建方法，通过利用设置在廊桥上的双目摄像机采集飞机的近机位停靠图像，对采集到的飞机的近机位停靠图像进行处理，得到第一匹配特征点对和第二匹配特征点对，确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点，然后利用所述动态特征点进行三维重建，可以使三维模型精细化程度更高，利用得到的飞机的近机位停靠三维模型可以了解到飞机近机位的全方位状况；同时在三维重建的过程中，利用所述动态特征点进行三维重建，可以减少静态场景的重复构建过程，提高了实时化建模的速度。
实施例2
本实施例提出的一种三维重建装置，用于执行上述实施例1提出的三维重建方法。
参见图2所示的一种三维重建装置的结构示意图，本实施例提出一种三维重建装置，包括：
获取模块200，用于获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；
第一处理模块202，用于对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；
第二处理模块204，用于对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；
第三处理模块206，用于确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点；
第四处理模块208，用于利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型。
所述第二处理模块，具体用于：
获取所述第一特征点中未匹配的特征点在所述近机位停靠图像中的特征点坐标；
以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第一正方形区域的中心，按照预设的所述第一正方形区域的边长，在所述上一帧近机位停靠图像中设置第一正方形区域；
获取所述第一正方形区域中特征点的像素值，对第一正方形区域中特征点的像素值进行卷积计算，得到所述像素值的第一卷积计算结果；
将所述第一卷积计算结果输入到全链接神经网络模型中，得到第一特征向量；
以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第二正方形区域的中心，按照预设的所述第二正方形区域的边长，在所述近机位停靠图像中设置第二正方形区域；其中，所述第二正方形区域的边长大于所述第一正方形区域的边长；
搜索所述第二正方形区域中以所述第一正方形区域的边长为子区域边长的正方形子区域；
获取所述正方形子区域中特征点的像素值，对所述正方形子区域中特征点的像素值进行卷积计算，得到所述正方形子区域中像素点的像素值的第二卷积计算结果；
将所述第二卷积计算结果输入到全链接神经网络模型中，得到第二特征向量；
基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对。
所述第二处理模块，基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对，包括：
通过以下公式对所述第一特征向量和所述第二特征向量的相似系数进行计算：
其中，sj表示所述第一特征向量和所述第二特征向量的相似系数；k表示所述第一特征向量和所述第二特征向量的维度；j表示1,2……(M-N+1)×(M-N+1)；M表示第二正方形区域的边长；N表示第一正方形区域的边长；
将所述近机位停靠图像的未匹配的特征点中，作为计算得到最大的相似系数的第二特征向量对应的正方形子区域的中心的特征点，确定为与所述上一帧近机位停靠图像中作为第一正方形区域的中心的特征点相同的新增特征点；
对所述近机位停靠图像中左目图像和右目图像的新增特征点进行处理，得到第二匹配特征点对。
所述第三处理模块，具体用于：
获取所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的第一坐标以及所述上一帧近机位停靠图像中的第二坐标；
对特征点在所述近机位停靠图像与所述上一帧近机位停靠图像中的欧氏距离进行计算；
将所述欧氏距离大于欧氏距离阈值的特征点确定为动态特征点，从而确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点。
综上所述，本实施例提出的三维重建装置，通过利用设置在廊桥上的双目摄像机采集飞机的近机位停靠图像，对采集到的飞机的近机位停靠图像进行处理，得到第一匹配特征点对和第二匹配特征点对，确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点，然后利用所述动态特征点进行三维重建，可以使三维模型精细化程度更高，利用得到的飞机的近机位停靠三维模型可以了解到飞机近机位的全方位状况；同时在三维重建的过程中，利用所述动态特征点进行三维重建，可以减少静态场景的重复构建过程，提高了实时化建模的速度。
实施例3
本实施例提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例1描述的三维重建方法的步骤。具体实现可参见方法实施例1，在此不再赘述。
此外，参见图3所示的一种电子设备的结构示意图，本实施例还提出一种电子设备，上述电子设备包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述电子设备包括有存储器55。
本实施例中，上述电子设备还包括：存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序，经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(5)：
(1)获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；
(2)对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；
(3)对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；
(4)确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点；
(5)利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型。
收发机53，用于在处理器52的控制下接收和发送数据。
其中，总线架构(用总线51来代表)，总线51可以包括任意数量的互联的总线和桥，总线51将包括由通用处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算系统的性质，还可以提供用户接口56，例如小键盘、显示器、扬声器、麦克风、操纵杆。
处理器52负责管理总线51和通常的处理，如前述上述运行通用操作系统。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。
可选的，处理器52可以是但不限于：中央处理器、单片机、微处理器或者可编程逻辑器件。
可以理解，本发明实施例中的存储器55可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本实施例描述的系统和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器55存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统551和应用程序552。
其中，操作系统551，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序552，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序552中。
综上所述，本实施例提出的计算机可读存储介质和电子设备，通过利用设置在廊桥上的双目摄像机采集飞机的近机位停靠图像，对采集到的飞机的近机位停靠图像进行处理，得到第一匹配特征点对和第二匹配特征点对，确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点，然后利用所述动态特征点进行三维重建，得到飞机的近机位停靠三维模型，可以精细化三维模型，模型精细化程度更高，利用得到的飞机的近机位停靠三维模型可以了解到飞机近机位的全方位状况；同时在三维重建的过程中，利用所述动态特征点进行三维重建，可以减少静态场景的重复构建过程，提高了实时化建模的速度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种三维重建方法，其特征在于，包括：
获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；
对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；
对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；
确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点；
利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型；
对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对，包括：
获取所述第一特征点中未匹配的特征点在所述近机位停靠图像中的特征点坐标；
以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第一正方形区域的中心，按照预设的所述第一正方形区域的边长，在所述上一帧近机位停靠图像中设置第一正方形区域；
获取所述第一正方形区域中特征点的像素值，对第一正方形区域中特征点的像素值进行卷积计算，得到所述像素值的第一卷积计算结果；
将所述第一卷积计算结果输入到全链接神经网络模型中，得到第一特征向量；
以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第二正方形区域的中心，按照预设的所述第二正方形区域的边长，在所述近机位停靠图像中设置第二正方形区域；其中，所述第二正方形区域的边长大于所述第一正方形区域的边长；
搜索所述第二正方形区域中以所述第一正方形区域的边长为子区域边长的正方形子区域；
获取所述正方形子区域中特征点的像素值，对所述正方形子区域中特征点的像素值进行卷积计算，得到所述正方形子区域中像素点的像素值的第二卷积计算结果；
将所述第二卷积计算结果输入到全链接神经网络模型中，得到第二特征向量；
基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对。
2.根据权利要求1所述的方法，其特征在于，基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对，包括：
通过以下公式对所述第一特征向量和所述第二特征向量的相似系数进行计算：
其中，sj表示所述第一特征向量和所述第二特征向量的相似系数；k表示所述第一特征向量和所述第二特征向量的维度；j表示1,2……(M-N+1)×(M-N+1)；M表示第二正方形区域的边长；N表示第一正方形区域的边长；
将所述近机位停靠图像的未匹配的特征点中，作为计算得到最大的相似系数的第二特征向量对应的正方形子区域的中心的特征点，确定为与所述上一帧近机位停靠图像中作为第一正方形区域的中心的特征点相同的新增特征点；
对所述近机位停靠图像中左目图像和右目图像的新增特征点进行处理，得到第二匹配特征点对。
3.根据权利要求1所述的方法，其特征在于，确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点，包括：
获取所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的第一坐标以及所述上一帧近机位停靠图像中的第二坐标；
对特征点在所述近机位停靠图像与所述上一帧近机位停靠图像中的欧氏距离进行计算；
将所述欧氏距离大于欧氏距离阈值的特征点确定为动态特征点，从而确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点。
4.一种三维重建装置，其特征在于，包括：
获取模块，用于获取设置在廊桥上的双目摄像机采集飞机的近机位停靠图像；
第一处理模块，用于对采集到的飞机的近机位停靠图像进行处理，得到所述飞机的近机位停靠图像的第一特征点，并将所述第一特征点与所述近机位停靠图像的上一帧近机位停靠图像的第二特征点进行匹配，得到第一匹配特征点对；
第二处理模块，用于对所述第一特征点中未匹配的特征点进行处理，得到第二匹配特征点对；
第三处理模块，用于确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点；
第四处理模块，用于利用所述动态特征点进行三维重建，得到所述飞机的近机位停靠三维模型；
所述第二处理模块，具体用于：
获取所述第一特征点中未匹配的特征点在所述近机位停靠图像中的特征点坐标；
以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第一正方形区域的中心，按照预设的所述第一正方形区域的边长，在所述上一帧近机位停靠图像中设置第一正方形区域；
获取所述第一正方形区域中特征点的像素值，对第一正方形区域中特征点的像素值进行卷积计算，得到所述像素值的第一卷积计算结果；
将所述第一卷积计算结果输入到全链接神经网络模型中，得到第一特征向量；
以所述未匹配的特征点在所述近机位停靠图像中的特征点坐标为第二正方形区域的中心，按照预设的所述第二正方形区域的边长，在所述近机位停靠图像中设置第二正方形区域；其中，所述第二正方形区域的边长大于所述第一正方形区域的边长；
搜索所述第二正方形区域中以所述第一正方形区域的边长为子区域边长的正方形子区域；
获取所述正方形子区域中特征点的像素值，对所述正方形子区域中特征点的像素值进行卷积计算，得到所述正方形子区域中像素点的像素值的第二卷积计算结果；
将所述第二卷积计算结果输入到全链接神经网络模型中，得到第二特征向量；
基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对。
5.根据权利要求4所述的装置，其特征在于，所述第二处理模块，基于所述第一特征向量和所述第二特征向量，得到第二匹配特征点对，包括：
通过以下公式对所述第一特征向量和所述第二特征向量的相似系数进行计算：
其中，sj表示所述第一特征向量和所述第二特征向量的相似系数；k表示所述第一特征向量和所述第二特征向量的维度；j表示1,2……(M-N+1)×(M-N+1)；M表示第二正方形区域的边长；N表示第一正方形区域的边长；
将所述近机位停靠图像的未匹配的特征点中，作为计算得到最大的相似系数的第二特征向量对应的正方形子区域的中心的特征点，确定为与所述上一帧近机位停靠图像中作为第一正方形区域的中心的特征点相同的新增特征点；
对所述近机位停靠图像中左目图像和右目图像的新增特征点进行处理，得到第二匹配特征点对。
6.根据权利要求4所述的装置，其特征在于，所述第三处理模块，具体用于：
获取所述第一匹配特征点对和所述第二匹配特征点对中特征点在所述近机位停靠图像中的第一坐标以及所述上一帧近机位停靠图像中的第二坐标；
对特征点在所述近机位停靠图像与所述上一帧近机位停靠图像中的欧氏距离进行计算；
将所述欧氏距离大于欧氏距离阈值的特征点确定为动态特征点，从而确定出所述第一匹配特征点对和所述第二匹配特征点对中的动态特征点。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-3任一项所述的方法的步骤。
8.一种电子设备，其特征在于，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行权利要求1-3任一项所述的方法的步骤。
CN202011040533.4A 2020-09-28 2020-09-28 一种三维重建方法、装置和电子设备 Active CN112132960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011040533.4A CN112132960B (zh) 2020-09-28 2020-09-28 一种三维重建方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011040533.4A CN112132960B (zh) 2020-09-28 2020-09-28 一种三维重建方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112132960A CN112132960A (zh) 2020-12-25
CN112132960B true CN112132960B (zh) 2024-01-30

Family

ID=73843318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011040533.4A Active CN112132960B (zh) 2020-09-28 2020-09-28 一种三维重建方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112132960B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689555B (zh) * 2021-09-09 2023-08-22 武汉惟景三维科技有限公司 一种双目图像特征匹配方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274483A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种物体三维模型构建方法
CN109671110A (zh) * 2018-12-29 2019-04-23 西南交通大学 一种局部几何结构约束的城区宽基线影像特征点匹配方法
KR20190057885A (ko) * 2017-11-21 2019-05-29 한국전자통신연구원 3차원 복원 지형 정합 방법 및 그 장치
CN110176032A (zh) * 2019-04-28 2019-08-27 暗物智能科技(广州)有限公司 一种三维重建方法及装置
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111292413A (zh) * 2020-02-24 2020-06-16 浙江大华技术股份有限公司 图像模型的处理方法及装置、存储介质、电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274483A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种物体三维模型构建方法
KR20190057885A (ko) * 2017-11-21 2019-05-29 한국전자통신연구원 3차원 복원 지형 정합 방법 및 그 장치
CN109671110A (zh) * 2018-12-29 2019-04-23 西南交通大学 一种局部几何结构约束的城区宽基线影像特征点匹配方法
CN110176032A (zh) * 2019-04-28 2019-08-27 暗物智能科技(广州)有限公司 一种三维重建方法及装置
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111292413A (zh) * 2020-02-24 2020-06-16 浙江大华技术股份有限公司 图像模型的处理方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN112132960A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
EP3581890B1 (en) Method and device for positioning
US11145078B2 (en) Depth information determining method and related apparatus
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
Tang et al. Ground stereo vision-based navigation for autonomous take-off and landing of uavs: a chan-vese model approach
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN112802096A (zh) 实时定位和建图的实现装置和方法
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN114897988B (zh) 一种铰链式车辆中的多相机定位方法、装置及设备
CN111179330A (zh) 一种基于卷积神经网络的双目视觉场景深度估计方法
CN116469079A (zh) 一种自动驾驶bev任务学习方法及相关装置
CN112132960B (zh) 一种三维重建方法、装置和电子设备
CN113793251A (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN110992291A (zh) 基于三目视觉的测距方法、系统及存储介质
DE102022111926A1 (de) Verfahren und Vorrichtung für eine tiefengestützte visuelle Trägheitsodometrie
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
CN110245553B (zh) 路面测距方法及装置
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN112767477A (zh) 一种定位方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant