CN107690650B - 用于将3d场景重构为3d模型的方法 - Google Patents

用于将3d场景重构为3d模型的方法 Download PDF

Info

Publication number
CN107690650B
CN107690650B CN201680033319.1A CN201680033319A CN107690650B CN 107690650 B CN107690650 B CN 107690650B CN 201680033319 A CN201680033319 A CN 201680033319A CN 107690650 B CN107690650 B CN 107690650B
Authority
CN
China
Prior art keywords
image
method described
images
scene
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680033319.1A
Other languages
English (en)
Other versions
CN107690650A (zh
Inventor
S·拉姆阿里加姆
田口裕
田口裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107690650A publication Critical patent/CN107690650A/zh
Application granted granted Critical
Publication of CN107690650B publication Critical patent/CN107690650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Discrete Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种方法通过首先用传感器获取多个红、绿、蓝以及深度(RGBD)图像并从不同视点用摄像头获取多个宽视场(FOV)红、绿以及蓝(RGB)图像来将三维(3D)场景重构为三维(3D)模型。在RGBD图像和RGB图像中识别成对点匹配，并且使用成对点匹配构建节点和边的图。使用与边关联的姿态约束估计RGBD图像和RGB图像的初始姿态，并且使用所估计的姿态估计场景的初始3D模型。然后，去除图中的错误边，并且对初始姿态和初始3D模型应用光束平差以获得场景的精细化姿态和3D模型。

Description

用于将3D场景重构为3D模型的方法
技术领域
本发明总体涉及计算机视觉和图像处理，更具体地，涉及从由3D传感器和全向摄像头获取的图像重构3D场景。
背景技术
存在许多使用红、绿、以及蓝(RGB)图像和传统的结构来自运动过程来重构3D场景的3D重构方法。通常，基于RGB图像的3D重构技术在处理无定形区域(例如，墙壁和天花板)有困难。对于重构无定形区域，可以使用主动传感器。例如，用于Microsoft(微软)XboxTM的KinectTM传感器使用红外(IR)图案来获取3D数据为深度图(点云)。KinectTM传感器还装配有用于捕捉RGB图像的2D摄像头。深度图可以配准到RGB图像，以生成红、绿、蓝以及深度(RGBD)图像。
通常，像KinectTM的3D传感器可以用于重构大场景，参见例如Izadi等人的“KinectFusion:Real-time 3D Reconstruction and Interaction Using a MovingDepth Camera,”ACM Symposium on User Interface Software and Technology，2011年10月。
然而，这种传感器的视场(FOV)有时会导致若干挑战，特别是对于可能不存在获得良好配准的充足特征对应的具有角落部和弯曲部的场景而言。
一些方法使用已重构的基于RGB图像的模型来估计RGB摄像头的姿态，如在Snavely等人的“Photo Tourism:Exploring Photo Collections in 3D,”ACMTransactions on Graphics,2006年”中。
发明内容
本发明的实施方式提供了一种用于使用由3D传感器和全向摄像头获取的图像来将场景重构为3D模型的方法。该3D传感器可以为KinectTM传感器，并且该全向摄像头可以为宽视场(FOV)摄像头。该摄像头获取RGB图像，并且该3D传感器获取RGBD图像。两种类型的图像一起用于构建场景的3D模型。
本发明基于以下认识：在使用不同传感器形式来3D重构，并且特别是使用宽FOVRGB图像解决RGBD图像的配准时，可以进行更好的重构。例如，如果难以匹配两个RGBD图像A和B，那么使用中间宽FOV RGB图像C可以获得配准。这样，可以分别获得A与C之间以及B与C之间的匹配，然后使用C来获得图像A与B之间的配准。
另一个认识基于使用姿态图中的次要特征来对不同图像对之间的关系建模。姿态估计和配准确定各个图像的姿态，然后使用约束来识别不正确的关系。在进行光束平差(bundle adjustment)以获得场景的完整3D模型之前，识别图像之间的这种不正确关系。
附图说明
[图1]图1是用于使用由3D传感器和全向摄像头获取的图像来将场景重构为3D模型的方法的流程图。
[图2]图2是根据本发明的实施方式的图(graph)的示意图，其中，节点是图像，并且边(edge)表示基于图像匹配的在图像之间的姿态约束。
[图3]图3是根据本发明的实施方式的图的最小生成树的示意图，其中，图像是节点，并且边是去除错误边的姿态约束。
[图4]图4是根据本发明的实施方式的使用窄视场(FOV)RGBD图像和宽FOV RGB图像的3D重构的示意图。
具体实施方式
图1示出了根据本发明的实施方式的、用于使用由3D传感器和全向摄像头获取的图像来将场景100重构为三维(3D)模型的方法。我们使用3D传感器，诸如KinectTM，来获取场景100的多个窄视场(FOV)红、绿、蓝以及深度(RGBD)图像101。全向摄像头获取场景100的宽FOV RGB图像102。
我们使用传统特征检测器，例如，加速鲁棒特征(SURF)，来从所有图像检测103关键点，并且从各图像提取描述符。
然后，我们进行图像至图像特征匹配，以识别104具有充足数量点匹配的图像对。图像匹配还可以使用诸如聚合局部描述符的向量(VLAD)的方法来进行。
接着，我们构建105图，在图中，节点表示图像且边表示图像之间的姿态约束。我们使用2D至3D姿态估计、2D至2D相对姿态估计以及3D至3D配准来确定106图像的姿态。我们使用如由图中的边表示的、对姿态的约束来去除107图中的错误边。然后，我们执行108光束平差，以获得3D模型110。
方法的步骤如领域中已知的可以在由总线连接到存储器和输入/输出接口的处理器50中执行。本质上，本发明将场景的图像变换成场景的3D模型。
图2示出了表示图像对之间的匹配的图。图像由节点(圆形或正方形)来表示，并且各边表示图像之间的姿态约束。如上所述，我们使用宽FOV RGB图像201和窄FOV RGBD图像202。我们在以下三个不同场景中获得两个图像之间的图像匹配，例如：
1.由边203连接的两个图像都是宽FOV RGB图像。
2.由边204连接的两个图像都是窄FOV RGBD图像。
3.由边205连接的图像中的一个图像是宽FOV RGB图像，并且另一个图像是窄FOVRGBD图像。
我们仅在两个图像共享最小数量的关键点匹配时认为两个图像匹配。在两个图像共享充足数量的点对应时，那么存在由连接两个图像的边表示的在两个图像之间的姿态约束。
如图2所示，各宽FOV RGBD图像与多个窄FOV RGB图像匹配。这使得宽FOV RGB图像能够充当配准许多窄FOV RGB图像时的桥梁。
图3示出了基于所估计的姿态使用约束去除图中的错误边。为了做到这一点，我们使用以下策略。我们考虑图3所示的图。正方形表示宽FOV RGB图像301，并且圆形表示窄FOVRGBD图像302。对于图3中的图中的各边，我们赋予等于来自在边上附带的两个图像节点的关键点匹配的数量的否定的权重。基于这些边权重，我们确定最小生成树。
我们通过实线303示出最小生成树中的边，并且用虚线304示出剩余的边。我们使用来自最小生成树的边(表示姿态约束)确定所有图像的初始姿态。依赖于每一条边上附带的图像的性质，我们使用不同的姿态估计过程。例如，我们可以使用3点3D至3D配准过程来确定两个RGBD图像之间的相对姿态。假定两个RGB图像之间的匹配，我们可以使用5点2D至2D相对姿态估计过程来确定相对姿态。RGB与RGBD图像之间的相对姿态可以使用2D至3D估计过程来获得。RGBD模型与RGB图像之间的该2D至3D姿态估计还在Taguchi等人提交的美国第14/330357号专利申请中描述。
我们随机分配RGBD图像或RGB图像作为最小生成树中的根节点。在不损失一般性的情况下，使RGB图像301为根。我们固定根节点的坐标系作为世界坐标系。从根节点起使用广度优先遍历，我们基于边来确定各图像的姿态。在遍历各边时，已知一个节点中的图像的姿态，并且通过使用被分配到边的相对姿态来估计另一个节点的姿态。在我们获得所有图像的姿态之后，我们使用由生成树边提供的姿态约束来进行光束平差以产生3D模型110。光束平差同时精细化描述场景的3D坐标以及图像的姿态的参数，以获得图像的精细化姿态(refined pose)。
我们逐渐增加非生成树边，以提供环形闭合约束，并且进行随后光束平差以精细化3D模型。在逐渐增加期间，如果基于在姿态空间中的选择的距离度量，边产生距已精细化的姿态遥远的摄像头姿态，那么我们把该边看作是错误边，并且不将该边用于光束平差。
图4示出了使用宽FOV RGB图像402和两个窄FOV RGBD图像403的室内场景401的3D重构的示例。RGB图像402用于配准410两个RGBD图像403。

Claims (14)

1.一种用于将三维3D场景重构为三维3D模型的方法，该方法包括以下步骤：
用传感器获取所述场景的多个红、绿、蓝以及深度RGBD图像，并且从不同视点用摄像头获取所述场景的多个宽视场FOV红、绿以及蓝RGB图像；
在所述RGBD图像和所述RGB图像中识别成对点匹配；
使用所述成对点匹配构建节点和边的图，其中，所述节点表示所述RGBD图像和所述RGB图像，并且所述边表示所述边所连接的节点表示的所述RGBD图像与所述RGB图像之间的姿态约束；
使用所述姿态约束估计所述RGBD图像和所述RGB图像的初始姿态；
使用所估计的姿态估计所述场景的初始3D模型；
去除所述图中的错误边；以及
对所述初始姿态和所述初始3D模型应用光束平差，以获得所述场景的精细化姿态和所述3D模型，其中，这些步骤在处理器中执行。
2.根据权利要求1所述的方法，所述方法还包括以下步骤：识别两个图像之间的匹配，其中，各图像能够是RGBD图像或RGB图像。
3.根据权利要求1所述的方法，其中，使用加速鲁棒特征SURF确定所述成对点匹配。
4.根据权利要求1所述的方法，其中，所述识别使用聚合局部描述符的向量VLAD。
5.根据权利要求1所述的方法，其中，使用3点3D至3D配准来确定两个RGBD图像之间的所述初始姿态。
6.根据权利要求1所述的方法，其中，使用3点2D至3D姿态估计来确定至少一个RGB图像与至少一个RGBD图像之间的所述初始姿态。
7.根据权利要求1所述的方法，其中，使用5点2D至2D相对姿态估计来确定两个RGB图像之间的所述初始姿态。
8.根据权利要求1所述的方法，所述方法还包括以下步骤：
向各边赋予权重；以及
使用所述姿态约束和基于所述权重的最小生成树来估计在所述图中被表示为节点的所述图像的所述初始姿态。
9.根据权利要求8所述的方法，其中，所述权重基于由一条边连接的所述节点所表示的图像之间的所述成对点匹配的数量。
10.根据权利要求1所述的方法，其中，基于使用不同边估计的姿态之间的不一致性来去除所述错误边。
11.根据权利要求1所述的方法，其中，所述传感器是红外IR传感器。
12.根据权利要求1所述的方法，其中，至少一个RGB图像与至少两个RGBD图像交叠。
13.根据权利要求1所述的方法，其中，各边表示所述边所连接的节点表示的所述图像之间的充足数量的成对点匹配。
14.根据权利要求1所述的方法，其中，基于距离度量而远离所述精细化姿态的所述姿态是所述错误边中的一种。
CN201680033319.1A 2015-06-17 2016-06-07 用于将3d场景重构为3d模型的方法 Active CN107690650B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/741,532 US9460513B1 (en) 2015-06-17 2015-06-17 Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
US14/741,532 2015-06-17
PCT/JP2016/002740 WO2016203731A1 (en) 2015-06-17 2016-06-07 Method for reconstructing 3d scene as 3d model

Publications (2)

Publication Number Publication Date
CN107690650A CN107690650A (zh) 2018-02-13
CN107690650B true CN107690650B (zh) 2018-10-19

Family

ID=56203873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033319.1A Active CN107690650B (zh) 2015-06-17 2016-06-07 用于将3d场景重构为3d模型的方法

Country Status (5)

Country Link
US (1) US9460513B1 (zh)
EP (1) EP3308323B1 (zh)
JP (1) JP6328351B2 (zh)
CN (1) CN107690650B (zh)
WO (1) WO2016203731A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
US11132810B2 (en) * 2017-02-01 2021-09-28 Hitachi, Ltd. Three-dimensional measurement apparatus
US10832078B2 (en) 2017-08-11 2020-11-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for concurrent reconstruction of dynamic and static objects
WO2019058487A1 (ja) * 2017-09-21 2019-03-28 オリンパス株式会社 ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
CN108592919B (zh) * 2018-04-27 2019-09-17 百度在线网络技术（北京）有限公司 制图与定位方法、装置、存储介质和终端设备
CN109191526B (zh) * 2018-09-10 2020-07-07 杭州艾米机器人有限公司 基于rgbd摄像头和光编码器的三维环境重建方法及系统
CN109887026B (zh) * 2019-02-20 2021-07-16 深圳市未来感知科技有限公司 多视角定位跟踪方法、装置、设备及计算机可读存储介质
JP2022074178A (ja) * 2019-03-25 2022-05-18 シャープ株式会社 ３ｄモデル送信装置、及び、３ｄモデル受信装置
CN110348524B (zh) * 2019-07-15 2022-03-04 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
CN118247442B (zh) * 2024-05-24 2024-08-02 杭州海康威视数字技术股份有限公司 神经辐射场重建模型生成方法、装置、设备、介质及产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349155A (zh) * 2014-11-25 2015-02-11 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1297691A2 (en) * 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
RU2012156158A (ru) * 2012-12-24 2014-07-10 ЭлЭсАй Корпорейшн Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
US9483703B2 (en) * 2013-05-14 2016-11-01 University Of Southern California Online coupled camera pose estimation and dense reconstruction from video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349155A (zh) * 2014-11-25 2015-02-11 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Calibration of Non-Overlapping Cameras Using an External SLAM System;Esra Ataer-Cansizoglu 等;《2014 Second International Conference on 3D Vision》;20141208;509-516 *

Also Published As

Publication number Publication date
JP6328351B2 (ja) 2018-05-23
EP3308323B1 (en) 2021-02-24
CN107690650A (zh) 2018-02-13
EP3308323A1 (en) 2018-04-18
JP2018510419A (ja) 2018-04-12
WO2016203731A1 (en) 2016-12-22
US9460513B1 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
CN107690650B (zh) 用于将3d场景重构为3d模型的方法
JP7181977B2 (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
US9189889B2 (en) Method for building a three-dimensional model and apparatus thereof
CN102737406B (zh) 三维建模装置及方法
KR101901586B1 (ko) 로봇 위치 추정 장치 및 그 방법
CN109242855B (zh) 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
JP6760957B2 (ja) ３次元モデリング方法及び装置
Lao et al. A robust method for strong rolling shutter effects correction using lines with automatic feature selection
JP2010510569A5 (zh)
US20130127827A1 (en) Multiview Face Content Creation
US20170272724A1 (en) Apparatus and method for multi-view stereo
WO2013106920A1 (en) Densifying and colorizing point cloud representation of physical surface using image data
CN107707899B (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
Tran et al. Low-cost 3D scene reconstruction for response robots in real-time
US11475629B2 (en) Method for 3D reconstruction of an object
JP7398819B2 (ja) 三次元再構成の方法及び装置
US20200036961A1 (en) Constructing a user's face model using particle filters
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置
JP7178803B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN103544732A (zh) 一种用于月球车的三维立体重建方法
CN106408654B (zh) 一种三维地图的创建方法及系统
KR101725166B1 (ko) 2차원 이미지들을 이용하여 3차원 이미지를 재구성하는 방법 및 이를 위한 장치
JP3614709B2 (ja) 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体
CN106844289A (zh) 基于手机摄像头扫描环境进行建模的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant