CN102822873A - 自动三维绘图方法 - Google Patents

自动三维绘图方法 Download PDF

Info

Publication number
CN102822873A
CN102822873A CN2010800622936A CN201080062293A CN102822873A CN 102822873 A CN102822873 A CN 102822873A CN 2010800622936 A CN2010800622936 A CN 2010800622936A CN 201080062293 A CN201080062293 A CN 201080062293A CN 102822873 A CN102822873 A CN 102822873A
Authority
CN
China
Prior art keywords
stereo disparity
image
aforementioned
described method
assessment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800622936A
Other languages
English (en)
Other versions
CN102822873B (zh
Inventor
L.哈格伦
J.博格
I.安德森
F.伊萨克森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saab AB
Original Assignee
Saab AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saab AB filed Critical Saab AB
Publication of CN102822873A publication Critical patent/CN102822873A/zh
Application granted granted Critical
Publication of CN102822873B publication Critical patent/CN102822873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种利用多个图像评估三维模型的自动三维绘图方法。本发明的目的是消除或者至少减小对平滑的要求并且因此增加3D模型的稳定性从而避免模糊。根据该方法,当图像被拍摄时,至少一个相机的位置(x、y、z)和空间方位角(α、β、γ)被记录;该至少一个相机在几何上被校准以指示图像的每个像素的方向;用于覆盖同一场景位置的多个图像对的立体差异被计算(42),从而设置差异以及每个立体差异的确定性度量评估;该不同立体差异评估被一起加权(43)以形成3D模型;并且该立体差异评估基于评估的3D模型被自动且自适应地重新加权。

Description

自动三维绘图方法
技术领域
本发明涉及一种利用多个图像评估三维模型的自动三维绘图(mapping)方法。
背景技术
通常已知根据立体摄影测量方法对三维3D模型进行评估涉及手动使用立体护目镜。也存在使用计算机的解决方案并且这种计算机化解决方案的示例尤其是在我们的专利申请PCT/EP2007/056780和PCT/SE2000/000739中被发现。传统上结果是基于从覆盖世界上同一场景的不同位置拍摄的两个图像。
从US5,808,626和US2002/0101438Al已知使用多个交叠的图像的方法。这些方法是基于识别和选择关键点。使用交叠图像的方法的其它示例从US6,658,207Bl、US2004/0105090Al、US2002/0163582Al和US5,104,217已知。
为了获得自动评估的精确性,通常需要引入某种类型的平滑方案。这种平滑的缺点在于,深度中的锐利变化将被平滑掉并且3D模型的综合质量将非常模糊。
本发明的目的是获得一种减小对平滑的需要的方法,从而得到不需要或者需要非常少的后期平滑的更稳定3D模型。
发明内容
该目的是通过一种方法来实现,该方法的特征在于:当图像被拍摄时,至少一个相机的位置和空间方位角被记录;至少一个相机在几何上被校准以指示图像中的每个像素的方向;用于覆盖同一场景位置的多个图像对的立体差异被计算,从而设置差异以及每个立体差异的确定性度量评估;不同立体差异评估被一起加权以形成3D模型;以及立体差异评估基于评估的3D模型被自动且自适应地重新加权。
我们的绘图方法依赖于此:该3D模型覆盖由收集的图像覆盖的整个区域,而不选择对象的关键点或节段。
根据前一段落通过计算用于覆盖同一场景位置的多个图像对的立体差异,不实施或者仅仅实施轻微的后期平滑以获得稳定3D模型。通过使用遵从表决或加权方案的从不同角度拍摄的若干不同图像,有可能将来自立体对的结果组合到三维模型,在世界是平滑之处例如在街道上,该三维模型将是平滑的,并且在锐利深度变化之处,该三维模型同时可以保持是锐利的。立体差异评估可以例如基于评估的3D模型的法向矢量被重新加权。另外,不同立体差异评估可以被一起加权以形成3D高度模型。
根据该方法的优选发展,计算用于每个可能的图像对的立体差异。通过利用尽可能多的图像对,3D模型在精确度方面被最优化。
根据该方法的又一优选发展,以大约60-90%的交叠拍摄在飞行方向上的图像。
根据该方法的另一优选发展,以大约60-80%的交叠拍摄相邻飞行之间的图像。
如上文提出的有关飞行方向以及相邻飞行之间的交叠的选择导致至少10个图像的覆盖度是可用的,从而对场景中的每个点的评估有贡献。
为了进一步增加可用的图像的数目,根据该方法的又一优选发展提出了在两个基本上垂直的飞行方向上有交叠地拍摄图像。
差异评估的加权可以按照许多不同方式执行。根据该方法的一个提议,立体差异的加权是基于求平均。为了避免不确定的测量,还提出了立体差异的加权涉及排除界外值。
可以考虑到局部对比度,例如由遮蔽或分辨率影响的可见性,或者这些考虑的混合,设置用于每个立体差异的确定性度量评估。
附图说明
现在将参考附图更详细描述本发明,在附图中:
图1示意性说明从天上(above)捕获图像。
图2a说明用于收集数据的已知立体方案的示例。
图2b说明将用于收集数据的提议的立体方案。
图3更示意性地说明将用于收集数据的另一提议方案。
图4示意性说明在根据本发明的3D绘图方法中涉及的图像处理。
具体实施方式
根据图1,在景观3上方在第一位置用实线并且在第二位置用虚线示出设有相机2的飞机1。如图中说明,景观高度不同,并且存在诸如房屋的陡峭配置4以及诸如绵延的山峦的更绵延的配置5。在第一位置的相机的位置由x、y、z表示并且空间方位角由α、β、γ表示。因此,旋转和位置的所有6个自由度是可用的。所示的第二相机位置的相应位置和空间方位角由x'、y'、z'和α'、β'、γ'表示。相机1对景观的覆盖度对于第一位置由线6、7表示并且对于第二位置由线6'、7'表示。当比较景观的从第一位置拍摄的图像与从第二位置拍摄的图像时,交叠部分8可以被识别。如果交叠8部分被观察到,可以看出从第一位置拍摄的图像缺乏有关陡峭配置4的竖直右部4.1的图像信息,而同一竖直右部4.1容易从第二位置被成像。因此,拥有覆盖同一场景位置的多个图像增大了构建与真实世界更一致的三维图像的可能性。
在图1中示出大约25%的交叠。当然这种交叠可以高得多,诸如例如为75%。
图2a示出已知立体方案的示例。通过在景观上方飞行设有向下看的相机的飞机或其它空中交通工具,使得在飞行方向上存在大约50-60%的交叠,并且对于相邻飞行大体上没有交叠以及实践中大约10%的交叠从而避免空洞,由此获得这种方案。在图中,上灰色条带9说明第一飞行的足印并且下灰色条带10说明第二飞行的足印。在条带9、10中,来自每隔一个图像的足印被说明为实矩形13-20,而位于它们之间的来自每隔一个图像的足印被说明为由垂直于飞行方向12的虚线界定的矩形21-26。通过所示的方案,地面上的每个点用两个图像覆盖并且根据这些图像可以计算立体评估。
图2b示出在我们提出的发明中可以使用的立体方案的示例。在所提出的方案中,上和下条带9、10说明在飞行方向12上80%的交叠以及相邻飞行之间60%的交叠。合适提议的交叠在飞行方向上为大约60-90%以及在相邻飞行之间为大约60-80%。在不同条带9、10中,5个不同矩形27-31可以被识别,说明沿着飞行方向重复地存在的5个连续足印。5个矩形用垂直于飞行方向的5种不同界定线(实线、点划线、短划线、长划线和双点划线)标示。通过如参考图2b所示出和描述的方案,地面上的每个点用至少10个图像覆盖并且所有这些图像可以对场景中每个点进行立体评估有贡献。数目可以是至少15,侧向67%的交叠。
图3示意性示出提供仍更多交叠的方案的示例。在这种情形中,不仅从在一个且第一飞行方向32上的基本上平行飞行路径收集图像,而且在基本上垂直于第一飞行方向的第二飞行方向33上收集图像。飞行在此处仅仅标示为在第一飞行方向32上的箭头34.1-34.5以及在第二飞行方向33上的箭头38.1-38.5。虽然箭头被示为指向同一方向用于飞行方向,它们中的一些,例如每隔一个可以指向相反的方向。相邻的平行飞行之间的交叠和在飞行方向上的交叠在图3中没有具体示出,但是可以如参考图2b所描述在宽的帧内变化。例如地面上的每个点可以被至少20个图像覆盖,所述至少20个图像可以对场景中每个点的立体差异评估有贡献。
现在参考图4描述本发明的3D绘图方法中涉及的图像处理。
参考图1、2b和3根据上述描述所收集的并且在存储单元45中可获得的图像44被应用到立体差异块42,该立体差异块计算覆盖同一场景位置的每个可能图像对n的立体差异。对于每个所涉及的图像,图像被拍摄的位置x、y、z和空间方位角α、β、γ是已知的,即旋转和位置的所有6个自由度是已知的。另外,评估每个立体差异的确定性度量。此度量可以基于局部对比度、可见性和/或分辨率。
在加权块43中考虑到评估的确定性度量,对在立体差异块42中计算的立体差异进行加权处理。在加权之后作为加权块43的输出而可获得高度模型46,该高度模型46作为格栅而可视化。根据此第一模型,将诸如可见性、局部对比度、分辨率和诸如遮蔽的可见性的信息考虑在内,基于评估的3D模型的法向矢量而自动且自适应地对原始立体评估进行重新加权。在此上下文中,例如从建筑物正上方拍摄的图像被用于评估屋顶结构,而不是用于评估建筑物的侧面。另一示例可以是避免建筑物的正面和背面的混合。通过利用来自侧面的图像以及相关测量的迭代处理,获得一种揭示被隐藏部分的更可靠3D模型。在加权处理中,界外值可以被挑选出来,并且作为直截了当的示例,场景的剩余立体差异通过求平均或者其它数学方法被一起加权,从而发现相似立体差异的浓度。
基于在加权块43的输出上的3D模型46,构建三角形的线模型47,并且该三角形用适合(fit)观看方向的图像遮盖。
本发明不限于上文示例性描述的方法,而可以在所附权利要求的范围中修改。

Claims (12)

1.一种利用多个图像评估三维模型的自动三维绘图方法,其特征在于,当图像被拍摄时,至少一个相机的位置和空间方位角被记录;至少一个相机在几何上被校准以指示图像中的每个像素的方向;用于覆盖同一场景位置的多个图像对的立体差异被计算,从而设置差异以及每个立体差异的确定性度量评估;不同立体差异评估被一起加权以形成3D模型;以及立体差异评估基于评估的3D模型被自动且自适应地重新加权。
2.如权利要求1所述的方法,其特征在于,立体差异评估基于评估的3D模型的法向矢量被自动且自适应地重新加权。
3.如前述权利要求中任意一项所述的方法,其特征在于,不同立体差异评估被一起加权以形成3D高度模型。
4.如前述权利要求中任意一项所述的方法,其特征在于,计算用于每个可能的图像对的立体差异。
5.如前述权利要求中任意一项所述的方法,其特征在于,以大约60-90%的交叠拍摄在飞行方向上的图像。
6.如前述权利要求中任意一项所述的方法,其特征在于,以大约60-80%的交叠拍摄相邻飞行之间的图像。
7.如前述权利要求中任意一项所述的方法,其特征在于,在两个基本上垂直的飞行方向上有交叠地拍摄图像。
8.如前述权利要求中任意一项所述的方法,其特征在于,考虑到分辨率设置用于每个差异的确定性度量评估。
9.如前述权利要求中任意一项所述的方法,其特征在于,立体差异的加权涉及排除界外值。
10.如前述权利要求中任意一项所述的方法,其特征在于,立体差异的加权是基于求平均。
11.如前述权利要求中任意一项所述的方法,其特征在于,考虑到局部对比度设置用于每个立体差异的确定性度量评估。
12.如前述权利要求中任意一项所述的方法,其特征在于,考虑到由例如遮蔽影响的可见性设置用于每个差异的确定性度量评估。
CN201080062293.6A 2010-01-26 2010-01-26 自动三维绘图方法 Active CN102822873B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2010/000015 WO2011093752A1 (en) 2010-01-26 2010-01-26 An automated three dimensional mapping method

Publications (2)

Publication Number Publication Date
CN102822873A true CN102822873A (zh) 2012-12-12
CN102822873B CN102822873B (zh) 2016-07-13

Family

ID=44319562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080062293.6A Active CN102822873B (zh) 2010-01-26 2010-01-26 自动三维绘图方法

Country Status (8)

Country Link
US (1) US9224242B2 (zh)
EP (1) EP2529358A4 (zh)
JP (1) JP5815562B2 (zh)
CN (1) CN102822873B (zh)
AU (1) AU2010344290B2 (zh)
CA (1) CA2787004C (zh)
IN (1) IN2012DN06329A (zh)
WO (1) WO2011093752A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5882693B2 (ja) * 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
DE102012103373A1 (de) 2012-04-18 2013-10-24 Jena-Optronik Gmbh Verfahren zur Erstellung eines 3D-Modells urbaner Umgebungen
WO2014112908A1 (en) * 2013-01-21 2014-07-24 Saab Ab A method and arrangement for providing a 3d model
US9619934B2 (en) 2013-01-21 2017-04-11 Vricon Systems Aktiebolag Method and an apparatus for estimating values for a set of parameters of an imaging system
EP3317852B1 (en) 2015-06-30 2021-05-12 Mapillary AB Method in constructing a model of a scenery and device therefor

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5104217A (en) 1986-03-17 1992-04-14 Geospectra Corporation System for determining and controlling the attitude of a moving airborne or spaceborne platform or the like
US5270756A (en) * 1992-02-18 1993-12-14 Hughes Training, Inc. Method and apparatus for generating high resolution vidicon camera images
JP3409873B2 (ja) * 1993-03-05 2003-05-26 株式会社東芝 物体入力装置
JP2888108B2 (ja) * 1993-09-29 1999-05-10 凸版印刷株式会社 視差画像作成方法および装置
JPH07254074A (ja) 1994-03-15 1995-10-03 Toppan Printing Co Ltd 視差画像作成方法および装置
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JPH0843055A (ja) 1994-07-29 1996-02-16 Canon Inc 3次元物体形状認識方法及び装置
JP3541855B2 (ja) 1994-12-01 2004-07-14 朝日航洋株式会社 3次元データ抽出方法及び装置
US5577181A (en) 1995-06-07 1996-11-19 E-Systems, Inc. Method for autonomous determination of tie points in imagery
JPH09305796A (ja) * 1996-05-16 1997-11-28 Canon Inc 画像情報処理装置
US6640004B2 (en) 1995-07-28 2003-10-28 Canon Kabushiki Kaisha Image sensing and image processing apparatuses
FR2767404B1 (fr) 1997-08-12 1999-10-22 Matra Systemes Et Information Procede de production de donnees cartographiques par stereovision
US6047078A (en) 1997-10-03 2000-04-04 Digital Equipment Corporation Method for extracting a three-dimensional model using appearance-based constrained structure from motion
JP3525712B2 (ja) * 1997-12-19 2004-05-10 富士ゼロックス株式会社 三次元画像撮像方法及び三次元画像撮像装置
SE518836C2 (sv) 1999-05-25 2002-11-26 Flir Systems Ab Anordning och förfarande för ett infrarött bildanalyserande autofokus
JP2002058045A (ja) * 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル3次元空間に登場させるためのシステム及び方法
US6658207B1 (en) 2000-08-31 2003-12-02 Recon/Optical, Inc. Method of framing reconnaissance with motion roll compensation
JP2002157576A (ja) 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
US6707464B2 (en) 2001-01-31 2004-03-16 Harris Corporation System and method for identifying tie point collections used in imagery
US7009638B2 (en) 2001-05-04 2006-03-07 Vexcel Imaging Gmbh Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems
JP4154476B2 (ja) 2001-11-28 2008-09-24 独立行政法人産業技術総合研究所 統合された形状モデル生成方法及びコンピュータプログラム
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
JP4178469B2 (ja) * 2003-11-27 2008-11-12 国際航業株式会社 空中写真画像データーセットの構成方法
CA2455359C (en) * 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
JP2008186145A (ja) 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
KR101388133B1 (ko) 2007-02-16 2014-04-23 삼성전자주식회사 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
JP4794019B2 (ja) * 2007-07-04 2011-10-12 サーブ アクティエボラーグ 領域の3次元マップ表現を提供するための装置及び方法
JP5120926B2 (ja) 2007-07-27 2013-01-16 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
EP2076055B1 (en) 2007-12-27 2012-10-24 Saab AB Method for displaying a virtual image
BRPI0910573B1 (pt) 2008-04-17 2019-09-03 The Travelers Indemnity Company sistema para processamento de uma reivindicação de seguro de propriedade

Also Published As

Publication number Publication date
AU2010344290A1 (en) 2012-08-23
CA2787004C (en) 2019-01-15
WO2011093752A1 (en) 2011-08-04
JP5815562B2 (ja) 2015-11-17
US20130027519A1 (en) 2013-01-31
IN2012DN06329A (zh) 2015-10-02
AU2010344290B2 (en) 2016-07-21
US9224242B2 (en) 2015-12-29
EP2529358A4 (en) 2013-11-20
CN102822873B (zh) 2016-07-13
CA2787004A1 (en) 2011-08-04
EP2529358A1 (en) 2012-12-05
JP2013518340A (ja) 2013-05-20

Similar Documents

Publication Publication Date Title
US8605993B2 (en) Methods and systems of merging depth data from a plurality of disparity maps
CN104062973B (zh) 一种基于图像标志物识别的移动机器人slam方法
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN105049784B (zh) 用于基于图像的视距估计的方法和设备
CN108508916B (zh) 一种无人机编队的控制方法、装置、设备及存储介质
KR101260132B1 (ko) 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체
CN102510506B (zh) 一种基于双目图像和距离信息的虚实遮挡处理方法
CN102822873A (zh) 自动三维绘图方法
CN104502990A (zh) 一种基于数码图像的隧道掌子面地质调查方法
WO2013090854A1 (en) Parallax compensation
US20200349757A1 (en) Object capture coverage evaluation
JP2019148946A (ja) 施工工程管理システム及び施工工程管理方法
CN106845692A (zh) 一种考虑气象信息的成像卫星任务规划方法
CN104200492A (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN114494618A (zh) 地图的生成方法、装置、电子设备及存储介质
CN113032977A (zh) 基于无人机逆建模技术的土石方量测算方法
Kaufmann et al. Conventional and UAV-Based Aerial Surveys for Long-Term Monitoring (1954–2020) of a Highly Active Rock Glacier in Austria
Yoo et al. True orthoimage generation by mutual recovery of occlusion areas
CN106056030A (zh) 用于对人数进行计数的方法和设备
EP3794910B1 (en) A method of measuring illumination, corresponding system, computer program product and use
CN106973224A (zh) 辅助构图的控制方法、控制装置及电子装置
EP2975850A1 (en) Method for correcting motion estimation between at least two frames of a video sequence, corresponding device, computer program and non-transitory computer-readable medium
Jaw et al. Control patches for automatic single photo orientation
Kaufmann et al. Panta Rhei: Movement Change of Tschadinhorn Rock Glacier (Hohe Tauern Range, Austria), 1954–2017
KR20150086601A (ko) 열대 저기압에 대한 지역별 예측 오차의 2차원 표출 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant