CN106461391B - 测量系统 - Google Patents

测量系统 Download PDF

Info

Publication number
CN106461391B
CN106461391B CN201480078610.1A CN201480078610A CN106461391B CN 106461391 B CN106461391 B CN 106461391B CN 201480078610 A CN201480078610 A CN 201480078610A CN 106461391 B CN106461391 B CN 106461391B
Authority
CN
China
Prior art keywords
image
camera
point
measurement
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480078610.1A
Other languages
English (en)
Other versions
CN106461391A (zh
Inventor
克努特·西尔克斯
伯恩哈德·麦茨勒
E·V·范德泽万
T·菲德勒
R·帕雷斯
A·韦利赫夫
J·舍加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexagon Technology Center GmbH
Original Assignee
Hexagon Technology Center GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201611120367.2A priority Critical patent/CN107084710B/zh
Priority to CN201611120364.9A priority patent/CN106908046B/zh
Priority to CN201611120366.8A priority patent/CN107101620B/zh
Priority to CN201611120368.7A priority patent/CN106918331B/zh
Priority to CN201811582495.8A priority patent/CN109945844B/zh
Priority to CN201710846461.4A priority patent/CN107655461B/zh
Priority to CN201611120164.3A priority patent/CN106959102B/zh
Priority to CN201611120371.9A priority patent/CN106959103B/zh
Application filed by Hexagon Technology Center GmbH filed Critical Hexagon Technology Center GmbH
Priority to CN201710846198.9A priority patent/CN107727076B/zh
Publication of CN106461391A publication Critical patent/CN106461391A/zh
Application granted granted Critical
Publication of CN106461391B publication Critical patent/CN106461391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • G01C15/004Reference lines, planes or sectors
    • G01C15/006Detectors therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/10Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本发明涉及测量系统(1),其被适配为确定安装在测量杆(10)上的位置测量资源的具体地GNSS天线(15)的或回复反射器的位置。该系统包括相机模块(30)以及控制和评估单元(12)。其中,相机模块(30)被设计为附接至测量杆(10)并且包括用于拍摄图像的至少一个相机。控制和评估单元已存储具有程序代码的程序以便控制和执行如下的功能,其中,当沿着通过环境的路径移动时,环境的图像的系列利用所述至少一个相机拍摄,利用使用图像的系列的定义算法的SLAM评估被执行,其中,基准点场被建立并且所拍摄的图像的姿态被确定,以及,基于所确定的姿态,包括环境的点的3D位置的点云能够通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算。

Description

测量系统
本发明涉及包括提供图像以用于执行SLAM或SfM算法的相机模块的测量系统。
本发明描述了一种能够在杆上附接至GNSS天线或反射器以用于在没有行进步骤的情况下测量点的相机模块。
而且,所述相机模块使得能实现GNSS信号或全站仪与杆之间的视线中断的点的测量。
而且,从利用相机模块获取的成像数据能够得到环境的点云。
而且,能够生成例如地形或立面的校正的视图或正射相片。
在利用GNSS杆的传统测量中,测量员将杆尖端放置到测量点上,使杆水平并且触发测量。测平步骤花费一些时间,并且在未被适当地执行的情况下,导致劣化的测量结果。
利用GNSS杆测量仅在能够接收到足够数量的GNSS卫星的信号的地点处是可能的。当测量员移动靠近建筑物时,卫星信号中的一些可能不再是可接收的。因此,在这种地方处测量根本是不可能的。
GNSS测量系统能够在全局标度(例如,2-4cm)上以良好准确性记录绝对位置。然而,这种系统能够仅记录操作员必须将GNSS杆垂直地定位在要测量的点顶上的单个点。利用GNSS杆得到点云不是现有技术水平。
现有技术
US 2011/0064312 A1涉及基于图像的地理参照并且公开了GNSS测量与图像处理的组合以为定位提供新解决方案。存储的地理参照图像与由GNSS接收机做出的实际图像相比较(特征相关)。这然后被用来限制GNSS测量的准确性或者补充遗漏部分(例如,高度信息)。相反,即GNSS测量被用来更新所存储的图像的地理参照也是可能的。这还能够被用来确定本地坐标系统。
US 2011/0157359 A1公开了使相机的虚拟透视中心与位置测量系统的测量(天线)中心对准。这方便组合图像/GNSS系统中的计算。WO 2011/163454 A1公开了一种用于基于图像的定位、从一个图像到下一个图像跟踪图像特征以便使用SLAM技术来确定GNSS接收机的位置改变的方法和设备。WO 2010/080950 A1公开了根据图像数据确定GNSS接收机的定向。
由具有相机的系统记录的数据的处理需要高计算资源。现有技术水平解决方案被称为数据在强大的膝上型电脑、PC或者在外部云服务器上的处理。处理时间可能是相当耗时的并且通常在办公室中被执行。
然而,对于一些任务(例如,基于3D图像的重建的预览)强大的场内计算容量是需要的。经由无线网络的数据传送在带宽有限时通常也是耗时的并且不允许得到计算的快速结果。
以下解决方案具体地被提出来以具有快速场内数据处理的能力。一个或更多个外部便携式计算装置(例如,智能电话、平板PC、膝上型电脑)被作为计算装置注册在测量系统中。该系统与这些计算装置中的至少一个具有电缆或无线连接。数据被传送到这些装置并且所有计算自动地分布在所有可用的计算装置之间。所有计算装置能够在彼此之间通信。
其中,这种解决方案的一个优点是将所有可用的计算资源用于快速场内数据处理或可视化的能力。能够在没有对测量装置的更新的情况下为计算容易地添加新装置。
本发明的一个方面涉及一种被适配为在测量系统的坐标系统中确定被安装在测量杆上的位置测量资源具体地GNSS天线或回复反射器的位置的测量系统,该测量系统包括具有相机模块(30)的测量子系统,该相机模块(30)附接至所述测量杆(10)并且包括用于拍摄图像的至少一个相机(31),以及控制和评估单元(12),该控制和评估单元(12)已存储具有程序代码的程序以便控制和执行定向确定功能,其中
●环境的图像的系列是利用所述至少一个相机在沿着通过环境的路径移动时拍摄的,该系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,
●包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且
●所述图像的所述姿态被确定;
●由所述位置测量资源在沿着所述路径移动时采用的确定的位置被从所述测量系统中检索;以及
●所述至少一个相机在所述测量系统的坐标系统中的外部定向是至少基于所确定的图像的系列的至少一个指定图像的姿态并且基于所确定的位置而得到的。
所述测量系统还包括处理单元,该处理单元已存储具有程序代码的程序以便控制和执行单点测量功能,其中,在触发时
●已由所述位置测量资源在沿着所述路径移动时在触发相关时间点采用的触发相关位置由所述测量系统利用所述位置测量资源以及具体地所确定的姿态和/或IMU数据来确定;
●已由所述至少一个相机在所述触发相关时间点采用的触发相关外部定向通过所述定向确定功能来确定;并且
●所述测量系统的所述杆的底部的位置是基于至少所述触发相关位置和所述触发相关外部定向按照所述坐标系统的坐标而确定的。
在这个系统的一个实施方式中,所述至少一个相机的定向是基于所确定的姿态中的一个或更多个并且
●基于来自所述相机模块的惯性测量单元的数据,并且/或者
●基于所述位置测量资源的多个确定的位置,具体地,移动路径的行进历史而得到的。
在这个系统的另一实施方式中,所述定向在所有三个旋转自由度上得到,具体地其中,在六个自由度上的位置和定向被确定。
在这个系统的另一实施方式中,所述测量杆的定向是基于所述姿态而得到的。
在这个系统的另一实施方式中,所述单点测量功能涉及触发相关分段集束调整是为了确定所述触发相关外部定向而执行的,其中,使用仅图像的系列的最近图像的子集,该子集具体地由最多实际50个与最多实际5个之间的图像构成,在所述子集范围内的所述基准点场和所述姿态针对所述子集的图像被追溯地重新计算,并且其中,这些重新计算的姿态被用于得到所述外部定向。
本发明还涉及一种以定标的点云的形式提供环境的位置信息的测量系统。本发明因此涉及一种测量子系统,该包括要用作被适配为确定被安装在手提测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块的测量子系统,具体地其中,所述位置测量资源包括GNSS天线或回复反射器。
所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少一个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行空间表示生成功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列中的图像的前方交会来计算,
●针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且
●所述点云借助所接收到的确定的位置被定标,并且具体地被地理参照。
根据该发明的一个特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述点云被生成
●跨越整个环境在空间上包括且可理解和/或
●具有跨越所述环境的3d信息的比较低的分辨率,从而提供对所述点云的比较快的处理。
根据该发明的另一特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得为经定标的点云生成了图形再现,该图形再现可由所述测量系统的显示装置显示,从而向用户提供关于已经获取的数据的直接反馈,使得所述已经获取的数据关于其完整性能够被检查。
根据所述子系统的又一特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得为在图像的系列中的至少一个图像中选择的单个点得到位置信息,其中,具有与所选择的点有关的确定的姿态的图像的子集根据图像的系列具体地所选择的点出现在其中的所有图像被自动地标识,并且所述位置信息是基于所述子集具体地在所述点由用户人工地选择之后计算出的。
根据所述子系统的另一特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述点云被处理覆盖
●总体上如至少在图像的系列中的图像对中共同出现的所述环境,从而提供具有比较低的点到点分辨率的全局表示,和/或
●如至少在图像的序列中的图像对中共同出现的所述环境的定义区域,从而提供与所述全局表示相比具有更高的点到点分辨率的区域表示,具体地其中,所述点云的点到点分辨率是根据所述区域的大小自动地适配的,使得处理时间满足定义阈值。
现在参照创建正射相片的问题,根据该发明的对应布置像在下面所阐述的那样被描述。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块,所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少一个相机,所述控制和评估单元已存储具有程序代码的程序以控制和执行地理参照功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,环境地面出现在所述图像中,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定;
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算;并且
●所述环境地面的正射校正的正射相片是基于图像的序列而生成的。
在这个子系统的一个实施方式中,所述地理参照功能包括使所述正射相片与用于得到所述测量系统的位置信息的基准正射相片相匹配,具体地其中,所述基准正射相片
●被存储在所述控制和评估单元中,并且/或者
●是空中图像或其一部分,具体地其中,所述空中图像被正射校正。
在这个子系统的另一实施方式中,经正射校正的正射相片借助于图像的系列中的至少两个图像的图像拼接而生成。
根据与相机模块的相机的特定光学器件有关的另一方面,本发明还涉及一种要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的相机模块,具体地其中,所述位置测量资源包括GNSS天线或回复反射器。所述相机模块被设计为附接至所述测量杆并且包括按照基本上截然相反的查看方向彼此相对布置的两个相机,所述两个相机中的每一个具有鱼眼镜头并且被适配为拍摄宽全景图像。
本发明还涉及一种包括相机模块以及控制和评估单元的测量子系统。所述相机模块包括至少一个相机,所述相机具有鱼眼镜头并且被适配为拍摄宽全景图像。所述控制和评估单元已存储具有程序代码的程序以便控制和执行空间表示生成功能,其中,当沿着通过环境的路径移动时,所述环境的全景图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的全景图像,所述姿态表示所述相机的相应的位置和定向,利用使用全景图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在全景图像的系列中的全景图像的多个子组中的每一个被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述全景图像的所述姿态被确定。
通过连同所述相机模块一起使用鱼眼光学系统,比较宽的视场被实现,从而提供覆盖环境的相应地大区域的图像。为了覆盖所述环境的定义部分,必须拍摄更少的图像。
根据本发明的特定实施方式,所述相机模块包括按基本上截然相反的查看方向彼此相对布置的两个相机,所述两个相机中的每一个具有鱼眼镜头并且被适配为拍摄宽全景图像。
根据该测量子系统的另一特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述全景图像的所述姿态通过考虑所述鱼眼镜头的光学特性应用定义光学成像方法来确定,具体地其中,不同的成像平面被与所述光学成像方法一起使用并且/或者以下映射函数中的一个被使用:
●球极映射函数,
●等距映射函数,
●等立体角映射函数,或
●正射映射函数。
使用利用这些鱼眼光学器件拍摄的图像来计算所述姿态和/或点云使用以上方法中的一个来执行,以便提供所述基准点的确切投影并且因此以便提供所述环境的正确的位置和/或定向信息。在那样地对所述环境进行投影情况下能够提供所述环境的无失真图像。
根据所述子系统的另一特定实施方式,所述两个相机中的每一个在关于至少一个轴的相应的查看方向上具体地在方位方向上具有至少180°的视场。
使用具有关于它们的视场具有至少180°的鱼眼镜头的所述两个相机,能够拍摄具有360°的完全全景图像并且因此提供数据的更完整和/或更详细收集。因此,能够收集关于所述环境的更多的信息,即具体地,更大的点云。
利用鱼眼光学器件与如描述的一种SLAM算法(即,拍摄一系列图像、标识对应于所述环境中的基准点的图像点)的这种组合,给出了得到大量的位置(例如针对所述环境中的单个点)和/或定向信息(例如,所述全景相机或该相机附接至的杆的)的非常高效的方式。能够利用所述相机拍摄所述环境的宽区域并且能够基于相应的全景图像得到与所拍摄的区域对应的地形信息。
本发明的另一方面集中于一种要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的特定相机模块,具体地其中,所述位置测量资源包括GNSS天线或回复反射器,其中,所述相机模块被设计为附接到所述测量杆并且包括相机和光学元件,该光学元件被设计为使得所述相机在方位方向上具有360°的视角,具体地其中,所述光学元件包括形式为锥体、球体或弯的镜面。
所述光学元件优选地可以被具体实现为抛物面镜。
根据该相机模块的实施方式,所述相机和所述光学元件被布置和设计为使得要拍摄的环境被投影到所述相机的传感器上,使得所述环境的图像可提供有基本上覆盖所述环境的相等大小的部分的所述图像的相等大小的块,从而在均匀再现中提供表示所拍摄的环境的图像。
在按照以上方式将所述环境投影到所述传感器上的情况下提供了所述环境的无失真图像,并且因此,具体地鉴于SLAM处理或点云的处理,使得能实现拍摄图像的更快处理。
另选地,根据本发明的另一方面,具体地用于减少来自窗的反射或者对太阳光进行滤波的偏振滤光器能够被安装有所述相机,例如在所述相机的镜头前面。
这种光学元件(例如,抛物面镜)结合如所描述的相机的布置提供也可与关于鱼眼光学器件与相机或至少两个相机的组合的那些好处比较的好处。附加地,对应图像的360°全景视图和拍摄仅利用单个相机实现,从而还提供仅一个相机的使用。
现在参照触发被布置在相机中以便提供同步地拍摄的图像的相机的问题,根据该发明的对应布置像在下面所阐述的那样被描述。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行全景图像生成功能,其中,响应于开始命令
●所述环境的图像的系列利用所述至少两个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;并且
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定;
其中,可由至少第一相机和第二相机感知并且使该第一相机和该第二相机同步地拍摄图像的中心光学触发信号被生成。
在这个子系统的一个实施方式中,所述全景图像生成功能包括从所述第一相机和所述第二相机的经同步地拍摄的图像生成组合拼接图像。
在这个子系统的一个实施方式中,所述位置测量资源包括GNSS天线,并且所述控制和评估单元被配置为使得,当沿着通过所述环境的路径移动时,所述全景图像生成功能被控制和执行,使得
●基于通过所述GNSS天线接收到的GNSS信号的GNSS数据由所述控制和评估单元从所述测量系统接收,并且使得
●所述中心光学触发信号是基于所接收到的GNSS数据而生成的。
在这个子系统的另一实施方式中,所述控制和评估单元被配置为使得当沿着通过所述环境的路径移动时,所述全景生成功能被控制和执行,使得所述开始命令基于以下各项被释放
●与要生成的全景图像的密度相关的定义位置网格以及
●移动路径的行进历史,该行进历史是从所接收到的确定的位置得到的。
在另一实施方式中,所述子系统包括可由所述至少两个相机中的每一个感知的至少一个光学触发装置,其中,所述中心光学触发是所述至少一个光学触发装置的可感知的光学信号,具体地其中,所述光学触发装置包括闪光灯。
在另一实施方式中,所述子系统包括可由所述第一相机和所述第二相机感知的至少一个光学触发装置,其中,所述中心光学触发是所述至少一个光学触发装置的可感知的光学信号,具体地其中,所述光学触发装置包括发光二极管。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行图像触发功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;并且
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定;
其中,所述测量子系统包括用于确定至少一个预定义外部触发信号的装置,并且所述图像触发功能包括确定外部触发信号,其中,基于所确定的外部触发信号,所述至少一个相机拍摄图像。
在这个子系统的一个实施方式中,所述相机模块包括至少两个相机;所述外部触发信号使所述至少两个相机中的每一个同步地拍摄图像;并且从所述至少两个相机的经同步地拍摄的图像生成组合拼接图像。
在另一实施方式中,用于存储至少一个预定义外部触发信号的装置,其中,所述至少一个预定义外部触发信号包括
●可由所述至少一个相机确定的所述用户的至少一个预定义手势;
●至少一个声信号;和/或
●所述测量杆具体地所述测量杆的底端与所述地面的接触。
本发明还涉及一种测量系统的模糊功能。对所述图像数据,能够应用针对汽车上的面部检测和牌照的检测的算法。为了保护人们的隐私,所检测的面部或牌照然后能够例如通过使所述图像中以及所述点云中的对应区域模糊而变得不可识别。
对于按大约10FPS和更大的帧速率记录的图像数据能够应用特征跟踪算法,例如Kanade-Lucas-Tomasi(KLT)。另选地,具体地针对静止图像能够应用诸如SIFT、SURF、BRISK、BRIEF等的对应特征算法的检测。
根据本发明的这个方面的测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行数据减少功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定;
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算;
●预定义和/或用户定义种类的对象在所述图像中被标识;并且
●连接到所述图像中经标识的对象的点的3D位置被修改或者删除。
在这个子系统的一个实施方式中,所述3D位置被修改或者删除,使得经标识的对象的个别特性不可在经计算的点云中标识。
在这个子系统的另一实施方式中,连接到所述图像中经标识的对象的图像数据被修改或者删除,具体地使得经标识的对象的个别特性不可在所述图像中标识。
在这个子系统的另一实施方式中,预定义种类的对象至少包括
●操作所述测量系统的用户;
●所述测量系统的零件;
●人脸;和/或
●车辆牌照。
本发明的另一方面集中于当执行测量任务时的隐私或安全保护。在特定区域中,拍摄照片或视频经受所有者或机构的批准或者完全禁止。这些区域例如是军事设施。根据本发明的这个方面,为了在测量任务的过程中避免合法冲突,为了点云的计算而拍摄的所有图像在它们已被相应地使用之后被直接删除并且不再需要用于计算所述点云。必须同时存储仅少量的图像以用于计算所述点云。
因此,本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行定位和/或映射功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,环境地面出现在所述图像中,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●所述图像被存储在所述控制和评估单元的存储器中,具体地在易失性存储器中;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定;
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算;并且
●所述图像中的每一个在已被用于计算所述点云之后被删除。
在这个子系统的一个实施方式中,所述图像在已被用于计算所述点云之后被毫不迟延地删除,具体地其中,所述图像被删除使得不能够从经删除的图像创建视频流。
在这个子系统的另一实施方式中,所述图像被存储和删除,使得不超过十个图像被同时存储在所述存储器中,具体地不超过五个图像。
现在参照使来自收集的图像的对象淡出以便改进处理的发明方面,根据该发明,测量子系统包括要用作被适配为确定被安装在手提测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块,具体地其中,所述位置测量资源包括GNSS天线或回复反射器。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行空间表示生成功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
其中,在图像的系列中干扰对象通过图像处理、特征识别技术和/或所述图像的比较来识别,并且经识别的干扰对象关于标识图像点的集合和/或确定所述图像的所述姿态在有关的图像中淡出,使得评估是不太需要努力的并且干扰被抑制。
根据该测量子系统的实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得运动对象基于运动检测算法具体地通过特征跟踪被识别为所述干扰对象。
根据所述子系统的另一特定实施方式,人具体地携带所述杆的所述用户或汽车被识别为所述干扰对象。
根据该发明的另一实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得应用识别所述干扰对象并且使所述干扰对象淡出的步骤通过用户命令来触发。
具体地,所述用户在图像的系列的至少一个中粗略地标记要识别为干扰对象的对象,因此所述至少一个图像被显示在显示装置上。
干扰对象的检测和淡出提供更快的数据处理,因为为了确定姿态必须考虑少量的图像数据。此外,所计算出的姿态包括更高的精密度,因为将例如在考虑在不同的时间点拍摄的更多图像中的运动汽车的情况下发生的不正确的成像最初被抑制。
附加地,以上方法通常提供对基准点(所述图像中的图像点)的更好的(具体地更精确且更快的)匹配和标识。所述方法可以由所述控制和评估单元自动地执行或者可以由用户例如在该用户在显示在所述测量系统的显示装置上的图像中做出相应的对象时出发。
另一方面集中于相机(相应地相机模块)的校准。根据该发明,一种包括要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块的测量子系统,具体地其中,所述位置测量资源包括GNSS天线或回复反射器,所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述位置测量资源包括位于所述测量资源的外壳处的基准图案。所述位置测量资源和所述相机模块被按照定义方式彼此相对地布置,使得所述基准图案出现在所述至少一个相机的视场中。
此外,所述控制和评估单元已存储具有程序代码的程序以便执行相机校准功能,其中
●覆盖所述基准图案的图像由所述至少一个相机拍摄,并且
●关于所述位置测量资源与所述至少一个相机之间的固定空间关系的校准参数是基于所拍摄的图像和预知基准图像来确定的,所述基准图像通过所述基准图案在所述基准图像中的定义出现来表示所述至少一个图像相对于所述位置测量资源的定义位置和定向。
根据该测量系统的特定实施方式,所述基准图案作为由光源提供的结构化图案或者作为永久图案被具体实现。
基于所确定的校准数据,使得能实现所述相机或所述相机模块分别相对于所述位置测量资源的期望位置的验证。如果所述基准图案根据目标外观出现在拍摄的图像中,则所述相机被定位在期待的原位置中。在所述图案的外观与期待的外观不同的情况下所述相机模块被定位和/或定向为与原位置不同。能够通过将所述基准图像与实际上拍摄的图像进行比较具体地通过对所述图案的外观进行比较来得到所述相机的位置的偏差。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述位置测量资源和所述相机模块被按照定义方式彼此相对地布置,此外,所述控制和评估单元已存储具有程序代码的程序以便控制和执行校准功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
●针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且
●关于所述位置测量资源与所述至少一个相机之间的固定空间关系的校准参数是基于所接收到的确定的位置和所确定的姿态的相关评价而得到的。
根据该子系统,针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且关于所述位置测量资源与所述至少一个相机之间的固定空间关系的校准参数是基于所接收到的确定的位置与所确定的姿态的相关评价而得到的。
根据本发明的实施方式,所述控制和评估单元被配置为使得所述校准功能被控制和执行,使得根据所述路径的迹线是基于所得到的姿态并且基于所接收到的确定的位置而得到的,其中,所述校准参数是基于对所述迹线进行比较而得到的。
根据本发明的另一特定实施方式,所述控制和评估单元被配置为使得所述校准功能被控制和执行,使得所述校准参数通过附加地使用由惯性测量单元生成的数据而被得到,所述惯性测量单元与所述测量子系统或所述位置测量资源关联。
根据本发明的又一特定实施方式,所述位置测量资源的所接收到的位置通过在所述位置测量资源一侧接收GNSS信号或者通过在所述位置测量资源一侧反射测量激光束来确定,该测量激光束由全站仪或经纬仪发射和接收。
使用关于从所述测量系统接收到的所述位置信息以及基于所拍摄的图像而确定的所述姿态二者的信息,能够得到所述相机(相机模块)和所述位置测量资源的相对位置和定向并且能够从此计算所述两个组件的相对空间定向。所述姿态表示所述相机的相应的定向。该方法在移动所述相机(并且相应地移动所述位置测量资源)的同时提供连续且自动位置校准。借助于由所述惯性测量单元提供的数据这种校准按六个自由度(6-DOF)实现。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。惯性测量单元按照相对于所述测量子系统的固定空间关系与所述测量子系统或所述位置测量资源关联。
所述控制和评估单元已存储具有程序代码的程序以便控制和执行校准功能,其中,当沿着通过环境的路径移动时
●惯性测量数据是在沿着所述路径移动的同时收集的,
●基于图像的定位被生成,因此所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,并且
●用于所述惯性测量单元的校准参数是基于所收集的惯性测量数据和所述基于相机的定位数据而得到的,具体地其中,卡尔曼滤波器被使用。
根据本发明的实施方式,所述控制和评估单元被配置为使得所述校准功能被控制和执行,使得所述惯性测量单元使用所得到的校准参数来校准,其中,所述惯性测量单元的系统误差被补偿,具体地其中,所述惯性测量单元的偏差(bias)被补偿。
通过应用所得到的校准参数仅仅(仅)基于从所述图像的姿态得到的即从在移动所述相机的同时拍摄的图像的系列得到的所述定向数据提供所述IMU(惯性测量单元)的校准。相机和IMU在移动的同时被布置在定义相对空间位置中。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为利用测量杆确定位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为在到所述杆的底端的已知距离上附接至所述测量杆并且包括用于拍摄图像的至少一个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行定标功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,环境地面出现在所述图像中,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定;
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算;
●从所述相机到所述地面的距离是基于从所述相机到所述底端的所述已知距离而确定的;并且
●所述点云基于所确定的距离被定标。
在这个子系统的一个实施方式中,对所述点云进行定标包括基于所确定的距离来确定所述地面上的点的3D位置。
在这个子系统的另一实施方式中,确定从所述相机到所述地面的所述距离包括具体地从所述姿态得到所述相机的定向。
此外,关于本发明的另一方面涉及一种针对测量子系统的集束调整,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。
所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行定标功能,其中,当沿着通过环境的路径移动时,至少
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
●针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且,
●在接收到测量触发时,分段集束调整被执行,其中,与和所述测量触发有关的减少数量的图像一起使用仅图像的系列的子集,所述基准点场和所述姿态针对所述子集的图像被追溯地重新计算。
根据本发明,基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列中的图像的前方交会来计算,针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且在选择图像的系列中的图像中的至少一个中的单个点或区域时,至少基于相应地在所述区域的点附近的预定义区域的图像数据并且基于与所接收到的确定的位置有关的信息执行用于细化所述点云的集束调整。
具体地,作为最终或中间布置,总体解决方案(至少姿态和点云)使用集束调整来细化。所述算法的这个部分是再投影误差的非线性最小二乘最小化。它将优化相应的相机位置和3D点的定位和定向。
在以上集束调整的上下文中,收集的测量数据(例如,图像、图像点、姿态和/或3D位置)的一部分被用于参照由所拍摄的图像覆盖的所述环境的一部分来提供细化的(部分)点云。具体地,通过卡尔曼滤波器提供的这种测量数据被使用。具体地,根据闭合测量历史的测量数据被使用,例如与前面的和/或连续的十个姿态对应的数据(相对于用于集束调整的感兴趣点或区域被选择输入的图像)。
根据所述子系统的一个实施方式,位置信息可从测量触发得到,并且所述子集是基于所述位置信息选择的。
根据所述子系统的另一实施方式,所述测量触发是可从测量系统接收的触发。
根据所述子系统的又一实施方式,所述测量触发是通过将所述杆放置在测量点上和/或使所述杆保持基本上在固定位置和定向上达预定时间段而自动地引起的。
在所述子系统的另一个实施方式中,所述分段集束调整通过使用在标识所述图像点并且确定所述姿态的情况下发生的误差的非线性最小二乘最小化来执行。
在所述子系统的一个实施方式中,与所述测量触发有关的定位信息是基于重新计算的姿态而得到的,具体地其中,所述手提测量杆针对一个或更多个测量触发相关时间点的位置和定向被得到。
在所述子系统的另一实施方式中,所述点云借助于所确定的位置被定标,并且/或者所述测量杆的尖端的位置的坐标在执行分段集束调整之后在所述测量触发时作为反应被得到和输出。
执行所述集束调整提供所选择的点的位置的非常精确的确定或者相应地定义区域中的点的量的精确的确定,并且从而提供所述定义区域的确切数字3D模型。
通过集束调整实现了关于考虑所述集束调整的执行的图像的所计算出的姿态的细化。这种细化再次导致3D位置的更精确的确定。
此外,所述杆的定向(在根据所述姿态计算的情况下)可以被以更精确的方式确定。具体地,这种定向由于所计算的姿态而得到有六个自由度(6-DOF)。
所述集束调整具体地在所述系统的用户选择所述点或所述区域时被执行,其中,经调整的数据被以实时方式提供给所述用户,即所述选择选择所述点并且例如在所述系统的显示装置上基本上立即接收计算结果。
另一个发明方面涉及一种要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的特定相机模块,具体地其中,所述位置测量资源包括GNSS天线或回复反射器。该相机模块被设计为附接至所述测量杆并且包括至少第一相机和第二相机,该第一相机包括第一成像特性并且该第二相机包括与所述第一成像特性不同的第二成像特性。
根据本发明的实施方式,所述第一相机被设计为使得具有比可利用所述第二相机拍摄的图像的图像分辨率低的图像分辨率的图像被拍摄。
根据本发明的另一个实施方式,所述第一相机包括第一成像传感器并且所述第二相机包括第二成像传感器,其中,所述第一成像传感器与所述第二成像传感器相比关于要拍摄的图像提供更低的点到点分辨率。
根据本发明的另一个实施方式,与所述第二相机相比所述第一相机被设计用于以更高的帧速率拍摄图像。
根据本发明的另一个实施方式,所述第一相机被设计为使得根据第一光谱范围的图像拍摄被提供并且所述第二相机被设计为使得根据第二光谱范围的图像拍摄被提供,其中,所述第一光谱范围与所述第二光谱范围不同,具体地其中,所述第一相机提供根据红外光谱范围的图像拍摄或者提供温度记录图图像。
按不同的光谱范围拍摄图像提供用于得到所覆盖的环境的更详细的信息,具体地用于具有改进的纹理或关于光谱特性(例如,关于对象的热特性)的扩展信息的图像的生成(例如,通过合并覆盖所述环境的公共区域的不同的光谱范围的图像)。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在手提测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块,其中,所述位置测量资源包括GNSS天线或回复反射器。
所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个图像,其中,所述至少两个图像中的第一个被设计为按与可利用所述至少两个相机中的第二个拍摄的第二图像相比更低的图像分辨率拍摄第一图像,
所述控制和评估单元已存储具有程序代码的程序以便控制和执行定标功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的第一系列利用所述第一相机拍摄,所述第一系列包括按所述第一相机的不同姿态捕获的一定量的图像,所述姿态表示所述第一相机的相应的位置和定向,并且所述环境的图像的第二系列利用所述第二相机并行地拍摄,并且
●利用使用仅图像的第一系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的第一系列的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
从而与通过利用所述第二相机拍摄图像而生成的处理数据相比在所述SLAM评估内提供更快的数据处理。
根据本发明的实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得基于所确定的姿态包括所述环境的点的3D位置的点云通过使用图像的第二系列的图像的前方交会被计算为所述空间表示。
根据本发明的另一实施方式,所述点云的处理通过用户命令来触发。
根据本发明的另一实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述点云的处理使用图像的第二系列的图像的定义子集来执行,其中,所述子集可由用户选择,从而提供用于在比较短的时间中为所述环境的期望部分生成详细的3D信息。
根据本发明的另一实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得密集匹配算法被执行以用于使用图像的第二系列的图像来提供所述点云。
根据本发明的另一实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得基于所确定的姿态,包括所述环境的点的3D位置的初始点云通过仅使用图像的第一系列的图像的前方交会来计算。
根据本发明的另一个特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得为所述初始点云生成了图形再现,该图形再现可由所述测量系统的显示装置显示,从而向用户提供关于已经获取的数据的比较快的直接反馈,使得所述已经获取的数据关于其完整性能够被检查。
根据本发明的另一个特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得密集匹配算法被执行以用于使用具有更低的图像分辨率的图像的第一系列的图像来提供所述初始点云,从而提供比较快的数据处理。
根据本发明的另一个特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述第一相机以与由所述第二相机拍摄所述第二图像相比更高的帧速率拍摄所述第一图像。
因此,当具有高分辨率的图像以及具有更低分辨率的图像二者由所述相机模块的所述至少两个相机提供时,给出了快速且高效的数据处理以及关于位置和/或定向的确定生成高度精确的数据的可能性的方面。因此,具体地根据测量处理的类型或阶段使得用户能够选择哪一个数据将被计算和/或输出例如在显示装置上。例如为了得到关于所述测量处理的进度的快速概要快速数据处理和输出将是需要的并且将可通过更低分辨率的图像数据提供。另选地或附加地,非常详细的且精确的位置信息通过例如同时使用更高分辨率图像数据来提供。
本发明的另一方面涉及一种关于具有特定相机的测量子系统的类似方法。所述测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块,具体地,其中,所述位置测量资源包括GNSS天线或回复反射器。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少一个(双模式)相机,所述相机被设计为使得关于按不同的分辨率并且/或者按不同的帧速率拍摄图像的不同的拍摄模式被提供,所述控制和评估单元已存储具有程序代码的程序以便控制和执行空间表示生成功能,其中
●低分辨率高帧速率模式是为图像在比较低的分辨率情况下利用所述至少一个相机的高频率拍摄而提供的,并且
●高分辨率低帧速率模式是为图像在比较低的帧速率情况下利用所述至少一个相机的高分辨率拍摄而提供的,
并且,当沿着通过环境的路径移动时
●所述环境的图像的系列使用所述低分辨率高帧速率模式来拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,并且
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定。
根据以上发明的特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得
●所述环境的图像的系列使用所述高分辨率低帧速率模式来拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,
●所述低分辨率高帧速率模式和所述高分辨率低帧速率模式被同时执行并且
●在高分辨率低帧速率模式下拍摄的图像的姿态是基于所述图像点并且/或者基于针对在低分辨率高帧速率模式下拍摄的所述图像而确定的所述姿态而得到的。
根据所述子系统的另一特定实施方式,所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得在高分辨率低帧速率模式下的图像拍摄通过定义时间信号(具体地按照恒定时间间隔提供触发信号的时间信号)来触发,或者通过对所述杆的相对位置进行比较来触发,所述位置是从针对在低分辨率高帧速率模式下拍摄的所述图像而确定的所述姿态得到的,其中,连续图像的拍摄根据是否达到或者超过预定义相对位置阈值被触发,具体地其中,所述连续图像的拍摄在前一个杆位置与实际杆位置之间的差异为至少一米具体地两米或五米的情况下被触发。
被具体实现用于按不同的帧速率和/或分辨率拍摄图像的这种相机的使用提供用于在一个公共测量处理中组合低分辨率图像和高分辨率图像。所述低分辨率图像因此由于大量的图像、考虑的图像点和计算出的姿态而提供图像和(低分辨率)点云的姿态的精确且快速的计算。附加地,为了精确地确定图像中拍摄的点的位置、例如所述杆或更精确的(高分辨率)点云的定向,能够考虑所述高分辨率图像。
为了计算这种高分辨率点云,能够基于利用并且针对所述低分辨率图像而得到的所述数据来确定所述高分辨率图像的姿态,即在这些图像中标识的图像点和/或针对这些图像而得到的姿态被考虑用于确定所述高分辨率图像的姿态。这种姿态确定是基于将公共时间基准用于拍摄低分辨率图像以及高分辨率图像而实现的。相应的高分辨率图像因此能够被指派给相应的低分辨率图像。
附加地,具体地,使得用户能够人工地触发感兴趣点或区域的高分辨率图像的拍摄并且因此提供该点和/或区域的更详细的信息。
此外,关于本发明的另一方面涉及相对于由测量系统收集的数据的循环闭合。所述测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行定标功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的第一系列利用所述至少一个相机拍摄,所述第一系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●图像点的初始集合是基于图像的第一系列标识的,初始图像点表示基准点场的基准点,其中,各个基准点出现在图像的系列的至少两个图像中,并且
●所述图像的所述姿态是基于使用所述初始图像点的后方交会而确定的。
此外,根据本发明的这个方面
●所述环境的图像的第二系列利用所述至少一个相机拍摄,
●出现在图像的第二系列的图像中的至少一个中的所述基准点场的基准点被标识,
●图像点的另一集合在与图像的第二系列的经标识的基准点对应的图像的第二系列的图像中被标识,并且
●图像的第二系列的图像的姿态是基于使用图像点的初始集合和另一集合的后方交会而确定的。
根据以上发明的实施方式,所述相机模块包括彼此相对布置的至少两个相机,使得在方位方向上具有360°的视场的全景图像是可捕获的。具体地,各个相机包括鱼眼光学器件。
通过实际上标识并考虑已经在一组初始或前面的基准点中标识的基准点,能够与实际的姿态重建和/或点云计算一起考虑这些最初定义的点并且能够使已经计算的点云闭合以便通过一个完整云来表示整个环境。
早先定义的基准点的以后重复的使用还提供收集的位置和/或定向数据的细化,因为累积误差(例如,因确定连续姿态而发生)能够由那个补偿。
如果所述环境中的同一区域的(或其部分的)多个图像被拍摄,则能够使这些图像和/或所述图像中标识的相应的基准点匹配。这至少将增加总体准确性。
另一个发明方面与具有集成相机的位置测量资源有关。所述位置测量资源被具体实现为可安装在测量杆上以被用作被适配为确定所述位置测量资源的位置的测量系统的一部分。所述位置测量资源包括GNSS天线和/或回复反射器以及具有用于拍摄环境的图像的至少一个相机的相机布置。所述相机布置以及所述GNSS天线和/或所述回复反射器被集成到所述位置测量资源的单个公共不可分的外壳中,并且所述公共外壳包括被设计为使得所述位置测量资源可模块化附接至所述杆的联接单元。
根据以上本发明的实施方式,所述相机布置被构建和设计为使得至少在方位方向上具有360°的视场的全景图像是可捕获的,具体地其中,所述相机布置包括布置在所述公共外壳中的至少两个相机,尤其是至少四个相机。
根据以上本发明的另一个实施方式,所述位置测量资源包括被集成到所述公共外壳中的传感器单元,该传感器单元包括以下传感器中的至少一个:
●惯性测量单元,
●陀螺仪,
●倾斜传感器,
●加速度计,和/或
●磁罗盘。
通过将所述相机布置在附加地包括所述GNSS天线或所述回复反射器的所述位置测量资源的外壳内部,提供了紧凑组件,其提供用于所述组件的位置确定并且用于例如通过使用由所述相机拍摄的图像来执行SLAM算法或SfM算法来确定所述组件的定向。
因此,还提供了关于所述组件或所述杆的位置和定向的六个自由度(6-DOF)的连续确定。
现在参照抑制被布置在相机模块中以便提供图像的更稳定拍摄的相机的问题,根据该发明的对应布置像在下面所阐述的那样被描述。
本发明涉及一种要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的相机模块,具体地其中,所述位置测量模块包括GNSS天线和回复反射器,所述相机模块被设计为附接至所述测量杆。所述相机模块被设计为附接至所述测量杆并且包括外壳以及具有至少一个相机的相机布置,其中,所述相机被集成在所述外壳中并且通过使用阻尼元件相对于所述外壳被可移动地安装,使得当沿着路径随着所述测量杆(已刚性附接所述相机模块)而移动时,通过使所述测量杆降落实现的机械冲击在所述相机布置一侧被补偿,并且/或者使得至少所述相机布置的方位定向可相对于所述外壳的方位定向变化,使得当沿着路径随着所述测量杆(已刚性附接所述相机模块)而移动时,所述杆和所述外壳的方位定向的变更在所述相机布置一侧被补偿,具体地其中,具有低幅度的更高频率变更被补偿,尤其使得形成在所述相机布置的方位定向与所述路径上的运动方向之间的相对方位角在所述路径上的各个点中被保持基本上恒定。
根据以上发明的实施方式,实际的运动方向或平滑的运动方向被用作所述运动方向,所述平衡运动方向具体地是通过使所述路径的最近行进段平滑针对所述路径上的各个点而得到的。
根据以上发明的另一个实施方式,所述相机布置通过使用万向架相对于所述外壳被安装。
根据以上发明的另一个实施方式,所述相机模块包括被布置在所述外壳中的飞轮和/或陀螺单元,其中,所述飞轮或所述陀螺单元与所述相机布置连接,使得通过所述旋转飞轮或所述陀螺单元施加的力被传递到所述相机布置,从而提供所述相机布置的所述方位定向的稳定。
根据以上发明的另一个实施方式,所述相机模块包括连接到所述相机布置以主动地使所述相机布置的所述方位定向稳定的致动器,具体地压电致动器。
根据以上发明的又一个实施方式,所述相机模块包括用于得到所述外壳的定向的单元,其中,由所述单元生成的定向信息被提供给所述致动器以用于根据所检测到的所述外壳的定向主动地对所述相机布置的定向进行补偿。具体地,所述定向信息是基于以下各项而生成的
●使用利用所述至少一个相机拍摄的图像的系列的SLAM评估,在该SLAM评估内所述图像的姿态被确定,
●由所述单元从所述测量系统接收的所述位置测量资源的确定的位置,和/或
●提供IMU测量数据的惯性测量单元。
以上发明提供了所述相机在移动上面附接有所述相机模块的所述外壳或所述杆时的阻尼。这种阻尼使得能够在通过所述环境移动的同时拍摄更好质量的图像,即稳定图像。
此外,关于本发明的另一方面涉及相对于由测量子系统收集的点数据的质量指示,具体地点云或远程单点测量。
根据该发明方面的相应的测量子系统包括要用作被适配为确定被安装在手提测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块,具体地,其中,所述位置测量资源包括GNSS天线或回复反射器。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行空间表示生成功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,并且
●关于要通过使用图像的系列中的图像和所确定的姿态的前方交会可计算的所述环境的至少一个点的3D位置的测量不确定性的质量指示输出被生成。
根据以上方面的实施方式,所述前方交会暗示使用方差-协方差矩阵,具体地其中,所述前方交会通过使用最小二乘法来执行,并且所述质量指示输出是从所述方差-协方差矩阵得到的。
根据这个方面的另一实施方式,所述质量指示输出表示关于所述至少一个点的所述3D位置是可计算的或者被计算的精度的不确定性,具体地其中,所述质量指示输出至少受以下各项影响
●可用来确定所述图像内的所述图像点的图像位置的精度,
●在图像的系列当中可用于计算所述环境的至少一个点的3D位置的一定量的图像,以及
●可用图像的姿态的基线的长度。
根据这个方面的另一实施方式,基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列中的图像的前方交会来计算并且所述质量指示输出是针对所述点云的经计算的点中的至少一个而生成的,具体地其中,所述质量指示输出是参照据此确定子集的对应量的姿态为所述电源的点的子集而生成的。
根据以上发明方面的另一个实施方式,为表示所述质量指示输出的所述点云生成图形再现,该图形再现可由所述测量系统的显示装置显示,从而向用户提供关于已经获取的数据的反馈,使得所述已经获取的数据关于其质量能够被检查。
根据本发明方面的另一个实施方式,所述质量指示输出由可显示在所述测量系统的显示装置上的着色点云、定标指示或特定符号来表示。
根据以上发明方面的另一个实施方式,针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且所述点云借助于所接收到的确定的位置被定标。
上述发明方面提供用于生成表示基于拍摄的图像而得到的数据的质量的信息。具体地,用户被提供有这种信息从而允许依赖于所述质量信息重新计划或者采用测量处理。例如如果针对点的区域或关于所述杆的经评估的定向的精度质量被评价为低的并且像那样呈现给所述用户,则所述用户可以决定拍摄与相应的区域有关的更多图像并且从而为所述区域提供更精确的处理。
而且,所述质量指示使得用户能够拍摄得到所需数据所必需的所用量的图像,即所述用户被通知足够的数据何时被收集到以用于计算点云或者根据要实现的测量要求确定姿态。因此,比需要更多的数据的不必要的收集被抑制或者避免并且鉴于时间消耗所述测量处理总体上被改进。
用户能够连续地检查已经拍摄的图像可达到的数据质量的水平。
总之,被置于这个质量确定方面的事实是计算至少在使用所述测量系统获得的两个图像上测量到的3D点的准确性的可能性。
另选地为了从对所述环境的一个或更多个点(或点云)的位置的计算直接得到测量确定性(或者此外附加地),还能够仅(在不用考虑点的位置的有效计算的情况下)基于所述测量子系统的内在参数(例如相机分辨率、GNSS准确性)和/或外在参数(例如从所述3D点到所述图像的姿态的距离、点的观察角)估计测量确定性(即,一般地可实现的准确性水平)。例如基于使用所述测量子系统获得的图像的预定义集合能够计算对于使用图像的这个集合来计算的3D点指示准确性的不同界限的场。所述场可能被用预定义调色板着色以得到更直观表示。
在计划阶段时(即,在拍摄图像的系列之前)用户能够定义感兴趣区域(例如,在可用地图或卫星图像上)。对于这个感兴趣区域,可以在按由用户定义的目标准确性保证整个感兴趣区域的完全覆盖范围的情况下自动地计算所述测量子系统的可能的迹线。在所述测量期间用户能够遵循这个提出的迹线以在没有间隙的情况下以目标准确性映射所述整个区域。这个迹线可能被优化以使长度最小化,这减少映射时间。可能对于迹线计算考虑在所述感兴趣区域中具有已知坐标的任何现有对象。在测量器具用户能够实时地得到映射完整性的估计。所述感兴趣区域的未映射的部分可能被同样实时地示出给用户。
在验证阶段时能够为实际测量迹线计算准确性场。对这个场的分析可能帮助用户检查完整性并且标识未达到目标准确性的区域。
本发明环设计一种自动测量系统,该自动测量系统包括:位置测量资源,具体地GNSS天线或回复反射器,被安装在测量杆上;以及测量子系统,该测量子系统包括相机模块以及控制和评估单元并且被适配为确定所述位置测量资源的位置,其中,所述测量杆包括用于在地表面上移动所述杆的至少一个轮或链驱动器。所述相机模块被设计为附接至所述测量杆并且包括用于拍摄图像的至少两个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行定标功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算;并且/或者
●所述至少一个相机的定向是从图像的系列的指定图像的姿态得到的。
在所述测量系统的一个实施方式中,所述测量杆包括被布置在所述杆上使得所述杆的底端被实现来依靠所述杆相对于所述地面的定向而接触所述地面的两个轮,具体地其中,所述底端被实现来在所述杆被按照直角相对于所述地面定向时接触所述地面。
在所述测量系统的另一实施方式中,所述测量杆包括至少一个手柄,具体地两个手柄,以用于使得用户能够沿着所述路径推和/或拉所述杆。
在另一个实施方式中,所述测量系统包括用于驱动所述至少一个轮或所述链驱动器的电机,具体地
●响应于通过用户的推或拉运动并且/或者
●用于沿着预定义路径自动地驱动所述测量杆或者驱动远程地控制的所述测量杆。
本发明还涉及一种作为被适配为确定被安装在所述车辆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的两轮自平衡机动车辆。
在一个实施方式中,这个车辆被设计用于输送所述测量系统的用户,具体地其中,所述车辆被设计为使得所述用户通过相对于用户和车辆的组合重心使所述车辆倾斜来控制所述车辆的向前移动和向后移动。
在另一实施方式中,这个车辆包括用于标记所述地面上的实际测量点的测量点标记装置,具体地其中,所述测量点标记装置包括用于利用激光斑点或图案来标记所述测量点的激光发射光学系统。
本发明还涉及一种用于两轮自平衡机动车辆的测量子系统,所述测量子系统包括要用作所述测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述车辆并且包括用于拍摄图像的至少一个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行定位和映射功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向;
●图像点的集合是基于图像的系列标识的,所述图像点表示基准点场的基准点,各个基准点出现在至少两个图像中,
●所述图像的所述姿态是基于使用所述图像点的后方交会而确定的;
其中
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用图像的系列的前方交会具体地通过使用密集匹配算法来计算;并且/或者
●所述至少一个相机的定向是从图像的系列的指定图像的姿态得到的。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的相机、断面仪以及控制和评估单元。所述相机模块被设计为附接至所述车辆并且包括用于拍摄图像的至少一个相机。所述断面仪被设计为附接至所述测量杆并且适配用于旋转激光束的反射以及用于从环境的点散射回的经发射的激光束的返回部分的接收和检测。所述断面仪还被提供有针对所述旋转激光束的电子距离测量功能以及角度测量功能,使得包括距离和角度信息的断面仪测量数据是可收集的。所述控制和评估单元已存储具有程序代码的程序以便控制和执行空间表示生成功能,其中,当沿着通过所述环境的路径移动时
●所述环境的图像的系列利用所述相机拍摄,所述系列包括按所述相机的不同姿态即从所述路径上的不同点并且按所述相机的不同定向拍摄的多个图像,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,
●针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,
●包括六个自由度上的平移和旋转信息的6-dof行进历史是至少基于在所述SLAM评估内确定的所述姿态以及所接收到的确定的位置具体地通过使用卡尔曼滤波器针对移动路径而得到的,并且
●所述环境的点的坐标与所得到的6-dof行进历史相结合地基于所述断面仪测量数据被确定为所述空间表示。
在一个实施方式中,所述测量子系统还包括要附接至所述测量杆并且被设计用于收集IMU测量数据的惯性测量单元,并且所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述6-dof行进历史进一步基于所述IMU测量数据被得到,具体地其中,所述IMU测量数据和所述SLAM评估被考虑用于得到所述6-dof行进历史的旋转信息,尤其其中,所述IMU测量数据被用来增加可通过所述SLAM评估从所确定的姿态得到的旋转以及具体地位置信息的分辨率,具体地其中,在卡尔曼滤波器被用于得到所述6-dof行进历史的情况下,该卡尔曼滤波器被馈送有在所述SLAM评估内确定的所述姿态、所接收到的确定的位置以及所述IMU测量数据。
在所述子系统的另一实施方式中,
●所述相机模块和所述断面仪以及具体地所述控制和评估单元的至少部分被集成在可附接至所述测量杆的公共外壳中,或者
●所述相机模块和所述断面仪中的每一个被集成在自己的外壳中,所述外壳中的每一个可附接至所述测量杆,具体地其中,各个外壳被提供有用于数据传输以及具体地触发信号的传输的相互连接元件,使得在各个外壳附接至所述测量杆的条件下,所述连接元件被互锁并且用于所述相机模块与所述断面仪之间的数据传输以及具体地所述触发信号的传输的连接被提供。
在所述子系统的又一实施方式中,所述相机模块和所述断面仪各自包括时钟以及用于将时间戳指派给像图像数据、IMU测量数据和断面仪测量数据一样的收集的测量数据的电路,具体地其中,对于所述相机模块和所述断面仪GNSS模块被提供用于从所接收到的GNSS信号收集绝对时间信息,使得所述GNSS模块被用作所述时钟。
在所述子系统的另一个实施方式中,所述断面仪被设计为使得,在附接至所述测量杆的条件下,所述旋转激光束定义激光平面,该激光平面
●与所述测量杆基本上垂直,或者
●相对于所述杆倾斜,使得它们限制在大约5度与大约35度之间的具体地在大约10度与大约30度之间的角度。
在所述子系统的另一个实施方式中,所述断面仪包括可旋转反射镜或可旋转激光发射和接收单元。
在所述子系统的另一个实施方式中,所述断面仪是按照多光束设置设计的,在该多光束设置中所述断面仪被适配用于至少两个旋转激光束的发射以及用于从环境的点散射回的经发射的束中的每一个的返回部分的接收和检测。
在这个子系统的一个实施方式中,所述多光束设置针对所述至少两个激光束利用公共旋转平台具体实现,具体地其中,所述断面仪是按照三光束设置设计的。所述断面仪被设计为使得所述至少两个激光束定义激光平面相对于彼此平行且稍微移位,相对于彼此稍微倾斜,具体地使得相对于所述杆稍微不同的倾斜角被形成并且/或者使得相对于所述杆稍微不同的方位角被形成,或者相对于彼此重合,并且/或者所述断面仪被设计为使得所述至少两个旋转激光束在旋转方向上相对于彼此形成角偏移,具体地其中,在三光束设置的情况下,所述角偏移是120°。
在这个子系统的一个实施方式中,所述公共旋转平台包括用于可旋转地使所述至少两个激光束偏转的公共可旋转反射镜或者所述公共旋转平台包括至少两个激光发射和接收单元。
在这个子系统的另一实施方式中,所述多光束设置针对所述至少两个激光束利用至少两个旋转平台具体事项。具有所述至少两个选择平台的所述断面仪被设计为使得所述至少两个激光束定义相对于彼此倾斜的激光平面,具体地使得
●相对于所述杆不同的倾斜角被形成,尤其其中,所述激光平面中的一个形成在大约10度与大约30度之间的倾斜角并且所述激光平面中的另一个形成在大约60度与大约80度之间的倾斜角,并且/或者
●相对于所述杆不同的方位角被形成,尤其其中,在大约1度与大约40度之间的方位方向上的角偏移形成在所述激光平面之间。
在所述子系统的特定实施方式中,所述断面仪被设计为使得通过所述旋转激光束定义的激光平面的倾斜角是可调整的,具体地人工地或者电机驱动的,使得在所述断面仪附接至所述测量杆的条件下,所述倾斜角可相对于所述杆变化。
在这个子系统的另一实施方式中,所述断面仪被设计为使得通过所述旋转激光束定义的激光平面的方位角是可调整的,具体地人工地或者电机驱动的,使得在所述断面仪附接至所述测量杆的条件下,所述方位角可相对于所述杆变化。
在这个子系统的一个实施方式中,所述方位角可由致动器调整。所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得所述方位角由所述致动器自动地连续地调整,使得所述杆的所述方位定向的变更在沿着所述路径移动时被补偿,具体地其中,所述方位角的自动连续调整基于所得到的6-dof行进历史或使用以下各项的单独评估
●在所述SLAM评估内确定的所述姿态,和/或
●所接收到的确定的位置,和/或,
●在提供了惯性单元的情况下,IMU测量数据。
具体地,具有低幅度的更高频率变更被补偿,尤其其中,形成在所述激光平面与所述路径上的运动方向之间的相对方位角在所述路径上的各个点中被保持基本上恒定,具体地垂直。
在这个子系统的一个实施方式中,实际的运动方向或平滑的运动方向被用作所述运动方向,所述平衡运动方向具体地是通过使所述路径的最近行进段平滑针对所述路径上的各个点而得到的。
在这个子系统的另一实施方式中,所述方位角由根据利用角动量的转换的原理而工作的稳定装置相对于所述环境来调整和稳定,具体地其中,所述稳定装置包括飞轮,尤其其中,所述飞轮可与使所述激光束旋转的所述旋转平台一起旋转。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块被设计为附接至所述车辆并且包括用于拍摄图像的至少一个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行如下的功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机(31)拍摄,所述系列包括按所述相机(31)的不同姿态拍摄的一定量的图像,所述姿态表示所述相机(31)的相应的位置和定向;
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别定义的图像点利用用于检测对应特征的特征检测处理具体地借助于特征跟踪(尤其是KLT算法(Kanade-Lucas-Tomasi))和/或借助于特征匹配(尤其是SIFT算法、SURF算法、BRISK算法或BRIER算法)在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会法,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定。
根据本发明的这个方面,所述控制和评估单元包括多个分散单元,其中,至少第一单元具体地FPGA或GPU(图形处理单元)执行用于标识所述多个分别对应的图像点的所述特征检测处理的至少一部分,并且至少另一第二单元具体地CPU执行所述姿态的确定。
在所述子系统的一个实施方式中,所述第一单元和所述第二单元被一起构建为一个SoC(芯片上系统)。
在所述子系统的另一实施方式中,所述第一单元和所述第二单元被布置在所述相机模块内。
在所述子系统的另一个实施方式中,所述第一单元被布置在所述相机模块内并且所述第二单元是膝上型电脑、平板PC、智能电话、所述测量系统的手持控制器/数据记录器的处理单元、所述测量系统的GNSS模块的处理单元、所述测量系统的测量站具体地全站仪的处理单元或测量站点服务器,具体地被安装在汽车中。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的具体地GNSS天线的或回复反射器的位置的测量系统的一部分的控制和评估单元以及相机模块。所述相机模块包括用于拍摄图像的至少一个相机,其中,所述相机模块被构建为被设计为附接至所述测量杆的一个单个集成物理单元。所述控制和评估单元已存储具有程序代码的程序以便控制和执行如下的功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,并且
●包括关于所述环境的3d信息的空间表示具体地点云通过使用图像的系列的前方交会和所确定的姿态具体地通过使用密集匹配算法来计算。
根据本发明的这个方面,所述控制和评估单元包括多个分散单元,其中,被集成在所述相机模块中的至少一个单元执行所述SLAM评估的至少一部分,并且被布置在所述相机外部的至少一个第二单元执行所述空间表示的计算的至少部分。
在所述子系统的一个实施方式中,所述至少一个其它单元是云服务器。
在所述子系统的另一实施方式中,所述至少一个其它单元是膝上型电脑、平板PC、智能电话、所述测量系统的手持控制器/数据记录器的处理单元、所述测量系统的GNSS模块的处理单元或测量站点服务器,具体地被安装在汽车中。
在所述子系统的又一实施方式中,被布置在所述相机模块外部的多个其它单元以分散方式执行所述空间表示的计算的至少部分,所述多个其它单元具体地是多个智能电话。
在所述子系统的另一个实施方式中,执行标识所述多个分别对应的图像点并且/或者确定所述姿态的一部分的至少一个单元被设计以便可在操作员的背包中携带。
在所述子系统的另一实施方式中,执行标识所述多个分别对应的图像点并且/或者确定所述姿态的一部分的至少一个单元是膝上型电脑、平板PC、智能电话、所述测量系统的手持控制器/数据记录器的处理单元、所述测量系统的GNSS模块的处理单元或测量站点服务器,具体地被安装在汽车中。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块,具体地,其中所述位置测量资源包括GNSS天线或回复反射器。所述相机模块被设计为附接至所述车辆并且包括用于拍摄图像的至少一个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行远程点测量功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述相机拍摄,所述系列包括按所述相机的不同姿态即从所述路径上的不同点并且按所述相机的不同定向拍摄的多个图像,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,并且,
●在选择所述环境的图像中的图像点时,所述图像基于图像的系列中的图像中的至少一个,由所述选择的图像点表示的远程点的3d位置被得到,因此与所述远程点有关的图像的子集被从图像的系列自动地标识并且所述3d位置是基于使用图像的所述子集的前方交会以及所述子集的图像的所确定的姿态而确定的。
在所述子系统的一个实施方式中,所述控制和评估单元被配置为使得所述远程点测量功能被控制和执行,使得所述图像点可由用户人工地选择,并且/或者所述子集包括所述远程点出现在其中的所有图像。
本发明还涉及一种测量子系统,该测量子系统包括要用作被适配为确定被安装在测量杆上的位置测量资源的位置的测量系统的一部分的控制和评估单元以及相机模块,具体地,其中,所述位置测量资源包括GNSS天线或回复反射器。所述相机模块被设计为附接至所述车辆并且包括用于拍摄图像的至少一个相机。所述控制和评估单元已存储具有程序代码的程序以便控制和执行如下的功能,其中,当沿着通过环境的路径移动时
●所述环境的图像的系列利用所述相机拍摄,所述系列包括按所述相机的不同姿态即从所述路径上的不同点并且按所述相机的不同定向拍摄的多个图像,
●利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且所述图像的所述姿态被确定,并且
●基于至少依靠所确定的姿态而得到的定向的改变具体地基于至少依靠所确定的姿态以及至少依靠所得到的所述基准点的坐标而得到的所述环境的深度信息而得到的相机迹线来使图像的系列中的图像中的至少一些变清晰。
在所述子系统的一个实施方式中,所述控制和评估单元被配置为使得所述功能被控制和执行,使得,
●所述去模糊被执行使得由于所述相机在曝光时间期间相对于所述环境的相对运动被补偿,其中,比较更高的补偿阶段适用于被成像的所述环境的更近对象并且比较更低的补偿阶段适用于被成像的所述环境的更远对象,并且/或者
●所述相机迹线是进一步依靠针对已在所述路径上采用的点的所述位置测量资源的确定的位置而得到的,所述位置可由所述控制和评估单元从所述测量系统接收,并且/或者IMU测量数据由也作为所述测量子系统的一部分被提供的惯性测量单元收集。
在所述子系统的另一实施方式中,所述控制和评估单元被配置为使得所述功能被控制和执行,使得,
●所述SLAM评估再次使用图像的系列的经去模糊的图像来执行,其中,经去模糊的图像的所述姿态被重新计算,并且/或者
●所述环境的至少一个点的3d位置被确定为出现在经去模糊的图像中的至少一些中,其中,与所述至少一个点有关的图像的子集是从经去模糊的图像以及具体地图像的系列的另外的图像自动地标识的,并且其中,所述3d位置是基于使用图像的所述子集和所确定的姿态而确定的,其中,在适用情况下,针对所述子集的图像的经重新计算的姿态和/或
●包括所述环境的多个点的3D位置的点云通过使用经去模糊的图像以及图像的系列的另外的图像的前方交会以及所确定的姿态来计算,其中,在适用情况下,经重新计算的姿态作为所确定的姿态。
将在下文中通过参照随附图的示例性实施方式详细地描述本发明,图中:
图1示出了根据本发明的测量系统的示例性实施方式;
图2a-c示出了根据本发明的作为测量系统的一部分的相机模块和位置测量源的三个示例性组合;
图3a-b示出了根据本发明的相机模块的第一实施方式;
图4a-b示出了根据本发明的相机模块的第二实施方式;
图5a-b示出了根据本发明的相机模块的第三实施方式;
图6a示出了根据本发明的相机模块的第四实施方式;
图6b示出了根据本发明的相机模块的第五实施方式;
图7a示出了根据本发明的相机模块的第六实施方式;
图7b-c示出了根据本发明的相机模块的第七实施方式;
图8a示出了具有扫描单元的根据本发明的相机模块的第八实施方式;
图8b示出了具有扫描单元的根据本发明的相机模块的第九实施方式;
图8c示出了具有扫描单元的根据本发明的相机模块的第十实施方式;
图8d示出了具有扫描单元的根据本发明的相机模块的第十一实施方式;
图8e示出了具有扫描单元的根据本发明的相机模块的第十二实施方式;
图8f示出了具有扫描单元的根据本发明的相机模块的第十三实施方式;
图9a-b示出了具有扫描单元的根据本发明的相机模块的第十四实施方式;
图9c示出了由图9a-b所示的相机模块的扫描单元的旋转激光束横跨的两个激光平面;
图9d示出了具有扫描单元的根据本发明的相机模块的第十五实施方式;
图9e-f示出了扫描单元的两个示例性实施方式;
图10a-b示出了具有扫描单元的根据本发明的相机模块的第十六实施方式;
图10c示出了具有扫描单元的根据本发明的相机模块的第十七实施方式;
图10d示出了图10c的相机模块的扫描单元;
图10e示出了具有扫描单元的根据本发明的相机模块的第十八实施方式;
图11例示了相机随着图像中的运动对象向左的旋转;
图12a-c示出了用于拍摄图像的变化曝光时间;
图13-15示出了在随着相机模块(杆)移动的同时基于环境中的基准点的后方交会;
图16a-b例示了由测量系统生成的正射相片(orthophoto)和基准正射相片的匹配的示例性实施方式;
图17例示了定向确定功能的示例性实施方式;
图18示出了轮式测量系统的第一示例性实施方式;
图19a-d示出了轮式测量系统的第二示例性实施方式;以及
图20示出了具有安装伞的测量系统。
图1示出了根据本发明的测量系统1的示例性实施方式。所描绘的测量系统1包括由用户2操作的测量杆10。杆10包括可定位在地面上的测量点5上的底端11。GNSS天线15被放置在杆10的顶端上作为测量系统1的位置测量资源。此外,测量系统1包括相机模块30以及控制和评估单元12。
相机模块
图2a-c示出了与相应测量系统的位置测量资源一起安装在杆10上的相机模块30、30’。
各个相机模块30、30’包括对来自所有或许对空间方向的光敏感的光学记录装置31。它能够基于成像传感器和鱼眼镜头,或相机和抛物面镜的组合,或布置在水平环上的两个单一相机中的最低者,或作为广角或全景相机的任何其它光学装置。
相机模块可以是被与GNSS天线15(图2a)或反射器16(图2b)一起安装在杆10上的单独的模块30。而且,能够将模块30’集成到GNSS天线(图2c)或反射器的外壳中。
根据图2c,相机模块30’由附加地包括GNSS天线和/或反射器的位置测量资源来表示。
图3a和图3b示出了根据本发明的相机模块30的第一实施方式。相机模块30具有外壳40以及用于杆38且用于位置测量资源39(GNSS天线或反射器)的支架。它可以包括一组相机31,例如按照彼此与水平视场>90°成90°的角度对准的四个单一相机31。在这种布置中360°的水平视场被覆盖。相机组件的垂直视场(FOV)可以是大约60°。如图3b所示,相机能够被水平地对准或者向下定向,例如达20°。这对近对象是特别感兴趣的应用来说是有利的。
而且,处理单元33可以是相机模块30的一部分。处理单元33可以是CPU,例如ARM处理器或CPU与FPGA的组合(例如,Zync Soc)或CPU与图形处理单元(GPU)的组合。在组合处理单元的情况下,例如在FPGA或GPU上执行特征跟踪等。这些主要是能够在那种单元上实现高度并行处理的图像处理算法。
另外惯性测量单元(IMU)34可以是相机模块的一部分。IMU 34可以由3轴加速度计构成,并且具体地由3轴陀螺仪构成。附加地,磁强计可以被包括在IMU中。
图4a和图4b示出了根据本发明的相机模块30的第二实施方式。为了增加相机模块30的垂直FOV,能够将四个向下定向的相机31’与四个向上定向的相机31”组合在一起。
在图5a和图5b中示出了另选的实施方式。图5a示出了具有>180°的水平视场的两个鱼眼相机36的布置,并且图5b示出了具有反射镜32特别是抛物面镜和玻璃窗35的单个相机31的布置。
可选地,以上所描述的相机模块30的相机31、31’、31”、36能够具有不同的分辨率。例如,在相机模块30包括八个相机的情况下,四个相机能够具有低分辨率并且被以高帧速率读出(对特征跟踪有利)并且四个相机具有高分辨率(对密集匹配有利)并且被按更低的帧速率读出。另选地,高分辨率相机不按特定帧速率运行而是在应该例如按照两米的距离间隔拍摄关键帧时被算法触发。
另选地或附加地,根据本发明的一个方面,相机模块的一个单一相机被构建为使得具有至少两个不同分辨率和/或不同帧速率的图像拍摄由该相机提供。因此,能够通常鉴于测量处理提供高分辨率图像以及低分辨率图像。
而且,为了减少来自窗的反射,能够在相机镜头(这里未示出)前面安装偏振滤光器。
图6a和图6b示出了具有减震器装置37、37’的相机模块30的两个另外的实施方式。能够在校准过程中确定相机31的相对位置和定向。为了随着时间的推移使相机31的对准保持稳定,例如让它抵抗冲击或掉落,能够例如在外壳40与用于杆38的支架之间集成减震器37,如图6a所示。另选地,如图6b所示,能够将相机31和IMU34安装在通过减震器37、37’与外壳40机械解耦的框架41上。减震器37还减少最大加速度并且避免加速度计饱和。
这种阻尼元件(减震器)可能形式为万向架等。
触发
在测量期间,图像数据利用相机模块30记录。在相机模块30中存在超过一个相机31的情况下,图像数据被并行即同步地记录。用于触发所有单一相机的触发信号能够由另一传感器(例如,GNSS天线)产生。另选地,一个相机能够触发所有其它相机。
图像数据能够被记录为具有大约15至25帧每秒(FPS)的视频或者为一组基于事件触发的静止图像,例如图像在操作员自最后图像被拍摄以来移动了两米时被记录。另选地,当图像内容示出与前一个图像的显著差异时,能够拍摄新图像。而且,图像的记录能够由操作员在他将杆放置在一点上并且触发测量时触发。
图7a-c示出了相机模块30的两个另外的实施方式。各个相机模块30包括至少两个相机31a-d以及用于触发图像通过相机31a-d的高度同步的拍摄的光学触发装置70、71。这例如可用于即使相机模块在运动中也允许由单一相机拍摄的图像的图像拼接(stitching)。
在图7a中,闪光灯70的环被布置在相机模块30周围,这里在用于位置测量资源39的支架周围。相机31a、31b适宜感知周围的来自闪光灯70的闪光。相机31a、31b然后能够同步地拍摄图像。此外,相机31a、31b的同步地拍摄的图像能够借助于出现在已在闪光期间拍摄的所有图像中的闪光来标识。
图7b和图7c示出了具有四个相机31a-d的相机模块30。相机模块30包括被设计为发光二极管(LED)71的组的光学触发装置。这些被布置使得各个组71位于相机31a-d中的两个的视场(由虚线表示)中并且可由这两个相机感知。LED组71能够被用来触发触发图像通过相机31a-d的高度同步的拍摄。LED组71还能够被用来将代码添加到图像,例如以便允许同步地捕获的图像的标识。
扫描单元(->断面仪)[仍将由所对应的权利要求的措辞补充的部分]
在图8a-f、图9a-f和图10a-e中,描绘了包括扫描单元50的相机模块30的各种示例性实施方式。
集成在相机模块30中的扫描单元50对点云实时的生成有利,即如在与图像的点云生成的情况下一样不必执行昂贵的密集匹配步骤。而且,和基于相机的方法对比,扫描单元50不依靠良好的纹理表面用于点云的导出。
扫描单元50能够由激光发射和接收单元51以及旋转反射镜52构成。在图8a所示的布置中,如果杆被或多或少垂直地对准,则旋转激光束55横跨差不多水平的平面。
在图8b中示出了扫描单元50的另一设置。这里,反射镜的旋转轴与水平平面倾斜了大约10°至30°。
图8c示出了安装在测量杆10上的图8b的相机模块30。旋转激光55横跨激光平面,该激光平面倾斜使得它经过GNSS天线15,并且因此,阻塞小。对于相机模块30被安装靠近杆10顶上的GNSS天线15的这种设置,扫描模块必须被以某种方式暴露。为了在杆10掉落时避免扫描单元50的损坏,优选地掉落保护装置18被安装在杆10上的相机模块30下方。
图8d示出了相机模块30和单独的扫描模块58的组合。能够将两个模块30、58塞在一起。为了能量供应和数据传送能够将连接器59集成到各个模块30、58的外壳中。扫描模块58能够被配备有单独的处理单元53。另选地,能够在相机模块30的处理单元33上执行扫描模块58的计算。
图8e示出了具有扫描单元50’的集成相机模块30,该扫描单元50’具有旋转激光发射和接收单元51’而不是旋转反射镜。
图8f示出了具有扫描单元50”的相机模块30,所述扫描单元50”在三个激光发射和接收单元50’绕一个轴一起旋转情况下具有多光束设置。另选地,不是发射三个平行激光束55、55’、55”,而是能够按120°的角偏移安装激光发送和接收单元,例如像风力涡轮机(这里未示出)的叶片一样。
图9a和图9b示出了具有两个扫描单元50a、50b的布置。它们两者的旋转束55a、55b横跨两个倾斜的激光平面56、56a(图9c。)。
倾斜角影响对对象的扫描分辨率,即点云的密度。一方面,因为据大约2m的杠杆臂相当短,所以几乎垂直的平面按照(可能太)高分辨率扫描附近地面。而且,相当多的光线“浪费”,因为它们被瞄准向天空。另一方面,几乎水平的平面根本不覆盖天空和附近地面。一个反射镜的旋转轴与水平平面倾斜了大约10°到30°并且第二反射镜的轴与垂直平面倾斜了大约10°到30°的两个扫描单元的组合可能导致扫描点的改进分布。
另选地,能够使激光平面的垂直角度变得可调整(这被示出在图10a和图10b中)。这使得用户能够根据他的特定需要改变倾斜角度。旋转可以是连续的或者可能存在高、中等和低的一些预定义角度。在后者中扫描模块点击进入预定义位置。
可能在实践中出现的另一问题是(几乎)垂直平面的旋转。在用户在反射镜的旋转轴的方向上以1m/s的恒定速率不行并且假定50Hz的反射镜的旋转速率(即50转每秒)的情况下在15m距离上的对象上的邻近轨道的偏移是2cm。然而,如果杆以30°/s的旋转速率绕垂直轴旋转则邻近轨道之间的偏移是大约16cm。因此,这些旋转无论是否有意都可能导致不均匀的点分布。
为了克服这个问题,如图9a和图9b所示能够应用横跨几乎垂直平面的两个扫描单元50a、50b,使得存在大约5度的小水平角度偏移。
在图9d-f中描绘了另选的实施方式。扫描单元50”’包括多个激光发射和接收单元51。因此,不是一个激光平面而是发散的(图9e)或平行的(图9f)激光平面的扇形被生成。
另选地,如图10a图10b所示,能够将扫描单元50””’集成到相机模块30中,使得能够通过扫描单元50””’进入相反方向的旋转(具体地由驱动器57操纵)对杆的无意旋转进行补偿。能够从利用相机模块30的测量结果(例如,来自IMU 34的角速率)得到旋转角度。补偿的目的可以是激光平面的方位独立于用户的移动是恒定的。
另选地,利用这种机制,能够自动地使扫描平面与用户的行走方向正交地对准。例如能够从卡尔曼滤波器的状态向量得到方向。在用户绕曲线行走的情况下平面自动地遵循这个移动时存在优点。
另选地,不是使整个扫描模块旋转,而是仅光线能够由附加往复偏转反射镜52’重定向。在图10c和10d中示出这个。.
另选地,如图10e所示,还能够通过实现陀螺原理来实现激光平面的稳定化,即以使方位角保持几乎恒定(平滑快速移动)。这里,飞轮52”与反射镜一起绕轴旋转以被稳定。
运动对象
在图11中,相机向左旋转是随着图像的运动对象而例示的。在数据获取期间还能够应用不同区域的掩蔽以便移动非期望的(这里:运动)对象。这例如包括像测量员它本身一样的相对于杆的静态对象以及像行人、汽车和其它非静态/相对静态对象一样的运动对象。
能够利用用户交互半自动地或者完全自动地完成掩蔽。用户交互引导处理的可能场景是在跟踪图像上的特征点时排除测量员,其中用户例如严格地掩蔽它本身在图像上的外形并且其侧影通过适当的算法(例如,标准分段算法、主动轮廓或模板匹配)来识别并随后跟踪。
全自动化算法可能基于一些运动估计算法(例如,光流)来检测干扰对象,并且拒绝所对应的跟踪特征。例如,如图11所示,相机向左旋转将导致由所显示的箭头111指示的光流。尽管通过相机的更高级移动而变得更复杂,然而这个向量场(光流)能够被用来(例如通过分析像不一致局部改变一样的间断点或异常)确定图像内的运动对象(由所显示的箭头112指示)或者甚至支持分段或其它图像处理相关算法。
不同过程的可能变化可能包括独立于各个图像的干扰对象检测、初始检测和跟踪以及全局运动估计。附加地,为了变得更鲁棒,用于移除运动对象(或对应的不一致特征点)的最终算法可能由多步骤过程(例如,局部和全局运动估计)构成。因为全局运动在这个上下文中是指相机移动,所以还可能存在被用来预测全局移动并且随后用来使运动对象的检测稳定的一些附加的传感器信息(例如,GNSS或IMU数据)。
能够在相机模块中的处理单元上执行对应的(干扰)特征的检测。具体地,如果FPGA被包括在处理单元中则能够在FPGA上非常高效地计算特征检测的各部分。
在标识对应的特征之后计算图像的姿态,即位置和定向。能够在足够大数目的检测点特征情况下对每个图像完成这个。然而,尤其在图像数据被以高帧速率记录的情况下处理能力能够通过选择图像的子集来节约并且仅为那些选择的图像确定姿态。
用于图像选择的准则可以是基线,即当前图像与前一个图像之间的距离,例如一米的距离。小基线导致通过前方交会确定的3D点的差准确性。另一准则可以是图像质量,即仅具有良好质量(高清晰度,未欠曝光或过曝光等)的图像被选择。
另选地,图像选择能够基于图像数据、IMU数据和GNSS数据的组合或这些数据源的任何子集。例如,IMU能够被用来通过考虑曝光期间的移动以及具体地旋转来选择不遭受运动模糊的图像。这具有即便当图像内容显著地改变时无模糊图像也被选择的优点。能够组合不同的滤波器(例如,基线和运动模糊)以使用有限的计算资源来实现导致场景的最佳重建的最佳图像选择。
在存在低分辨率相机和高分辨率相机的组合的情况下低分辨率相机被主要用于高帧速率下的特征跟踪。高分辨率相机不必按照定义帧速率拍摄图像,而是能够在特定时刻(例如利用IMU感测到的低移动)或者例如两米的当前图像与最后最后之间的距离(=基线)被触发。
而且,能够按变化曝光时间拍摄图像,例如图像被以1ms、2ms、4ms、8ms、10ms、20ms等的曝光时间拍摄。这个被例示在图12a-c中。在用于拍摄关键帧的最佳时间附近的定义窗中具有良好曝光的帧被选择。在这种情况下,如图12a所示,图像获取间隔可以是规则的,即图像具有8ms的间隔。另选地,如图12b和图12c所示,图像拍摄间隔可以是不规则的。
而且,能够基于按不同的曝光时间拍摄的一组图像来生成HDR(高动态范围)图像。这个能够在相机被保持足够静止时完成,足够静止能够利用IMU或GNSS或相机数据或全部的组合来感测。另选地,能够移动相机并且在生成HDR图像时考虑利用运动结构算法确定的偏移。
为了确保能够被处理的数据集,可能在数据获取期间存在某种直接用户反馈。这个反馈可以包括灯指示(例如,状态LED)、音频信号或力反馈(振动杆、智能手表、振动腕带、智能电话、平板等)。还可能存在例如在移动电话、平板或特殊眼镜(交互式眼镜)上直接使数据记录的当前状态可视化的选项。
用于姿态的确定以及稀疏点云的同时生成的算法
为了得到杆的六个自由度,即模块的位置以及相对于外/外部(例如全局)坐标系统的定向角度(横摇、俯仰、偏航),能够应用SLAM(同时定位和映射)。
6-DoF的确定基于来自相机的测量结果以及可选地附加地来自GNSS系统(和/或具有回复反射器的全站仪)的位置测量结果。而且,利用IMU测量到的加速度和角速率也能够被包括到姿态的确定(即具有6个自由度的位置和定向;即6-dof)中。
图像数据被分析以得到对应的特征(或对应/同系图像点),即多个图像中的一个相同的对象点61的对应的图像的位置。这使用诸如SIFT、SURT、BRISK、BRIEF等的特征检测和匹配算法来完成。通过标识多个对应的特征(或对应的图像点,也被称作同系图像点),多个对象点61被确定。这些对象点建立基准点场,该基准点场能够作为基准被用于各个附加地收集的相机图像,使得在各个重新添加的图像中基准点场的现有点能够被用来相对于所有先前的图像参照该图像。
因此,在各个重新添加的图像中,再次针对已经存在的基准点场的对象点找到/标识对应的图像点(在所添加的图像和先前已经存在的图像中)。并且在重新添加的图像中的这些找到/标识的图像点(与由经找到/标识的图像点表示的符合对象点的经先前确定的坐标一起)被用来借助于后方交会确定这个重新添加的图像的姿态。
此外,同样在各个重新添加的图像中,再次针对周围的新对象点找到/标识对应的图像点(在这个添加的图像和先前已经存在的图像中)。并且在重新添加的图像和至少一个“旧”图像中的这些找到/标识的对应的图像点(即,所对应的图像点在重新添加的图像和旧图像中的位置)被用来通过前方交会来确定另外的对象点的坐标,使得基准点场被按另外的对象点与此一起扩展。因此,一方面,对于各个重新添加的图像能够(基于使用已经存在的基准点场的现有对象点的现有特征/图像点方案的后方交会)确定姿态,并且另一方面(在逻辑上同时地),随着各个重新添加的图像基准点场也在增长(基于使用周围的先前未知的对象点的重新标识的对应特征/图像点的前方交会)。
另选地,在视频输入的情况下,能够对各个视频帧使用跟踪算法(例如通过应用Kanade-Lucas-Tomasi(KLT)特征跟踪器)找到对应(即,所对应的或同系图像点或特征)。在此应用意义上,“利用一个或更多个相机拍摄一系列图像”的术语包括通过连续地(例如,遵循定义定时(例如每秒一个图像)或者遵循定义间隔(例如每隔半米移动一个图像)拍摄/取单个图像或者通过拍摄视频帧来生成图像数据。
因此,在基于所对应的特征的SLAM评估中,同时得到图像的姿态并且点云(在本文中被称作“基准点场”,其是具有比较低的密度的点云(因此也常常被称作“稀疏点云”))被建立和计算。这个基准点场在仅被计算以便确定图像的姿态(即,以便确定并参照图像拾取相对于彼此的位置和定向)的第一距离上,即至少最初仅用于定位目的。基准点场因此是用于确定姿态的连续地增长的公共基准帧。基准点场通常不包括周围的预知点。
在基准点场和姿态确定的第一步骤中,相对姿态算法被用来计算两个选择的初始帧/图像与初始点云(即,基准点场的第一部分)之间的相对姿态。在本文中,IMU和/或GNSS数据能够被附加地用来确定所选择的初始帧的相对姿态(以便做出使姿态变得更稳定和/或更有效的步骤)。基于结果得到的点云(基准点的这个第一/已经存在的部分)以及第三图像中检测到的所对应的特征能够通过后方交会来计算第三图像的姿态。然后再次,应用前方交会以细化所有三个图像中检测到的特征的3D坐标并且以确定在第一图像和第三图像中的一个中检测到的新3D点。因此,利用添加的图像可以重建新3D点并且点云(基准点云)中的点的数量在增长(图13)。
算法的基本部分的概要:
同时地,通过对一系列图像(13)应用定义算法
-图像的姿态被确定并且
-包括周围存在的多个基准点的基准点场被建立
其中
-多个分别对应的图像点在多个图像子组中的每一个中被标识,各个图像子组包含一系列图像中的至少两个图像,
-姿态借助于使用已经添加到基准点场的确定坐标以及表示所述基准点的所对应的图像点的图像位置的后方交会来确定,以及
-基准点(其各个由标识的对应的图像点表示)被添加到基准点场并且基准点的坐标借助于使用对应图像点的图像位置的前方交会以及针对所述相应的对应图像点出现在其中的图像所确定的姿态来确定。
甚至进一步总结(换句话说):
利用使用图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在图像的系列中的图像的多个子组中的每一个中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,
-包括所述环境的多个基准点的基准点场被建立,其中,基准点的坐标被得到(基本上从前方交会),并且
-图像的姿态被确定(基本上根据后方交会)。
作为最终或中间步骤(即,在已经执行基本算法之后或者除此之外),能够使用集束调整来细化总体解决方案(即,经建立的基准点场(即,所得到的基准点的坐标),以及可选地所确定的所对应的图像点在图像中的图像位置)。这个算法是再投影误差以及可选地GNSS测量结果的非线性最小二乘方最小化。它将在一个步骤中优化基准点场的所有相机姿态和所有3D点的定位和定向。
集束调整能够由用户在他正在使用杆来测量个别点时即在传统的GNSS杆模式下触发。集束调整然后被用来在测量期间细化杆的定位和定位以在测量期间给用户提供尖端的位置的最佳估计。
另选地,能够使用图像数据、IMU数据和/或GNSS数据来检测杆是否被已经保持在一个位置中。集束调整然后被自动地触发。当最佳(集束调整后的)结果可用时这通过例如绿灯被指示给用户。用户然后能够在触发测量时立即读出尖端的位置的最佳估计。
如果GNSS数据可用-情况可能不总是这样,则能够在新相机姿态的后方交会中或者在初始图像对的相对姿态的计算中使用位置。对于新图像姿态的计算在后方交会算法中组合图像和GNSS位置中所检测到的特征位置。具体地,测量结果的准确性(例如,对于特征测量结果来说为1px而对于GNSS位置来说为3cm)被考虑并且测量结果被相应地加权。
与GNSS数据的组合导致通过SLAM算法生成地理参照且定标的点云。而且,因为GNSS在全局标度上递送具有良好准确性的位置,所以这些位置抵消可能出现在仅基于图像测量结果的SLAM中的误差累积和结果得到的漂移。
然而,如果已经生成了基本点云,则后方交会在不可仅通过图像数据得到GNSS信号的情况下也工作。这可能是当操作员与立面站得非常近并且大多数GNSS卫星被建筑物覆盖时的情况。然后基于现有点云通过相机姿态的后方交会得到6-DoF。
另选地,其它SLAM或运动结构算法能够被用于杆的6-DoF确定。
而且,如果GNSS位置不可用并且位置是从图像数据得到的,具体地在与IMU数据的组合中,能够将所得到的位置反馈给GNSS模块以便于对GNSS位置的修复的快速重新获取。
另选地,当将图2b所示的相机模块30应用于反射器16时,代替GNSS数据还能够使用利用全站仪测量到的位置。这里再次,如果已经生成了基本点云,则还能够在全站仪与反射器之间的视线中断时确定模块的姿态。
在GNSS数据与图像测量结果的组合中必须考虑天线中心与相机模块之间的偏移。这个偏移可能是根据机械设计获知的或者通过校准得到。当使用了多个相机时,还必须根据设计校准或者得到它们的相对姿态。校准能够由制造商或者由用户在特别设计的过程中使用例如可由要校准的相机拍摄的很好地构造成的区域(基准图案)来完成。图案与相机之间的限定的相对空间关系是预知的。还能够在集束调整(自校准)中微调校准。
此外,能够在六个自由度的确定中包括来自惯性测量单元(IMU)的数据(即加速度和角速率)。因为加速度计感测重力向量,所以能够根据IMU数据直接确定相机模块的倾斜(即横摇角和俯仰角)。能够从基于加速度的双积分的位置偏移与从GNSS位置得到的位置偏移的比较得到杆的水平定向,即偏航角。另选地或附加地,磁强计能够被用来确定偏航角。
能够通过传感器融合算法(例如,卡尔曼滤波器、粒子滤波等)来执行传感器数据的组合。
为了传感器融合重要的是所有测量数据参照公共时基。这能够通过同步的数据获取(即,一个传感器触发所有其它传感器)或者通过将时间戳指派给各个测量来实现。
知道GNSS杆的长度及其相对于上级(局部或全局坐标系统,例如WGS84)的姿态,能够得到尖端点的坐标。在实际测量中这具有操作员在他将尖端点放置到测量点中之后不必再弄平杆的优点。因为测量单个点所需的减少时间,所以这对操作员执行测量作业的生产力产生积极影响。
密集匹配
密集匹配具有在原始图像中确定密集点云(即,各个像素或子集的3D坐标,例如在规则3x3网格上,即在行和列方向上每第三个像素)的目标。算法由两个主要步骤构成。
首先,对于所有交叠相机计算视差图。此图包含两个图像中的像素的偏移,即要应用于第一图像中的像素以结束于第二图像中的对应点的位置的移位。存在计算这些图的多个方式、相关技术(例如半全局匹配)等。
对于视差图中的各个像素来说置信值能够被获得并且用在进一步处理中,例如以用于测量结果的自适应加权。
第二,使用这组视差图通过前方交会来计算3D点。知道通过所对应的像素来自投影中心的图像光线60的姿态被建立。对象点的3D坐标由这些光线的交会产生。原则上两条光线中的最小者是3D点的交会所需要的。然而,在实践中尽量多可用的光线被用在前方交会中。
标识图像点(基准点)并且基于经标识的图像点来确定姿态(具体地基于其计算点云)被理解为密集匹配处理的形式或至少一部分。
对于前方交会能够应用最小二乘法调整。这里,点的3D坐标是通过使点与所有光线之间的偏差(实际上为平方偏差)最小化来确定的。基于几何形状和结果得到的偏差,即剩余残差,能够通过计算方差-协方差矩阵以及此外3D点的所有三个坐标的标准偏差的估值来得到交会的量。
这个被示出在图15a中,其中尤其对于单个点或这些点的相应区域,六条光线的“好”交会66导致小不确定性并且三条光线的“差”交会68导致大不确定性。
关于如上所述的点云的计算点中的至少一个的量的量指示输出可以基于这种计算。
能够使用关于测量质量的多个准则来对最终点云进行滤波。这包括观察到点的图像的数量(即,用于交会的光线的数量)、限定交会的几何形状的相机之间的基线、针对所有测量结果的一致性的量度等。
另选地,还能够单独基于像内在因素(相机分辨率等)这样的预知情况以及一般内在因素(到相机的距离等)针对实际上行进的路径和实际上需要的图像系列(并且还针对具有图像的计划拍摄的计划路径)来计算质量指示符。在这种情况下,对于至少一个点的位置的计算(以及对光线在前方交会内的交会的程度的考虑)将未必用于这个估计的质量指示符。图15b示出了基于这些区域中的3D位置的确定的估计可达质量的准确性界限的可视化。靠近计划或行进迹线的点具有更高的估计准确性/质量并且更远离计划或行进迹线的周围的点具有更低的估计准确性/质量。
另选地,能够使用其它算法(例如,平面扫掠)来确定密集点云。
对于单个点的测量操作员将杆的尖端点放置在测量点上。与此相反,密集点云的测量是动态的,即操作员仅围绕收集数据(即,图像数据、来自GNSS或全站仪的位置数据、IMU数据等)。
用户简单地走过要映射的区域。在移动期间系统记录图像数据(例如,每秒15帧)、GNSS位置和IMU数据。传感器或者被同步,例如由主传感器触发,或者时间戳被指派给各个测量。
去模糊
另一个发明方面是在计算“SLAM”(或者还被称作“运动结构SfM”之后使所获取的图像系列的图像变清晰。
人们知道,在相机正在运动中的情况下拍摄的图像中,运动模糊可能出现在图像中。其中,一般而言,远离相机的经成像的场景/环境的对象相对于相机具有更低的相对运动(即,对图像拾取有效的相对运动)以及更靠近相机的经成像的场景/环境的对象具有更高的相对运动。
根据SLAM算法(尤其附加地借助于IMU数据和/或GNSS/TPS位置测量数据),能够为在图像系列的获取期间行进的路径得到相机的3d迹线。
并且,还已经根据SLAM算法确定了场景/环境(即,被提取并用来为图像得到姿态的环境的基准点场的位置)。
基于这个稀疏点云(即,更一般地说:基于所确定的稀疏点云的场景/环境的深度信息或深度图)并且基于相机在图像中的每一个的获取期间的运动,能够通过图像处理在图像中执行运动去模糊。
其中,在图像的获取期间一直更靠近相机的成像对象被应用有比较更高程度/阶段的运动去模糊并且在图像的获取期间一直远离相机的成像对象被应用有比较更低程度/阶段的运动去模糊。
在所获取的图像系列的图像的去模糊之后,通过去模糊重新生成的图像(其能够被称为去模糊图像)然后能够取代/替换图像系列的所对应的未去模糊的图像。
在图像系列的所有图像被去模糊的情况下,这些去模糊的图像然后能够构成图像系列(即,然后包括仅去模糊的图像)。
在图像系列的图像的仅一部分被去模糊(在序列中取代属于去模糊之前的系列的所对应的/对方未去模糊的图像)的情况下,图像系列然后能够由去模糊的图像和未去模糊的图像构成。
在下文中,然后包含至少同样一些去模糊的图像(或仅去模糊的图像)的这些重新或者刷新的图像系列能够被用于多个目的:
a)通过使用经刷新的图像序列(包括去模糊的图像)来重新执行SLAM评估,即导致
-针对基准点场的基准点重新计算的位置(即,重新计算的稀疏点云)以及
-针对图像重新计算计算的姿态。
其中,由于表示基准点的要在图像中标识的特征能够位于具有更高准确性/更高鲁棒性和更低测量不确定性的图像中的事实(由于在去模糊之后的图像中的模糊的更低程度而导致),基准点的位置以及图像的姿态二者能够被确定为更准确并且有更低测量不确定性。
b)按更高准确性和更低测量不确定性计算环境的密集点云(即,执行密集重建或建网)。
其中,经刷新的/去模糊的图像系列(包括去模糊的图像)能够直接被用于密集重建。或者在以上点a)下描述的步骤(即,对经刷新的系列重新执行SLAM评估)能够置于前面,然后,基于通过执行以上步骤a)已经重新计算的姿态,能够使用经去模糊的系列以及已经更准确地确定的姿态来执行密集重建。
这由于在去模糊的图像中能够按更高鲁棒性和更高精度执行图像中的对应图像点(属于相同的场景点)的标识和定位的事实而对于密集点云的确定导致更高的准确性。因此,同样使用经标识且定位的图像点的前方交会以更高准确性/更低测量不确定性揭示场景点的位置。
并且,场景点云的确定的更高密度由于在去模糊的图像中图像中的更多对应的图像点(属于相同的场景点)是可标识的事实而是可实现的。
c)以更高准确性和更低测量不确定性计算环境的单个点的位置(在上文并且在后面还被称作“远程点测量”。
类似于多个点(即环境的密集点云)的计算,同样能够通过使用经刷新/去模糊的图像系列(以及可选地已经重新计算的姿态)来以更高准确性和更低测量不确定性确定单个点的位置。
总之,使用去模糊的图像,对去模糊的图像的SfM/SLAM评估能够提供有关姿态和稀疏点云的确定的更好结果,因为特征将由于图像中的更高对比度而被以更高精度定位(并且可以定位更多特征)。如果SfM是更精确的,则进一步的步骤将提供更好质量(密集重建、建网)。但是同样在没有前缀的刷新SfM/SLAM评估的情况下,与使用未去模糊的图像的场景相比能够通过使用经去模糊的图像来以至少稍微更高的质量执行密集重建。
正射相片
在图16a和图16b中例示了两个正射相片的匹配的示例性实施方式,其中,一个正射相片160由根据本发明的测量系统生成并且一个正射相片是基准正射相片165,例如空中图像。术语正射相片这里被理解为意指具有正射视图的“真实”正射相片,即起伏和倾斜已被调整以便正射校正图像。
因为相机可能正向下看,或者具有足够的视场,所以地平面将是可见的。与到地的已知距离、相机位置和定向一起,能够将图像投影到地平面。通过使用来自不同方向的许多图像,能够计算地平面的一个大的合成图像。由于纹理透视缩短(透视效应,当相机正以特定角度看地面时),论文“Analysis-by-Synthesis Texture Reconstruction”(Liefers、Parys、Schilling,2012中所描述的方法能够被用来为为地平面获得高质量纹理。所生成的正射相片能够被登记到地理参照空中图像以便在地理坐标系统中定位测量。在以下段落中,对工作流进行详细的描述。
能够在作为相机模块的一部分的处理单元上执行相机姿态和密集匹配的处理,即密集点云的生成。另选地,能够在控制器(数据记录器)或GNSS天线的处理单元上执行处理,所述GNSS天线通过电缆或者经由无线电、蓝牙、WiFi等连接到相机模块。
而且,能够将数据发送到连接到互联网的专用云服务器。能够直接从相机模块或者经由控制器或者经由GNSS天线发送数据。
另选地,服务器能够被安装在车辆(例如,靠近测量区域位于并且通过诸如蓝牙或WiFi的本地电信协议与杆进行通信的汽车)中。
另选地,服务器能够被暂时或者永久地安装在例如施工棚里的站点上并且通过本地电信协议与杆进行通信。
优选地,云服务器上的数据的发送和处理紧接在记录开始之后开始。在这种情况下在后台中帮助使结果的等待时间保持短的数据获取并行地执行处理。
另选地,系统能够包括与由操作员在背包中携带的电源(例如,电池)一起的第二处理单元。第二处理单元可以被配备有使得能实现图像数据的大容量并行处理的图形处理单元(GPU)。具体地,第二处理单元可以是诸如强大的膝上型电脑、平板计算机或智能电话的独立便携式装置。第二处理单元可以通过电缆或本地电信协议与杆进行通信。
而且,处理的组合在相机模块的处理单元、控制器或GNSS天线的处理单元以及诸如云服务器的外部处理单元上。例如,能够在包括在相机模块中的处理单元上执行数据的同步记录。并且,能够在这个处理单元上执行图像数据的预处理,例如特征提取或一些基本图像处理算法。能够在控制器的处理单元上执行产生图像的姿态以及稀疏点云的坐标的SLAM算法。然后能够将结果得到的相机姿态和图像发送到执行密集匹配的云服务器。
处理之后的结果可以是
●点云,特别是有色点云;
●表面模型,特别是构造成的表面模型;
●正射相片,特别是地面或立面的;或者
●一组折点,例如拐点,自动地从点云得到。
为了完整性检查操作员应该在数据获取结束之后不久(例如,几分钟)已经在场中接收到预览模型。基于这个预览模型操作员能够决定他是否完全拍摄了测量区域或者一些部分是否未被覆盖。在后者情况下操作员能够在未覆盖区域中进行一些附加测量以增加完整性的水平。
完整性检查能够利用图像的对比度分析增强以便检测遗漏并且它们将被重建不太可能的区域(均匀表面)。这将节约用户设法重建这种区域的时间。
能够由操作员基于预览模型的可视化(例如,3D可视化)完成该决定。另选地,可视化能够作为映射视图为2D,以与对于无经验的用户来说难以解释和导航的3D模型相比给用户呈现模型的更快且更易于理解的视图。具体地,遗漏部分被加亮。而且,系统能够将操作员导向遗漏测量的区域。
预览模型应该在数据获取结束之后不久可用。为了节约时间,例如为了数据发送和处理,预览模型可以具有比最终模型低的分辨率,例如大约10cm的点分辨率。这能够通过例如在图像分辨率从1920×1080个像素降低至320×240个像素之后对具有更低分辨率的图像具体地执行密集匹配来实现。
在有限带宽的情况下,如果在云服务器上执行处理则在数据被发送之前执行图像分辨率的降低。而且,图像数据能够在它们被发送到处理服务器之前被压缩。其中,能够以无损方式(即,能够应用无损数据压缩,而不降低图像的质量/分辨率)或者以有损方式(即,取决于特定情形的需要和情况,同样能够应用有损数据压缩,包括图像的质量/分辨率的降低)执行图像数据的压缩。
而且,能够使用稀疏图像表示来减少数据(不必发送非常低对比度的区域)。
通过使经计算的正射相片与基准空中图像相匹配,能够得到附加的定位信息。这个能够被用作地理定位的唯一源或者能够与GNSS或基于棱镜的陆地测量结果联接以便改进地理定位准确性。
在整个场景被拍摄之后,对数据集执行SLAM算法。运动结构能够使用部分GNSS数据,然而这是不需要的。在计算外部相机参数之后,执行正射相片生成算法。这个算法工作如下:
1)属于地表面的点被确定。这能够使用IMU来完成以得到垂直定向向量并且检测与这个向量垂直的平面表面。另选地,来自SLAM的移动方向被用来估计与地面垂直的向量。
2)在地表面确定之后,例如使用2D德劳内三角测量来使属于这个表面的点成三角形。另选地,平面的集合被固定到地表面。另选地,地表面点在对平面进行滤波或者使表面成三角形之前被滤波。
3)针对地表面(现在被定义为平面或三角形的集合)的纹理生成被执行。取决于质量要求,能够通过给来自点云的表面着色来获得纹理。另选地这能够通过使用所确定的相机投影矩阵对图像进行反投影而完成。在需要最高纹理质量的大多数需求情况下,使用综合分析方法。这通过将所有拍摄的图像反投影到地表面、计算地表面上的颜色贡献的平均数、然后将地表面的部分投影回给相机并且计算所拍摄的图像与投影地表面之间的差异图像来工作。然后差异图像被反投影到地平面,颜色被累积,以计算地表面的新改进的纹理。然后在循环中重复该处理。这允许甚至从具有高透视失真的图像重建高质量纹理,其中地表面被极端地透射缩短。
4)纹理化地表面然后被投影到地平面上以便获得能够与从空中图像创建的地理参照正射相片相匹配的正射相片。
5)相机位置相对于本地坐标系统中生成的正射相片是已知的。然后使用纯粹基于图像的方法来向地理参照空中图像注册所生成的地面图像。然后能够在地理坐标系统中计算相机位置,并且能够将点云然后转换为地理坐标系统。
在一些应用中可能需要没有GNSS信号的交互式地理定位。然后能够使用以下方法:
1)在数据捕获期间,根据非常有限数量的帧计算仅局部纹理。这需要对相机的可能小的子集运行SLAM以便发现它们彼此的关系。
2)局部纹理然后使用基于图像的方法(例如,特征匹配)被注册到空中图像。
3)然后能够根据新局部相机以及局部地面纹理到空中图像的注册来确定相机的位置和模型标度。
这个方法能够被用于相机在地图上的位置的本地装置的屏幕上的交互式可视化。可以一起为了良好滤波而联合并优化局部SLAM计算以便找到利用SLAM的不同子重建之间的关系。
在GNSS可用的情况下,该方法能够被用来在无需租用平面或UAV的情况下创建地理参照正射相片以便用在其它应用中。
图16a示出了从在地水平面处获取的图像生成的示例正射相片160。如可以看到的,不是从地水平面拍摄的那些区域162(诸如建筑物屋顶或树顶)不存在。图16b呈现了来自地理参照空中图像的示例基准正射相片165。那两个图像具有不同的标度和定向。通过使用变化特征的标度和旋转的匹配,能够将所生成的图像变换为和基准空中图像的标度和旋转匹配(来自图16a的正射相片160的边界由外形166表示)。这个变换然后被用来将测量仪器的点云和位置带给基准图像165的坐标系统。
基于杆的标度推导
相机模块还能够在无需与GNSS系统或全站仪一起组合的情况下被使用,特别是在不需要绝对地理参照的应用中这个被例示在图17中。
不利地,没有GNSS或全站仪的3D重建可能具有任意标度。这个任务的现有技术水平解决方案是使用具有已知3D坐标的基准点。这些点是在图像上人工地或自动地测量的。它们的3D坐标使用附加测量单元(例如,利用全站仪)来确定。另选地,能够使用在图像数据中自动地标识的标度条。
另选地,具有以下步骤的方法能够被用来确定标度。
1)测量被安装在杆10上的相机模块30的高度。
2)用户2开始在杆10直立在地面上的情况下记录图像。
3)用户沿着对象移动并且记录图像。
4)在数据处理之后,重建任意标度下的对象的密集点云。相机模块高于地面的高度是在针对第一图像重建的点云中确定的。
5)通过在步骤1和步骤4上确定的高度的比较来计算标度。
为了改进标度计算的准确性,用户2能够在测量期间将杆10放置到地面上一次以上。用户能够按杆上的按钮以指示当杆10正直立在地面上时的时刻。另选地,可能基于顺序地记录的图像或IMU信息的比较自动地确定这个时刻。
整个重建在任意定向坐标系统中完成。然而,用户能够通过以下过程来定义本地坐标系统:
1)用户2将杆10放置在地面上并且使用综合水平仪(integrated bubble)来使杆垂直地定向。在用户按将地面上的这个点5定义为坐标系统XYZ的原点的装置上的按钮之后,在默认情况下整个测量的第一点5被认为是原点。坐标系统的垂直轴Z由杆10相对于铅垂线9的当前定向来定义。
2)对于坐标系统的水平定向的定义,用户2在第二点5’上按照任意定向将杆10放置到地面上。杆10的垂直定向在这种情况下是不重要的。从坐标系统的原点到这个第二点的向量定义水平定向,例如坐标系统的x轴。
用户能够将杆10放置在明显且标记的点上以能够将来(例如稍后在另一测量中)设置同一坐标系统XYZ。
相机模块30高于地面的高度计算能够在经重建的点云中人工地或者自动地完成。在第一种情况下,用户选择属于地面的点。在第二种情况下基于杆10被垂直地定向的假定而提取高度。
另选地,还能够在网状表面模型中执行高度计算。
循环闭合
可选地,结合全景相机的GNSS数据能够被用来以新方式扩展标准SLAM方法。GNSS数据能够被用来选择在粗略同一位置处但是在不同时间记录的两个帧。这个在用户跨越他自己的路径或者进行同一路径多次时发生。因为GNSS杆在正常记录条件下被垂直地保持,所以两个帧之间的主要差异很可能是水平旋转,即方位角的改变。能够确定并补偿这样的单个旋转以用于高效地使用原始图像或检测到的特征点。在方位改变的补偿之后或期间,可选地能够以类似的方式执行其它两个定向角的小改变的补偿。一旦两个帧被粗略地对准,就能够通过使用诸如KLT的跟踪算法在两个帧之间找到图像之间的多个附加匹配。附加匹配改进遥远且定时的但是不在位置中的两个帧之间的连接,即循环闭合。这通过对大数据集进一步减少漂移(也在旋转中)来使算法稳定并且增强准确性。
根据本发明的循环闭合基于利用至少一个相机拍摄周围的图像的第一系列,第一系列包括按相机的不同姿态拍摄的图像的量,姿态表示相机的相应的位置和定向。此外,基于图像的第一系列标识图像点的初始集合,初始图像点表示初始基准点场65(图14)的基准点62,其中,每个基准点出现在图像的系列的至少两个图像中,并且基于使用初始图像点的后方交会来确定图像的姿态。
根据本发明,周围的图像的第二系列是利用至少一个相机拍摄的,出现在图像的第二系列的图像中的至少一个中的基准点场65的基准点被标识,图像点的另一集合在与图像的第二系列的经标识的基准点62对应的图像的第二系列的图像中被标识,并且基于使用图像点的初始集合和另一集合的后方交会来确定图像的第二系列中的图像的姿态。
杆的底部上的轮
图18和图19a-d示出了对于用户来说方便测量处理的根据本发明的轮式测量系统的两个示例性实施方式。
图18所描绘的轮式测量系统180包括含有图1的杆的特征的杆10。附加地,杆10包括使得用户2能够在不必携带杆10的情况下沿着通过环境的路径移动杆10的轮181。为了方便杆10的推(或拉),它被配备有手柄182(或两个手柄)。
优选地,两个轮181附接至杆10使得如果杆垂直(相对于地面成90°角度)则杆的底端接触地面。甚至更优选地,杆10自主地保持这个直立位置。为了移动杆10它需要倾斜(如图18所示)。
另选地,杆10的底端可能是可延伸的以便接触地面。
可选地,轮181能够由电机特别是电动机驱动。这个电机例如能够由用户2通过手柄182上的控制单元来控制或者能够作为用于用户2的推(或拉)移动的支持驱动器。
图19a-d所描绘的轮式测量系统190包括两轮自平衡机动车辆195。这种车辆还被广泛地称为“赛格威个人交通工具”。测量系统190包括被安装在车辆195上的杆10。在如关于图1已经描述的杆10上,设置了GNSS天线15和相机模块30。测量系统190还包括控制和评估单元12。
如从类似的车辆所知道的,车辆195的运动能够由用户2像图19c和图19d所例示的那样控制。所描绘的车辆195被设计为使得用户2通过相对于用户2和车辆195的组合重心使车辆倾斜来控制车辆195的向前和向后移动。
可选地,车辆195能够包括将地面上的斑点标记为目前测量点5的测量点标记装置192。具体地,这个斑点可以是杆10的虚延长。标记可以是仅在相应位置处的停留期间持续并且作为驱动车辆195的测量系统190的用户2的信息所想要的激光斑点或图案。具体地,这使得用户2能够在预定义标记位置处确切地测量。另选地,标记可能是更耐久的,例如喷漆标记或划线标志。这允许在相同位置处在以后的时间点重复测量。
可选地,车辆195的IMU能够被用于确定相机模块30的相机的定向,另选地或附加地,相机模块30的IMU。
如图20所示,杆10能够被配备有雨和/或太阳保护装置,例如被安装在GNSS天线15下方或周围的伞。这不仅方便用户2的工作条件而且保护相应的测量系统1、180、190的相机模块30和其它特征并且在降水的情况下改进图像质量。
尽管以上部分地参照一些优选实施方式例示了本发明,但是必须理解,能够做出实施方式的不同特征的许多修改和组合。这些修改中的全部位于所附权利要求的范围内。

Claims (12)

1.一种测量子系统,该测量子系统包括相机模块以及控制和评估单元,该测量子系统要用作测量系统的一部分,所述测量系统被适配为确定被安装在手提测量杆上的位置测量资源的位置,
●所述相机模块被设计为附接至所述手提测量杆并且包括用于拍摄图像的至少一个相机,
●惯性测量单元按照相对于所述测量子系统的固定空间关系与所述测量子系统关联,
●所述控制和评估单元存储具有程序代码的程序以便控制和执行校准功能,其中,当沿着通过环境的路径移动时
□在沿着所述路径移动的同时惯性测量数据被收集,
□基于相机的定位数据被生成,因此
·所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
·利用使用所述图像的系列的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在所述图像的系列中的图像的多个子组中的每一个子组中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,
·包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且
·所述图像的所述姿态被确定,
并且
□用于所述惯性测量单元的校准参数是基于所收集的惯性测量数据以及所述基于相机的定位数据而得到的。
2.根据权利要求1的子系统,
其特征在于
所述控制和评估单元被配置为使得所述校准功能被控制和执行,使得所述校准参数使用卡尔曼滤波器来得到。
3.根据权利要求1或2的子系统,
其特征在于
所述控制和评估单元被配置为使得所述校准功能被控制和执行,使得所述惯性测量单元使用所得到的校准参数来校准,其中,所述惯性测量单元的系统误差被补偿,具体地其中,所述惯性测量单元的偏差被补偿。
4.根据权利要求1的子系统,
其特征在于
所述位置测量资源包括GNSS天线或回复反射器。
5.根据权利要求1的子系统,
其特征在于
所述控制和评估单元被配置为使得所述校准功能被控制和执行,使得所述基于相机的定位数据的生成还包括
□从所述测量系统中检索由所述位置测量资源在沿着所述路径移动时采用的确定的位置;以及
□基于以下各项得到所述至少一个相机(31)和/或所述测量杆(10)在所述测量系统(1)的坐标系统中,具体地在所有三个旋转自由度上的外部定向,更具体地在六个自由度上的位置和外部定向
·针对所述图像的系列中的图像所确定的姿态,以及
·所述位置测量资源的多个确定的位置,具体地移动路径的行进历史。
6.根据权利要求1的子系统,
其特征在于
所述控制和评估单元存储具有程序代码的程序以便控制和执行空间表示生成功能,其中,当沿着通过环境(1)的路径(10)移动时
●所述环境的图像的系列利用所述至少一个相机拍摄,所述系列包括按所述相机的不同姿态拍摄的一定量的图像,所述姿态表示所述相机的相应的位置和定向,
●在沿着所述路径移动的同时,考虑所得到的校准参数,惯性测量数据被收集,
●利用使用所述图像的系列以及所收集的惯性测量数据的定义算法的SLAM评估被执行,其中,多个分别对应的图像点在所述图像的系列中的图像的多个子组中的每一个子组中被标识,并且,基于使用所述多个分别对应的图像点的后方交会和前方交会,
□包括所述环境的多个基准点的基准点场被建立,其中,所述基准点的坐标被得到,并且
□所述图像的所述姿态被确定,
并且
●基于所确定的姿态,包括所述环境的点的3D位置的点云通过使用所述图像的系列中的所述图像的前方交会来计算。
7.根据权利要求6的子系统,
其特征在于
所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得
●针对已在所述路径上采用的点的所述位置测量资源的确定的位置由所述控制和评估单元从所述测量系统接收,并且
●所述点云借助所接收到的确定的位置被定标,并且具体地被地理参照。
8.根据权利要求7的子系统
其特征在于
所述控制和评估单元被配置为使得所述空间表示生成功能被控制和执行,使得为经定标的点云生成图形再现,该图形再现能够由所述测量系统的显示装置显示。
9.根据权利要求1的子系统,
其特征在于
所述相机模块包括彼此相对地布置的至少四个相机,使得在方位方向上具有360°的视场的全景图像是能够拍摄的。
10.根据权利要求9的子系统,
其特征在于
所述至少四个相机被固定地布置在所述相机模块的公共外壳中。
11.根据权利要求9的子系统
其特征在于
所述惯性测量单元被固定地集成到所述相机模块的所述公共外壳中。
12.一种测量系统,该测量系统包括:
●手提测量杆,
●被安装在所述测量杆上的位置测量资源,其中,所述位置测量资源的位置能够由所述测量系统确定,
●根据权利要求1至11中的任一项的测量子系统,以及
●惯性测量单元,该惯性测量单元按照相对于所述测量子系统的固定空间关系与所述测量子系统或所述位置测量资源关联。
CN201480078610.1A 2014-05-05 2014-05-05 测量系统 Active CN106461391B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201611120366.8A CN107101620B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120368.7A CN106918331B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201811582495.8A CN109945844B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201710846461.4A CN107655461B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120367.2A CN107084710B (zh) 2014-05-05 2014-05-05 相机模块和测量子系统
CN201611120371.9A CN106959103B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120364.9A CN106908046B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201710846198.9A CN107727076B (zh) 2014-05-05 2014-05-05 测量系统
CN201611120164.3A CN106959102B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/059138 WO2015169338A1 (en) 2014-05-05 2014-05-05 Surveying system

Related Child Applications (9)

Application Number Title Priority Date Filing Date
CN201710846198.9A Division CN107727076B (zh) 2014-05-05 2014-05-05 测量系统
CN201611120371.9A Division CN106959103B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120367.2A Division CN107084710B (zh) 2014-05-05 2014-05-05 相机模块和测量子系统
CN201611120364.9A Division CN106908046B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120368.7A Division CN106918331B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201710846461.4A Division CN107655461B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120366.8A Division CN107101620B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201811582495.8A Division CN109945844B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120164.3A Division CN106959102B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统

Publications (2)

Publication Number Publication Date
CN106461391A CN106461391A (zh) 2017-02-22
CN106461391B true CN106461391B (zh) 2019-01-01

Family

ID=50639549

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201611120368.7A Active CN106918331B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120366.8A Active CN107101620B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120364.9A Active CN106908046B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201710846461.4A Active CN107655461B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201811582495.8A Active CN109945844B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120367.2A Active CN107084710B (zh) 2014-05-05 2014-05-05 相机模块和测量子系统
CN201710846198.9A Active CN107727076B (zh) 2014-05-05 2014-05-05 测量系统
CN201611120371.9A Active CN106959103B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201480078610.1A Active CN106461391B (zh) 2014-05-05 2014-05-05 测量系统
CN201611120164.3A Active CN106959102B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统

Family Applications Before (8)

Application Number Title Priority Date Filing Date
CN201611120368.7A Active CN106918331B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120366.8A Active CN107101620B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120364.9A Active CN106908046B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201710846461.4A Active CN107655461B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201811582495.8A Active CN109945844B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统
CN201611120367.2A Active CN107084710B (zh) 2014-05-05 2014-05-05 相机模块和测量子系统
CN201710846198.9A Active CN107727076B (zh) 2014-05-05 2014-05-05 测量系统
CN201611120371.9A Active CN106959103B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201611120164.3A Active CN106959102B (zh) 2014-05-05 2014-05-05 测量子系统和测量系统

Country Status (4)

Country Link
US (11) US10234287B2 (zh)
EP (10) EP3333541A3 (zh)
CN (10) CN106918331B (zh)
WO (1) WO2015169338A1 (zh)

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455877B2 (ja) * 2014-10-08 2019-01-23 株式会社トプコン 測量装置
EP3021079B1 (en) 2014-11-14 2017-03-01 Leica Geosystems AG Geodetic surveying system with task list visualization
EP3021078B1 (en) 2014-11-14 2018-09-26 Leica Geosystems AG Geodetic surveying system with virtual camera
US10521472B2 (en) * 2015-02-27 2019-12-31 Realnetworks, Inc. Composing media stories method and system
US10592914B2 (en) * 2015-03-24 2020-03-17 PlaceIQ, Inc. Device-dwell graphs
EP3086283B1 (en) * 2015-04-21 2019-01-16 Hexagon Technology Center GmbH Providing a point cloud using a surveying instrument and a camera device
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
JP6630515B2 (ja) * 2015-08-25 2020-01-15 株式会社トプコン 位置誘導装置、位置誘導方法、プログラム
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
EP3165945B1 (de) 2015-11-03 2024-01-03 Leica Geosystems AG Oberflächenvermessungsgerät zur bestimmung von 3d-koordinaten einer oberfläche
WO2017106734A1 (en) * 2015-12-16 2017-06-22 Martineau Pierre R Method and apparatus for remanent imaging control
US20170178330A1 (en) * 2015-12-17 2017-06-22 Institute For Information Industry System and method for interior mobile mapping
EP3182066B1 (en) * 2015-12-17 2018-07-04 Leica Geosystems AG Surveying pole
CN108432222A (zh) * 2015-12-22 2018-08-21 深圳市大疆创新科技有限公司 支持包围式成像的系统、方法和移动平台
TWI656692B (zh) * 2015-12-31 2019-04-11 鴻海精密工業股份有限公司 通訊裝置
WO2017130397A1 (ja) * 2016-01-29 2017-08-03 富士通株式会社 位置推定装置、位置推定方法および位置推定プログラム
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
US10965671B2 (en) * 2016-05-10 2021-03-30 National Ict Australia Limited Authenticating a user
US9940721B2 (en) * 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
EP3485112B1 (en) 2016-07-15 2021-08-25 Fastbrick IP Pty Ltd Vehicle which incorporates a brick laying machine
JP7108609B2 (ja) 2016-07-15 2022-07-28 ファストブリック・アイピー・プロプライエタリー・リミテッド 材料搬送用ブーム
US10489927B2 (en) * 2016-07-18 2019-11-26 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor
US10120075B2 (en) 2016-08-19 2018-11-06 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US10488195B2 (en) 2016-10-25 2019-11-26 Microsoft Technology Licensing, Llc Curated photogrammetry
US10458792B2 (en) * 2016-12-15 2019-10-29 Novatel Inc. Remote survey system
EP3339714A1 (en) * 2016-12-20 2018-06-27 Nokia Technologies Oy An apparatus and associated methods for virtual reality image capture
US10563980B2 (en) * 2016-12-23 2020-02-18 Topcon Positioning Systems, Inc. Enhanced remote surveying systems and methods
CN106705962B (zh) * 2016-12-27 2019-05-07 首都师范大学 一种获取导航数据的方法及系统
CN108268357B (zh) 2016-12-30 2021-10-26 阿里巴巴集团控股有限公司 实时数据处理方法和装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
JP6767279B2 (ja) 2017-02-09 2020-10-14 株式会社トプコン 測量システム
JP7355470B2 (ja) * 2017-02-10 2023-10-03 株式会社トプコン 測量装置、及び測量システム
CN106878597A (zh) * 2017-03-06 2017-06-20 浙江大学 一种具有全景和特写功能的智能车载摄像机
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
US11032498B2 (en) * 2017-03-17 2021-06-08 The Regents Of The University Of Colorado, A Body High speed two-dimensional imaging with an analog interface
US10873689B2 (en) 2017-03-31 2020-12-22 Nec Corporation Information processing apparatus, information processing method, and information processing program
US10237477B2 (en) * 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
US10200677B2 (en) * 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
CN108959321B (zh) * 2017-05-25 2022-06-24 纵目科技(上海)股份有限公司 停车场地图构建方法、系统、移动终端及存储介质
US11765323B2 (en) * 2017-05-26 2023-09-19 Calumino Pty Ltd. Apparatus and method of location determination in a thermal imaging system
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
EP3415866B1 (en) * 2017-06-12 2020-06-03 Hexagon Technology Center GmbH Device, system, and method for displaying measurement gaps
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US11441899B2 (en) 2017-07-05 2022-09-13 Fastbrick Ip Pty Ltd Real time position and orientation tracker
US10375306B2 (en) * 2017-07-13 2019-08-06 Zillow Group, Inc. Capture and use of building interior data from mobile devices
US10530997B2 (en) 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
DE102017117056A1 (de) * 2017-07-27 2019-01-31 Testo SE & Co. KGaA Aufmaßgerät und Verfahren zur Erstellung eines 3D-Modells
WO2019026390A1 (ja) 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
CN107421754B (zh) * 2017-08-08 2023-12-08 南京瑷卡测控技术有限公司 一种行人碰撞保护划线装置
AU2018317937B2 (en) 2017-08-17 2023-11-23 Fastbrick Ip Pty Ltd Communication system for an interaction system
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光跟踪器
GB2566523B (en) * 2017-09-18 2020-02-26 Jaguar Land Rover Ltd System and method for vehicle convoys
EP3694793B1 (en) 2017-10-11 2023-11-08 Fastbrick IP Pty Ltd Machine for conveying objects
US11709230B2 (en) * 2017-10-12 2023-07-25 John Matthews Geodesic system and method of use
PL3477286T3 (pl) * 2017-10-25 2023-06-26 F. Hoffmann-La Roche Ag Sposoby i urządzenia do pomiarów analitycznych
RU178904U1 (ru) * 2017-10-26 2018-04-23 Иван Владимирович Чернов Устройство определения азимута направления и местоположения
IL275071B1 (en) * 2017-12-07 2024-02-01 Eyefree Assisting Communication Ltd Communication system and method
CN108318005A (zh) * 2017-12-08 2018-07-24 上海工程技术大学 一种大型物体空间角度的测量装置
CN108107462B (zh) * 2017-12-12 2022-02-25 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
CN108224008B (zh) * 2017-12-22 2019-12-13 罗普特(厦门)科技集团有限公司 一种基于逐圈扫描广域全景成像光电转台装置
US10657654B2 (en) * 2017-12-28 2020-05-19 Denso Ten Limited Abnormality detection device and abnormality detection method
CN108510434B (zh) * 2018-02-12 2019-08-20 中德(珠海)人工智能研究院有限公司 通过球幕相机进行三维建模的方法
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
EP3543910B1 (en) * 2018-03-19 2023-05-17 Rosemount Aerospace Limited Cloud detection in aerial imagery
DE102018108141A1 (de) 2018-04-06 2019-10-10 Navvis Gmbh Mobile Vorrichtung und Verfahren zum Erfassen eines Objektraums
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
KR102511533B1 (ko) * 2018-04-24 2023-03-20 한화비전 주식회사 감시카메라용 렌즈어셈블리 및 이를 포함하는 감시 카메라
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US11656076B2 (en) * 2018-05-15 2023-05-23 Javad Gnss, Inc. Method of calibrating a total station using a GNSS device
CN110545373B (zh) * 2018-05-28 2021-12-28 中兴通讯股份有限公司 空间环境的感知方法及装置
EP3598176A1 (en) * 2018-07-20 2020-01-22 Trimble Nantes S.A.S. Methods for geospatial positioning and portable positioning devices thereof
EP3598178A1 (en) * 2018-07-20 2020-01-22 Trimble Nantes S.A.S. Portable positioning devices and methods for obtaining a geospatial position
TWI699705B (zh) * 2018-08-06 2020-07-21 拓連科技股份有限公司 車輛之位置決定方法及系統,及其相關電腦程式產品
EP3614299A1 (de) * 2018-08-21 2020-02-26 Siemens Aktiengesellschaft Verfahren und anordnung zum erkennen von objekten an anlagen
EP3627100B1 (de) * 2018-09-20 2021-12-01 Hexagon Technology Center GmbH Retroreflektor mit fischaugenobjektiv
US10904434B2 (en) * 2018-09-28 2021-01-26 Bounce Imaging, Inc. Panoramic camera and image processing systems and methods
US10708507B1 (en) 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
US10809066B2 (en) 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
CA3058602C (en) 2018-10-11 2023-01-24 Zillow Group, Inc. Automated mapping information generation from inter-connected images
CN108981719B (zh) * 2018-10-12 2024-03-01 中国空气动力研究与发展中心超高速空气动力研究所 一种超高速飞行模型位姿变化测量装置及方法
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
US11309947B2 (en) * 2018-11-19 2022-04-19 Facebook Technologies, Llc Systems and methods for maintaining directional wireless links of motile devices
SE543047C2 (en) 2018-12-04 2020-09-29 Bjorkstrom Robotics Ab A computer-implemented method, a computer program product, and an apparatus for facilitating placement of a surveying tool
CN109343572B (zh) * 2018-12-20 2021-07-30 深圳市道通智能航空技术股份有限公司 一种无人机自主降落方法、装置及无人机
US11810323B2 (en) * 2018-12-28 2023-11-07 Ntt Docomo, Inc. Position estimation system
US10893250B2 (en) * 2019-01-14 2021-01-12 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
CN109859137B (zh) * 2019-02-14 2023-02-17 重庆邮电大学 一种广角相机非规则畸变全域校正方法
CN110044340B (zh) * 2019-02-26 2021-06-29 中国一冶集团有限公司 半球形钢结构壳体尺寸测量控制方法
US10616483B1 (en) * 2019-02-27 2020-04-07 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of generating electronic three-dimensional walkthrough environment
CN109947886B (zh) * 2019-03-19 2023-01-10 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
WO2020219982A1 (en) * 2019-04-24 2020-10-29 Nextvr Inc. Methods and apparatus for encoding, communicating and/or using images
EP3734222A1 (en) * 2019-05-02 2020-11-04 Leica Geosystems AG Coordinate measuring and/or stake out device
CN110095752B (zh) * 2019-05-07 2021-08-10 百度在线网络技术(北京)有限公司 定位方法、装置、设备和介质
JP7202261B2 (ja) * 2019-06-10 2023-01-11 株式会社トプコン 測量装置
RU192273U1 (ru) * 2019-06-13 2019-09-11 Александр Александрович Федоровский Система наземной стереосъемки
CN110427026B (zh) * 2019-07-15 2022-09-13 北京天时行智能科技有限公司 一种轮胎道路摩擦的确定方法及装置
JP2022540679A (ja) * 2019-07-17 2022-09-16 メタウェーブ コーポレーション ワイヤレス通信環境における増強されたアンテナ配置のための走査システム
CN110426674B (zh) * 2019-07-17 2021-12-14 浙江大华技术股份有限公司 一种空间位置确定方法、装置、电子设备及存储介质
CN110274575A (zh) * 2019-07-17 2019-09-24 伟志股份公司 一种基于gps技术的路线勘测系统及方法
DE102019120702A1 (de) * 2019-07-31 2021-02-04 Navvis Gmbh Gestell für zumindest eine Scaneinrichtung und Raumerfassungsvorrichtung mit zumindest einer Scaneinrichtung
US11250606B2 (en) 2019-07-31 2022-02-15 Grabango Co. Privacy protection in vision systems
CN110440760B (zh) * 2019-08-14 2022-05-20 散裂中子源科学中心 一种高精度摄影测量目标的制备方法
US11808866B2 (en) 2019-08-16 2023-11-07 Javad Gnss, Inc. Total station with GNSS device
US11566896B2 (en) * 2019-08-22 2023-01-31 Leica Geosystems Ag Surveying system with image-based measuring
US11243656B2 (en) 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
EP3788933A1 (en) * 2019-09-05 2021-03-10 BSH Hausgeräte GmbH Method for controlling a home appliance
CN110657782A (zh) * 2019-09-20 2020-01-07 武汉大学 一种新型单镜头立体测绘装置及测绘方法
US11164368B2 (en) 2019-10-07 2021-11-02 Zillow, Inc. Providing simulated lighting information for three-dimensional building models
JP7314447B2 (ja) * 2019-10-25 2023-07-26 株式会社トプコン スキャナシステム及びスキャン方法
US11164361B2 (en) 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
DE102019216548A1 (de) * 2019-10-28 2021-04-29 DeepUp GmbH Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
US10825247B1 (en) 2019-11-12 2020-11-03 Zillow Group, Inc. Presenting integrated building information using three-dimensional building models
US11295473B2 (en) * 2019-12-18 2022-04-05 Intel Corporation Continuous local 3D reconstruction refinement in video
US11536857B2 (en) 2019-12-19 2022-12-27 Trimble Inc. Surface tracking on a survey pole
US11175134B2 (en) * 2019-12-19 2021-11-16 Trimble Inc. Surface tracking with multiple cameras on a pole
WO2021127570A1 (en) * 2019-12-19 2021-06-24 Trimble, Inc. Surface tracking with multiple cameras on a pole
CN113093256B (zh) * 2019-12-23 2024-02-13 上海华测导航技术股份有限公司 一种gnss/imu测绘系统和方法
US11816855B2 (en) * 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Array-based depth estimation
CN111693725B (zh) * 2020-06-01 2022-07-15 中光智控(北京)科技有限公司 一种瞄准目标运动角速率测量方法及装置
US11405549B2 (en) 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use
US11436804B2 (en) * 2020-06-10 2022-09-06 Arm Limited Augmented reality system
US11514674B2 (en) * 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
US11592969B2 (en) 2020-10-13 2023-02-28 MFTB Holdco, Inc. Automated tools for generating building mapping information
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
CN112525107B (zh) * 2020-11-24 2022-09-09 浙江知象光电科技有限公司 一种基于事件相机的结构光三维测量方法
CN112489176B (zh) * 2020-11-26 2021-09-21 香港理工大学深圳研究院 一种融合ESKF,g2o和点云匹配的紧耦合建图方法
CN112434637B (zh) * 2020-12-04 2021-07-16 上海交通大学 基于量子计算线路和LiDAR点云分类的物体识别方法
CN112455726B (zh) * 2020-12-10 2022-04-19 长光卫星技术股份有限公司 一种低轨光学遥感卫星多点成像快速机动控制方法
EP4166901A1 (en) * 2020-12-11 2023-04-19 Leica Geosystems AG Surveying pole and secondary sensor unit having toroidal form
CN112747746A (zh) * 2020-12-25 2021-05-04 珠海市一微半导体有限公司 基于单点tof的点云数据获取方法、芯片和移动机器人
CA3142154A1 (en) 2021-01-08 2022-07-08 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11252329B1 (en) 2021-01-08 2022-02-15 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
CN112819943B (zh) * 2021-01-15 2022-08-30 北京航空航天大学 一种基于全景相机的主动视觉slam系统
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
CN112995484B (zh) * 2021-03-17 2022-09-16 烟台业达智慧城市运营科技有限公司 一种基于人工智能的监控摄像头
US11908198B2 (en) * 2021-03-18 2024-02-20 Pony Ai Inc. Contextualization and refinement of simultaneous localization and mapping
CA3214699A1 (en) * 2021-04-16 2022-10-20 Matthew Thomas Systems and methods for generating or rendering a three-dimensional representation
TWI772020B (zh) * 2021-05-12 2022-07-21 廣達電腦股份有限公司 影像定位裝置和方法
EP4092379A1 (en) * 2021-05-20 2022-11-23 Hexagon Technology Center GmbH Surveying device with image evaluator for determining a spatial pose of the target axis
CN115412717A (zh) * 2021-05-26 2022-11-29 荣耀终端有限公司 一种点云方位角信息的预测编解码方法及装置
CN113552596A (zh) * 2021-07-22 2021-10-26 中国十七冶集团有限公司 一种基于云边结合的新型gnss测量系统及测量方法
US11501492B1 (en) 2021-07-27 2022-11-15 Zillow, Inc. Automated room shape determination using visual data of multiple captured in-room images
CN113820735B (zh) * 2021-08-31 2023-12-01 上海华测导航技术股份有限公司 位置信息的确定方法、位置测量设备、终端及存储介质
US11842464B2 (en) 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
CN113933876B (zh) * 2021-11-16 2023-05-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 多星通讯时差定位数据融合处理方法
DE102021131129A1 (de) 2021-11-26 2023-06-01 Navvis Gmbh Mobile vorrichtung und verfahren zum erfassen eines objektraums
CN114003045B (zh) * 2021-12-30 2022-04-15 成都星宇融科电力电子股份有限公司 一种光电跟踪仪的目标跟踪方法、终端、可读存储介质
AU2022200797A1 (en) * 2022-02-04 2023-08-24 Kelvin Chin Yeoh Lim All seeing eyes housing system
CN114910933B (zh) * 2022-03-10 2024-03-19 苏州天硕导航科技有限责任公司 带视觉测量功能的rtk接收机系统、板卡及测量方法
US11830135B1 (en) 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
CN115829963B (zh) * 2022-11-28 2023-11-03 江苏凯威特斯半导体科技有限公司 一种等离子喷涂图像数据识别分析方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101484777A (zh) * 2005-12-15 2009-07-15 天宝导航有限公司 在缺少精确gps数据时获得准确测量数据的管理行进系统和方法
CN103256920A (zh) * 2012-02-15 2013-08-21 天宝导航有限公司 利用图像处理测定倾斜角和倾斜方向

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
WO2000060869A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Perspective-corrected video presentations
US20060012777A1 (en) 2004-07-13 2006-01-19 Talbot Nicholas C Combination laser system and global navigation satellite system
US20060028550A1 (en) * 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
US8415523B2 (en) * 2005-04-16 2013-04-09 Aalnex, Inc. Secondary wound dressings for securing primary dressings and managing fluid from wounds, and methods of using same
US8942483B2 (en) 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
JP5057734B2 (ja) 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
ES2327999B1 (es) * 2007-08-06 2010-08-30 Archidab Urban Media, S.L. Procedimiento, programa de ordenador y archivo para generar imagenes que reproducen un entorno tridimensional real.
AU2014200772B2 (en) 2008-02-13 2015-12-17 Caterpillar Inc. Terrain map updating system
US8351684B2 (en) * 2008-02-13 2013-01-08 Caterpillar Inc. Terrain map updating system
US8351686B2 (en) 2009-01-08 2013-01-08 Trimble Navigation Limited Methods and systems for determining angles and locations of points
CN101487703B (zh) * 2009-02-13 2011-11-23 浙江工业大学 快速全景立体摄像测量装置
CN101561270B (zh) * 2009-05-27 2011-05-04 天津理工大学 嵌入式全向球视觉目标检测和移动监控系统及方法
US9879992B2 (en) 2009-12-29 2018-01-30 Trimble Inc. Virtual perspective center aligned with measurement center
CN103119611B (zh) * 2010-06-25 2016-05-11 天宝导航有限公司 基于图像的定位的方法和设备
CN102486376A (zh) * 2010-12-04 2012-06-06 鸿富锦精密工业(深圳)有限公司 影像差异部位标注系统及方法
CN102080969B (zh) * 2010-12-16 2012-07-11 哈尔滨工程大学 全景视觉测量系统安装位置快速校正装置
EP2511781A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH System und Verfahren zur Steuerung eines unbemannten Fluggeräts
US9758239B2 (en) 2011-04-14 2017-09-12 Hexagon Technology Center Gmbh System and method for controlling an unmanned air vehicle
US9134127B2 (en) 2011-06-24 2015-09-15 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
CN102538761B (zh) * 2012-01-09 2014-09-03 刘进 球面全景相机摄影测量方法
US9513120B2 (en) 2012-09-20 2016-12-06 Trimble Navigation Limited Workflow improvements for stakeout
CN103017739B (zh) * 2012-11-20 2015-04-29 武汉大学 基于激光雷达点云与航空影像的真正射影像的制作方法
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9247239B2 (en) 2013-06-20 2016-01-26 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
EP2829842B1 (en) * 2013-07-22 2022-12-21 Hexagon Technology Center GmbH Method, system and computer programme product for determination of an absolute volume of a stock pile using a structure from motion algorithm
CN103411587B (zh) * 2013-08-14 2015-08-19 史云 定位定姿方法及系统
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
CN103644897B (zh) * 2013-12-17 2016-01-13 中国科学院遥感与数字地球研究所 一种基于超分辨率影像重建的三维量测方法
JP6062079B2 (ja) 2014-05-30 2017-01-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人型航空輸送機(uav)の動作を制御するための制御器および方法ならびに乗り物

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101484777A (zh) * 2005-12-15 2009-07-15 天宝导航有限公司 在缺少精确gps数据时获得准确测量数据的管理行进系统和方法
CN103256920A (zh) * 2012-02-15 2013-08-21 天宝导航有限公司 利用图像处理测定倾斜角和倾斜方向

Also Published As

Publication number Publication date
US20180017384A1 (en) 2018-01-18
CN106461391A (zh) 2017-02-22
US20190249988A1 (en) 2019-08-15
EP3333542A1 (en) 2018-06-13
CN107655461A (zh) 2018-02-02
EP3140613A1 (en) 2017-03-15
CN107101620A (zh) 2017-08-29
CN107727076B (zh) 2020-10-23
US11054258B2 (en) 2021-07-06
US10274316B2 (en) 2019-04-30
CN106959103A (zh) 2017-07-18
EP3228986A1 (en) 2017-10-11
CN106908046A (zh) 2017-06-30
EP3333541A3 (en) 2019-07-03
EP3228982A1 (en) 2017-10-11
US10605601B2 (en) 2020-03-31
US10495461B2 (en) 2019-12-03
CN106918331A (zh) 2017-07-04
US20190249987A1 (en) 2019-08-15
US10655962B2 (en) 2020-05-19
CN107101620B (zh) 2019-09-06
CN107655461B (zh) 2020-07-24
EP3228983A1 (en) 2017-10-11
CN106959102A (zh) 2017-07-18
US20170067739A1 (en) 2017-03-09
CN109945844A (zh) 2019-06-28
US10359283B2 (en) 2019-07-23
EP3228984A1 (en) 2017-10-11
US20190094022A1 (en) 2019-03-28
US20190226846A1 (en) 2019-07-25
US20170091922A1 (en) 2017-03-30
EP3569977A1 (en) 2019-11-20
US10371518B2 (en) 2019-08-06
US20200240784A1 (en) 2020-07-30
CN109945844B (zh) 2021-03-12
CN106918331B (zh) 2019-06-18
US20190242706A1 (en) 2019-08-08
CN106959103B (zh) 2019-12-31
CN107727076A (zh) 2018-02-23
US10281276B2 (en) 2019-05-07
US10488198B2 (en) 2019-11-26
EP3196594A1 (en) 2017-07-26
CN106908046B (zh) 2019-06-07
US20170091923A1 (en) 2017-03-30
US10605602B2 (en) 2020-03-31
EP3333541A2 (en) 2018-06-13
EP3228986B1 (en) 2024-03-13
WO2015169338A1 (en) 2015-11-12
US20170082436A1 (en) 2017-03-23
CN106959102B (zh) 2019-11-15
CN107084710A (zh) 2017-08-22
EP3140613B1 (en) 2024-04-03
US10234287B2 (en) 2019-03-19
EP3228984B1 (en) 2023-07-05
CN107084710B (zh) 2020-06-12
EP3196594B1 (en) 2021-08-11
EP3228985A1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
CN106461391B (zh) 测量系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant