CN113592721B - 摄影测量方法、装置、设备及存储介质 - Google Patents

摄影测量方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113592721B
CN113592721B CN202111133068.3A CN202111133068A CN113592721B CN 113592721 B CN113592721 B CN 113592721B CN 202111133068 A CN202111133068 A CN 202111133068A CN 113592721 B CN113592721 B CN 113592721B
Authority
CN
China
Prior art keywords
dimensional
mark points
points
image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111133068.3A
Other languages
English (en)
Other versions
CN113592721A (zh
Inventor
李洲强
徐钰凯
牛涛
李仁举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tenyoun 3d Tianjin technology Co ltd
Original Assignee
Tenyoun 3d Tianjin technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tenyoun 3d Tianjin technology Co ltd filed Critical Tenyoun 3d Tianjin technology Co ltd
Priority to CN202111133068.3A priority Critical patent/CN113592721B/zh
Publication of CN113592721A publication Critical patent/CN113592721A/zh
Application granted granted Critical
Publication of CN113592721B publication Critical patent/CN113592721B/zh
Priority to PCT/CN2022/121930 priority patent/WO2023046211A1/zh
Priority to CA3233222A priority patent/CA3233222A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本公开实施例涉及一种摄影测量方法、装置、设备及存储介质,通过获取多目相机连续拍摄的表面上设置有多个标志点的待测物体的多组同步图像,提取每组同步图像中与标志点对应的像点的坐标,并根据多目相机的标定数据以及像点的坐标,重建得到像点对应标志点的第一三维坐标,获得多组三维标志点;对多组三维标志点进行跟踪拼接处理,得到待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在框架中的编号;对各组中的三维标志点在框架中的编号进行组间去重处理,得到各组中的三维标志点在框架中的唯一编号。本申请提供的方案,无需布置编码点或只需布置极少量编码点,就可实现摄影测量,减少了人工工作量,提高了测量效率和准确性。

Description

摄影测量方法、装置、设备及存储介质
技术领域
本公开实施例涉及摄影测量技术领域,尤其涉及一种摄影测量方法、装置、设备及存储介质。
背景技术
目前,在基于单目相机实现的摄影测量中,一般需要手动在被测量物体的表面上设置大量的编码点,并且在布置的过程中需要一些经验,比如布置的密度分布、空间位置关系等。在完成摄影测量之后还需要对这些编码点进行回收,布置和回收的过程非常耗时,并且如果在拍摄过程中编码点的位置被移动还会导致测量失败或者测量精度降低,因此,亟需一种新的摄影测量方法来解决上述问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种摄影测量方法、装置、设备及存储介质。
本公开实施例的第一方面提供了一种摄影测量方法,所述方法包括如下步骤:
获取多目相机连续拍摄得到的待测物体的多组同步图像,每组同步图像包括所述多目相机中的多个相机在同一时刻拍摄得到的多幅图像,所述待测物体表面上设置有多个标志点;
针对每组同步图像,提取所述同步图像中与所述标志点对应的像点的坐标,并根据所述多目相机的标定数据以及所述像点的坐标,重建得到所述像点对应的标志点的第一三维坐标,获得多组三维标志点;
对所述多组三维标志点进行跟踪拼接处理,得到所述待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在所述框架中的编号;
对各组中的三维标志点在所述框架中的编号进行组间去重处理,得到各组中的三维标志点在所述框架中的唯一编号。
本公开实施例的第二方面提供了一种摄影测量装置,包括:
获取模块,用于获取多目相机连续拍摄得到的待测物体的多组同步图像,每组同步图像包括所述多目相机中的多个相机在同一时刻拍摄得到的多幅图像,所述待测物体表面上设置有多个标志点;
第一处理模块,用于针对每组同步图像,提取所述同步图像中与所述标志点对应的像点的坐标,并根据所述多目相机的标定数据以及所述像点的坐标,重建得到所述像点对应的标志点的第一三维坐标,获得多组三维标志点;
第二处理模块,用于对所述多组三维标志点进行跟踪拼接处理,得到所述待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在所述框架中的编号;
第三处理模块,用于对各组中的三维标志点在所述框架中的编号进行组间去重处理,得到各组中的三维标志点在所述框架中的唯一编号。
本公开实施例的第三方面提供了一种摄影测量设备,该摄影测量设备包括存储器和处理器,其中,存储器中存储有计算机程序,当该计算机程序被处理器执行时,可以实现上述第一方面的方法。
本公开实施例的第四方面提供了一种计算机可读存储介质,该存储介质中存储有计算机程序,当该计算机程序被处理器执行时,可以实现上述第一方面的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例,通过获取多目相机对表面上设置有多个标志点的待测物体进行连续拍摄得到的多组同步图像,每组同步图像包括多目相机中的多个相机在同一时刻拍摄得到的多幅图像,提取每组同步图像中与标志点对应的像点的坐标,并根据多目相机的标定数据以及像点的坐标,重建得到像点对应的标志点的第一三维坐标,获得多组三维标志点;通过对多组三维标志点进行跟踪拼接处理,得到待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在框架中的编号,并对各组中的三维标志点在框架中的编号进行组间去重处理,进一步得到各组中的三维标志点在框架中的唯一编号。本公开实施例提供的技术方案,通过将多目测量技术与跟踪拼接技术和组间去重技术进行结合,能够在没有编码点或存在极少编码点的情况下,实现相同标志点的匹配,从而实现了在没有编码点或极少编码点的情况下的摄影测量,减少了测量人员布置编码点的工作量,提高了测量效率,并且由于可以在没有编码点的情况下实现对待测量物体的摄影测量,因此,不会因为编码点被移动而导致测量不准确,提高了测量的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种摄影测量方法的流程图;
图2是本公开实施例提供的一种基于极线匹配方法重建三维坐标的方法的示意图;
图3是本公开实施例提供的又一种摄影测量方法的流程图;
图4是本公开实施例提供的一种摄影测量装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
图1是本公开实施例提供的一种摄影测量方法的流程图,该方法可以由一种摄影测量设备来执行。该摄影测量设备可以被理解为任意一种具有图像处理能力和计算能力的设备。如图1所示,本实施例提供的方法包括如下步骤:
步骤101、获取多目相机连续拍摄得到的待测物体的多组同步图像,每组同步图像包括多目相机中的多个相机在同一时刻拍摄得到的多幅图像,待测物体表面上设置有多个标志点。
本公开实施例所称的多目相机可以理解为包括2个或2个以上的相机的相机组合。在拍摄前可以先基于相关技术提供的标定方法对多目相机进行标定,获得多目相机中各相机的内参数和各相机之间的相对外参数。比如,在一种可行的标定方式中,可以通过如下方法对多目相机进行标定:
在已知标定板上标志点的三维坐标和实际编号的情况下,通过在不同位置不同角度采集多组图像,借助光束平差算法,通过迭代优化使得标志点在图像上的像点的坐标与该标志点的三维坐标在图像上的投影点的坐标误差最小,进而可以得到多目相机中各相机的内参数,以及各相机在各个拍摄位置处相对于标定板的外部参数(即外参数),从而根据各相机在各个拍摄位置处相对于标定板的外参数,确定得到各相机之间的相对外参数,完成相机标定。
本公开实施例所称的标志点是指采用回光反射材料制作成的具有标示作用的图形(比如,具有特定尺寸的圆点,但不局限于圆点),在本公开实施例中,不同的标志点可以具有不同的特征,比如直径,颜色等,但不局限于直径和颜色。
本公开实施例所称的每组同步图像包括多目相机中的多个相机在同一时刻拍摄得到的多幅图像,可以理解为由n台相机在同一触发信号下同一时间拍摄获取的n幅图像,其中的每台相机对应一幅图像,n为大于或等于2的正整数。以双目相机为例,双目相机于第一时间获取第一组同步图像,第一组同步图像包括:第一相机于第一时间获取的第一图像11,第二相机于第一时间获取的第二图像12;双目相机于第二时间获取第二组同步图像,第二组同步图像包括:第一相机于第二时间获取的第一图像21,第二相机于第二时间获取的第二图像22,当然这里仅是以双目相机为例进行的示例说明,而不是对本公开实施例的唯一限定。
在本公开实施例的一个实施方式中,可以预先在待测物体表面设置多个标志点,可采用多目工业相机进行拍摄,例如电荷耦合器件(charge coupled device, 简称CCD)相机。多目工业相机是机器视觉系统中的一个关键组件,其最本质的功能就是将光信号转变成有序的电信号。可通过移动多目工业相机对待测物体进行连续的拍摄,得到待测物体的多组同步图像。
步骤102、针对每组同步图像,提取同步图像中与标志点对应的像点的坐标,并根据多目相机的标定数据以及提取得到的像点的坐标,重建得到像点对应的标志点的第一三维坐标,获得多组三维标志点。
其中,本公开实施例所称的“第一三维坐标”仅是用于区分基于三维重建方法得到的三维坐标和基于其他方式得到的三维坐标,而不具有其他含义。
标志点的第一三维坐标可以理解为标志点在世界坐标系下的坐标。其中世界坐标系可以理解为,为了描述相机和待测物体在三维空间中的位置关系,而在三维空间中建立的一个坐标系,该坐标系可以用OwXwYwZw来标记,Ow为坐标系原点、Xw为坐标系的x轴分量,Yw为坐标系的y轴分量,Zw为坐标系的z轴分量。世界坐标系的原点可根据实际需要来设定。可用(Xw,Yw,Zw)来标记三维空间中标志点的坐标。
空间中一个场景经过针孔模型投影后成像在CCD上,随后被采集存储为图像,为了方便描述图像,需要定义图像坐标系,所述图像坐标系是一个二维坐标系,该坐标系的原点设置在图像的左上角,x轴、y轴与同步图像共面。标志点在图像中的像点坐标是指标志点对应的像点在图像坐标系中的二维坐标。在图像坐标系中像点的坐标可以以像素为单位,每个像素存储图像的灰度值。
摄影测量中还需用到相机坐标系和像平面坐标系,相机坐标系主要用来完成世界坐标系到像平面坐标系的转换,即完成三维坐标向二维图像的投影,像平面坐标系可以记录标志点投影得到的二维信息,完成二维信息向同步图像坐标系的转换。
相机坐标系OcXcYcZc,以相机光心为原点,选取相机光轴作为Zc轴,相机坐标系的Xc轴与Yc轴所构成的平面与像平面(即同步图像)的表面平行。
像平面坐标系所在的平面为与像平面共面,像平面坐标系定义为oxy。像平面坐标系的原点o选在光轴与像平面的交点。相机的有效焦距f定义光心到像平面的距离,像平面坐标系的x轴与y轴方向分别与相机成像器件像素方向一致。
在本实施例中,可以通过提取同步图像中对应标志点的像点在同步图像中的坐标,并根据预先得到的多目相机的标定数据(包括各相机的内参数和各相机之间的相对外参数)以及标志点的像点在同步图像中的坐标,基于极线匹配的方法,重建得到同步图像中包括的标志点在世界坐标系中的第一三维坐标。例如,图2是基于极线匹配方法重建三维坐标的方法的示意图,图2中C1和C2可以理解为多目相机中的2个相机,两相机提前已进行数据标定,两相机各自的内参数和两相机之间的相对外参数均已确定,O1可以理解为C1相机的光心,O2可以理解为C2相机的光心,P点可以理解为空间待测物体表面上的任意一个标志点,如果用C1和C2相机同时拍摄待测物体表面的P点,可以看到P点在C1相机的同步图像中的像点位于P1,提取P1在同步图像中的二维坐标,可以理解,在O1P连线上任意一点P´在同步图像上的像点都是P1,只通过P1点无法获得P点在世界坐标系中的三维坐标,还可以看到,P点在C2相机的同步图像中的像点位于P2,提取P2在同步图像中的二维坐标,也可以理解,在O2P连线上任意一点在同步图像上的像点都是P2,而O1P与O2P所在的两条直线的交点,即为待测物体表面的标志点P所在空间位置,P点的三维坐标是唯一确定的,这样重建得到了待测物体表面的标志点P在世界坐标系中的三维坐标(即本公开实施例中所称的第一三维坐标)。当然这里的图2仅是对基于极线匹配方法重建三维坐标方法的一种示例性说明,而不是唯一性说明。
需要说明的是,在本公开实施例的一种实施方式中,在提取标志点在同步图像中的像点的坐标时,可以采用边缘提取的方法,比如,可以先对同步图像进行边界提取处理,得到标志点在同步图像中的像点,然后在基于标志点的像点在同步图像中的位置,确定得到像点在同步图像的坐标系中的坐标。当然这里仅是一种提取标志点的像点的坐标的方法,而不是唯一方法。
本公开实施例所称的多组三维标志点是指基于多组同步图像中各组同步图像处理得到的三维标志点。
在本公开实施例中,基于每组同步图像上的每个像点都能计算得到一个对应的三维标志点,基于不同同步图像上的像点计算得到的三维标志点可能相同。
步骤103、对获取到的多组三维标志点进行跟踪拼接处理,得到待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在该框架中的编号。
在本公开实施例中,可以基于跟踪拼接技术对多组三维标志点进行跟踪和拼接处理,得到标志点全局框架以及各组中的三维标志点在该框架中的编号。其中,在进行三维标志点跟踪时,可以基于不同三维标志点特征不同的特点,先提取出各组三维标志点的特征,比如三维标志点之间形成的三角形等,然后基于各组三维标志点的特征,确定特征相似度高于或等于预设阈值的三维标志点为相同的三维标志点,确定特征相似度小于预设阈值的三维标志点为不同的三维标志点,从而通过相同的编号对各组中的相同三维标志点进行编号,采用不同的编号对各组中的不同的三维标志点进行编号,即可得到各组中的三维标志点在标志点全局框架中的编号,例如,第一组同步图像为相机连续拍摄时第一次拍摄的图像,第二组同步图像为相机连续拍摄时第二次拍摄的图像,第一组同步图像中有5个特征不同的三维标志点,分别编号为1,2,3,4,5,第二组同步图像中有6个特征不同的三维标志点,其中的5个三维标志点与第一组同步图像中的5个三维标志点分别相同,则第二组同步图像中的这5个三维标志点对应编号为1,2,3,4,5,即采用相同的编号对相同的三维标志点进行编号,剩下的另一个三维标志点编号为6,即采用不同的编号对不同的三维标志点进行编号。
在本公开的一些实施例中,在得到各组同步图像中的三维标志点在框架中的编号的同时,还可以分别基于各组同步图像中的三维标志点建立空间三角形,然后对组间的三角形进行全等三角形匹配,将组成两个全等三角形的三维标志点确定为相同三维标志点,进而基于组间全等三角形之间的对应关系,对两个同步图像进行拼接,特别的,在组间匹配未能找到对应关系时,将此组在全局框架中查找对应关系。以此类推,即可实现对多组三维标志点的跟踪和拼接,得到标志点全局框架。
步骤104、对各组中的三维标志点在框架中的编号进行组间去重处理,得到各组中的三维标志点在框架中的唯一编号。
具体的,各组同步图像在拼接前处于不同坐标系下,在对各组同步图像进行拼接处理时,需要将各组同步图像从各自所处不同坐标系转化到同一坐标系下进行拼接,而不同坐标系转化时存在系统误差并且拼接过程中会造成误差累积。因此,本公开实施例,根据各三维标志点在框架中的编号,各三维标志点的三维坐标,以及各三维标志点在各同步图像中的像点的位置,进行组间去重处理,来确保各三维标志点在框架中的编号唯一性和一致性,从而消除或减小拼接时各组同步图像坐标系转化时的累积误差,保证多组同步图像拼接时的准确性,保证各组中的三维标志点在框架中的编号的唯一性。其中,本公开实施例进行组间去重处理的方法与相关技术类似,在这里不再赘述。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例,通过获取多目相机对表面上设置有多个标志点的待测物体进行连续拍摄得到的多组同步图像,每组同步图像包括多目相机中的多个相机在同一时刻拍摄得到的多幅图像,提取每组同步图像中与标志点对应的像点的坐标,并根据多目相机的标定数据以及像点的坐标,重建得到像点对应的标志点的第一三维坐标,获得多组三维标志点;通过对多组三维标志点进行跟踪拼接处理,得到待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在框架中的编号,并对各组中的三维标志点在框架中的编号进行组间去重处理,进一步得到各组中的三维标志点在框架中的唯一编号。本公开实施例提供的技术方案,通过将多目测量技术与跟踪拼接技术和组间去重技术进行结合,能够在没有编码点或存在极少编码点的情况下,实现相同标志点的匹配,从而实现了在没有编码点或极少编码点的情况下的摄影测量,减少了测量人员布置编码点的工作量,提高了测量效率,并且由于可以在没有编码点的情况下实现对待测量物体的摄影测量,因此,不会因为编码点被移动而导致测量不准确,提高了测量的准确性。
图3是本公开实施例提供的又一种摄影测量方法的流程图,如图3所示,该方法包括:
步骤301、获取多目相机连续拍摄得到的待测物体的多组同步图像,每组同步图像包括多目相机中的多个相机在同一时刻拍摄得到的多幅图像,待测物体表面上设置有多个标志点。
步骤302、针对每组同步图像,提取同步图像中与标志点对应的像点的坐标,并根据多目相机的标定数据以及提取到的像点的坐标,重建得到像点对应的标志点的第一三维坐标,获得多组三维标志点。
步骤303、对获取到的多组三维标志点进行跟踪拼接处理,得到待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在该框架中的编号。
步骤304、对各组中的三维标志点在框架中的编号进行组间去重处理,得到各组中的三维标志点在框架中的唯一编号。
步骤305、基于框架中各编号的三维标志点在各组同步图像上的像点的坐标、第一三维坐标,以及所述多目相机的内参数和外参数,对各编号的三维标志点的三维坐标进行光束平差处理,得到各编号的三维标志点对应的第二三维坐标。
具体的,在上述重建标志点的三维坐标、跟踪拼接处理、组间去重处理的步骤结束后,得到的框架中所有的三维标志点已有确定的唯一编号,同时每个同步图像中包括的标志点与框架中的三维标志点存在一一对应的关系,再加上预先得到的所述多目相机的内参数和外参数,各编号的三维标志点在各组同步图像上的像点的坐标,以及各编号的三维标志点的第一三维坐标,至此,准备好了光束平差所需的全部条件。
可选的,所述基于所述框架中各编号的三维标志点在各组同步图像上的像点的坐标、第一三维坐标,以及所述多目相机的内参数和外参数,对所述各编号的三维标志点的三维坐标进行光束平差处理,得到所述各编号的三维标志点对应的第二三维坐标,可以包括步骤S1-S2:
S1、分别将各组同步图像的内方位元素和外方位元素输入共线方程,得到各组同步图像对应的待解共线方程。
实际中,相机的内参数包括内方位元素,畸变系数,横纵方向像元尺寸和横纵方向像元尺寸比值,内方位元素包括像平面坐标系的原点o(相机光轴与像平面的交点)到同步图像中心水平方向的平移距离x0,像平面坐标系的原点o到同步图像中心竖直方向的平移距离y0,相机光心到像平面的距离即相机的有效焦距f,即内方位元素表达了相机光心相对于同步图像中心的空间位置。相机的内参数可通过相机标定获得,可以认为,内方位元素在上述相机标定中已确定。
在本公开实施例中可以利用多目相机的内参数和外参数,确定摄影光束在摄影瞬间的空间位置和姿态的参数,摄影光束在摄影瞬间的空间位置和姿态的参数称为外方位元素,用于表征摄影光束在摄影瞬间的空间位置。外方位元素包括六个参数,其中三个是线元素,用于描述摄影中心的空间坐标值,另外三个是角元素,用于描述图像的空间姿态。
具体地,共线方程是表达物点、像点和投影中心(对图像而言通常是镜头中心)三点位于一条直线的数学关系式。
在本公开的一些实施例中可以将各组同步图像对应的内方位元素和外方位元素输入共线方程,得到各组同步图像对应的待解共线方程,共线方程由以下公式表示:
Figure 144634DEST_PATH_IMAGE002
其中,x、y是标志点的像点坐标。
x0、y0、f是图像的内方位元素。
Xs、Ys、Zs是图像的外方位线元素。
XA、YA、ZA是标志点的三维坐标。
ai、bi、ci(i=1,2,3)是图像的3个外方位角元素组成的9个方向余弦。
S2、基于光束平差算法,以所述框架中各编号的三维标志点在各组同步图像上的像点的坐标以及所述各编号的三维标志点的第一三维坐标为初始值,依次对所有所述待解共线方程进行迭代计算,得到所述各编号的三维标志点对应的第二三维坐标。
具体的,首先以所述框架中各编号的三维标志点在各组同步图像上的像点的坐标以及所述各编号的三维标志点的第一三维坐标为初始值输入各组同步图像对应的待解共线方程,进行迭代计算,同时对三维标志点、多目相机的内参数、外参数联合优化,通过残差最小来获得三维标志点的最优坐标,即三维标志点的第二三维坐标。本公开实施例涉及的光束平差算法的处理过程与相关技术类似,详细可以参考相关技术提供的光束平差算法,在这里不再赘述。
本实施例中,通过对所述多组三维标志点进行跟踪拼接处理,提取各组三维标志点的特征对三维标志点进行编号;对各组中的三维标志点在框架中的编号进行组间去重处理,保证各组中的三维标志点在所述框架中的编号的唯一性和一致性。基于所述框架中各编号的三维标志点在各组同步图像上的像点的坐标、第一三维坐标,以及所述多目相机的内参数和外参数,对所述各编号的三维标志点的三维坐标进行光束平差处理,得到所述各编号的三维标志点对应的第二三维坐标,即最优化的三维坐标,使多目测量得到的三维图像更准确,避免了温度等环境因素对多目相机的测量结果造成的不利影响,并且可以实时查看重建结果,对标志点的像点坐标直接进行处理,确定标志点的三维坐标,计算量小,能够提高测量效率。
图4是本公开实施例提供的一种摄影测量装置的结构示意图,该摄影测量装置可以理解为上述摄影测量设备或者摄影测量设备的部分功能模块。如图4所示,摄影测量装置40,包括:
获取模块41,用于获取多目相机对待测物体进行连续拍摄得到的多组同步图像,每组同步图像包括所述多目相机中的多个相机在同一时刻拍摄得到的多幅图像,所述待测物体表面上设置有多个标志点;
第一处理模块42,用于针对每组同步图像,提取所述同步图像中与所述标志点对应的像点的坐标,并根据所述多目相机的标定数据以及所述像点的坐标,重建得到所述像点对应的标志点的第一三维坐标,获得多组三维标志点;
第二处理模块43,用于对所述多组三维标志点进行跟踪拼接处理,得到所述待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在所述框架中的编号;
第三处理模块44,用于对各组中的三维标志点在所述框架中的编号进行组间去重处理,得到各组中的三维标志点在所述框架中的唯一编号。
可选的,所述第一处理模块,包括:
第一提取子模块,用于对所述同步图像进行边界提取处理,得到所述同步图像中的所述像点;
第一确定子模块,用于基于所述像点在所述同步图像中的位置,确定得到所述像点在所述同步图像的坐标系中的坐标。
可选的,所述第二处理模块,包括:
第二提取子模块,用于提取各组三维标志点的特征;
第二确定子模块,用于基于各组三维标志点的特征,将特征相似度高于或等于预设阈值的三维标志点,确定为相同的三维标志点,将特征相似度小于所述预设阈值的三维标志点,确定为不同的三维标志点;
编号子模块,用于采用相同的编号对所述相同的三维标志点进行编号,采用不同的编号对所述不同的三维标志点进行编号。
可选的,所述装置还包括:
计算模块,用于基于所述框架中各编号的三维标志点在各组同步图像上的像点的坐标、第一三维坐标,以及所述多目相机的内参数和外参数,对所述各编号的三维标志点的三维坐标进行光束平差处理,得到所述各编号的三维标志点对应的第二三维坐标。
可选的,所述计算模块,包括:
第一计算子模块,用于分别将各组同步图像对应的内方位元素和外方位元素输入共线方程,得到各组同步图像对应的待解共线方程;
第二计算子模块,用于基于光束平差算法,以所述框架中各编号的三维标志点在各组同步图像上的像点的坐标以及所述各编号的三维标志点的第一三维坐标为初始值,依次对所有所述待解共线方程进行迭代计算,得到所述各编号的三维标志点的第二三维坐标。
本公开实施例提供了一种摄影测量设备,包括:
存储器和处理器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如上所述的摄影测量方法。
本公开实施例提供了一种计算机可读存储介质,包括:
所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的摄影测量的方法。
上述提到的存储介质可以是只读存储器、磁盘或光盘等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种摄影测量方法,其特征在于,包括:
获取多目相机连续拍摄得到的待测物体的多组同步图像,每组同步图像包括所述多目相机中的多个相机在同一时刻拍摄得到的多幅图像,所述待测物体表面上设置有多个标志点;
针对每组同步图像,提取所述同步图像中与所述标志点对应的像点的坐标,并根据所述多目相机的标定数据以及所述像点的坐标,重建得到所述像点对应的标志点的第一三维坐标,获得多组三维标志点;
对所述多组三维标志点进行跟踪拼接处理,得到所述待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在所述框架中的编号;
对各组中的三维标志点在所述框架中的编号进行组间去重处理,得到各组中的三维标志点在所述框架中的唯一编号。
2.根据权利要求1所述的方法,其特征在于,所述提取所述同步图像中与所述标志点对应的像点的坐标,包括:
对所述同步图像进行边界提取处理,得到所述同步图像中的所述像点;
基于所述像点在所述同步图像中的位置,确定得到所述像点在所述同步图像的坐标系中的坐标。
3.根据权利要求1所述的方法,其特征在于,所述对所述多组三维标志点进行跟踪拼接处理,包括:
提取各组三维标志点的特征;
基于各组三维标志点的特征,将特征相似度高于或等于预设阈值的三维标志点,确定为相同的三维标志点,将特征相似度小于所述预设阈值的三维标志点,确定为不同的三维标志点;
采用相同的编号对所述相同的三维标志点进行编号,采用不同的编号对所述不同的三维标志点进行编号。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述得到各组中的三维标志点在所述框架中的唯一编号之后,所述方法还包括:
基于所述框架中各编号的三维标志点在各组同步图像上的像点的坐标、第一三维坐标,以及所述多目相机的内参数和外参数,对所述各编号的三维标志点的三维坐标进行光束平差处理,得到所述各编号的三维标志点对应的第二三维坐标。
5.根据权利要求4所述的方法,其特征在于,所述基于所述框架中各编号的三维标志点在各组同步图像上的像点的坐标、第一三维坐标,以及所述多目相机的内参数和外参数,对所述各编号的三维标志点的三维坐标进行光束平差处理,得到所述各编号的三维标志点对应的第二三维坐标,包括:
分别将各组同步图像对应的内方位元素和外方位元素输入共线方程,得到各组同步图像对应的待解共线方程;
基于光束平差算法,以所述框架中各编号的三维标志点在各组同步图像上的像点的坐标以及所述各编号的三维标志点的第一三维坐标为初始值,依次对所有所述待解共线方程进行迭代计算,得到所述各编号的三维标志点对应的第二三维坐标。
6.一种摄影测量装置,其特征在于,包括:
获取模块,用于获取多目相机连续拍摄得到的待测物体的多组同步图像,每组同步图像包括所述多目相机中的多个相机在同一时刻拍摄得到的多幅图像,所述待测物体表面上设置有多个标志点;
第一处理模块,用于针对每组同步图像,提取所述同步图像中与所述标志点对应的像点的坐标,并根据所述多目相机的标定数据以及所述像点的坐标,重建得到所述像点对应的标志点的第一三维坐标,获得多组三维标志点;
第二处理模块,用于对所述多组三维标志点进行跟踪拼接处理,得到所述待测量物体表面标志点对应的标志点全局框架以及各组中的三维标志点在所述框架中的编号;
第三处理模块,用于对各组中的三维标志点在所述框架中的编号进行组间去重处理,得到各组中的三维标志点在所述框架中的唯一编号。
7.根据权利要求6所述的装置,其特征在于,所述第一处理模块,包括:
第一提取子模块,用于对所述同步图像进行边界提取处理,得到所述同步图像中的所述像点;
第一确定子模块,用于基于所述像点在所述同步图像中的位置,确定得到所述像点在所述同步图像的坐标系中的坐标。
8.根据权利要求6所述的装置,其特征在于,所述第二处理模块,包括:
第二提取子模块,用于提取各组三维标志点的特征;
第二确定子模块,用于基于各组三维标志点的特征,将特征相似度高于或等于预设阈值的三维标志点,确定为相同的三维标志点,将特征相似度小于所述预设阈值的三维标志点,确定为不同的三维标志点;
编号子模块,用于采用相同的编号对所述相同的三维标志点进行编号,采用不同的编号对所述不同的三维标志点进行编号。
9.一种摄影测量设备,其特征在于,包括:
存储器和处理器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-5中任一项所述的方法。
CN202111133068.3A 2021-09-27 2021-09-27 摄影测量方法、装置、设备及存储介质 Active CN113592721B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111133068.3A CN113592721B (zh) 2021-09-27 2021-09-27 摄影测量方法、装置、设备及存储介质
PCT/CN2022/121930 WO2023046211A1 (zh) 2021-09-27 2022-09-27 摄影测量方法、装置、设备及存储介质
CA3233222A CA3233222A1 (en) 2021-09-27 2022-09-27 Method, apparatus and device for photogrammetry, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111133068.3A CN113592721B (zh) 2021-09-27 2021-09-27 摄影测量方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113592721A CN113592721A (zh) 2021-11-02
CN113592721B true CN113592721B (zh) 2021-12-17

Family

ID=78242229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111133068.3A Active CN113592721B (zh) 2021-09-27 2021-09-27 摄影测量方法、装置、设备及存储介质

Country Status (3)

Country Link
CN (1) CN113592721B (zh)
CA (1) CA3233222A1 (zh)
WO (1) WO2023046211A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592721B (zh) * 2021-09-27 2021-12-17 天远三维(天津)科技有限公司 摄影测量方法、装置、设备及存储介质
CN115439630B (zh) * 2022-08-04 2024-04-19 思看科技(杭州)股份有限公司 标记点拼接方法、摄影测量方法、装置和电子装置
CN116628786B (zh) * 2023-07-26 2023-10-10 中南大学 一种异形立体标志球制造方法
CN116878381B (zh) * 2023-08-01 2024-01-30 湖南视比特机器人有限公司 一种基于多目视觉的在线全尺寸检测方法及系统
CN117726838A (zh) * 2023-10-10 2024-03-19 湖北星纪魅族集团有限公司 二维图像目标匹配方法、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699223A (zh) * 2009-10-27 2010-04-28 北京控制工程研究所 一种月球车双目视觉导航系统标定装置
CN113421311A (zh) * 2021-06-11 2021-09-21 力源电力设备股份有限公司 一种正六边形编码标志及其编码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BG64376B1 (bg) * 2000-05-19 2004-12-30 Атанасов Николай Знакова фигура за триизмерно означаване
CN103743352B (zh) * 2013-12-18 2016-10-19 西安交通大学 一种基于多相机匹配的三维变形测量方法
CN106096207B (zh) * 2016-06-29 2019-06-07 武汉中观自动化科技有限公司 一种基于多目视觉的旋翼无人机抗风评估方法及系统
CN108564617B (zh) * 2018-03-22 2021-01-29 影石创新科技股份有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN110360991A (zh) * 2019-06-18 2019-10-22 武汉中观自动化科技有限公司 一种摄影测量方法、装置及存储介质
CN111640062B (zh) * 2020-05-15 2023-06-09 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法
CN113223078B (zh) * 2021-05-27 2024-04-16 深圳数马电子技术有限公司 标志点的匹配方法、装置、计算机设备和存储介质
CN113592721B (zh) * 2021-09-27 2021-12-17 天远三维(天津)科技有限公司 摄影测量方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699223A (zh) * 2009-10-27 2010-04-28 北京控制工程研究所 一种月球车双目视觉导航系统标定装置
CN113421311A (zh) * 2021-06-11 2021-09-21 力源电力设备股份有限公司 一种正六边形编码标志及其编码方法

Also Published As

Publication number Publication date
CA3233222A1 (en) 2023-03-30
CN113592721A (zh) 2021-11-02
WO2023046211A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN102376089B (zh) 一种标靶校正方法及系统
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
Ahmadabadian et al. A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs
WO2016037486A1 (zh) 人体三维成像方法及系统
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN107038753B (zh) 立体视觉三维重建系统及方法
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN112598706B (zh) 无需精确时空同步的多相机运动目标三维轨迹重建方法
JP2002516443A (ja) 3次元表示のための方法および装置
Liu et al. Epipolar rectification method for a stereovision system with telecentric cameras
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN116402978A (zh) 一种基于双目视觉结构特性的稠密三维重建方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN106500729A (zh) 一种无需控制信息的智能手机自检校方法
CN112164119A (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения
CN113432550B (zh) 一种基于相位匹配的大尺寸零件三维测量拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant