CN114445583A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114445583A CN114445583A CN202011190541.7A CN202011190541A CN114445583A CN 114445583 A CN114445583 A CN 114445583A CN 202011190541 A CN202011190541 A CN 202011190541A CN 114445583 A CN114445583 A CN 114445583A
- Authority
- CN
- China
- Prior art keywords
- parameters
- image
- dimensional model
- matching
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Abstract
本公开实施例公开了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。该技术方案能够通过匹配图像采集设备获得的单张图像与采集环境中的三维模型，并且综合图像和三维模型之间的至少两种匹配特征，对初始设备参数进行优化，能够提高设备参数的精确度，并且可以通过较少量的匹配特征标定出更多的设备参数。
Description
技术领域
本公开涉及图像技术领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
目前，图像采集设备被广泛应用于各种场景。随着图像采集设备的广泛应用，对图像采集设备的需求已不再局限于单纯的画面采集，而是趋向于从中获取更多的信息，例如三维空间信息等。已有技术中存在基于单张图像即可恢复三维空间中的部分信息的方案，但是这种方案大多依赖于一些假设条件，比如图像成像视场角、高度、相机畸变大小等。然而，在一些现实场景中，比如安装高度较高、视场角较大、图像畸变较大的图像采集设备等并不满足上述假设条件。此外，由于图像采集设备的种类繁多，对于已投入使用的图像采集设备进行系统标定也存在较大困难。因此，如何简化图像采集设备的参数标定方式是本领域中需要解决的技术问题之一。
发明内容
本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。
第一方面，本公开实施例中提供了一种数据处理方法，包括：
获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；
基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
进一步地，所述三维模型为世界大地坐标系下的三维模型。
进一步地，所述至少两种匹配特征包括位于所述图像上的点至所述三维模型上的点之间的匹配特征，和/或位于所述图像上的线至所述三维模型上的线之间的匹配特征。
进一步地，基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，包括：
根据所述至少两种匹配特征获取至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数中确定初始设备参数。
进一步地，从所述至少两组设备参数中确定初始设备参数，包括：
根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差；
针对同一种相机标定模式，根据每种所述匹配特征对应的所述重投影误差确定所述相机标定模式对应的总重投影误差；
根据所述总重投影误差的大小确定所述初始设备参数。
进一步地，根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差，包括：
利用所述设备参数对所述匹配特征进行畸变校正；
获取畸变校正后的所述匹配特征对应的所述重投影误差。
第二方面，本公开实施例中提供了一种数据处理方法，包括：
获取图像采集设备在至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数中确定初始设备参数；
对所述初始设备参数进行优化得到目标设备参数。
进一步地，从所述至少两组设备参数中确定初始设备参数，包括：
获取所述设备参数下的重投影误差；
根据所述重投影误差的大小确定所述初始设备参数。
进一步地，获取所述设备参数下的重投影误差，包括：
利用所述设备参数对图像与三维模型之间的匹配特征进行畸变校正；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
获取畸变校正后的所述匹配特征在所述设备参数下的所述重投影误差。
进一步地，所述三维模型为世界大地坐标系下的三维模型。
进一步地，所述匹配特征包括位于所述图像上的点至所述三维模型上的点之间的匹配特征，和/或位于所述图像上的线至所述三维模型上的线之间的匹配特征。
第三方面，本公开实施例中提供了一种数据处理方法，包括：
获取输入数据；所述输入数据包括图像采集设备从采集环境采集到的图像以及所述采集环境下的三维模型；
调用预设服务接口，以便由所述预设服务接口获取图像与三维模型之间的至少两种匹配特征，并基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，以及基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数；
输出所述目标设备参数。
第四方面，本公开实施例中提供了一种数据处理方法，包括：
获取输入数据；其中，所述输入数据包括至少两种相机标定模式；
调用预设服务接口，以便由所述预设服务接口获取图像采集设备在至少两种相机标定模式下的至少两组设备参数，并从所述至少两组设备参数中确定初始设备参数，以及对所述初始设备参数进行优化得到目标设备参数；
输出所述目标设备参数。
第五方面，本公开实施例中提供了一种数据处理方法，包括：
接收相机标定请求；其中，所述相机标定请求包括至少两种相机标定模式以及至少两种匹配特征的配置参数；
在所述至少两种相机标定模式下，获取图像与三维模型之间的所述至少两种匹配特征；所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
基于所述至少两种匹配特征确定所述至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数确定所述图像采集设备的初始设备参数；
基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
第六方面，本公开实施例中提供了一种数据处理装置，包括：
第一获取模块，被配置为获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第一确定模块，被配置为基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；
第一优化模块，被配置为基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
第七方面，本公开实施例中提供了一种数据处理装置，包括：
第二获取模块，被配置为获取图像采集设备在至少两种相机标定模式下的至少两组设备参数；
第二确定模块，被配置为从所述至少两组设备参数中确定初始设备参数；
第二优化模块，被配置为对所述初始设备参数进行优化得到目标设备参数。
第八方面，本公开实施例中提供了一种数据处理装置，包括：
第三获取模块，被配置为获取输入数据；所述输入数据包括图像采集设备从采集环境采集到的图像以及所述采集环境下的三维模型；
第一调用模块，被配置为调用预设服务接口，以便由所述预设服务接口获取图像与三维模型之间的至少两种匹配特征，并基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，以及基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数；
第一输出模块，被配置为输出所述目标设备参数。
第九方面，本公开实施例中提供了一种数据处理装置，包括：
第四获取模块，被配置为获取输入数据；其中，所述输入数据包括至少两种相机标定模式；
第二调用模块，被配置为调用预设服务接口，以便由所述预设服务接口获取图像采集设备在至少两种相机标定模式下的至少两组设备参数，并从所述至少两组设备参数中确定初始设备参数，以及对所述初始设备参数进行优化得到目标设备参数；
第二输出模块，被配置为输出所述目标设备参数。
第十方面，本公开实施例中提供了一种数据处理装置，包括：
接收模块，被配置为接收相机标定请求；其中，所述相机标定请求包括至少两种相机标定模式以及至少两种匹配特征的配置参数；
第五获取模块，被配置为在所述至少两种相机标定模式下，获取图像与三维模型之间的所述至少两种匹配特征；所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第三确定模块，被配置为基于所述至少两种匹配特征确定所述至少两种相机标定模式下的至少两组设备参数；
第四确定模块，被配置为从所述至少两组设备参数确定所述图像采集设备的初始设备参数；
第三优化模块，被配置为基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
第十一方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方面所述的方法。
第十二方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，其包含用于执行上述任一方面所述方法所涉及的计算机指令。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例在对相机参数进行标定的过程中，获取图像与三维空间中的至少两种匹配特征，并基于至少两种匹配特征获取初始设备参数，进而再基于至少两种匹配特征对初始设备参数进行优化得到精确的设备参数。这种方式通过匹配图像采集设备获得的单张图像与采集环境中的三维模型，并且综合图像和三维模型之间的至少两种匹配特征，对初始设备参数进行优化，能够提高设备参数的精确度，并且可以通过较少量的匹配特征标定出更多的设备参数。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的数据处理方法的流程图；
图2示出根据本公开一实施方式在相机参数的标定场景中的应用示意图；
图3示出根据本公开另一实施方式的数据处理方法的流程图；
图4示出根据本公开一实施方式进行相机参数标定的场景应用示意图；
图5示出根据本公开另一实施方式的数据处理方法流程图；
图6示出根据本公开另一实施方式的数据处理方法流程图；
图7示出根据本公开另一实施方式的数据处理方法流程图；
图8是适于用来实现根据本公开一实施方式的数据处理方法的电子设备的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
下面通过具体实施例详细介绍本公开实施例的细节。
图1示出根据本公开一实施方式的数据处理方法的流程图。如图1所示，该数据处理方法包括以下步骤：
在步骤S101中，获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
在步骤S102中，基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；
在步骤S103中，基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
本实施例中，可以针对图像采集设备进行设备参数的标定。图像采集设备可以是已经安装在固定位置处的图像采集设备，例如图像采集设备可以是安装高处的图像采集设备。
待标定的设备参数可以包括但不限于相机内参、相机外参和/或相机畸变系数。其中，相机内参可以包括相机焦距、主点位置、斜切系数；相机外参可以包括相机在世界大地坐标系下的位置和姿态；相机畸变系数可以包括径向畸变系数和切向畸变系数；由于透镜制造精度及组装工艺的偏差，相机在成像过程可能会发生畸变，该畸变可以分为径向畸变和切向畸变，径向畸变由相机镜头上的透镜形状所引起，而切向畸变由相机镜头上的透镜本身与成像平面不平行所造成。
已有的图像采集设备的参数标定方案主要包括：基于已知标定物的标定方法和基于图像自身信息的标定方法。
其中，张氏标定法是较为常见的基于已知标定物的标定方法。该方法中，图像采集设备从多个角度通过对平面标定板进行拍摄获得多张图像，然后基于单应矩阵方法对相机参数进行标定解算。但是这种方案并不适用于所有场景，例如对于安装位置较高的图像采集设备而言，从多个角度对平面标定板拍摄图像的难度较大，人工成本较高。并且这种方法只能针对相机内参和相机畸变系数进行标定，无法标定世界大地坐标系(如WGS84坐标系)下的相机外参。
基于灭点的相机标定法是一种较为常见的基于图像自身信息的标定方法。该方法不需要标定物，仅利用图像上的灭点信息对相机进行标定。其中，三维空间中平行线透视投影到成像平面后相交于一点，该点即为灭点。这种方法需要具有平行线的物体才能计算出灭点(如高速公路车道线、室内走廊墙角线、建筑物轮廓线)，因此适用场景较为有限。另外，灭点标定法的标定效果由于依赖于灭点位置的计算精度，而计算得到的灭点位置通常情况下误差较大，因此这种方法得到的相机参数精确度较差。此外，这种无法标定相机畸变系数等参数。
另一种常见的基于图像自身信息的标定方法是自标定运动恢复结构法。该方法需要获取多张与图像采集设备采集到的图像共视的图像，然后利用多视图几何的方法，在优化损失函数的同时标定出所有图像对应的相机参数。但是这种方法需要在现场人工拍摄一组与图像采集设备采集的图像视角相近的图像，人工成本较高；此外，如果图像采集设备的安装位置较高时，与地面拍摄的图像视角差异过大，容易导致图像特征点匹配失败；而且这种方法只能对相机内参和相机畸变系数进行标定，无法标定世界大地坐标系(如WGS84坐标系)下的相机外参。
本公开实施例中，图像采集设备可以是单目相机，在对图像采集设备的参数标定过程中，可以利用该图像采集设备获取采集环境中的单张图像。采集环境即为图像采集设备的参数标定环境。也即本公开实施例利用单张图像对单目相机进行标定。本公开实施例中的三维模型可以采用基于图像的数据重建方法或者激光扫描重建方法等得到。对采集环境进行数据采集时，可以基于环境需要采用手持设备、无人车或无人机进行采集。三维模型的重建方法可以参见已知技术，在此不做限制。
匹配特征可以是图像与三维模型之间的匹配特征，例如可以包括但不限于点特征、线特征、曲线特征、点到平面特征、语义特征等。其中匹配点特征为图像上的第一点至三维模型上的第二点之间的匹配特征；匹配线特征为图像上直线至三维模型上对应直线之间的匹配特征。至少两种匹配特征可以是根据实际情况从例如点特征、线特征、曲线特征、点到平面特征、语义特征等中任意选取的两种或两种以上不同的特征。
在一些实施例中，至少两种匹配特征之一可以是匹配点特征和/匹配线特征。因此至少两种匹配特征可以包括匹配点特征和/或匹配线特征与其他一种或多种特征的组合。在一些实施例中，可以针对每一种匹配特征均获得图像与三维模型之间相匹配的多个该种特征。例如可以利用已知的点特征提取方法从图像提取多个点特征(比如ORB点特征、SIFT点特征和SURF点特征等)，之后可以利用自动匹配或者人工标注的方式从三维模型获取与这些点特征相匹配的点特征，最终得到相匹配的点特征。再例如，可以用已知的线特征提取方法(比如LSD方法)从图像中提取多个线特征，之后可以利用自动匹配或者人工标注的方式从三维模型获取与这些线特征相匹配的线特征，最终得到相匹配的线特征。可以理解的是，本公开实施例中的匹配特征包括图像和三维模型中相匹配的特征(如点特征、线特征、面特征等)。
在一些实施例中，可以基于至少两种匹配特征确定图像采集设备的初始设备参数。初始设备参数可以包括基于至少两种匹配特征以及已知的标定方法得到的相机参数。在一些实施例中，可以利用一种已知的标定方法例如单应矩阵法从至少两种匹配特征计算得到单应矩阵，之后再根据单应矩阵解算得到相机参数，该相机参数可以被确定为初始设备参数。在另一些实施例中，可以利用多种已知的标定方法例如单应矩阵法或者投影矩阵法等，分别从至少两种匹配特征计算得到对应的单应矩阵或者投影矩阵等，进而再根据单应矩阵或投影矩阵等解算得到多组相机参数，并将其中一组相机参数确定为初始设备参数。
在确定了初始设备参数之后，可以基于至少两种匹配特征对初始设备参数进行优化得到目标设备参数。优化方法例如可以使用光束平差优化方法等非线性优化方法。光束平差优化方法可以利用初始设备参数作为初始值，利用至少两种匹配特征的重投影误差构建损失函数，并对损失函数进行迭代优化，最终求解得到更加精确的相机参数。在优化过程中，计算每个匹配特征对应的重投影误差，并将每个匹配特征对应的重投影误差之和作为损失进行迭代优化。
本公开实施例在对相机参数进行标定的过程中，获取图像与三维空间中的至少两种匹配特征，并基于至少两种匹配特征获取初始设备参数，进而再基于至少两种匹配特征对初始设备参数进行优化得到精确的设备参数。这种方式通过匹配图像采集设备获得的单张图像与采集环境中的三维模型，并且综合图像和三维模型之间的至少两种匹配特征，对初始设备参数进行优化，能够提高设备参数的精确度，并且可以通过较少量的匹配特征标定出更多的设备参数。
在本实施例的一个可选实现方式中，所述三维模型为世界大地坐标系下的三维模型。
该可选的实现方式中，针对图像采集设备所处的采集环境建立三维模型之后，可以为三维模型上的点赋予世界大地坐标系下的位置信息。例如，可以通过无人机采集环境中的数据，并且在采集数据的同时无人机可以获取数据在世界大地坐标系下的位置信息(如GPS信息)，利用无人机所采集到的数据所建立的三维模型可以直接对齐到世界大地坐标系。由于三维模型是世界大地坐标系下的三维模型，因此利用图像采集设备所采集的图像与三维模型之间的匹配特征标定的相机外参也是相对于世界大地坐标系下的值。
图2示出根据本公开一实施方式在相机参数的标定场景中的应用示意图。如图2所示，图像采集设备201安装于高空采集环境202。
1、三维模型重建。
利用无人机203获取高空采集环境202中的数据(例如可以采集高空采集环境中的图像、视频和/或点云数据)，进而根据无人机203采集到的数据重建高空采集环境202的三维模型，该三维模型可以是世界大地坐标系下的三维模型。该三维模型上的点具有世界大地坐标。
2、匹配特征提取。
利用图像采集设备201采集高空采集环境202中的一张图像，提取该图像中的ORB(Oriented FAST and rotated BRIEF)、SURF(Speeded Up Robust Features)或SIFT(Scale-Invariant Feature Transform)特征点，以及利用线检测算法LSD(Line SegmentDetector)从该图像提取线特征。
3、确定初始设备参数。
从根据无人机203采集的数据重建得到上述三维模型中自动匹配或者人工标注的方式得到与上述点特征以及线特征相匹配的匹配点以及匹配直线。将上述图像和三维模型中相匹配的点特征和相匹配的线特征作为匹配结果，将匹配结果作为标定算法的输入获取图像采集设备201的相机参数，例如可以利用单应矩阵法获得上述匹配结果对应的单应矩阵，进而利用旋转矩阵的正交性质，从单应矩阵解算出图像采集设备201的相机参数，包括相机内参和相机外参。在图像采集设备201的主点位于图像中心、且斜切系数为0的情况下，可以只对相机焦距进行标定。
4、对初始设备参数优化，以获得目标设备参数。
将上述利用单应矩阵标定得到的相机参数作为初始设备参数，进而再基于上述点特征和线特征的匹配结果对初始设备参数进行优化。在优化过程中，可以利用光束平差优化法进行优化。
光束平差优化法：建立点特征的重投影误差以及线特征的重投影误差的损失函数，并基于该损失函数对点特征的重投影误差和线特征的重投影误差进行迭代优化。其中，点特征的重投影误差和线特征的重投影误差均通过投影矩阵将三维模上的点或线投影到成像平面之后得到，可以通过不断优化点特征的重投影误差和线特征的重投影误差的损失，来调整投影矩阵，最终得到使得上述点特征的重投影误差和线特征的重投影误差的损失最小的投影矩阵，进而能够根据该投影矩阵解算得到优化后的相机参数。
在本实施例的一个可选实现方式中，步骤S102，即基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数的步骤，进一步包括以下步骤：
根据所述至少两种匹配特征获取至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数确定初始设备参数。
该可选的实现方式中，设备参数可以是图像采集设备的相机参数。可以选用多种相机标定模式分别对图像采集设备的相机参数进行标定。在每种相机标定模式下，均利用至少两种匹配特征获得一组相机参数。
在一些实施例中，至少两种相机标定模式中其中一种可以是适用于平面场景的相机标定模式，而另一种可以是适用于非平面场景的相机标定模式。
下面通过举例说明本公开实施例的上述方法。
假设采用两种相机标定模式，分别为单应矩阵法和投影矩阵法；以及假设从图像和三维模型获取N对匹配特征，该N对匹配特征包括图像上第一点到三维模型上第二点之间的匹配特征、图像上第一线至三维模型上第二线之间的匹配特征。
1、利用单应矩阵法从N对匹配特征求解得到相机参数的过程如下：
图像上的点特征x和三维场景中平面上的点特征X＝[X1 Y1 0]，满足以下单应关系：
其中，P为相机的投影矩阵，K为相机内参矩阵，R＝[r1 r2 r3]为相机旋转矩阵，t为相机平移向量，H为单应矩阵。
图像上的线特征lp和三维场景中平面上的线特征lw(记该线特征lw对应直线上的任一端点为X)，满足以下单应关系：
根据上述N对匹配特征(包括点到点的匹配特征和点到线的匹配特征)，利用归一化直接线性变换可以求出单应矩阵。然后利用旋转矩阵的正交性质，可以得到相机内参和相机外参。在假设图像采集设备的主点位于图像中心，且斜切系数为0的情况下，只需对相机焦距进行标定即可得到相机内参。
2、利用投影矩阵法从N对匹配特征求解得到相机参数的过程如下：
图像上的点特征x和三维场景中非平面上的点特征X，满足以下单应关系：
x＝PX＝K[R|t]X (3)
图像上的线特征lp和三维场景中平面上的线特征lw(记该线特征lw对应直线上的任一端点为X)，满足以下单应关系：
根据上述N对匹配特征(包括点到点的匹配特征和点到线的匹配特征)，利用归一化直接线性变换可以求出投影矩阵P。根据旋转矩阵的正交性质，利用RQ分解等矩阵运算，可从投影矩阵P中分解出相机内参和相机外参。
3、利用上述单应矩阵法和投影矩阵法可以获得两组相机参数，可以根据误差大小从两组相机参数中选择其中一组作为初始设备参数。
在本实施例的一个可选实现方式中，从所述至少两组设备参数中确定初始设备参数的步骤，进一步包括以下步骤：
根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差；
针对同一种相机标定模式，根据每种所述匹配特征对应的所述重投影误差确定所述相机标定模式对应的总重投影误差；
根据所述总重投影误差的大小确定所述初始设备参数。
该可选的实现方式中，根据每种相机标定模式确定了一组设备参数之后，可以根据该组设备参数确定每个匹配特征(包括至少两种不同的匹配特征)的重投影误差，并且根据每个匹配特征对应的重投影误差获得该相机标定模式下的总投影误差。在一些实施例中，总投影误差可以是所有匹配特征对应的重投影误差之和。
在确定了每种相机标定模式对应的总投影误差之后，可以根据总投影误差的大小选取其中一组相机参数作为初始设备参数。投影误差越小，说明相机参数越准确，因此在一些实施例中，可以将所对应的总投影误差较小的一组相机参数确定为初始设备参数。
下面依然以上述利用单应矩阵法和投影矩阵法从点特征和线特征获取相机参数为例进行说明。
分别针对单应矩阵法和投影矩阵法获得的相机参数计算点特征重投影误差和线特征重投影误差。
1、点特征的重投影误差计算过程。
三维模型中的点特征X，经过相机参数(利用单应矩阵法或者投影矩阵法得到)投影到成像平面后的投影坐标为PX，该投影坐标和观测到的图像上的像素坐标x之间的差值，即为点特征的重投影误差，计算公式如下：
epoint＝x-PX (5)
2、线特征的重投影误差计算过程。
三维模型中的空间直线特征lw上的任一端点X，经过相机参数(利用单应矩阵法或者投影矩阵法得到)投影到成像平面后的投影坐标为PX。记观测到的图像上对应的线特征为lp＝[l1 l2 l3]T，则线特征的重投影误差可以表示为投影点PX到lp的距离，计算公式如下：
3、通过将所有匹配特征的点特征重投影误差epoint和线特征重投影误差eline求和可以得到相机参数的总投影误差。
在本实施例的一个可选实现方式中，根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差的步骤，进一步包括以下步骤：
利用所述设备参数对所述匹配特征进行畸变校正；
获取畸变校正后的所述匹配特征对应的所述重投影误差。
该可选的实现方式中，针对每一种相机标定模式，可以利用之前获得的相机参数中的畸变系数对匹配特征进行畸变校正，再根据校正后的匹配特征确定重投影误差。重投影误差的确定方式可以参见上文中的描述，在此不再赘述。
下面继续以上述利用单应矩阵法和投影矩阵法从点特征和线特征获取相机参数为例说明畸变校正的过程。
对于畸变较大的图像，图像上的直线可能会发生弯曲，从而造成线特征的重投影误差缺少几何意义。因此可以先对从图像上观测到的点特征和线特征做畸变校正，然后再计算重投影误差。
点特征x利用畸变模型(畸变系数来自单应矩阵法或者投影矩阵法获得的相机参数)去畸变后记为xunidistort，去畸变计算过程如下：
x′＝K-1x (7)
其中，k1和k2为径向畸变系数，p1和p1为切向畸变系数，r2＝x′2+y′2。因此，带畸变的点特征重投影误差可以如下表示为：
epoint＝xundistort-PX (9)
而带畸变的线特征重投影误差可以如下表示为：
其中，lp_undistort＝[l1 l2 l3]T为畸变校正后的线特征，通过上述对点特征进行畸变校正的方式将原线特征的两个端点畸变校正后，由畸变校正后的该两个端点计算得到上述畸变校正后的线特征。
图3示出根据本公开另一实施方式的数据处理方法的流程图。如图3所示，该数据处理方法包括以下步骤：
在步骤S301中，获取图像采集设备在至少两种相机标定模式下的至少两组设备参数；
在步骤S302中，从所述至少两组设备参数中确定初始设备参数；
在步骤S303中，对所述初始设备参数进行优化得到目标设备参数。
本实施例中，可以针对图像采集设备进行设备参数的标定。图像采集设备可以是已经安装在固定位置处的图像采集设备，例如图像采集设备可以是安装高处的图像采集设备。
待标定的设备参数可以包括但不限于相机内参、相机外参和/或相机畸变系数。其中，相机内参可以包括相机焦距、主点位置、斜切系数；相机外参可以包括相机在世界大地坐标系下的位置和姿态；相机畸变系数可以包括径向畸变系数和切向畸变系数；由于透镜制造精度及组装工艺的偏差，相机在成像过程可能会发生畸变，该畸变可以分为径向畸变和切向畸变，径向畸变由相机镜头上的透镜形状所引起，而切向畸变由相机镜头上的透镜本身与成像平面不平行所造成。
本公开实施例中，图像采集设备可以是单目相机，在对图像采集设备的参数标定过程中，可以利用该图像采集设备获取采集环境中的单张图像。采集环境即为图像采集设备的参数标定环境。也即本公开实施例利用单张图像对单目相机进行标定。本公开实施例中的三维模型可以采用基于图像的数据重建方法或者激光扫描重建方法等得到。对采集环境进行数据采集时，可以基于环境需要采用手持设备、无人车或无人机进行采集。三维模型的重建方法可以参见已知技术，在此不做限制。
在一些实施例中，可以选用多种相机标定模式分别对图像采集设备的相机参数进行标定，并且每种相机标定模式下均可以获得一组设备参数，设备参数可以是图像采集设备的相机参数。例如，可以利用单应矩阵法或者投影矩阵法等分别对图像采集设备的相机参数进行标定。
在一些实施例中，至少两种相机标定模式中其中一种可以是适用于平面场景的相机标定模式，而另一种可以是适用于非平面场景的相机标定模式。
在获得多种相机标定模式下的多组设备参数之后，可以根据重投影误差从每组设备参数中选择其中一种作为初始设备参数，例如可以选择重投影误差最小的一种作为初始设备参数。重投影误差为图像采集设备采集到的图像与采集环境的三维模型之间的匹配特征的重投影误差。
在确定了初始设备参数之后，还可以利用设备参数的优化方法对初始设备参数进行优化，最终得到优化后的目标设备参数。优化方法例如可以使用光束平差优化方法等非线性优化方法。光束平差优化方法可以利用初始设备参数作为初始值，并利用图像采集设备所采集到的图像与采集环境中三维模型之间的匹配特征的重投影误差构建损失函数，并对损失函数进行迭代优化，最终求解得到更加精确的相机参数。
本公开实施例在对相机参数进行标定的过程中，利用至少两种相机标定模式获得图像采集设备的多组设备参数，进而从多组设备参数中选取其中一组作为初始设备参数，进而再对初始设备参数进行优化得到精确的设备参数。这种方式通过匹配图像采集设备获得的单张图像与采集环境中的三维模型，并且综合多种相机标定模式获得图像采集设备的初始设备参数，进而再对初始设备参数进行优化，能够提高设备参数的精确度。
在本实施例的一个可选实现方式中，从所述至少两组设备参数中确定初始设备参数，包括：
获取所述设备参数下的重投影误差；
根据所述重投影误差的大小确定所述初始设备参数。
该可选的实现方式中，可以针对每组设备参数确定重投影误差。重投影误差包括图像上的特征(可以包括但不限于点特征、线特征、语义特征、平面特征等)与三维模型上的特征之间的重投影误差。图像可以为图像采集设备在采集环境中采集到的图像，而三维模型可以为预先建立的采集环境的三维模型。
针对图像采集设备所处的采集环境建立三维模型之后，可以为三维模型上的点赋予世界大地坐标系下的位置信息。例如，可以通过无人机采集环境中的数据，并且在采集数据的同时无人机可以获取数据在世界大地坐标系下的位置信息(如GPS信息)，利用无人机所采集到的数据所建立的三维模型可以直接对齐到世界大地坐标系。由于三维模型是世界大地坐标系下的三维模型，因此利用图像采集设备所采集的图像与三维模型之间的匹配特征标定的相机外参也是相对于世界大地坐标系下的值。
针对每一组设备参数，与图像上的特征相匹配的三维模型上的特征(例如观测到的点)经设备参数投影后得到投影特征(例如利用设备参数计算得到的投影点)，通过计算图像上观测到的该特征与投影特征之间的误差即可确定该组设备参数对应的重投影误差。点特征和线特征的重投影误差的计算可以分别参见上文中的公式(5)和(6)。
图像与三维模型之间的匹配特征例如可以包括但不限于点特征、线特征、曲线特征、点到平面特征、语义特征等。其中匹配点特征为图像上的第一点至三维模型上的第二点之间的匹配特征；匹配线特征为图像上直线至三维模型上对应直线之间的匹配特征。
在一些实施例中，在每种相机标定模式下，均可以选用至少两种匹配特征计算初始设备参数，至少两种匹配特征可以包括点特征与其他一种或多种特征的组合。在一些实施例中，可以针对每一种匹配特征，均获得图像与三维模型之间相匹配的多个特征。例如可以利用已知的点特征提取方法从图像提取多个点特征(比如ORB点特征、SIFT点特征和SURF点特征等)，之后可以利用自动匹配或者人工标注的方式从三维模型获取与这些点特征相匹配的点特征，最终得到相匹配的点特征。再例如，可以用已知的线特征提取方法(比如LSD方法)从图像中提取多个线特征，之后可以利用自动匹配或者人工标注的方式从三维模型获取与这些线特征相匹配的线特征，最终得到相匹配的线特征。可以理解的是，本公开实施例中的匹配特征包括图像和三维模型中相匹配的特征(如点特征、线特征、面特征等)。
由于针对每组相机标定模式，均会获取多个匹配特征，相应的也可以获得多个重投影误差。因此可以根据该多个重投影误差计算得到该组设备参数对应的总投影误差，例如总投影误差可以为多个重投影误差之和。
针对每组设备参数，均可以得到对应的总投影误差，在一些实施例中，可以将总投影误差最小的设备参数确定为初始设备参数。通过这种方式得到的初始设备参数更为精确。
在本实施例的一个可选实现方式中，获取所述设备参数下的重投影误差，包括：
利用所述设备参数对图像与三维模型之间的匹配特征进行畸变校正；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
获取畸变校正后的所述匹配特征在所述设备参数下的所述重投影误差。
该可选的实现方式中，针对每一种相机标定模式，可以利用之前获得的相机参数中的畸变系数对匹配特征进行畸变校正，再根据校正后的匹配特征确定重投影误差。对匹配特征的畸变校正可以参见上文中的公式(7)和(8)，畸变校正后点特征和线特征的重投影误差的计算可以参见上文中的公式(9)和(10)，在此不再赘述。
图4示出根据本公开一实施方式进行相机参数标定的场景应用示意图。如图4所示，针对位于高空环境中的图像采集设备401，相机参数的标定流程如下所示。
1、三维模型重建。
利用无人机403获取高空采集环境402中的数据(例如可以采集高空采集环境中的图像、视频和/或点云数据)，进而根据无人机403采集到的数据重建高空采集环境402的三维模型，该三维模型可以是世界大地坐标系下的三维模型。该三维模型上的点具有世界大地坐标。
2、匹配特征提取。
利用图像采集设备401采集高空采集环境402中的一张图像，提取该图像中的ORB(Oriented FAST and rotated BRIEF)、SURF(Speeded Up Robust Features)或SIFT(Scale-Invariant Feature Transform)特征点，以及利用线检测算法LSD(Line SegmentDetector)从该图像提取线特征。
3、确定初始设备参数。
从根据无人机403采集的数据重建得到上述三维模型中，自动匹配或者人工标注的方式得到与上述点特征以及线特征相匹配的点特征以及线特征。将上述图像和三维模型中相匹配的点特征和相匹配的线特征作为匹配结果，将匹配结果作为标定算法的输入获取图像采集设备401的相机参数。在该示例中，选用两种相机标定模式：单应矩阵法和投影矩阵法。
3.1、利用单应矩阵法获得上述匹配结果对应的单应矩阵，进而利用旋转矩阵的正交性质，从单应矩阵解算出图像采集设备401的相机参数，包括相机内参和相机外参。在图像采集设备401的主点位于图像中心、且斜切系数为0的情况下，可以只对相机焦距进行标定。单应矩阵法的相机标定方式参见上文中的公式(1)、(2)及相关文字描述，在此不再赘述。
3.2、利用投影矩阵法获得上述匹配结果对应的投影矩阵，进而再根据旋转矩阵的正交性质，利用RQ分解等矩阵运算，可从投影矩阵P中分解出相机内参和相机外参。投影矩阵法的相机标定方式可以参见上文中的公式(3)、(4)以及相关文字描述，在此不再赘述。
3.3、计算单应矩阵法得到的相机参数对应的重投影误差和投影矩阵法得到的相机参数对应的重投影误差。点特征的重投影误差计算可以参见上文中的公式(5)及相关文字说明，线特征的重投影误差计算可以参见上文中的公式(6)及相关文字说明，在此不再赘述。
3.4、基于单应矩阵法得到的相机参数得到的多个匹配特征(包括点特征和线特征)对应的多个重投影误差，计算得到单应矩阵法得到的相机参数的总投影误差；
3.5、基于投影矩阵法得到的相机参数得到的多个匹配特征(包括点特征和线特征)对应的多个重投影误差，计算得到投影矩阵法得到的相机参数的总投影误差；
3.6、将总投影误差较小对应的相机参数确定为初始设备参数。
4、对初始设备参数优化，以获得目标设备参数。
将上述利用单应矩阵标定得到的相机参数作为初始设备参数，进而再基于上述点特征和线特征的匹配结果对初始设备参数进行优化。在优化过程中，可以利用光束平差优化法进行优化。
光束平差优化法：建立点特征的重投影误差以及线特征的重投影误差的损失函数，并基于该损失函数对点特征的重投影误差和线特征的重投影误差进行迭代优化。
损失函数可以如下表示：
式中，C表示点特征的重投影误差和线特征的重投影误差的损失，ρ(·)表示鲁棒核函数，
表示点特征的重投影误差epoint的协方差矩阵的逆矩阵，用于对epoint加权；
表示线特征的重投影误差eline的协方差矩阵的逆矩阵，用于对eline加权。
在迭代优化过程中，可以利用梯度下降法等通过不断降低损失来优化初始设备参数，最终可以得到优化后的目标设备参数。
图5示出根据本公开另一实施方式的数据处理方法流程图。如图5所示，该数据处理方法包括以下步骤：
在步骤S501中，获取输入数据；其中，所述输入数据包括图像采集设备从采集环境采集到的图像以及所述采集环境下的三维模型；
在步骤S502中，调用预设服务接口，以便由所述预设服务接口获取图像与三维模型之间的至少两种匹配特征，并基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，以及基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数；
在步骤S503中，输出所述目标设备参数。
本实施例中，可以针对图像采集设备进行设备参数的标定。图像采集设备可以是已经安装在固定位置处的图像采集设备，例如图像采集设备可以是安装高处的图像采集设备。
待标定的设备参数可以包括但不限于相机内参、相机外参和/或相机畸变系数。其中，相机内参可以包括相机焦距、主点位置、斜切系数；相机外参可以包括相机在世界大地坐标系下的位置和姿态；相机畸变系数可以包括径向畸变系数和切向畸变系数；由于透镜制造精度及组装工艺的偏差，相机在成像过程可能会发生畸变，该畸变可以分为径向畸变和切向畸变，径向畸变由相机镜头上的透镜形状所引起，而切向畸变由相机镜头上的透镜本身与成像平面不平行所造成。
本公开实施例中，该数据处理方法可以在云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是Saas(Software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口对图像采集设备进行相机标定，以便获得图像采集设备的相机参数。
本实施例中，需求方可以预先获得图像采集设备在采集环境中所采集到的图像以及采集环境的三维模型，并将该图像以及三维模型作为调用参数提供给预设服务接口。
图像采集设备可以是单目相机，在对图像采集设备的参数标定过程中，可以利用该图像采集设备获取采集环境中的单张图像。采集环境即为图像采集设备的参数标定环境。也即本公开实施例利用单张图像对单目相机进行标定。本公开实施例中的三维模型可以采用基于图像的数据重建方法或者激光扫描重建方法等得到。对采集环境进行数据采集时，可以基于环境需要采用手持设备、无人车或无人机进行采集。三维模型的重建方法可以参见已知技术，在此不做限制。
匹配特征可以是图像与三维模型之间的匹配特征，例如可以包括但不限于点特征、线特征、曲线特征、点到平面特征、语义特征等。其中匹配点特征为图像上的第一点至三维模型上的第二点之间的匹配特征；匹配线特征为图像上直线至三维模型上对应直线之间的匹配特征。至少两种匹配特征可以是根据实际情况从例如点特征、线特征、曲线特征、点到平面特征、语义特征等中任意选取的两种或两种以上不同的特征。
在一些实施例中，至少两种匹配特征之一可以是点特征。因此至少两种匹配特征可以包括点特征与其他一种或多种特征的组合。在一些实施例中，可以针对每一种匹配特征均获得图像与三维模型之间相匹配的多个该种特征。例如可以利用已知的点特征提取方法从图像提取多个点特征(比如ORB点特征、SIFT点特征和SURF点特征等)，之后可以利用自动匹配或者人工标注的方式从三维模型获取与这些点特征相匹配的点特征，最终得到相匹配的点特征。再例如，可以用已知的线特征提取方法(比如LSD方法)从图像中提取多个线特征，之后可以利用自动匹配或者人工标注的方式从三维模型获取与这些线特征相匹配的线特征，最终得到相匹配的线特征。可以理解的是，本公开实施例中的匹配特征包括图像和三维模型中相匹配的特征(如点特征、线特征、面特征等)。
在一些实施例中，可以基于至少两种匹配特征确定图像采集设备的初始设备参数。初始设备参数可以包括基于至少两种匹配特征以及已知的标定方法得到的相机参数。在一些实施例中，可以利用一种已知的标定方法例如单应矩阵法从至少两种匹配特征计算得到单应矩阵，之后再根据单应矩阵解算得到相机参数，该相机参数可以被确定为初始设备参数。在另一些实施例中，可以利用多种已知的标定方法例如单应矩阵法或者投影矩阵法等，分别从至少两种匹配特征计算得到对应的单应矩阵或者投影矩阵等，进而再根据单应矩阵或投影矩阵等解算得到多组相机参数，并将其中一组相机参数确定为初始设备参数。
在确定了初始设备参数之后，可以基于至少两种匹配特征对初始设备参数进行优化得到目标设备参数。优化方法例如可以使用光束平差优化方法等非线性优化方法。光束平差优化方法可以利用初始设备参数作为初始值，利用至少两种匹配特征的重投影误差构建损失函数，并对损失函数进行迭代优化，最终求解得到更加精确的相机参数。在优化过程中，计算每种匹配特征对应的重投影误差，并将每种匹配特征对应的重投影误差之和作为损失进行迭代优化。
本公开实施例在对相机参数进行标定的过程中，获取图像与三维空间中的至少两种匹配特征，并基于至少两种匹配特征获取初始设备参数，进而再基于至少两种匹配特征对初始设备参数进行优化得到精确的设备参数。这种方式通过匹配图像采集设备获得的单张图像与采集环境中的三维模型，并且综合图像和三维模型之间的至少两种匹配特征，对初始设备参数进行优化，能够提高设备参数的精确度，并且可以通过较少量的匹配特征标定出更多的设备参数。
本实施例中的其他细节可以参见上文中的相关描述，在此不再赘述。
图6示出根据本公开另一实施方式的数据处理方法流程图。如图6所示，该数据处理方法包括以下步骤：
在步骤S601中，获取输入数据；其中，所述输入数据包括至少两种相机标定模式；
在步骤S602中，调用预设服务接口，以便由所述预设服务接口获取图像采集设备在至少两种相机标定模式下的至少两组设备参数，并从所述至少两组设备参数中确定初始设备参数，以及对所述初始设备参数进行优化得到目标设备参数；
在步骤S603中，输出所述目标设备参数。
本实施例中，该数据处理方法可以在云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是Saas(Software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口对图像采集设备进行相机标定，以便获得图像采集设备的相机参数。
本实施例中，需求方可以指定至少两种相机标定模式，预设服务接口可以根据接收到的至少两种相机标定模式对图像采集设备的相机参数进行标定。
本实施例中，可以针对图像采集设备进行设备参数的标定。图像采集设备可以是已经安装在固定位置处的图像采集设备，例如图像采集设备可以是安装高处的图像采集设备。
待标定的设备参数可以包括但不限于相机内参、相机外参和/或相机畸变系数。其中，相机内参可以包括相机焦距、主点位置、斜切系数；相机外参可以包括相机在世界大地坐标系下的位置和姿态；相机畸变系数可以包括径向畸变系数和切向畸变系数；由于透镜制造精度及组装工艺的偏差，相机在成像过程可能会发生畸变，该畸变可以分为径向畸变和切向畸变，径向畸变由相机镜头上的透镜形状所引起，而切向畸变由相机镜头上的透镜本身与成像平面不平行所造成。
本公开实施例中，图像采集设备可以是单目相机，在对图像采集设备的参数标定过程中，可以利用该图像采集设备获取采集环境中的单张图像。采集环境即为图像采集设备的参数标定环境。也即本公开实施例利用单张图像对单目相机进行标定。本公开实施例中的三维模型可以采用基于图像的数据重建方法或者激光扫描重建方法等得到。对采集环境进行数据采集时，可以基于环境需要采用手持设备、无人车或无人机进行采集。三维模型的重建方法可以参见已知技术，在此不做限制。
在一些实施例中，可以选用多种相机标定模式分别对图像采集设备的相机参数进行标定，并且每种相机标定模式下均可以获得一组设备参数，设备参数可以是图像采集设备的相机参数。例如，可以利用单应矩阵法或者投影矩阵法等分别对图像采集设备的相机参数进行标定。
在一些实施例中，至少两种相机标定模式中其中一种可以是适用于平面场景的相机标定模式，而另一种可以是适用于非平面场景的相机标定模式。
在获得多种相机标定模式下的多组设备参数之后，可以根据重投影误差从每组设备参数中选择其中一种作为初始设备参数，例如可以选择重投影误差最小的一种作为初始设备参数。重投影误差为图像采集设备采集到的图像与采集环境的三维模型之间的匹配特征的重投影误差。
在确定了初始设备参数之后，还可以利用设备参数的优化方法对初始设备参数进行优化，最终得到优化后的目标设备参数。优化方法例如可以使用光束平差优化方法等非线性优化方法。光束平差优化方法可以利用初始设备参数作为初始值，并利用图像采集设备所采集到的图像与采集环境中三维模型之间的匹配特征的重投影误差构建损失函数，并对损失函数进行迭代优化，最终求解得到更加精确的相机参数。
本公开实施例在对相机参数进行标定的过程中，利用至少两种相机标定模式获得图像采集设备的多组设备参数，进而从多组设备参数中选取其中一组作为初始设备参数，进而再对初始设备参数进行优化得到精确的设备参数。这种方式通过匹配图像采集设备获得的单张图像与采集环境中的三维模型，并且综合多种相机标定模式获得图像采集设备的初始设备参数，进而再对初始设备参数进行优化，能够提高设备参数的精确度。
本实施例中的其他细节可以参见上文中的相关描述，在此不再赘述。
图7示出根据本公开另一实施方式的数据处理方法流程图。如图7所示，该数据处理方法包括以下步骤：
在步骤S701中，接收相机标定请求；其中，所述相机标定请求包括至少两种相机标定模式以及至少两种匹配特征的配置参数；
在步骤S702中，在所述至少两种相机标定模式下，获取图像与三维模型之间的所述至少两种匹配特征；所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
在步骤S703中，基于所述至少两种匹配特征确定所述至少两种相机标定模式下的至少两组设备参数；
在步骤S704中，从所述至少两组设备参数确定所述图像采集设备的初始设备参数；
在步骤S705中，基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
本实施例中，该数据处理方法可以在服务器端执行。针对图像采集设备进行相机标定时，用户可以通过客户端上提供的页面配置用于相机标定的至少两种相机标定模式以及至少两种匹配特征的标识等配置参数，用户可以通过页面上提供的请求按钮等向服务器端发起对图像采集设备的相机参数进行标定的请求。
在一些实施例中，用户发起的请求可以包括至少两种相机标定模式以及至少两种匹配特征的配置参数。在另一些实施例中，还可以包括需要进行相机标定的图像采集设备的配置参数；图像采集设备的配置参数可以包括但不限于图像采集设备的标识、网络地址等。
在一些实施例中，服务器端接收到用户的请求之后，可以触发图像采集设备采集当前采集环境中的图像，和/或可以通过一些预设的方式获取当前采集环境中的三维模型。
在另一些实施例中，用户可以预先获得图像采集设备在当前采集环境中采集到的图像以及预先建立当前采集环境中的三维模型，并在发送请求时将图像和三维模型提供给服务器端。
在一些实施例中，服务器端获取到图像以及三维模型之后，可以获取图像与三维模型之间的至少两种匹配特征。进而再针对至少两种匹配特征，利用每一种相机标定模式获得对应的设备参数，最终可以获得至少两组设备参数(也即每一种相机标定模式对应一组设备参数)。利用重投影误差、正深度限制等度量方式可以从中选择一组设备参数作为初始设备参数。
针对初始设备参数，可以利用光束平差优化法等对初始设备参数进行迭代优化，最终得到优化后的目标设备参数。
本实施例中的具体细节可以参见上文中的相关描述，在此不再赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
第一获取模块，被配置为获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第一确定模块，被配置为基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；
第一优化模块，被配置为基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
在本实施例的一个可选实现方式中，所述三维模型为世界大地坐标系下的三维模型。
在本实施例的一个可选实现方式中，所述至少两种匹配特征包括位于所述图像上的点至所述三维模型上的点之间的匹配特征，和/或位于所述图像上的线至所述三维模型上的线之间的匹配特征。
在本实施例的一个可选实现方式中，所述第一确定模块，包括：
第一获取子模块，被配置为根据所述至少两种匹配特征获取至少两种相机标定模式下的至少两组设备参数；
第一确定子模块，被配置为从所述至少两组设备参数中确定初始设备参数。
在本实施例的一个可选实现方式中，所述第一确定子模块，包括：
第二获取子模块，被配置为根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差；
第二确定子模块，被配置为针对同一种相机标定模式，根据每种所述匹配特征对应的所述重投影误差确定所述相机标定模式对应的总重投影误差；
第三确定子模块，被配置为根据所述总重投影误差的大小确定所述初始设备参数。
在本实施例的一个可选实现方式中，所述第二获取子模块，包括：
第一校正子模块，被配置为利用所述设备参数对所述匹配特征进行畸变校正；
第三获取子模块，被配置为获取畸变校正后的所述匹配特征对应的所述重投影误差。
本实施例中的数据处理装置与图1所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见上述对图1所示实施例及相关实施例中的数据处理方法的描述，在此不再赘述。
根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
第二获取模块，被配置为获取图像采集设备在至少两种相机标定模式下的至少两组设备参数；
第二确定模块，被配置为从所述至少两组设备参数中确定初始设备参数；
第二优化模块，被配置为对所述初始设备参数进行优化得到目标设备参数。
在本实施例的一个可选实现方式中，所述第二确定模块，包括：
第四获取子模块，被配置为获取所述设备参数下的重投影误差；
第四确定子模块，被配置为根据所述重投影误差的大小确定所述初始设备参数。
在本实施例的一个可选实现方式中，所述第四获取子模块，包括：
第二校正子模块，被配置为利用所述设备参数对图像与三维模型之间的匹配特征进行畸变校正；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第五获取子模块，被配置为获取畸变校正后的所述匹配特征在所述设备参数下的所述重投影误差。
在本实施例的一个可选实现方式中，所述三维模型为世界大地坐标系下的三维模型。
在本实施例的一个可选实现方式中，所述至少两种匹配特征包括位于所述图像上的点至位于所述三维模型上的点之间的匹配特征，和/或位于所述图像上的线至所述三维模型上的线之间的匹配特征。
本实施例中的数据处理装置与图3所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见上述对图3所示实施例及相关实施例中的数据处理方法的描述，在此不再赘述。
根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
第三获取模块，被配置为获取输入数据；所述输入数据包括图像采集设备从采集环境采集到的图像以及所述采集环境下的三维模型；
第一调用模块，被配置为调用预设服务接口，以便由所述预设服务接口获取图像与三维模型之间的至少两种匹配特征，并基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，以及基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数；
第一输出模块，被配置为输出所述目标设备参数。
本实施例中的数据处理装置与图5所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见上述对图5所示实施例及相关实施例中的数据处理方法的描述，在此不再赘述。
根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
第四获取模块，被配置为获取输入数据；其中，所述输入数据包括至少两种相机标定模式；
第二调用模块，被配置为调用预设服务接口，以便由所述预设服务接口获取图像采集设备在至少两种相机标定模式下的至少两组设备参数，并从所述至少两组设备参数中确定初始设备参数，以及对所述初始设备参数进行优化得到目标设备参数；
第二输出模块，被配置为输出所述目标设备参数。
本实施例中的数据处理装置与图6所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见上述对图6所示实施例及相关实施例中的数据处理方法的描述，在此不再赘述。
根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
接收模块，被配置为接收相机标定请求；其中，所述相机标定请求包括至少两种相机标定模式以及至少两种匹配特征的配置参数；
第五获取模块，被配置为在所述至少两种相机标定模式下，获取图像与三维模型之间的所述至少两种匹配特征；所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第三确定模块，被配置为基于所述至少两种匹配特征确定所述至少两种相机标定模式下的至少两组设备参数；
第四确定模块，被配置为从所述至少两组设备参数确定所述图像采集设备的初始设备参数；
第三优化模块，被配置为基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
本实施例中的数据处理装置与图7所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见上述对图7所示实施例及相关实施例中的数据处理方法的描述，在此不再赘述。
图8是适于用来实现根据本公开实施方式的数据处理方法的电子设备的结构示意图。
如图8所示，电子设备800包括处理单元801，其可实现为CPU、GPU、FPGA、NPU等处理单元。处理单元801可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行本公开上述任一方法的实施方式中的各种处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (21)
1.一种数据处理方法，其中，包括：
获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；
基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
2.根据权利要求1所述的方法，其中，所述三维模型为世界大地坐标系下的三维模型。
3.根据权利要求1或2所述的方法，其中，所述至少两种匹配特征包括位于所述图像上的点至所述三维模型上的点之间的匹配特征，和/或位于所述图像上的线至所述三维模型上的线之间的匹配特征。
4.根据权利要求1或2所述的方法，其中，基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，包括：
根据所述至少两种匹配特征获取至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数中确定初始设备参数。
5.根据权利要求4所述的方法，其中，从所述至少两组设备参数中确定初始设备参数，包括：
根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差；
针对同一种相机标定模式，根据每种所述匹配特征对应的所述重投影误差确定所述相机标定模式对应的总重投影误差；
根据所述总重投影误差的大小确定所述初始设备参数。
6.根据权利要求5所述的方法，其中，根据每组所述设备参数获取每种所述匹配特征对应的所述重投影误差，包括：
利用所述设备参数对所述匹配特征进行畸变校正；
获取畸变校正后的所述匹配特征对应的所述重投影误差。
7.一种数据处理方法，其中，包括：
获取图像采集设备在至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数中确定初始设备参数；
对所述初始设备参数进行优化得到目标设备参数。
8.根据权利要求7所述的方法，其中，从所述至少两组设备参数中确定初始设备参数，包括：
获取所述设备参数下的重投影误差；
根据所述重投影误差的大小确定所述初始设备参数。
9.根据权利要求8所述的方法，其中，获取所述设备参数下的重投影误差，包括：
利用所述设备参数对图像与三维模型之间的匹配特征进行畸变校正；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
获取畸变校正后的所述匹配特征在所述设备参数下的所述重投影误差。
10.根据权利要求9所述的方法，其中，所述三维模型为世界大地坐标系下的三维模型。
11.根据权利要求9或10所述的方法，其中，所述匹配特征包括位于所述图像上的点至所述三维模型上的点之间的匹配特征，和/或位于所述图像上的线至所述三维模型上的线之间的匹配特征。
12.一种数据处理方法，其中，包括：
获取输入数据；所述输入数据包括图像采集设备从采集环境采集到的图像以及所述采集环境下的三维模型；
调用预设服务接口，以便由所述预设服务接口获取图像与三维模型之间的至少两种匹配特征，并基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，以及基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数；
输出所述目标设备参数。
13.一种数据处理方法，其中，包括：
获取输入数据；其中，所述输入数据包括至少两种相机标定模式；
调用预设服务接口，以便由所述预设服务接口获取图像采集设备在至少两种相机标定模式下的至少两组设备参数，并从所述至少两组设备参数中确定初始设备参数，以及对所述初始设备参数进行优化得到目标设备参数；
输出所述目标设备参数。
14.一种数据处理方法，其中，包括：
接收相机标定请求；其中，所述相机标定请求包括至少两种相机标定模式以及至少两种匹配特征的配置参数；
在所述至少两种相机标定模式下，获取图像与三维模型之间的所述至少两种匹配特征；所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
基于所述至少两种匹配特征确定所述至少两种相机标定模式下的至少两组设备参数；
从所述至少两组设备参数确定所述图像采集设备的初始设备参数；
基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
15.一种数据处理装置，其中，包括：
第一获取模块，被配置为获取图像与三维模型之间的至少两种匹配特征；其中，所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第一确定模块，被配置为基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数；
第一优化模块，被配置为基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
16.一种数据处理装置，其中，包括：
第二获取模块，被配置为获取图像采集设备在至少两种相机标定模式下的至少两组设备参数；
第二确定模块，被配置为从所述至少两组设备参数中确定初始设备参数；
第二优化模块，被配置为对所述初始设备参数进行优化得到目标设备参数。
17.一种数据处理装置，其中，包括：
第三获取模块，被配置为获取输入数据；所述输入数据包括图像采集设备从采集环境采集到的图像以及所述采集环境下的三维模型；
第一调用模块，被配置为调用预设服务接口，以便由所述预设服务接口获取图像与三维模型之间的至少两种匹配特征，并基于所述至少两种匹配特征确定所述图像采集设备的初始设备参数，以及基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数；
第一输出模块，被配置为输出所述目标设备参数。
18.一种数据处理装置，其中，包括：
第四获取模块，被配置为获取输入数据；其中，所述输入数据包括至少两种相机标定模式；
第二调用模块，被配置为调用预设服务接口，以便由所述预设服务接口获取图像采集设备在至少两种相机标定模式下的至少两组设备参数，并从所述至少两组设备参数中确定初始设备参数，以及对所述初始设备参数进行优化得到目标设备参数；
第二输出模块，被配置为输出所述目标设备参数。
19.一种数据处理装置，其中，包括：
接收模块，被配置为接收相机标定请求；其中，所述相机标定请求包括至少两种相机标定模式以及至少两种匹配特征的配置参数；
第五获取模块，被配置为在所述至少两种相机标定模式下，获取图像与三维模型之间的所述至少两种匹配特征；所述图像为图像采集设备从采集环境采集到的图像，所述三维模型为所述采集环境下的三维模型；
第三确定模块，被配置为基于所述至少两种匹配特征确定所述至少两种相机标定模式下的至少两组设备参数；
第四确定模块，被配置为从所述至少两组设备参数确定所述图像采集设备的初始设备参数；
第三优化模块，被配置为基于所述两种匹配特征对所述初始设备参数进行优化得到目标设备参数。
20.一种电子设备，其中，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-14任一项所述的方法。
21.一种计算机可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现权利要求1-14任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011190541.7A CN114445583A (zh) | 2020-10-30 | 2020-10-30 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011190541.7A CN114445583A (zh) | 2020-10-30 | 2020-10-30 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114445583A true CN114445583A (zh) | 2022-05-06 |
Family
ID=81357794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011190541.7A Pending CN114445583A (zh) | 2020-10-30 | 2020-10-30 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114445583A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863026A (zh) * | 2022-05-18 | 2022-08-05 | 禾多科技（北京）有限公司 | 三维车道线信息生成方法、装置、设备和计算机可读介质 |
| CN116958271A (zh) * | 2023-06-06 | 2023-10-27 | 阿里巴巴（中国）有限公司 | 标定参数确定方法以及装置 |
-
2020
- 2020-10-30 CN CN202011190541.7A patent/CN114445583A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863026A (zh) * | 2022-05-18 | 2022-08-05 | 禾多科技（北京）有限公司 | 三维车道线信息生成方法、装置、设备和计算机可读介质 |
| CN116958271A (zh) * | 2023-06-06 | 2023-10-27 | 阿里巴巴（中国）有限公司 | 标定参数确定方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN112085845A (zh) | 基于无人机影像的室外场景快速三维重建装置 | |
| WO2021098448A1 (zh) | 传感器标定方法及装置、存储介质、标定系统和程序产品 | |
| CN111784585B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| EP2847741A1 (en) | Camera scene fitting of real world scenes for camera pose determination | |
| CN111582022B (zh) | 一种移动视频与地理场景的融合方法、系统及电子设备 | |
| CN114143528A (zh) | 多视频流融合方法、电子设备、存储介质 | |
| CN111693025A (zh) | 一种遥感影像数据生成方法、系统及设备 | |
| CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111583119B (zh) | 一种正射影像拼接方法、设备以及计算机可读介质 | |
| CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN110766731A (zh) | 一种全景影像与点云自动配准的方法、装置及存储介质 | |
| CN109034214B (zh) | 用于生成标记的方法和装置 | |
| CN113077523B (zh) | 一种标定方法、装置、计算机设备及存储介质 | |
| CN113012084A (zh) | 无人机影像实时拼接方法、装置及终端设备 | |
| CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN114693807B (zh) | 一种输电线路图像与点云的映射数据重构方法及系统 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN113706391B (zh) | 无人机航拍图像实时拼接方法、系统、设备及存储介质 | |
| CN111311658B (zh) | 双光成像系统图像配准方法及相关装置 | |
| CN114913105A (zh) | 激光点云融合方法、装置、服务器及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |