CN112365406A - 图像处理方法、装置以及可读存储介质 - Google Patents
图像处理方法、装置以及可读存储介质 Download PDFInfo
- Publication number
- CN112365406A CN112365406A CN202110039469.6A CN202110039469A CN112365406A CN 112365406 A CN112365406 A CN 112365406A CN 202110039469 A CN202110039469 A CN 202110039469A CN 112365406 A CN112365406 A CN 112365406A
- Authority
- CN
- China
- Prior art keywords
- parameters
- sequence
- coordinates
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000008030 elimination Effects 0.000 description 8
- 238000003379 elimination reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012907 on board imaging Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本公开涉及图像处理方法、装置以及可读存储介质，所述方法包括获取待处理的多个序列图像；其中，多个序列图像是图像采集设备在移动过程中采集的，图像采集设备具有预先标定的第一参数；根据第一参数，分别确定各序列图像中特征点对应的第一坐标；在根据第一坐标确定特征点不处于同一平面上的情况下，将多个序列图像的标定参数由第一参数调整为第二参数；根据第二参数，分别确定各序列图像中特征点对应的第二坐标；在根据第二坐标确定特征点处于同一平面上的情况下，对多个序列图像进行拼接处理，得到拼接图像。根据本公开实施例的图像处理方法能够有效减小拼接图像的扭曲程度。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置以及可读存储介质。
背景技术
成像光谱仪是将光谱技术和成像技术结合，能够同时获得空间信息和光谱信息的一种传感器。成像光谱仪有两种常见工作方式：推扫型和摆扫型。在推扫型的工作方式中，无人机以适当的速度飞过目标区域，然后将拍摄的图像进行数据立方合成和图像拼接。
在推扫型的工作方式所对应的图像拼接过程中，通常使用仿射变换作为图像之间的几何变换模型，但是这样做的前提是相机始终垂直地面进行拍摄以保证位姿不发生变化，但实际的飞行过程中，由于天气等因素的扰动很难保证相机始终垂直地面拍摄，因此拍摄的两张图像之间的位姿可能存在误差，连续拍摄多张图像以后，累积的位姿误差可能会使拼接得到的图像产生明显的扭曲。
发明内容
有鉴于此，本公开提出了一种图像处理方法、装置以及可读存储介质，以减小拼接图像的扭曲程度。
根据本公开的一方面，提供了一种图像处理方法，包括：获取待处理的多个序列图像；其中，所述多个序列图像是图像采集设备在移动过程中采集的，所述图像采集设备具有预先标定的第一参数；根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标；在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数；根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标；在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像。
在一种可能的实现方式中，所述根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标，包括：根据所述第一参数，分别确定与各序列图像对应的第一相机位姿；根据所述第一参数以及所述第一相机位姿，分别确定各序列图像中特征点对应的第一坐标。
在一种可能的实现方式中，所述方法还包括：根据所述第一坐标，分别确定各个特征点对应的目标坐标之间的第一差值，所述目标坐标为在垂直于地面的方向上的坐标；在存在超过预设阈值的第一差值的情况下，确定所述特征点不处于同一平面上。
在一种可能的实现方式中，所述方法还包括：根据所述第二坐标，分别确定各个特征点对应的目标坐标之间的第二差值，所述目标坐标为在垂直于地面的方向上的坐标；在不存在超过预设阈值的第二差值的情况下，确定所述特征点处于同一平面上。
在一种可能的实现方式中，在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数，包括：从预设的标定参数集合中选取不同于所述第一参数的标定参数，作为所述第二参数。
在一种可能的实现方式中，根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标，包括：根据所述第二参数，分别确定与各序列图像对应的第二相机位姿；根据所述第二参数以及所述第二相机位姿，分别确定各序列图像中特征点的第二坐标。
在一种可能的实现方式中，在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像，包括：根据所述多个序列图像中特征点的第二坐标，确定拼接平面；根据所述第二参数和所述第二相机位姿，确定所述多个序列图像与所述拼接平面之间的单应性关系；根据所述单应性关系，将所述多个序列图像映射到所述拼接平面；对映射到所述拼接平面的多个序列图像的重叠区域进行图像融合，以得到所述拼接图像。
在一种可能的实现方式中，所述第一参数包括相机内参和畸变参数，所述多个序列图像包括根据预先标定的畸变参数进行消畸变处理后的图像。
根据本公开的另一方面，提供了一种图像处理装置，包括：获取模块，用于获取待处理的多个序列图像；其中，所述多个序列图像是图像采集设备按预设轨迹移动过程中采集的，所述图像采集设备具有预先标定的第一参数；第一坐标确定模块，用于根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标；调整模块，用于在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数；第二坐标确定模块，用于根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标；拼接模块，用于在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像。
在一种可能的实现方式中，所述第一坐标确定模块，包括：第一相机位姿确定单元，用于根据所述第一参数，分别确定与各序列图像对应的第一相机位姿；第一坐标确定单元，用于根据所述第一参数以及所述第一相机位姿，分别确定各序列图像中特征点对应的第一坐标。
在一种可能的实现方式中，所述装置还包括：第一差值确定模块，用于根据所述第一坐标，分别确定各个特征点对应的目标坐标之间的第一差值，所述目标坐标为在垂直于地面的方向上的坐标；第一判断模块，用于在存在超过预设阈值的第一差值的情况下，确定所述特征点不处于同一平面上。
在一种可能的实现方式中，所述装置还包括：第二差值确定模块，用于根据所述第二坐标，分别确定各个特征点对应的目标坐标之间的第二差值，所述目标坐标为在垂直于地面的方向上的坐标；第二判断模块，用于在不存在超过预设阈值的第二差值的情况下，确定所述特征点处于同一平面上。
在一种可能的实现方式中，所述调整模块，具体用于从预设的标定参数集合中选取不同于所述第一参数的标定参数，作为所述第二参数。
在一种可能的实现方式中，所述第二坐标确定模块，包括：第二相机位姿确定单元，用于根据所述第二参数，分别确定与各序列图像对应的第二相机位姿；第二坐标确定单元，用于根据所述第二参数以及所述第二相机位姿，分别确定各序列图像中特征点的第二坐标。
在一种可能的实现方式中，所述拼接模块，包括：拼接平面确定单元，用于根据所述多个序列图像中特征点的第二坐标，确定拼接平面；单应性关系确定单元，用于根据所述第二参数和所述第二相机位姿，确定所述多个序列图像与所述拼接平面之间的单应性关系；映射单元，用于根据所述单应性关系，将所述多个序列图像映射到所述拼接平面；融合单元，用于对映射到所述拼接平面的多个序列图像的重叠区域进行图像融合，以得到所述拼接图像。
在一种可能的实现方式中，所述第一参数包括相机内参和畸变参数，所述多个序列图像包括根据预先标定的畸变参数进行消畸变处理后的图像。
根据本公开的另一方面，提供了一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
在相关技术中，通过标定的相机参数可以得到对应相机位姿，在本公开实施例中，通过调整标定参数，使得特征点处于同一平面，可以对应调整各序列图像对应的相机位姿，进而减小多张序列图像之间的相机位姿误差，能够在特征点处于同一平面的情况下，减小拼接图像的扭曲程度，提高拼接图像的边缘锐度。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开实施例的图像处理方法的流程图；
图2示出根据本公开实施例的一种基于无人机载成像光谱仪的图像处理过程的流程图；
图3示出根据本公开实施例的图像处理装置的框图；
图4示出根据本公开实施例的一种电子设备的框图；
图5示出根据本公开实施例的图像处理装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开实施例的图像处理方法的流程图。如图1所示，该图像处理方法，包括：
步骤11，获取待处理的多个序列图像；其中，多个序列图像是图像采集设备按预设轨迹移动过程中采集的，图像采集设备具有预先标定的第一参数；
步骤12，根据第一参数，分别确定各序列图像中特征点对应的第一坐标；
步骤13，在根据第一坐标确定特征点不处于同一平面上的情况下，将多个序列图像的标定参数由所述第一参数调整为第二参数；
步骤14，根据第二参数，分别确定各序列图像中特征点对应的第二坐标；
步骤15，在根据第二坐标确定特征点处于同一平面上的情况下，对多个序列图像进行拼接处理，得到拼接图像。
在一种可能的实现方式中，所述图像处理方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）设备、手持设备、计算设备、车载设备、可穿戴设备等，所述图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述图像处理方法。
在一种可能的实现方式中，在步骤11中，图像采集设备可以是具有多个光谱通道的图像采集设备，例如，该图像采集设备可以是多光谱相机、成像光谱仪、多光谱扫描仪等，当然也可是普通数码相机，对于采用何种图像采集设备，本公开的实施例不做限制。
在一种可能的实现方式中，针对可移动的图像采集设备，在预设该图像采集设备的移动轨迹的情况下，多个序列图像可以是可移动的图像采集设备，按预设的移动轨迹在移动过程中采集的；在未预设该图像采集设备的移动轨迹的情况下，多个序列图像可以是可移动的图像采集设备，按照随机移动轨迹在移动过程中采集的，对此本公开实施例不做限制。
其中，按照预设的移动轨迹采集多个序列图像，可以使得采集的多个序列图像是在一定高度、一定速度下拍摄的图像，能够在对多张序列图像进行图像处理时，获得较好的图像处理效果，使得处理后的图像清晰度更高，边缘锐利度更高。
在一种可能的实现方式中，预设轨迹可以是根据实际需求设定的图像采集设备在采集目标区域内图像时的移动轨迹。
在一种可能的实现方式中，在步骤11中，第一参数可以包括相机内参和畸变参数。多个序列图像包括根据预先标定的畸变参数进行消畸变处理后的图像，通过对多个序列图像进行消畸变处理，可以使得拼接后的图像无明显畸变。
在一种可能的实现方式中，在步骤11中，预先标定的第一参数，可以是通过已有的相机标定方法对图像采集设备进行标定得到的参数，其中，相机标定方法，例如，可以采用基于棋盘格、点阵图等标定模板进行标定的方法，对于如何对图像采集设备进行相机标定，本公开实施例不做限制。
在一种可能的实现方式中，在由图像采集设备采集到多个序列图像后，可以对采集的多个序列图像添加对应的序列号，以便于之后按序列拼接该多个序列图像。
在一种可能的实现方式中，在步骤12中，各序列图像中的特征点可以通过已有的特征点提取算法进行提取。其中，采用的特征点提取算法，例如，可以是加速分段测试的特征 (Features from Accelerated Segments Test，FAST)算法、面向快速旋转简短(Oriented Fast and Rotated Brief，ORB)算法等，对此本公开实施例不做限制。
可以理解的是，图像采集设备采集的图像的过程，实际上是基于小孔成像模型等相机成像原理，实现的将三维空间中三维点变换成二维点的过程，则特征点在图像中的坐标可以是二维坐标，对应于三维空间中的坐标可以是三维坐标。需要说明的是，本公开实施例中，特征点对应的第一坐标和第二坐标，均指三维坐标。
在一种可能的实现方式中，在步骤12中，可根据第一参数对各序列图像进行标定，分别确定各序列图像中特征点对应的第一坐标。
其中，步骤12可以包括：根据第一参数，分别确定与各序列图像对应的第一相机位姿；根据第一参数以及第一相机位姿，分别确定各序列图像中特征点对应的第一坐标。
在一种可能的实现方式中，相机位姿也可称为相机外参，相机位姿包括平移矩阵和旋转矩阵。
在一种可能的实现方式中，根据预先标定的第一参数，分别确定与各序列图像对应的第一相机位姿，可以是基于同步定位与地图构建（ Simultaneous Localization andMapping，SLAM）算法，根据标定的相机内参，分别确定与各序列图像对应的第一相机位姿。当然还可以采用其他相机位姿确定方式，例如，还可以采用半直接视觉里程计（Semi-Direct Monocular Visual Odometry，SVO）算法确定相机位姿，对此本公开实施例不做限制。
在一种可能的实现方式中，根据确定出的平移矩阵和旋转矩阵，以及第一参数中的相机内参，进而可以根据相机成像原理，以及该特征点的二维坐标，得到该特征点对应的三维坐标，即得到第一坐标。
例如，基于小孔成像模型
的相机成像原理，其中，s为任意的比例因子，
， 
，像素坐标（u,v），世界坐标（X,Y,Z），K代表相机内参矩阵，R代表旋转矩阵，t代表平移矩阵，[ ] T 代表矩阵转置。通过上述小孔成像模型，在得知特征点的二维坐标（即像素坐标）、相机内参、旋转矩阵和平移矩阵后，可以得到该特征点对应的三维坐标（即世界坐标），也即得到第一坐标。
在一种可能的实现方式中，可根据第一坐标判断特征点是否处于同一平面上。可以是根据特征点在垂直地面方向上的坐标值是否相近，若坐标值相近可以认为特征点处于同一平面上，反之，认为特征点不处于同一平面上。其中，同一平面，可以是与图像采集设备的移动平面所平行的平面。
在一种可能的实现方式中，判断特征点在垂直地面方向上的坐标值是否相近，可以是根据各个特征点对应的坐标值之间的差值大小，或者通过由各坐标值拟合曲线的曲率大小。
需要说明的是，尽管以作为示例介绍了如上差值和曲线的方式，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定判断坐标值是否相近的方式，只要可以作为判断特征点是否处于同一平面的依据即可。
在一种可能的实现方式中，如果各个特征点处于同一平面上，则可以认为采集的多个序列图像对应的相机位姿之间误差较小，可直接对多个序列图像进行拼接处理，得到拼接图像。反之，如果各个特征点不处于同一平面上，则可在步骤13中对序列图像的标定参数进行调整，也即，将多个序列图像的标定参数由第一参数调整为第二参数。
在一种可能的实现方式中，在步骤13中，在根据第一坐标确定特征点不处于同一平面上的情况下，将多个序列图像的标定参数由第一参数调整为第二参数，可以包括：从预设的标定参数集合中选取不同于第一参数的标定参数，作为第二参数。
在一种可能的实现方式中，标定参数可以是用于对各序列图像进行标定的参数。预设的标定参数集合，可以是预先设定的可采用的包括相机内参和畸变参数的集合。该集合中的相机内参和畸变参数可以根据历史经验和/或实际需求添加，对此本公开的实施例不做限制。
在一种可能的实现方式中，从预设的标定参数集合中选取不同于第一参数的标定参数，可以是通过随机选取、梯度下降、二分法等方式，从该标定参数集合中选取标定参数，对于选取标定参数的方式，本公开的实施例不做限制。
在一种可能的实现方式中，在步骤14中，根据第二参数，分别确定各序列图像中特征点对应的第二坐标，可以包括：根据第二参数，分别确定与各序列图像对应的第二相机位姿；根据第二参数以及第二相机位姿，分别确定各序列图像中特征点的第二坐标。
在一种可能的实现方式中，根据预先标定的第二参数，分别确定与各序列图像对应的第二相机位姿，可以是采用与步骤12中根据第一参数分别确定与各序列图像对应的第一相机位姿相同的相机位姿确定方式，在此不再赘述。
在一种可能的实现方式中，根据确定出的平移矩阵和旋转矩阵，以及选取的第二参数中的相机内参，进而可以基于上述相机成像原理，以及该特征点的二维坐标，对应得到在第二参数下该特征点对应的三维坐标，即得到第二坐标。
在一种可能的实现方式中，在步骤15中，根据第二坐标判断特征点是否处于同一平面，可以采用如上文所述的根据第一坐标判断特征点是否处于同一平面相同的方法，在此不再赘述。在根据第二坐标确定特征点处于同一平面上时，可以认为此时根据调整的第二参数得到的各序列图像之间的相机位姿误差较小，在相机位姿误差较小的情况下，拼接多个序列图像可以使得拼接得到的图像无明显扭曲、边缘锐度高。
在一种可能的实现方式中，在得到调整后的第二参数后，可以依据该第二参数调整图像采集设备的相机内参和畸变参数，从而在之后使用该图像采集设备采集目标区域内的图像时，可以不用再进行相机标定。直接根据调整后的第二参数中的畸变参数对采集的图像进行消畸变处理，以及根据调整后的第二参数中的相机内参确定相机位姿等，从而可以提高消畸变处理的准确度以及提高得到的相机位姿的准确度。
在一种可能的实现方式中，根据第二参数确定出的第二坐标，还可能存在根据第二坐标确定特征点不处于同一平面上的情况，在该情况下，可以从上述预设的标定参数集合中选取不同于第一参数和第二参数的标定参数，作为第三参数，进而根据该第三参数，分别确定各序列图像中特征点对应的第三坐标，再根据第三坐标判断特征点是否处于同一平面。依次类推，直到从标定参数集合中选取的参数使得特征点处于同一平面上，再对多个序列图像进行拼接处理。
在一种可能的实现方式中，在步骤15中，在根据第二坐标确定特征点处于同一平面上的情况下，对多个序列图像进行拼接处理，得到拼接图像，可以包括：
根据多个序列图像中特征点的第二坐标，确定拼接平面；
根据第二参数和所述第二相机位姿，确定多个序列图像与拼接平面之间的单应性关系；
根据单应性关系，将多个序列图像映射到拼接平面；
对映射到拼接平面的多个序列图像的重叠区域进行图像融合，以得到拼接图像。
在一种可能的实现方式中，根据多个序列图像中特征点的第二坐标，确定拼接平面，可以是基于随机抽样一致性 (RANdom SAmple Consensus，RANSAC) 算法，以特征点对应的第二坐标（x0,y0,z0）到平面方程（ax+by+cz+d=0）的距离D(
)最小为目标所拟合的平面，作为拼接平面，a、b、c、d为平面方程的参数。
在一种可能的实现方式中，根据多个序列图像中特征点的第二坐标，确定拼接平面，还可以是根据多个特征点对应的第二坐标，确定垂直地面的方向上的目标坐标所对应的平均高度，以该平均高度下拟合的拟合平面，作为拼接平面。
需要说明的是，尽管以RANSAC算法和平均高度作为示例介绍了如上确定拼接平面的方式，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定拟合拼接平面的方式，只要根据第二坐标确定出拼接平面即可。
在一种可能的实现方式中，根据第二参数和第二相机位姿，确定多个序列图像与拼接平面之间的单应性关系，可以是根据式
确定出各个序列图像到拼接平面的单应性关系，其中，拼接平面表示为
， K代表相机内参矩阵，R代表旋转矩阵，t代表平移矩阵， 
代表法向量n=(a,b,c)的转置，P代表该拼接平面上点的位置，H代表单应性关系对应的单应性矩阵
。
在一种可能的实现方式中，根据单应性关系将多个序列图像映射到拼接平面，可以是根据单应性矩阵H确定出的图像和拼接平面之间的射影变换关系，将各消畸变处理后的图像映射到拼接平面，该射影变换关系可以表示为
，其中，x和y代表变换前图像的像素坐标，scr代表变换前的图像，dst代表变换后的图像。
在一种可能的实现方式中，对映射到拼接平面的多个序列图像的重叠区域进行图像融合，可以采用已有的图像融合技术，例如，可以采用Alpha融合算法处理图像重叠区域，还可以采用加权平均算法或小波变换算法等，对于采用何种图像融合技术本公开实施例不做限制。
在本公开实施例中，通过调整标定参数，使得特征点处于同一平面，可以对应调整各序列图像对应的相机位姿，进而减小多张序列图像之间的相机位姿误差，能够在特征点处于同一平面的情况下，使得拼接后的图像无扭曲、图像边缘锐度高。
在一种可能的实现方式中，所述图像处理方法还可以包括：
根据第一坐标，分别确定各个特征点对应的目标坐标之间的第一差值，目标坐标为在垂直于地面的方向上的坐标；在存在超过预设阈值的第一差值的情况下，确定特征点不处于同一平面上。
在一种可能的实现方式中，第一差值，可以指方差、标准差、偏差等用于衡量数据偏移程度的度量值，也可以是直接采用每个数值与各数值的平均值之间的差值、或每两个数值之间的差值、差值的绝对值等。对于采用何种差值度量方式本公开实施例不做限制。
在一种可能的实现方式中，目标坐标可以是在垂直于地面的方向上的坐标，例如，可以是Z轴方向上的坐标。预设阈值可以是根据实际需求设定的判断特征点是否处于同一平面的指标。可以理解的是，各个特征点的目标坐标可能无法完全相同，通过设置预设阈值可以实现在可接受的误差范围内，判定特征点是否处于同一平面。
举例来说，假设4个特征点的目标坐标为6.1、6.0、6.2、7.0，预设阈值为0.2，将每两个目标坐标之间差值的绝对值作为第一差值，可以得知第一差值中存在超过0.2的情况，从而确定出该4个特征点不处于同一平面。
在一种可能的实现方式中，所述图像处理方法还可以包括：根据第二坐标，分别确定各个特征点对应的目标坐标之间的第二差值，目标坐标为在垂直于地面的方向上的坐标；在不存在超过预设阈值的第二差值的情况下，确定特征点处于同一平面上。
在一种可能的实现方式中，第二差值可以采用与上述第一差值相同的度量方式，例如，可以采用方差、标准差、偏差等，对此本公开实施例不做限制。
举例来说，假设4个特征点的目标坐标为6.1、6.0、6.2、6.1，预设阈值为0.2，将每两个目标坐标之间差值的绝对值作为第二差值，可以得知第二差值中不存在超过0.2的情况，从而确定出该4个特征点处于同一平面。
需要说明的是，尽管以作为示例介绍了如上第一差值和第二差值，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定第一差值和第二差值的具体形式，只要可以作为判断特征点是否处于同一平面的依据即可。
在本公开实施例中，通过根据目标坐标之间的差值，可以快速有效的确定出特征点是否处于同一平面，进而以此为依据拼接图像，可以降低拼接图像的扭曲度，提高图像边缘锐度。
在一种可能的实现方式中，在采用无人机载成像光谱仪进行图像采集时，采用的设备包括无人机、无人机遥控操作装置、推扫型成像光谱仪、计算机、相机标定设备等。所述成像光谱仪包括成像系统、控制器，所述成像系统包括镜头和面阵探测器。
图2示出根据本公开实施例的一种基于无人机载成像光谱仪的图像处理过程的流程图。如图2所示，该图像处理过程包括以下步骤。
首先，通过相机标定设备对成像系统进行参数标定，得到相机内参以及畸变参数;
然后，使用无人机载成像光谱仪对目标场景进行推扫，采集多帧图像，采集帧率可根据分辨率、高度、航带宽度进行设置；
进一步的，根据相机标定参数（相机内参和畸变参数）对图像进行消畸变处理；
更进一步的，使用SLAM算法定位每一帧图像的位置，得到图像对应的相机位姿和关键点点云；
更进一步的，根据点云是否处于同一平面，调整相机标定参数。进而根据调整的相机标定参数通过SLAM算法得到相机位姿。由于图像中关键点所构成的点云中的点近似位于同一个平面上，以点云在z方向波动范围小为目标，使用梯度下降法、二分法等优化相机的参数，得到最终的相机位姿，并且确保点云分布在一个平面上；
更进一步的，根据点云的坐标进行优化得到一个平面作为拼接平面；
更进一步的，根据相机位姿确定每帧图像对应的无人机位置与该拼接平面的变换关系；
最后，进行图像拼接，根据变换关系，将每帧图像映射到拼接平面，对映射到拼接平面的每帧图像的重叠区域进行图像融合，可以使用加权平均的方式进行融合，这样能够消除传感器表面上的小瑕疵、坏点带来的影响。
在一种可能的实现方式中，操作搭载成像光谱仪的无人机，可设置无人机按照指定航线巡航或者手动操作，以匀速或在一定速度内（1m/s内）变速飞行，连续推扫整个目标区域，采集高光谱图像。
在本公开实施例中，解决推扫式无人机载成像光谱仪拼接图像容易扭曲、失真的问题，本公开实施例中提出的图像拼接方法能够求得更精确的相机外参（相机位姿），减少相邻图像之间对应的相机位姿误差，并且通过回环检测手段，克服长时间推扫时位姿关系误差累积的情况，方便无人机进行连续推扫，提高光谱数据获取效率。
在本公开实施例中，提供了点云信息，能够根据关键点共面的特性进行位姿优化，有效消除累积误差；使用SLAM求解相机位姿，对全球定位系统（Global PositioningSystem，GPS）、惯性导航测量（Inertial Measurement Unit，IMU）设备等传感器精度没有高要求，使用SLAM技术求解位姿可靠性更高；
在本公开实施例中，使用关键点点云信息优化得到一个平面作为拼接平面，使得拼接图像是正视的，没有透视变换带来的形变（如果拼接平面不是地面，地面正方形物体可能变成梯形等），易用性更高，现有方法拼接图像是否正视则取决于无人机飞行的平稳性或者选取的拼接桢位置，无法自动设置；一次能够推扫大范围的目标区域，累积误差小；拼接图像为正视图，易于使用。
在本公开实施例中，涉及无人机载成像光谱仪，进行大场景的全景图像拼接时，克服现有拼接方法累积误差难以消除、对姿态测量系统（position and orientationsystem, POS）精度要求高的弊端，能够对推扫型无人机载成像光谱仪的发展起到很大推动作用。
图3出根据本公开实施例的一种图像处理装置的框图。如图3所示，该图像处理装置包括：
获取模块101，用于获取待处理的多个序列图像；其中，所述多个序列图像是图像采集设备按预设轨迹移动过程中采集的，所述图像采集设备具有预先标定的第一参数；
第一坐标确定模块102，用于根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标；
调整模块103，用于在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数；
第二坐标确定模块104，用于根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标；
拼接模块105，用于在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像。
在一种可能的实现方式中，所述第一坐标确定模块102，包括：
第一相机位姿确定单元，用于根据所述第一参数，分别确定与各序列图像对应的第一相机位姿；
第一坐标确定单元，用于根据所述第一参数以及所述第一相机位姿，分别确定各序列图像中特征点对应的第一坐标。
在一种可能的实现方式中，所述装置还包括：
第一差值确定模块，用于根据所述第一坐标，分别确定各个特征点对应的目标坐标之间的第一差值，所述目标坐标为在垂直于地面的方向上的坐标；
第一判断模块，用于在存在超过预设阈值的第一差值的情况下，确定所述特征点不处于同一平面上。
在一种可能的实现方式中，所述装置还包括：
第二差值确定模块，用于根据所述第二坐标，分别确定各个特征点对应的目标坐标之间的第二差值，所述目标坐标为在垂直于地面的方向上的坐标；
第二判断模块，用于在不存在超过预设阈值的第二差值的情况下，确定所述特征点处于同一平面上。
在一种可能的实现方式中，所述调整模块103，具体用于从预设的标定参数集合中选取不同于所述第一参数的标定参数，作为所述第二参数。
在一种可能的实现方式中，所述第二坐标确定模块104，包括：
第二相机位姿确定单元，用于根据所述第二参数，分别确定与各序列图像对应的第二相机位姿；
第二坐标确定单元，用于根据所述第二参数以及所述第二相机位姿，分别确定各序列图像中特征点的第二坐标。
在一种可能的实现方式中，所述拼接模块105，包括：
拼接平面确定单元，用于根据所述多个序列图像中特征点的第二坐标，确定拼接平面；
单应性关系确定单元，用于根据所述第二参数和所述第二相机位姿，确定所述多个序列图像与所述拼接平面之间的单应性关系；
映射单元，用于根据所述单应性关系，将所述多个序列图像映射到所述拼接平面；
融合单元，用于对映射到所述拼接平面的多个序列图像的重叠区域进行图像融合，以得到所述拼接图像。
在一种可能的实现方式中，所述第一参数包括相机内参和畸变参数，所述多个序列图像包括根据预先标定的畸变参数进行消畸变处理后的图像。
在相关技术中，通过标定的相机参数可以得到对应相机位姿，所以在本公开实施例中，通过调整标定参数，使得特征点处于同一平面，可以对应调整各序列图像对应的相机位姿，进而减小多张序列图像之间的相机位姿误差，能够在特征点处于同一平面的情况下，使得拼接后的图像无扭曲、图像边缘锐度高。
图4是根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图4，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出（I/ O）的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图5是根据本公开实施例示出的一种图像处理装置1900的框图。例如，装置1900可以被提供为一服务器。参照图5，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出（I/O）接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
获取待处理的多个序列图像；其中，所述多个序列图像是图像采集设备在移动过程中采集的，所述图像采集设备具有预先标定的第一参数；
根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标；
在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数；
根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标；
在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标，包括：
根据所述第一参数，分别确定与各序列图像对应的第一相机位姿；
根据所述第一参数以及所述第一相机位姿，分别确定各序列图像中特征点对应的第一坐标。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一坐标，分别确定各个特征点对应的目标坐标之间的第一差值，所述目标坐标为在垂直于地面的方向上的坐标；
在存在超过预设阈值的第一差值的情况下，确定所述特征点不处于同一平面上。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第二坐标，分别确定各个特征点对应的目标坐标之间的第二差值，所述目标坐标为在垂直于地面的方向上的坐标；
在不存在超过预设阈值的第二差值的情况下，确定所述特征点处于同一平面上。
5.根据权利要求1所述的方法，其特征在于，在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数，包括：
从预设的标定参数集合中选取不同于所述第一参数的标定参数，作为所述第二参数。
6.根据权利要求1所述的方法，其特征在于，根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标，包括：
根据所述第二参数，分别确定与各序列图像对应的第二相机位姿；
根据所述第二参数以及所述第二相机位姿，分别确定各序列图像中特征点的第二坐标。
7.根据权利要求6所述的方法，其特征在于，在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像，包括：
根据所述多个序列图像中特征点的第二坐标，确定拼接平面；
根据所述第二参数和所述第二相机位姿，确定所述多个序列图像与所述拼接平面之间的单应性关系；
根据所述单应性关系，将所述多个序列图像映射到所述拼接平面；
对映射到所述拼接平面的多个序列图像的重叠区域进行图像融合，以得到所述拼接图像。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述第一参数包括相机内参和畸变参数，所述多个序列图像包括根据预先标定的畸变参数进行消畸变处理后的图像。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的多个序列图像；其中，所述多个序列图像是图像采集设备按预设轨迹移动过程中采集的，所述图像采集设备具有预先标定的第一参数；
第一坐标确定模块，用于根据所述第一参数，分别确定各序列图像中特征点对应的第一坐标；
调整模块，用于在根据所述第一坐标确定所述特征点不处于同一平面上的情况下，将所述多个序列图像的标定参数由所述第一参数调整为第二参数；
第二坐标确定模块，用于根据所述第二参数，分别确定各序列图像中特征点对应的第二坐标；
拼接模块，用于在根据所述第二坐标确定所述特征点处于同一平面上的情况下，对所述多个序列图像进行拼接处理，得到拼接图像。
10.一种图像处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至8中任意一项所述的方法。
11.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110039469.6A CN112365406B (zh) | 2021-01-13 | 2021-01-13 | 图像处理方法、装置以及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110039469.6A CN112365406B (zh) | 2021-01-13 | 2021-01-13 | 图像处理方法、装置以及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365406A true CN112365406A (zh) | 2021-02-12 |
| CN112365406B CN112365406B (zh) | 2021-06-25 |
Family
ID=74534879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110039469.6A Active CN112365406B (zh) | 2021-01-13 | 2021-01-13 | 图像处理方法、装置以及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365406B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962864A (zh) * | 2021-11-12 | 2022-01-21 | 上海闪马智能科技有限公司 | 图像拼接方法、装置、存储介质及电子装置 |
| CN114757824A (zh) * | 2022-03-18 | 2022-07-15 | 北京百度网讯科技有限公司 | 图像拼接的方法、装置、设备以及存储介质 |
| CN115082302A (zh) * | 2021-03-15 | 2022-09-20 | 芯视界（北京）科技有限公司 | 一种光谱图像处理装置及方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677669A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像排序方法及装置 |
| CN106251399A (zh) * | 2016-08-30 | 2016-12-21 | 广州市绯影信息科技有限公司 | 一种基于lsd‑slam的实景三维重建方法 |
| CN107240067A (zh) * | 2017-05-11 | 2017-10-10 | 同济大学 | 一种基于三维重建的序列图像自动拼接方法 |
| CN110111250A (zh) * | 2019-04-11 | 2019-08-09 | 中国地质大学（武汉） | 一种鲁棒的自动全景无人机图像拼接方法及装置 |
| CN111461963A (zh) * | 2020-03-30 | 2020-07-28 | 南京泓众电子科技有限公司 | 一种鱼眼图像拼接方法及装置 |
| CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
| WO2020207512A1 (zh) * | 2019-04-12 | 2020-10-15 | 北京城市网邻信息技术有限公司 | 三维对象建模方法、图像处理方法、图像处理装置 |
| CN111798373A (zh) * | 2020-06-11 | 2020-10-20 | 西安视野慧图智能科技有限公司 | 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法 |
| CN111951158A (zh) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | 一种无人机航拍图像拼接中断的恢复方法、装置和存储介质 |
-
2021
- 2021-01-13 CN CN202110039469.6A patent/CN112365406B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677669A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像排序方法及装置 |
| CN106251399A (zh) * | 2016-08-30 | 2016-12-21 | 广州市绯影信息科技有限公司 | 一种基于lsd‑slam的实景三维重建方法 |
| CN107240067A (zh) * | 2017-05-11 | 2017-10-10 | 同济大学 | 一种基于三维重建的序列图像自动拼接方法 |
| CN110111250A (zh) * | 2019-04-11 | 2019-08-09 | 中国地质大学（武汉） | 一种鲁棒的自动全景无人机图像拼接方法及装置 |
| WO2020207512A1 (zh) * | 2019-04-12 | 2020-10-15 | 北京城市网邻信息技术有限公司 | 三维对象建模方法、图像处理方法、图像处理装置 |
| CN111951158A (zh) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | 一种无人机航拍图像拼接中断的恢复方法、装置和存储介质 |
| CN111461963A (zh) * | 2020-03-30 | 2020-07-28 | 南京泓众电子科技有限公司 | 一种鱼眼图像拼接方法及装置 |
| CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
| CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN111798373A (zh) * | 2020-06-11 | 2020-10-20 | 西安视野慧图智能科技有限公司 | 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082302A (zh) * | 2021-03-15 | 2022-09-20 | 芯视界（北京）科技有限公司 | 一种光谱图像处理装置及方法 |
| CN115082302B (zh) * | 2021-03-15 | 2024-05-03 | 芯视界（北京）科技有限公司 | 一种光谱图像处理装置及方法 |
| CN113962864A (zh) * | 2021-11-12 | 2022-01-21 | 上海闪马智能科技有限公司 | 图像拼接方法、装置、存储介质及电子装置 |
| CN114757824A (zh) * | 2022-03-18 | 2022-07-15 | 北京百度网讯科技有限公司 | 图像拼接的方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365406B (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365406B (zh) | 图像处理方法、装置以及可读存储介质 | |
| US11158083B2 (en) | Position and attitude determining method and apparatus, smart device, and storage medium | |
| US11222440B2 (en) | Position and pose determining method, apparatus, smart device, and storage medium | |
| CN111983635B (zh) | 位姿确定方法及装置、电子设备和存储介质 | |
| EP3188467B1 (en) | Method for image capturing using unmanned image capturing device and electronic device supporting the same | |
| CN106846410B (zh) | 基于三维的行车环境成像方法及装置 | |
| CN110148178B (zh) | 相机定位方法、装置、终端及存储介质 | |
| CN110473259A (zh) | 位姿确定方法及装置、电子设备和存储介质 | |
| CN109584362B (zh) | 三维模型构建方法及装置、电子设备和存储介质 | |
| WO2018157464A1 (zh) | 一种图像显示方法及电子设备 | |
| WO2023103377A1 (zh) | 标定方法及装置、电子设备、存储介质及计算机程序产品 | |
| CN112945207B (zh) | 目标定位方法及装置、电子设备和存储介质 | |
| CN112414400B (zh) | 一种信息处理方法、装置、电子设备和存储介质 | |
| CN112529781B (zh) | 图像处理方法、装置以及可读存储介质 | |
| CN114578329A (zh) | 多传感器联合标定方法、设备、存储介质及程序产品 | |
| CN112184787A (zh) | 图像配准方法及装置、电子设备和存储介质 | |
| CN111860373B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
| CN114600162A (zh) | 用于捕捉摄像机图像的场景锁定模式 | |
| CN113066135A (zh) | 图像采集设备的标定方法及装置、电子设备和存储介质 | |
| CN113542600A (zh) | 一种图像生成方法、装置、芯片、终端和存储介质 | |
| CN113345000A (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| CN111147744B (zh) | 拍摄方法、数据处理方法、装置、电子设备及存储介质 | |
| CN106875450A (zh) | 用于相机重定位的训练集优化方法及装置 | |
| CN113192145B (zh) | 设备标定方法及装置、电子设备和存储介质 | |
| JP2020048034A (ja) | 電子機器及び通知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |