CN112702515A - 相机系统中的图像处理方法、系统和计算机可读介质 - Google Patents

Abstract

本发明提供了一种相机系统中的图像处理方法、系统及存储有计算机程序代码的计算机可读介质，该图像处理方法包括：从输入相机图像中获取包括n个采样像素的坐标的第一坐标集合，n是正整数；根据稳像运动补偿向量对第一坐标集合进行初步稳像变换，获得第二坐标集合；应用图像畸变校正参数对第一坐标集合和所述第二坐标集合进行去畸变处理，分别获得第三坐标集合和第四坐标集合；根据第三坐标集合和第四坐标集合计算畸变校正后的运动补偿参数；以及根据畸变校正后的运动补偿参数对输入相机图像的像素坐标值进行畸变校正运动补偿，获得输出像素坐标值。本发明显著地提升了相机系统中的稳像效果，大幅度降低了系统实施的复杂度。

Description

相机系统中的图像处理方法、系统和计算机可读介质

技术领域

本发明主要涉及图像处理领域，尤其涉及一种相机系统中的图像处理方法、系统和计算机可读介质。

背景技术

相机系统的稳像系统一般包括运动估计模块、相机轨迹平滑模块和图像稳像变换模块。运动估计模块负责计算相机系统里两帧成像间的相机运动向量；相机轨迹平滑模块对相机运动轨迹做平滑后，得到每帧图像需要的运动补偿向量；图像稳像变换模块负责使用前一模块估计的运动补偿向量对帧图像做变换，补偿相机运动，实现消除抖动效应的视频稳像效果。这三个模块可以用软件方式实现，也可以用硬件ASIC/FPGA方式实现。一种组合方式是：运动估计模块由相机图像处理系统ISP芯片实现，也可以从陀螺仪传感器数据中估计；相机轨迹平滑模块一般由软件层实现，可以实现轨迹平滑算法的灵活性；图像稳像变换模块可以由软件后处理系统实现，也可以由芯片后处理系统完成。无论采用哪种实现方式，现有的相机稳像系统都需要一个独立的图像稳像变换模块，并且都需要对来自图像缓存的图像数据与来自相机轨迹平滑模块的运动补偿向量数据做时钟同步处理。这样，增加了系统的硬件或软件实现成本，增加了系统的时延。

如果不是采用陀螺仪数据估计相机运动，一般是在相机系统的芯片ISP 图像处理系统中根据图像序列数据估计帧间相机运动值。而相机系统一般将畸变校正处理置于后处理系统，ISP图像处理系统中图像数据一般未做去畸变，因此从这里估计的帧间相机运动值含有相机系统常见的畸变引起的误差。而这个畸变引起的误差会带入相机稳像系统的最终结果。这种误差效应在鱼眼相机系统中，更是显著到不可忽略。

另一方面，图像处理系统中一般还包括图像缩放(Zoom/Scale)、图像翻转(Flip/Mirror)、去畸变(Undistortion)、裁剪(Crop)等变化处理，这些处理方式属于相机的图像后处理系统。图像稳像变换模块通常与这些后处理串接。图像稳像变换实质修改了变换前图像的相机参数，并且由于每帧图像应用的运动补偿向量不尽相同，导致后续图像去畸变变换应用的参数必须做同步的修正，从而增加了系统实现的复杂度。即便把图像稳像变换模块放到去畸变变换模块之后，那么需要对相机轨迹平滑模块输出的运动补偿向量数据分别做缩放、翻转、去畸变等变换的补偿修正，才能正确对应到此时的图像数据。这些都急剧的增加了系统实施的复杂度，降低了系统的鲁棒性。

发明内容

本发明要解决的技术问题是提供一种在稳像中引入畸变修正的图像处理方法及系统。

为解决上述技术问题，本发明提供了一种相机系统中的图像处理方法，其特征在于，包括：从输入相机图像中获取包括n个采样像素的坐标的第一坐标集合，n是正整数；根据稳像运动补偿向量对所述第一坐标集合进行初步稳像变换，获得第二坐标集合；应用图像畸变校正参数对所述第一坐标集合和所述第二坐标集合进行去畸变处理，分别获得第三坐标集合和第四坐标集合；根据所述第三坐标集合和所述第四坐标集合计算畸变校正后的运动补偿参数；以及根据所述畸变校正后的运动补偿参数对所述输入相机图像的像素坐标值进行畸变校正运动补偿，获得输出像素坐标值。

在本发明的一实施例中，所述输入相机图像经过了包括去畸变、稳像、缩放、翻转和裁剪中的一种或多种后处理，在获得所述畸变校正后的运动补偿参数之后还包括：根据所述输入相机图像的所述后处理，对所述输入相机图像进行反向处理，获得所述输入相机图像的缩放参数、翻转参数和裁剪参数中的一个或多个；根据去畸变函数、所述缩放参数、所述翻转参数、所述裁剪参数中的一个或多个和所述畸变校正后的运动补偿参数形成综合变换映射表；以及根据所述综合变换映射表将所述输入相机图像的像素坐标值变换为输出像素坐标值。

在本发明的一实施例中，所述n个采样像素均匀分布在所述输入相机图像中。

在本发明的一实施例中，采用如下公式对所述第一坐标集合进行初步稳像变换：

P_stab0＝T_stab0·P₀

其中，P₀＝{X_i|i＝0，1，2，3，...，n-1}表示所述第一坐标集合，X_i表示所述第一坐标集合P₀中的第i个像素点的坐标，

表示所述第二坐标集合，X_{stab0_i}表示所述第二坐标集合 P_stab0中的第i个像素点的坐标。

在本发明的一实施例中，采用如下公式进行去畸变处理：

X_{undistortion_i}＝undistortion(X_i，Coefficient_distortion)

X_{undistortion_stab0_i}＝undistortion(X_{stab0_i}，Coefficient_distortion)

其中，Coefficient_distortion表示所述图像畸变校正参数，X_{undistortioni}表示所述第三坐标集合中的第i个像素坐标，X_{undistortion_stab0_i}表示所述第四坐标集合中的第i个像素坐标，undistortion是去畸变函数。

在本发明的一实施例中，所述畸变校正后的运动补偿参数满足下面的约束条件：

i＝0，1，2，3，…，n

其中，T_{undistortion_stab}表示所述畸变校正后的运动补偿参数。

在本发明的一实施例中，所述第一坐标集合和所述第二坐标集合中的坐标是归一化的像素坐标。

在本发明的一实施例中，还包括：采用邻近像素的像素坐标值对所述输出像素坐标值进行插值处理，使所述输出像素坐标值为整数。

本发明为解决上述技术问题还提出一种相机系统中的图像处理系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如上所述的方法。

本发明为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。

本发明一方面对输入相机图像中的采样像素的坐标进行处理，获得畸变校正后的运动补偿参数，可以同时实现对相机图像的畸变校正和运动补偿，显著地提升了相机系统中的稳像效果。另一方面通过建立综合变换映射实现对输入相机图像的去畸变、稳像、缩放、翻转、裁剪等一系列的后处理的综合变换，有效降低了相机图像后处理系统的软件或硬件成本，去除了重复冗余的基础图像后处理，大幅度降低了系统实施的复杂度，提升了系统的鲁棒性。

附图说明

包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：

图1是本发明一实施例的相机系统中的图像处理方法的示例性流程图；

图2是本发明一实施例的相机系统中的图像处理方法的部分过程的示例性流程图；

图3是本发明一实施例的相机系统中的图像处理过程示意图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是本发明一实施例的相机系统中的图像处理方法的示例性流程图。参考图1所示，该实施例的图像处理方法包括以下步骤：

步骤S110：从输入相机图像中获取包括n个采样像素的坐标的第一坐标集合，n是正整数。

本发明对所要处理的输入相机图像的大小和格式不做限制。在步骤 S110，从输入相机图像中提取包括n个采样像素的坐标的第一坐标集合。对该n个采样像素的采样方式不做限制。例如：在输入相机图像的水平与垂直方向上以固定步长提取像素坐标，该水平和垂直方向的步长可以相等也可以不相等；或者使用均匀随机采样的方法提取n个像素的坐标。

在一些实施例中，该n个采样像素均匀分布在输入相机图像中。

步骤S120：根据稳像运动补偿向量对第一坐标集合进行初步稳像变换，获得第二坐标集合。

稳像运动补偿向量是由相机系统的稳像系统设定的，例如通过运动估计获得相机运动向量；对相机轨迹做平滑，得到每帧图像需要的稳像运动补偿向量；再使用该稳像运动补偿向量对帧图像做变换，补偿相机运动。其中，相机运动向量可以由来自陀螺仪的数据估计得到，也可以在相机系统的芯片ISP图像处理系统中根据图像序列数据估计帧间相机运动值得到。本发明稳像运动补偿向量具体设定方式和数值不做限制。

在一些实施例中，采用如下公式对第一坐标集合进行初步稳像变换：

P_stab0＝T_stab0·P₀

其中，P₀＝{X_i|i＝0，1，2，3，...，n-1}表示第一坐标集合，

表示第二坐标集合。

在这些实施例中，根据稳像运动补偿向量生成的初步稳像变换表达为 T_stab0这样一个3*3的矩阵。

第一坐标集合P₀和第二坐标集合P_stab0可以组成像素坐标点对集合 S₀＝{(X_i，X_{stab0_i})|i＝0，1，2，3，...，n}，其中，X_i是来自第一坐标集合P₀中的第i个像素点的坐标，X_stab0i是来自第二坐标集合P_stab0中的第i个像素点的坐标。

步骤S130：应用图像畸变校正参数对第一坐标集合和第二坐标集合进行去畸变处理，分别获得第三坐标集合和第四坐标集合。

图像畸变校正参数是通过对相机进行标定所获得，不同的相机，所获得的图像畸变校正参数可能是不同的。

在一些实施例中，采用如下公式进行去畸变处理：

X_{undistortioni}＝undistortion(X_i，Coefficient_distortion)

X_undistortion__{stab0_}i＝undistortion(X_{stab0_i，}Coefficient_distortion)

其中，X_i表示第一坐标集合中的第i个像素坐标，X_{stab0_i}表示第二坐标集合中的第i个像素坐标，Coefficient_distortion表示图像畸变校正参数， X_{undistortion_i}表示第三坐标集合中的第i个像素坐标，X_{undistortion_stab0i}表示第四坐标集合中的第i个像素坐标，undistortion是去畸变函数。本发明对具体的去畸变函数不做限制，可以根据相机系统使用到的具体镜头系统以及相机成像几何模型等确定所要采取的去畸变函数。

对应于步骤S120中的像素坐标点对集合S₀＝{(X_i，X_stab0i)|i＝ 0，1，2，3，...，n}，根据步骤S130可以获得由第三坐标集合和第四坐标集合组成的经过去畸变处理之后的像素坐标点对集合 S_undistortion＝{(X_{undistortioni}，X_undistortion__stab0i)|i＝0，1，2，3，...，n}。

步骤S140：根据第三坐标集合和第四坐标集合计算畸变校正后的运动补偿参数。

由于第一坐标集合表示没有经过初步稳像变换处理的像素坐标集合，因此，第三坐标集合中的像素坐标也没有经过初步稳像变换处理，而仅经过了去畸变处理；第二坐标集合表示经过初步稳像变换后的像素坐标集合，第四坐标集合则表示既经过初步稳像变换，又经过去畸变处理后的像素坐标集合。因此，根据第三坐标集合和第四坐标集合可以采用数值求解方法计算畸变校正后的运动补偿参数。

在一些实施例中，畸变校正后的运动补偿参数应满足下面的约束条件：

i＝0，1，2，3，...，n

其中，T_{undistortion_stab}表示畸变校正后的运动补偿参数。根据该约束条件求解T_{undistortion_stab}可以采用的数值求解方法包括但不限于：最小二乘法， Levenberg-Marquardt方法等回归拟合法。

步骤S150：根据畸变校正后的运动补偿参数对输入相机图像的像素坐标值进行畸变校正运动补偿，获得输出像素坐标值。

在本步骤中，将步骤S140得到的畸变校正后的运动补偿参数 T_{undistortion_stab}对整个输入相机图像中的所有像素坐标值进行畸变校正运动补偿，获得输出像素坐标值。

根据本发明的图像处理方法，可以同时实现对相机图像的畸变校正和运动补偿，显著地提升了相机系统中的稳像效果。

图2是本发明一实施例的相机系统中的图像处理方法的部分过程的示例性流程图。在该实施例中，输入相机图像经过了包括去畸变、稳像、缩放、翻转和裁剪中的一种或多种后处理。参考图2所示，该实施例的图像处理方法在图1中所示的步骤S140获得畸变校正后的运动补偿参数之后还包括：

步骤S210：根据输入相机图像的后处理，对输入相机图像进行反向处理，获得输入相机图像的缩放参数、翻转参数和裁剪参数中的一个或多个。

对输入相机图像的缩放、翻转和裁剪等处理通常在图像后处理系统中实现，由于这些后处理的执行都是分开执行的，需要对图像进行多次的输入输出操作，造成系统冗余。

本发明根据输入相机图像所经过的后处理，对输入相机图像进行反向处理，可以提取出该输入相机图像所经过的后处理对应的参数。例如，缩放操作对应的参数为缩放参数，翻转操作对应的参数为翻转参数，裁剪操作对应的参数为裁剪参数等。后处理中的去畸变所使用的去畸变函数可以由相机系统的设置获得。

步骤S220：根据畸变校正后的运动补偿参数和缩放参数、翻转参数和裁剪参数中的一种或多种形成综合变换映射表。

图3是本发明一实施例的相机系统中的图像处理过程示意图。参考图 3所示，假设p_final＝(x_f，y_f)是经过去畸变、稳像、缩放、翻转、裁剪等一系列图像变换后在最终的输入相机图像上的一个像素坐标点，它对应到原图上的像素坐标点为p_origin＝(x_o，y_o)。则在步骤S220按照下面的顺序依次执行：

步骤S221：假设(Crop_x，Crop_y)为裁剪参数。对输入相机图像的坐标点 p_final进行裁剪的反向处理，采用下面的公式得到裁剪前的对应图像像素坐标点p_uncrop＝(x_uncrop，y_uncrop)：

x_uncrop＝x_f-Crop_x

y_uncrop＝y_f-Crop_y

步骤S222：假设(Flip_x，Flip_y)为翻转参数，Flip_x，Flip_y∈{-1，1}。同时，令(cx，cy)为图像的中心坐标点。对坐标点p_uncrop做翻转的反向处理，采用下面的公式得到翻转前的对应图像像素坐标点p_unflip＝(x_unflip，y_unflip)：

x_unflip＝cx+(x_uncrop-cx)/Flip_x

y_unflip＝cy+(y_uncrop-cy)/Flip_y

步骤S223：假设输入相机图像以(ScaleO_x，ScaleO_y)为中心，进行了倍率为S的缩放变换。对坐标点p_unflip做缩放的反向处理，采用下面的公式得到缩放前的对应图像像素坐标点p_unscale＝(x_unscale，y_unscale)：

x_unscale＝ScaleO_x+(x_unflip-ScaleO_x)/S

y_unscale＝ScaleO_y+(y_unflip-ScaleO_y)/S

步骤S224：根据本发明图1所示的实施例获得的畸变校正后的运动补偿参数T_{undistortion_stab}对坐标点p_unscale做畸变校正和稳像的反向处理，采用下面的公式得到去畸变稳像前的对应图像像素坐标点 p_unstab＝(x_unstab，y_unstab)：

其中，T_{undistortion_unstab}是T_{undistortion_stab}的逆变换矩阵： T_{undistortion_unstab}＝inverse(T_{undistortion_stab})。

步骤S225：对坐标点p_unstab根据相机畸变模型与畸变参数做去畸变的反向处理，采用下面的公式得到去畸变以前的原图上像素坐标点 p_origin＝(x_o，y_o)：

x_o＝distortion(x_unstab-cx，y_unstab-cy，Coefficient_distortion)

y_o＝distortion(x_unstab-cx，y_unstab-cy，Coefficient_distortion)

其中，distortion是去畸变函数undistortion的逆函数。具体的 distortion函数取决于该相机系统使用到的具体镜头系统以及相机成像几何模型来确定。

经过上述的步骤S221-S225，可以得到p_final到p_origin的综合变换映射关系，可以采用像素坐标点对(p_final，p_origin)来表示该综合变换映射关系。对输入相机图像中的所有像素点经过上述的步骤S221-S225，可以得到对应于输入相机图像的所有像素点的综合变换映射表。可以用点对集合 {(p_final，p_origin)_i|i＝1，2，3，...，N}表示该综合变换映射表，其中N是输入相机图像的像素个数，其中包括经过一些列后处理的输入相机图像和原图之间像素的一一映射关系。

图3不用于限制该些后处理的个数和顺序。可以理解，当输入相机图像仅经过了去畸变、缩放、翻转和裁剪中几种后处理时，则相应的仅对这些后处理按照其执行顺序进行反向处理，并根据反向处理的结果构建综合变换映射表。

步骤S230：根据综合变换映射表将输入相机图像p_origin的像素坐标值变换为输出像素坐标值p_final。

设Image_final是经过图3所示的一系列后处理之后的图像，其中的像素为p_final，Image_origin是经过反向处理之后所获得的原图，其中的像素为 p_origin。则在本步骤的变换过程可以表示为：

也就是：

根据上述的实施例，可以通过建立综合变换映射实现对输入相机图像的去畸变、稳像、缩放、翻转、裁剪等一系列的后处理的综合变换，有效降低了相机图像后处理系统的软件或硬件成本，去除了重复冗余的基础图像后处理，大幅度降低了系统实施的复杂度，提升了系统的鲁棒性。

在一些实施例中，本发明的相机系统的图像处理方法还包括：采用邻近像素的像素坐标值对输出像素坐标值进行插值处理，使输出像素坐标值为整数。

在一些情况下，图像的像素坐标值经过一系列的后处理变换之后通常其坐标值存在小数部分，不是整数。因此，在建构综合变换映射表时，对所获得的像素坐标值(x_o，y_o)_i进行插值处理，将坐标值变换为整数。

本发明对邻近像素不做限制，可以选择在图像中包围在所要变换的目标像素的上下左右四个反向的邻接像素。本发明对具体的插值算法不做限制，可以采用本领域常用的各种插值算法。

在一些实施例中，假设pn(xn，yn)＝{(xn_o，yn_o)|(|xn_o-x_o|+ |yn_o-y_o|)＜d}表示(x_o，y_o)_i的领域像素坐标点集，则采用下面的公式进行插值处理：

其中，Image_origin((x_o，y_o)_i)表示经过插值处理之后的相机图像。

本发明还包括一种相机系统中的图像处理系统，包括存储器和处理器，其中，存储器用于存储可由处理器执行的指令；处理器用于执行本发明的相机系统中的图像处理方法。

本发明还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现本发明的相机系统中的图像处理方法。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种相机系统中的图像处理方法，其特征在于，包括：

从输入相机图像中获取包括n个采样像素的坐标的第一坐标集合，n是正整数；

根据稳像运动补偿向量对所述第一坐标集合进行初步稳像变换，获得第二坐标集合；

应用图像畸变校正参数对所述第一坐标集合和所述第二坐标集合进行去畸变处理，分别获得第三坐标集合和第四坐标集合；

根据所述第三坐标集合和所述第四坐标集合计算畸变校正后的运动补偿参数；以及

根据所述畸变校正后的运动补偿参数对所述输入相机图像的像素坐标值进行畸变校正运动补偿，获得输出像素坐标值。

2.如权利要求1所述的图像处理方法，其特征在于，所述输入相机图像经过了包括去畸变、稳像、缩放、翻转和裁剪中的一种或多种后处理，在获得所述畸变校正后的运动补偿参数之后还包括：

根据所述输入相机图像的所述后处理，对所述输入相机图像进行反向处理，获得所述输入相机图像的缩放参数、翻转参数和裁剪参数中的一个或多个；

根据去畸变函数、所述缩放参数、所述翻转参数、所述裁剪参数中的一个或多个和所述畸变校正后的运动补偿参数形成综合变换映射表；以及

根据所述综合变换映射表将所述输入相机图像的像素坐标值变换为输出像素坐标值。

3.如权利要求1所述的图像处理方法，其特征在于，所述n个采样像素均匀分布在所述输入相机图像中。

4.如权利要求1所述的图像处理方法，其特征在于，采用如下公式对所述第一坐标集合进行初步稳像变换：

P_stab0＝T_stab0·P₀

其中，P₀＝{X_i|i＝0，1，2，3，...，n-1}表示所述第一坐标集合，X_i表示所述第一坐标集合P₀中的第i个像素点的坐标，

表示所述第二坐标集合，X_{stab0_i}表示所述第二坐标集合P_stab0中的第i个像素点的坐标。

5.如权利要求4所述的图像处理方法，其特征在于，采用如下公式进行去畸变处理：

X_{undistortion_i}＝undistortion(X_i，Coefficient_distortion)

X_{undistortion_stab0_i}＝undistortion(X_{stab0_i}，Coefficient_distortion)

其中，Coefficient_distortion表示所述图像畸变校正参数，X_{undistortion_i}表示所述第三坐标集合中的第i个像素坐标，X_{undistortion_stab0_i}表示所述第四坐标集合中的第i个像素坐标，undistortion是去畸变函数。

6.如权利要求5所述的图像处理方法，其特征在于，所述畸变校正后的运动补偿参数满足下面的约束条件：

其中，T_{undistortion_stab}表示所述畸变校正后的运动补偿参数。

7.如权利要求4所述的图像处理方法，其特征在于，所述第一坐标集合和所述第二坐标集合中的坐标是归一化的像素坐标。

8.如权利要求1或2所述的图像处理方法，其特征在于，还包括：采用邻近像素的像素坐标值对所述输出像素坐标值进行插值处理，使所述输出像素坐标值为整数。

9.一种相机系统中的图像处理系统，包括：

存储器，用于存储可由处理器执行的指令；

处理器，用于执行所述指令以实现如权利要求1-8任一项所述的方法。

10.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-8任一项所述的方法。

Images