CN111800589B - 图像处理方法、装置和系统，以及机器人 - Google Patents

Abstract

本公开涉及一种图像处理方法、装置和系统，以及机器人。图像处理方法包括：获取安装在移动装置上的摄像机拍摄的图像；确定所述摄像机拍摄所述图像时的姿态角；根据所述姿态角，计算所述图像相对于基准方向的旋转角度；利用基于所述旋转角度的变换矩阵，对所述图像进行旋转处理。

Description

图像处理方法、装置和系统，以及机器人

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像处理方法、装置和系统，机器人以及计算机可读存储介质。

背景技术

移动装置在多个位置之间移动时，行驶路线可能发生弯折，运动方向多次变化，固定在移动装置上的摄像头在此期间拍摄的目标的图像在回传呈现给用户手上的显示设备的时候，图像的方向会随着移动装置的方向变化而变化，导致用户观察到的目标图像也一直在旋转，非常不方便，用户无法判断相机所在现场的目标的方向，甚至发生眩晕现象。

相关技术采用图像旋转方法来修正图像的倾斜。例如，根据用户的指令来确定图像的旋转角度，实现任意角度的图像旋转。甚至还有方法利用硬件在移动装置的方向改变时保持摄像机的方向始终不变，从而能够获得静止目标相对于用户方向不变的图像。

发明内容

发明人认为：相关技术均无法实现根据移动装置的姿态，通过算法自动旋转图像。鉴于此，本公开实施例提出一种技术方案，能够根据移动装置的位姿，自动旋转图像，使得显示的图像与观察者的位置匹配，从而提高观看体验。

根据本公开实施例的第一方面，提供了一种图像处理方法，包括：获取安装在移动装置上的摄像机拍摄的图像，确定所述摄像机在拍摄所述图像时的姿态角；据所述姿态角，计算所述图像相对于基准方向的旋转角度；利用基于所述旋转角度的变换矩阵，对所述图像进行旋转处理。

在一些实施例中，根据姿态传感器输出的姿态角、以及三轴的角速度信息和三轴的加速度信息中的至少之一，确定所述摄像机在拍摄所述图像时的姿态角。

在一些实施例中，根据所述三轴的角速度信息和三轴的加速度信息，确定所述摄像机在拍摄所述图像时的姿态角包括：利用四元数法，计算所述摄像机在拍摄所述图像时的姿态角，所述姿态角包括俯仰角、滚转角和偏航角中的至少之一。

在一些实施例中，根据所述姿态角，计算所述图像的旋转角度包括：利用地面坐标系与所述移动装置的坐标系之间的对应关系，根据角度平面与所述摄像机的拍摄方向垂直的姿态角，计算与所述姿态角对应的旋转角度。

在一些实施例中，所述变换矩阵为

其中，

表示所述图像的像素点的原始位置，

表示所述图像的像素点的旋转后位置，θ表示所述旋转角度。

在一些实施例中，所述图像处理方法还包括：将经过旋转处理的图像输出到用户的显示设备，从而摄像头拍摄的目标所在现场的位置坐标系在显示设备上的方向与显示设备的所述基准方向保持相对静止，也即摄像头拍摄的目标所在现场的位置坐标系在相机视野区域上的方向与相机视野区域的所述基准方向保持相对静止。此时，如果拍摄的所述图像中存在静止目标，则静止目标在显示设备上的方向与显示设备的基准方向之间的夹角保持不变。所述显示设备的基准方向相对于显示设备静止，可以为显示设备的显示表面上的任意固定的直线。

在一些实施例中，所述图像处理方法还包括：对所述图像进行裁剪处理，裁剪后的图像中心在所述显示设备上的位置与裁剪前的图像中心在所述显示设备上的位置基本保持不变。

在一些实施例中，所述图像包括多幅，对所述图像进行裁剪处理包括：将每幅图像的尺寸裁剪成比所述多幅图像的重叠部分的内接圆的尺寸小；或者将每幅图像的尺寸裁剪成比所述多幅图像的重叠部分的内接圆的尺寸大，并在部分旋转角度的图像中出现的无数据区域用单色填充。

在一些实施例中，所述图像处理方法还包括：在对所述图像进行旋转处理之前，对所述图像进行滤波处理。

根据本公开实施例的第二方面，提供了一种图像处理装置，包括：获取单元，被配置为获取安装在移动装置上的摄像机拍摄的图像；确定单元，被配置为确定所述摄像机在拍摄所述图像时的姿态角；计算单元，被配置为根据所述姿态角，计算所述图像相对于基准方向的旋转角度；旋转单元，被配置为利用基于所述旋转角度的变换矩阵，对所述图像进行旋转处理。

在一些实施例中，所述图像处理装置还包括滤波单元和裁剪单元中的至少之一，其中：所述滤波单元被配置为对所述图像进行滤波处理；所述裁剪单元被配置为对所述图像进行裁剪处理，裁剪后的图像中心在所述显示设备上的位置与裁剪前的图像中心在所述显示设备上的位置基本保持不变。

根据本公开实施例的第三方面，提供了一种图像处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如前述任一实施例所述的图像处理方法。

根据本公开实施例的第四方面，提供了一种图像处理方法，包括：获取安装在移动装置上的摄像机拍摄的图像；确定所述摄像机在拍摄所述图像时的姿态角；根据所述姿态角计算所述图像的校正参数；利用所述图像的校正参数，对所述图像进行校正处理。

在一些实施例中，所述校正参数包括旋转角度和畸变校正参数中的至少一种；所述校正处理包括旋转处理、裁剪处理和畸变校正处理中的至少一种。

在一些实施例中，所述姿态角包括俯仰角、滚转角和偏航角中的至少之一，根据所述姿态角计算所述图像的校正参数包括：根据角度平面与所述摄像机的拍摄方向垂直的姿态角，计算与所述姿态角对应的旋转角度；根据角度平面与所述摄像机的拍摄方向垂直的姿态角之外的其他姿态角，计算所述畸变校正参数。

根据本公开实施例的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的图像处理方法。

根据本公开实施例的第六方面，提供了一种图像处理系统，包括前述任一实施例的图像处理装置。

在一些实施例中，所述图像处理系统还包括姿态传感器、摄像机和显示设备中的至少一种，其中：所述姿态传感器安装在移动装置上，用于获取所述摄像机的姿态角；所述摄像机安装在所述移动装置上，用于拍摄图像；所述显示设备用于显示处理后的图像。

根据本公开实施例的第七方面，提供了一种机器人，用于检查车辆的底面或顶面，包括前述任一实施例的图像处理系统。

在上述实施例中，根据移动装置的姿态对移动装置所拍摄的图像进行相应的旋转，可以得到处于固定方向的图像，显示这样的图像能够减少用户操作、提高工作效率和用户体验。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1A是示出根据本公开一些实施例的图像处理方法的流程图；

图1B是示出根据本公开另一些实施例的图像处理方法的流程图；

图1C是示出根据本公开又一些实施例的图像处理方法的流程图；

图2是示出根据本公开一些实施例的图像处理方法的示意图；

图3是示出根据本公开另一些实施例的图像处理方法的示意图；

图4是示出根据本公开一些实施例的图像处理装置的框图；

图5是示出根据本公开另一些实施例的图像处理装置的框图；

图6是示出根据本公开一些实施例的图像处理系统的框图；

图7是示出用于实现本公开一些实施例的计算机系统的框图。

应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置应被解释为仅仅是示例性的，而不是作为限制。

本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

图1A是示出根据本公开一些实施例的图像处理方法的流程图。如图1A所示，图像处理方法包括步骤S1、S3、S5和S7。

在步骤S1，获取安装在移动装置上的摄像机拍摄的图像。

移动装置例如为四轴飞行器、平衡小车或四轮差速转向的智能移动底盘等。摄像机例如为摄像头等。摄像机可以安装在移动装置本体上，也可以安装在移动装置的机械臂上。拍摄的图像可以是多幅，可以是连续的视频，也可以是不连贯的帧率很低的几幅图像。

在步骤S3，确定摄像机在拍摄图像时的姿态角。

在一些实施例中，根据姿态传感器输出的姿态角、以及三轴的角速度信息和三轴的加速度信息中的至少之一，确定摄像机在拍摄图像时的姿态角。

姿态传感器可以采用惯性测量单元(IMU)。惯性测量单元例如为陀螺仪传感器等，可以固定安装在移动装置的与摄像机本体固定连接的部分(例如机械臂)上。这里的摄像机本体可以指容纳摄像镜头的壳体等，摄像机本体的角速度和加速度显然不包括摄像镜头在进行变焦做伸缩运动的加速度。摄像机的姿态角表示摄像机本体的姿态角。

姿态角包括俯仰角、滚转角和偏航角中的至少之一。在一些实施例中，根据姿态传感器输出的三轴的加速度信息和三轴的角速度信息，利用例如四元数法，计算移动装置的姿态角。应当理解，根据三轴的加速度信息和三轴的角速度信息，也可以利用一阶互补算法和卡尔曼滤波算法等其他姿态融合算法，来得到摄像机的姿态角。当然，也可以直接根据姿态传感器输出的姿态角来确定摄像机的姿态角。在姿态传感器既输出姿态角又输出三轴的加速度信息和三轴的角速度信息的情况下，根据实际需要，可以选择将输出的姿态角确定为摄像机的姿态角，也可以选择根据三轴的加速度信息和三轴的角速度信息计算出摄像机的姿态角。

由于摄像机固定安装在移动装置的一部分上，所以摄像机的姿态角可以等同于移动装置这部分的姿态角。基于此，可以根据移动装置的姿态角来计算摄像机所拍摄的图像的倾斜角度，从而计算使图像不倾斜所需的图像旋转角度。

在步骤S5，根据姿态角，计算图像相对于基准方向的旋转角度。

在一些实施例中，用地面坐标系与移动装置的坐标系之间的对应关系，根据角度平面与摄像机的拍摄方向垂直的姿态角，计算与姿态角对应的旋转角度。

地面坐标系与移动装置的坐标系之间的对应关系是三个欧拉角，即俯仰角、滚转角和偏航角，反应了移动装置相对地面的姿态。进而，根据移动装置相对地面的姿态，可以计算摄像机所拍摄的图像在预定平面内的倾斜角度，例如相对于基准方向的倾斜角度。由此，可以计算图像所需的旋转角度，以使得图像的目标相对于用户保持固定方向，即与基准方向一致。

拍摄方向指的是摄像机的出射光线的光轴所指的方向(即从最后一个镜头/反光镜/棱镜等光学元件出射的光线指向被摄对象的方向)。举例如下，在摄像机的拍摄方向向上或向下的情况下，此时若搭载摄像机的移动装置在水平面内转动的情况下，姿态角中的偏航角的角度平面(即机体轴在水平面上的投影与地轴所在平面，即水平面)与拍摄方向垂直，因此可以根据移动装置的偏航角计算图像的旋转角度。在摄像机的拍摄方向为向前拍摄时，此时若移动装置或其机械臂在铅垂面内转动，可以根据移动装置的滚转角计算图像的旋转角度。

在步骤S7，利用基于旋转角度的变换矩阵，对图像进行旋转处理。

在一些实施例中，变换矩阵可以为

其中，

表示所述图像的像素点的原始位置，

表示所述图像的像素点的旋转后位置，θ表示旋转角度。

图1B是示出根据本公开另一些实施例的图像处理方法的流程图。图1B与图1A的不同之处在于，图1B还包括步骤S6、S8和S9。下面将仅描述图1B与图1A的不同之处，相同之处不再赘述。

在步骤S6，对图像进行滤波处理。

在一些实施例中，滤波处理包括图像增强滤波处理。在对图像进行旋转处理之前进行滤波处理，可以避免旋转过程中图像的边缘出现锯齿化，从而保证输出图像的清晰度，提升用户的观看体验。

在步骤S8，对图像进行裁剪处理。

在步骤S9，输出图像。

例如，将经过旋转处理和裁剪处理的图像输出到用户的显示设备。如上所述，在不旋转显示设备的情况下，经过旋转处理和裁剪处理的图像中的静止目标在显示设备上的方向与基准方向一致，且裁剪后的图像中心在显示设备上的位置与裁剪前的图像中心在显示设备上的位置基本保持不变。基准方向可以为相对于相机视野边界(相机视野区域的边框)静止的方向，例如，基准方向可以为平行于图2中的相机视野边界的长边且指向右侧的方向(如图2A中的粗箭头所示)，当相机旋转时，基准方向随着相机边框也进行旋转(如图2C中的粗箭头所示)。而相机视野中的图像总是适应性地显示在显示设备上，因此基准方向可以为图2中的显示设备上的任意固定方向，例如可以为如图2B、图2D中的粗箭头所示。综上，基准方向可以有两种，即相机视野区域中的基准方向和显示设备上的基准方向，相机视野区域中的基准方向相对于相机视野某一边界的夹角等于显示设备上的基准方向相对于显示设备的对应边界的夹角。

下面以基准方向为水平方向为例，结合图2描述图像处理方法。

图2是示出根据本公开一些实施例的图像处理方法的示意图。图2包括示图A-F。在示图A、C和E中，大矩形表示相机视野边界，内部是相机(或摄像机)可拍摄的视野区域，在通常情况下，图像数据区域与相机视野区域重合；中间的小正方形表示即将被传输到用户的显示设备上显示的区域，即可从图像数据区域中裁剪处理后得到。示图B、D和F示出在用户的显示设备上显示的图像。图2所示的图像数据包括汽车、锁和钥匙，其中有些示图中仅示出锁和钥匙的一部分。在图2中，假定拍摄到的汽车、钥匙和锁都是静止的目标，而相机是逐渐发生旋转运动的。图2D是传统的显示结果，图2F是本发明的方法的显示结果。

在示图2A中，拍摄到的汽车的延伸方向与基准方向一致，另外，相机视野区域与图像数据区域重合。在示图B中，显示设备上显示从相机传输过来的图像，其中的汽车保持基准方向，不发生倾斜。

在示图2C中，由于相机顺时针旋转了45度，静止目标(例如汽车)相对于相机视野区域中的基准方向逆时针旋转了45度，相机视野区域仍然与图像数据区域重合，但是在图2A中的部分目标在图2C中就显示不全了，例如，图2A中的钥匙在图2C的相机视野区域中只显示了一部分。由于显示设备是顺应相机拍摄的视野的，因此拍摄的图像数据直接传送给显示设备后，显示设备上显示的图像相对于基准方向发生了倾斜，并且图像中的部分物体已经落在显示区域之外，如示图2D所示。此时手持显示设备的用户无法判断出相机拍摄的现场的目标的真实方向。如果设定拍摄现场的虚拟坐标系(如果现场有静止目标的话，则该虚拟坐标系与现场静止目标相对保持静止)，随着相机的旋转运动，拍摄现场的位置坐标系会与基准方向发生相对运动。

为了避免图2D的情况，在本发明的实施例中，将图像数据区域进行旋转变换，以使相机拍摄现场的位置坐标系与相机的基准方向将保持一致。此时，图像数据区域将不再与相机视野区域重合。示图2E中的虚线矩形表示顺时针旋转45度后的图像数据区域，实线矩形表示相机视野区域，可以看出图像数据区域相对于相机视野区域顺时针旋转了45度，例如，图中的汽车相对于相机视野区域的基准方向旋转了45度。

接着需要根据显示设备的显示尺寸对旋转后的图像进行裁剪，以适应性地显示在显示设备上。图2E中的三角区域是旋转角度为45度的图像中的无数据区域，用黑色填充。经过上述旋转处理的图像数据在裁剪后在显示设备上显示为不倾斜的图像。即，用户无需旋转显示设备，便可以在显示设备上始终判断出拍摄现场的真实坐标系方向，经过旋转处理的图像中的静止目标在显示设备上的方向与显示设备上的基准方向一致，用户不会受到相机旋转的影响。

图3示出根据本公开另一些实施例的图像处理方法的示意图。下面仍以基准方向为水平方向为例进行描述。

在图3中，示图A示出不同旋转角度的多幅图像，其中a表示处于基准方向的拍摄图像，b表示顺时针旋转45度的拍摄图像，c表示顺时针旋转90度的拍摄图像示，d表示顺时针旋转135度的拍摄图像，e表示多幅图像a-d的重叠部分的内接圆，f表示比内接圆e的尺寸小的正方形。图像中的笑脸是静止目标。

在示图B中，d和e的含义与图A类似，f'表示比内接圆e的尺寸大的正方形。示图B示出拍摄图像d的经旋转处理后的图像数据区域。旋转处理后的图像中出现的无数据区域用单色(例如黑色)填充，然后再输出到显示设备，以显示给用户。当然，对于无数据区域，除了单色填充以外，也可以用其他可以区分出的颜色或图案填充，均落入本发明的保护范围之内。

示图C和D分别示出示图B中的图像经不同方式裁剪后在显示设备上显示的图像。示图C示出图像的尺寸裁剪成比内接圆e的尺寸小的正方形f。即，在显示设备上直接显示裁剪后图像。示图D中示出图像的尺寸裁剪成比内接圆e的尺寸大的正方形f'。即，在显示设备上直接显示用单色填充无数据区域的裁剪后图像。

在上述实施例中，根据摄像机的姿态对所拍摄的图像进行相应的旋转，可以得到处于基准方向的图像，显示这样的图像能够减少用户操作、提高工作效率和用户体验。应当理解，视频可以相当于多幅图像，由此对于移动装置拍摄视频也可以采用类似的处理，得到处于固定方向的视频，显示这样的视频同样能够减少用户操作、提高工作效率和用户体验。

在一些实施例中，上述图像处理是实时的，即对所拍摄的图像或视频进行实时处理，使得实时显示的图像或视频都处于基准方向。这样可以进一步提高用户的观看体验。

图1C是示出根据本公开另一些实施例的图像处理方法的流程图。图1C与图1A的不同之处在于，图1C中的步骤S5'和S7'不同于图1B中的步骤S5和S7。下面将仅描述图1C与图1A的不同之处，相同之处不再赘述。

在本实施例中，以安装在移动装置上且向上拍摄的相机为例，相机不仅随移动装置发生水平面上的旋转(即偏航角发生变化)，而且相机还有俯仰或者滚转，被拍摄图像可能发生形变等畸变，此时需要进行畸变校正。

在步骤S5'，根据姿态角计算图像的校正参数。在一些实施例中，校正参数包括旋转角度和畸变校正参数中的至少一种。

如前所述，姿态角包括俯仰角、滚转角和偏航角中的至少之一。旋转角度类似于图1A中步骤S5的旋转角度。

在步骤S7'，利用图像的校正参数，对图像进行校正处理。在一些实施例中，校正处理包括旋转处理、裁剪处理和畸变校正处理中的至少一种。

旋转处理类似于图1A中步骤S7的旋转处理。裁剪处理类似于图2中示图b到示图b'所示的处理。畸变校正处理包括例如对发生正梯形畸变的图像进行倒梯形变换的过程。

图4是示出根据本公开一些实施例的图像处理装置的框图。如图4所示，图像处理装置40包括：获取单元410、确定单元430、计算单元450和旋转单元470。

获取单元410被配置为获取安装在移动装置上的摄像机拍摄的图像，例如可以执行如图1A所示的步骤S1。

确定单元430被配置为确定所述摄像机在拍摄所述图像时的姿态角，例如可以执行如图1A所示的步骤S3。

计算单元450被配置为根据所述姿态角，计算所述图像相对于基准方向的旋转角度，例如可以执行如图1A所示的步骤S5。

旋转单元470被配置为利用基于所述旋转角度的变换矩阵，对所述图像进行旋转处理，例如可以执行如图1A所示的步骤S7。

在一些实施例中，图像处理装置40还包括滤波单元460。滤波单元460被配置为对所述图像进行滤波处理，例如可以执行如图1B所示的步骤S6。

在另一些实施例中，图像处理装置40还包括裁剪单元480。裁剪单元480被配置为对所述图像进行滤波处理，例如可以执行如1B所示的步骤S8。

图5是示出根据本公开另一些实施例的图像处理装置的框图。

如图5所示，图像处理装置50包括：存储器510以及耦接至该存储器510的处理器520。存储器510用于存储执行图像处理方法对应实施例的指令。处理器520被配置为基于存储在存储器510中的指令，执行本公开中任意一些实施例中的图像处理方法。

应当理解，前述图像处理方法中的各个步骤都可以通过处理器来实现，并且可以软件、硬件、固件或其结合的任一种方式实现。在通过软件方式实现前述图像处理方式的情况下，可以进一步节省硬件成本，并且由于不用占用硬件安装空间，还可有效降低产品的尺寸。

除了图像处理方法、装置之外，本公开实施例还可采用在一个或多个包含有计算机程序指令的非易失性存储介质上实施的计算机程序产品的形式。因此，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意实施例中的图像处理方法。

本公开实施例还提供一种图像处理系统，包括前述任一实施例所述的图像处理装置。

图6是示出根据本公开一些实施例的移动装置的框图。

如图6所示，图像处理系统6包括图像处理装置60。图像处理装置60被配置为执行前述任一实施例所述的图像处理方法。图像处理装置60的结构可以类似与前述的图像处理装置40或50。

在一些实施例中，图像处理系统6还包括摄像机611和姿态传感器612。

摄像机611用于拍摄图像。如前所述，摄像机611可以固定安装在移动装置上。

姿态传感器612用于获取摄像机的姿态角。例如，可以通过惯性测量单元等姿态传感器来输出姿态角、以及三轴的角速度信息和三轴的加速度信息中的至少之一。如前所述，惯性测量单元可以为陀螺仪传感器，可以固定安装在移动装置上。

在另一些实施例中，图像处理系统6还包括显示设备621。显示设备621用于显示处理后的图像。如前所述，摄像机所拍摄的图像经过处理后可以保持固定方向(即与基准方向一致)，因此显示设备上能够显示固定方向的图像。显示设备可以为手机、电脑、电视机、导航仪等任何具有显示功能的产品或部件。

本公开实施例还提供一种移动装置，包括前述任一实施例所述的图像处理系统。移动装置例如为机器人，用于检查车辆的底面或顶面。

图7是示出用于实现本公开一些实施例的计算机系统的框图。

如图7所示，计算机系统可以通用计算设备的形式表现。计算机系统包括存储器7、处理器7和连接不同系统组件的总线700。

存储器710例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行显示方法的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。

处理器720可以用中央处理器(CPU)、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。

总线700可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。

计算机系统还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间可以通过总线700连接。输入输出接口730可以为显示设备、鼠标、键盘等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口740为软盘、U盘、SD卡等外部存储设备提供连接接口。

至此，已经详细描述了本公开的各种实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (16)

1.一种图像处理方法，包括：

获取安装在移动装置上的摄像机拍摄的图像；

确定所述摄像机在拍摄所述图像时的姿态角；

根据所述姿态角，计算所述图像相对于基准方向的旋转角度，所述基准方向为用户的显示设备上的任意固定方向；

利用基于所述旋转角度的变换矩阵，对所述图像进行旋转处理。

2.根据权利要求1所述的图像处理方法，其中，根据姿态传感器输出的姿态角、以及三轴的角速度信息和三轴的加速度信息中的至少之一，确定所述摄像机在拍摄所述图像时的姿态角。

3.根据权利要求2所述的图像处理方法，其中，根据所述三轴的角速度信息和三轴的加速度信息，确定所述摄像机在拍摄所述图像时的姿态角包括：

利用四元数法，计算所述摄像机在拍摄所述图像时的姿态角，所述姿态角包括俯仰角、滚转角和偏航角中的至少之一。

4.根据权利要求3所述的图像处理方法，其中，根据所述姿态角，计算所述图像的旋转角度包括：

利用地面坐标系与所述移动装置的坐标系之间的对应关系，根据角度平面与所述摄像机的拍摄方向垂直的姿态角，计算与所述姿态角对应的旋转角度。

5.根据权利要求4所述的图像处理方法，其中，所述变换矩阵为

其中，

表示所述图像的像素点的原始位置，

表示所述图像的像素点的旋转后位置，θ表示所述旋转角度。

6.根据权利要求1至5中任一项所述的图像处理方法，还包括：将经过旋转处理的图像输出到用户的显示设备，从而所述摄像头拍摄的目标所在现场的位置坐标系在显示设备上的方向与显示设备的所述基准方向保持相对静止。

7.根据权利要求6所述的图像处理方法，还包括：对所述图像进行裁剪处理，裁剪后的图像中心在所述显示设备上的位置与裁剪前的图像中心在所述显示设备上的位置基本保持不变。

8.根据权利要求7所述的图像处理方法，其中，所述图像包括多幅，对所述图像进行裁剪处理包括：

将每幅图像的尺寸裁剪成比所述多幅图像的重叠部分的内接圆的尺寸小；或者

将每幅图像的尺寸裁剪成比所述多幅图像的重叠部分的内接圆的尺寸大，并在部分旋转角度的图像中出现的无数据区域用单色填充。

9.根据权利要求1所述的图像处理方法，还包括：在对所述图像进行旋转处理之前，对所述图像进行滤波处理。

10.一种图像处理装置，包括：

获取单元，被配置为获取安装在移动装置上的摄像机拍摄的图像；

确定单元，被配置为确定所述摄像机在拍摄所述图像时的姿态角；

计算单元，被配置为根据所述姿态角，计算所述图像相对于基准方向的旋转角度，所述基准方向为用户的显示设备上的任意固定方向；

旋转单元，被配置为利用基于所述旋转角度的变换矩阵，对所述图像进行旋转处理。

11.根据权利要求10所述的图像处理装置，还包括滤波单元和裁剪单元中的至少之一，其中：

所述滤波单元被配置为对所述图像进行滤波处理；

所述裁剪单元被配置为对所述图像进行裁剪处理，裁剪后的图像中心在所述显示设备上的位置与裁剪前的图像中心在所述显示设备上的位置基本保持不变。

12.一种图像处理装置，包括：

存储器；和

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至9中任一项所述的图像处理方法。

13.一种图像处理系统，包括：如权利要求10至12中任一项所述的图像处理装置。

14.根据权利要求13所述的图像处理系统，还包括姿态传感器、摄像机和显示设备中的至少一种，其中：

所述姿态传感器安装在移动装置上，用于获取所述摄像机的姿态角；

所述摄像机安装在所述移动装置上，用于拍摄图像；

所述显示设备用于显示处理后的图像。

15.一种机器人，用于检查车辆的底面或顶面，包括如权利要求13至14中任一项所述的图像处理系统。

16.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。

Images