CN107592446A - 一种视频图像处理方法、装置及系统 - Google Patents

Abstract

本申请公开了一种视频图像处理方法、装置及系统，方法包括：接收端接收发送端发送的视频数据，视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息，获取本接收端当前显示屏的偏转角度信息，根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。本申请根据采集视频帧图像时摄像头的偏转角度信息以及接收端显示屏的偏转角度信息，对视频帧图像进行旋转处理，使得旋转补偿后的视频帧图像与接收端侧用户观看方向一致，更加便于用户观看视频图像。

Description

一种视频图像处理方法、装置及系统

技术领域

本申请涉及视频图像处理技术领域，更具体地说，涉及一种视频图像处理方法、装置及系统。

背景技术

近年来，随着智能手机、平板的普及，以及移动互联网的发展，VoIP(Video/voice over Internet Protocol，一种基于IP网络的音、视频数据实时传输应用)视频通话应用给用户提供了全新的沟通体验。

移动终端操作便捷，用户经常使用各种姿势摆放移动终端，并利用移动终端同其它终端进行视频通话。由于视频通话的两个终端摆放姿态不同，导致发送端发送的视频图像在接收端屏幕上的显示方向与用户观看方向不一致，需要用户调整设备姿态或者调整自身的姿势，十分不便于用户使用。参见图1，其示例了现有技术视频图像显示效果，其中发送端和接收端均为手机，摄像头10位于手机短边顶部中央。发送端在图1示例的摆放姿态下拍摄一帧图像A，经过编码发送到接收端。接收端解码后进行显示。由于接收端的摆放姿态与发送端的摆放姿态不同，导致图像A显示方向与用户观看方向不一致。

由上可知，现有技术亟需一种视频图像处理技术，以解决现有技术在视频收、发终端摆放姿态变化时，图像显示方向与用户观看方向不一致的问题。

发明内容

有鉴于此，本申请提供了一种视频图像处理方法、装置及系统，用于解决现有在视频收、发终端摆放姿态变化时，图像显示方向与用户观看方向不一致的问题。

为了实现上述目的，现提出的方案如下：

一种视频图像处理方法，包括：

接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

获取本接收端当前显示屏的偏转角度信息；

根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

一种视频图像处理方法，包括：

接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转处理后得到的视频帧图像；

获取本接收端当前显示屏的偏转角度信息；

根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

一种视频图像处理装置，包括：

第一视频数据接收单元，用于接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

第一显示屏偏转角度获取单元，用于获取本接收端当前显示屏的偏转角度信息；

第一图像旋转单元，用于根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

一种视频图像处理装置，包括：

第二视频数据接收单元，用于接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转处理后得到的视频帧图像；

第二显示屏偏转角度获取单元，用于获取本接收端当前显示屏的偏转角度信息，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息基于同一参考系所确定；

第二图像旋转单元，用于根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

一种视频图像处理系统，其特征在于，包括发送端和接收端，其中：

所述发送端用于，获取摄像头采集的视频帧图像；确定在采集所述视频帧图像时所述摄像头的偏转角度信息；将所述视频帧图像以及所述摄像头的偏转角度信息发送给所述接收端；

所述接收端用于，获取本接收端当前显示屏的偏转角度信息；根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

一种视频图像处理系统，包括发送端和接收端，其中：

所述发送端用于，获取摄像头采集的视频帧图像；确定在采集所述视频帧图像时所述摄像头的偏转角度信息；利用所述摄像头的偏转角度信息对所述视频帧图像进行旋转补偿，得到旋转后的目标视频帧图像；将所述目标视频帧图像发送给所述接收端；

所述接收端用于，获取本接收端当前显示屏的偏转角度信息；根据所述显示屏的偏转角度信息，对所述目标视频帧图像进行旋转处理，得到旋转后的目标视频帧图像。

本申请实施例提供的视频图像处理方法，接收端接收发送端发送的视频数据，视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息，获取本接收端当前显示屏的偏转角度信息，根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。由上可知，本申请根据采集视频帧图像时摄像头的偏转角度信息以及接收端显示屏的偏转角度信息，对视频帧图像进行旋转处理，使得旋转后的视频帧图像与接收端侧用户观看方向一致，实现了视频帧图像随发送端及接收端的偏转而自适应旋转的目的，更加便于用户观看视频图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为现有技术视频图像显示效果示意图；

图2为本申请实施例公开的一种视频图像处理方法信令图；

图3为应用本申请方法后视频图像显示效果示意图；

图4为本申请示例的不同设备标准方向示意图；

图5为本申请实施例公开的另一种视频图像处理方法信令图；

图6为本申请示例的移动设备旋转方向示意图；

图7为本申请实施例公开的又一种视频图像处理方法信令图；

图8为本申请实施例公开的一种视频图像处理方法流程图；

图9为本申请实施例公开的另一种视频图像处理方法流程图；

图10为本申请实施例公开的一种视频图像处理装置结构示意图；

图11为本申请实施例公开的另一种视频图像处理装置结构示意图；

图12为本申请实施例提供的一种终端硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的视频图像旋转方案基于视频通话的发送端和接收端，其中发送端为发送视频数据的一端，接收端为接收视频数据的一端。发送端和接收端可以是可移动电子设备，如智能手机、IPAD等，也可以是固定电子设备，如笔记本、台式电脑等。

参见图2，图2为本申请实施例公开的一种视频图像处理方法信令图。

如图2所示，方法包括：

步骤S200、发送端获取摄像头采集的视频帧图像；

具体地，摄像头可以是固定设置在发送端上，也可以是与发送端分离设置。摄像头采集视频帧图像并传输给发送端。

步骤S201、发送端确定在采集所述视频帧图像时所述摄像头的偏转角度信息；

具体地，如果摄像头固定设置于发送端上，如手机、IPAD等设备，则可以利用发送端自身携带的传感器，如陀螺仪、重力感应传感器等检测发送端的偏转角度信息，该偏转角度信息即为摄像头的偏转角度信息。如果摄像头与发送端分离设置，则可以通过其它途径获取摄像头在采集视频帧图像时的偏转角度信息，如在摄像头上设置传感器等。

这里需要说明的是，本申请可以预先定义一个参考系，各视频终端在确定偏转角度信息时均基于同一参考系。本步骤中，可以确定在该参考系中摄像头的标准方向的偏转角度信息。

步骤S202、发送端将所述视频帧图像以及所述摄像头的偏转角度信息发送给所述接收端；

具体地，发送端可以将视频帧图像进行压缩，得到压缩后的视频码流。由于网络有最大传输单元MTU的限制，因此可以进一步对视频码流进行分包，得到视频帧图像对应的若干个数据包。

可选的，本申请可以选择将摄像头的偏转角度信息加入数据包的包头信息中。为了避免丢包导致摄像头的偏转角度信息无法被接收端所接收，本申请可以选择在视频帧图像对应的各个数据包的包头中均添加摄像头的偏转角度信息。

当然，本申请也可以仅在视频帧图像对应的某一个或几个数据包的包头中添加摄像头的偏转角度信息。

步骤S203、接收端获取本接收端当前显示屏的偏转角度信息；

具体地，接收端在接收到视频帧图像以及摄像头的偏转角度信息时，获取接收端当前显示屏的偏转角度信息。具体可以通过接收端携带的传感器，如陀螺仪、重力感应传感器等检测接收端的偏转角度信息，该偏转角度信息即为显示屏的偏转角度信息。

可选的，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息可以基于同一参考系所确定。也即，接收端确定显示屏的偏转角度信息时，可以按照与发送端确定摄像头的偏转角度信息时相同的参考系。当然，接收端也可以按照其它参考系来确定显示屏的偏转角度，然后基于同一参考系对发送端发送的摄像头的偏转角度信息，以及本接收端显示屏的偏转角度信息进行修正。

步骤S204、接收端根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

具体地，若所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息基于同一参考系所确定，则接收端可以直接利用摄像头的偏转角度信息与接收端显示屏的偏转角度信息，对视频帧图像进行旋转处理。若摄像头的偏转角度信息与接收端显示屏的偏转角度信息不是基于同一参考系所确定，则接收端可以先基于同一参考系对发送端发送的摄像头的偏转角度信息，以及本接收端显示屏的偏转角度信息进行修正。利用修正后的摄像头的偏转角度信息与修正后的接收端显示屏的偏转角度信息，对视频帧图像进行旋转处理。

本申请实施例提供的视频图像处理系统，考虑了发送端摄像头的偏转角度信息以及接收端显示屏的偏转角度信息，对摄像头采集的视频帧图像进行旋转处理，使得旋转后的视频帧图像与用户观看方向一致，更加便于用户观看视频。

参见图3，图3示例了应用本申请方案后视频图像显示效果。其中发送端和接收端均为手机，摄像头10位于手机短边顶部中央。发送端在图3示例的摆放姿态下拍摄一帧图像A，并获取摄像头的偏转角度信息，对图像A进行编码并与摄像头的偏转角度信息一起发送到接收端。接收端解码获取图像A，并获取显示屏的偏转角度信息，根据摄像头的偏转角度信息以及显示屏的偏转角度信息，对图像A进行旋转处理，输出显示旋转后的图像如图3所示，其显示方向与用户观看方向一致。

在本申请的一个实施例中，对视频设备方向定义的过程进行介绍。

视频设备的物理性状各异，使用习惯也相应不同，点击的手持设备如手机、IPAD等一般是竖屏的，而桌面设备如PC的显示器一般是横屏的。为了实现在不同视频设备间进行视频通话的目的，需要根据设备的物理性状定义统一的方向参考，也即设定统一参考系来定义不同设备的标准方向，以便后续确定设备的偏转角度。

一般地，显示屏的几何形状为矩形，摄像头采集的视频帧图像为了适配显示屏，通常采用的分辨率如480*360、1280*720也是矩形的。据此参见图4，图4示例了不同设备的标准方向。

图4中，X-Y坐标系为设备平面坐标系，x-y-z坐标系为世界坐标系。特别指出的是，这里只考虑垂直于地面的竖直切面(x-y平面)，所谓旋转角度是指设备X-Y坐标系在垂直切面上相对于x-y平面的旋转角度。

对手机、PAD等移动设备10而言，可以定义平行于屏幕100长边并指向摄像头101方向为设备标准方向(0°方向)。

对于PC等桌面设备20有同样的坐标轴，图4中指向摄像头201的方向为Y轴方向，与之垂直构成的右手坐标系中，X轴正方向为设备20的正方向，正方向平行于屏幕200的长边。

本申请中，可以约定用设备坐标系X轴的方向表示设备正方向，并用它相对世界系x-y的旋转量表示设备旋转角度。

当然，上述实施例仅仅以平行于设备屏幕长边作为正方向为例进行说明，除此之外还可以将平行于设备屏幕短边作为正方向，或其它设定方向作为正方向，只要保证不同设备的正方向基于同一参考系而定即可。

参见图5，图5为本申请实施例公开的另一种视频图像处理方法信令图。

如图5所示，方法包括：

步骤S500、发送端获取摄像头采集的视频帧图像；

具体地，摄像头可以是固定设置在发送端上，也可以是与发送端分离设置。摄像头采集视频帧图像并传输给发送端。

步骤S501、发送端获取在采集所述视频帧图像时所述摄像头的偏转角度值；

具体地，可以通过传感器，如陀螺仪、重力感应传感器等检测摄像头的偏转角度值。

步骤S502、发送端在预设的多个角度区间中，确定与所述摄像头的偏转角度值对应的角度区间；

具体地，为了防止设备轻微转动引起方向频繁变化，本申请可以将旋转角度[0°,360°]映射到n个角度区间。也即，预先划分得到n个角度区间。进而，在确定了摄像头的偏转角度值之后，确定与摄像头的偏转角度值对应的角度区间。

步骤S503、发送端将所述视频帧图像以及所述摄像头的角度区间发送给所述接收端；

具体地，发送端可以将视频帧图像进行压缩，得到压缩后的视频码流。由于网络有最大传输单元MTU的限制，因此可以进一步对视频码流进行分包，得到视频帧图像对应的若干个数据包。

可选的，本申请可以选择将摄像头的角度区间加入数据包的包头信息中。

步骤S504、接收端获取本接收端当前显示屏的偏转角度值；

具体地，可以通过传感器，如陀螺仪、重力感应传感器等检测显示屏的偏转角度值。

步骤S505、接收端在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间；

与发送端类似的，本申请可以将旋转角度[0°,360°]映射到n个角度区间。也即，预先划分得到n个角度区间。进而，在确定了显示屏的偏转角度值之后，确定与显示屏的偏转角度值对应的角度区间。

步骤S506、接收端根据所述摄像头的角度区间以及所述显示屏的角度区间，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

本实施例中，为了防止设备轻微转动而引起图像方向频繁变化，将旋转角度[0°,360°]映射到n个角度区间，进而若设备前后转动角度未超出角度区间，则对视频帧图像旋转补偿值为0，也即不会旋转视频帧图像。

为了便于理解，本申请以预先划分的角度区间的个数n为4进行说明。参见图6，图6示例了移动设备旋转方向示意图。

参考图6，本申请将[0°,360°]划分为4个角度区间，分别为0、1、2、3共4个角度区间。

图6中移动设备的标准方向OX旋转角度对应的角度区间为1。

基于该角度区间划分策略，上述步骤S402，发送端在预设的多个角度区间中，确定与所述摄像头的偏转角度值对应的角度区间的过程可以包括：

按照下述公式确定与所述摄像头的偏转角度值R1对应的角度区间Rr:

Rr＝Floor(((R1+45)％360)/90)

其中，Floor表示向下取整，R1表示显示屏的偏转角度值，R1的取值范围为[0°,360°]，％表示取模，Rr的取值范围为[0，3]。

同理，上述步骤S405，接收端在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间的过程可以包括：

按照下述公式确定与所述摄像头的偏转角度值R2对应的角度区间Rs:

Rs＝Floor(((R2+45)％360)/90)

其中，Floor表示向下取整，R2表示显示屏的偏转角度值，R2的取值范围为[0°,360°]，％表示取模，Rs的取值范围为[0，3]。

进一步，基于上述确定的摄像头的角度区间及显示屏的角度区间，上述步骤S406、接收端根据所述摄像头的角度区间以及所述显示屏的角度区间，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像的过程可以包括：

1)根据所述摄像头的偏转角度值所对应的角度区间Rs，以及所述显示屏的偏转角度值所对应的角度区间Rr，确定补偿角度C_i:

C_i＝(-(R_r-R_s)*90+360)％360

其中，％表示取模。

2)将所述视频帧图像按照补偿角度C_i进行旋转，得到旋转后的视频帧图像。

具体地，图像旋转处理可以借助图像处理算法对图像按照补偿角度C_i进行旋转，旋转后的视频帧图像送去渲染显示。

当然，本申请还可以直接将补偿角度C_i发送给显示接口，由显示接口在显示视频帧图像时按照补偿角度C_i旋转后进行显示。

可选的，上述实施例中介绍了发送端将视频帧图像进行分包，并在包头信息中记录摄像头的偏转角度值对应的角度区间的过程，若摄像头在采集前后两帧视频图像时，其偏转角度变化范围未超出同一角度区间，则在向接收端发送后一帧视频图像时不需要再次添加摄像头角度区间，接收端可以使用上一帧视频图像对应的摄像头的角度区间来计算图像旋转补偿角度。接下来对该过程进行介绍：

发送端在数据包的包头信息中，记录所述摄像头的偏转角度值对应的角度区间的过程可以包括：

发送端仅在确定采集所述视频帧图像时所述摄像头的偏转角度值所对应的角度区间产生变化时，将所述摄像头的偏转角度值对应的角度区间记录在所述视频帧图像对应的数据包的包头信息中。

基于此，所述接收端还用于：

将接收的所述摄像头的偏转角度值对应的角度区间进行缓存，直至再次收到发送端发送的摄像头的偏转角度值对应的角度区间时，利用再次收到的摄像头的角度区间替换已缓存的摄像头的角度区间，缓存的摄像头的角度区间作为对接收的各视频帧图像进行旋转处理的基础。

参见图7，图7为本申请实施例公开的又一种视频图像处理方法信令图。

如图7所示，方法包括：

步骤S700、发送端获取摄像头采集的视频帧图像；

具体地，摄像头可以是固定设置在发送端上，也可以是与发送端分离设置。摄像头采集视频帧图像并传输给发送端。

步骤S701、发送端确定在采集所述视频帧图像时所述摄像头的偏转角度信息；

具体地，如果摄像头固定设置于发送端上，如手机、IPAD等设备，则可以利用发送端自身携带的传感器，如陀螺仪、重力感应传感器等检测发送端的偏转角度信息，该偏转角度信息即为摄像头的偏转角度信息。如果摄像头与发送端分离设置，则可以通过其它途径获取摄像头在采集视频帧图像时的偏转角度信息，如在摄像头上设置传感器等。

这里需要说明的是，本申请可以预先定义一个参考系，各视频终端在确定偏转角度信息时均基于同一参考系。本步骤中，可以确定在该参考系中摄像头的标准方向的偏转角度信息。

步骤S702、发送端利用所述摄像头的偏转角度信息对所述视频帧图像进行旋转处理，得到旋转后的目标视频帧图像；

具体地，发送端利用摄像头的偏转角度信息对视频帧图像进行旋转补偿，得到旋转后的目标视频帧图像。本步骤中由发送端对采集的视频帧图像进行初步旋转处理，初步旋转处理后的目标视频帧图像发送给接收端。

步骤S703、发送端将所述目标视频帧图像发送给所述接收端；

具体地，发送端可以将目标视频帧图像进行压缩，得到压缩后的视频码流。由于网络有最大传输单元MTU的限制，因此可以进一步对视频码流进行分包，得到目标视频帧图像对应的若干个数据包。

步骤S704、接收端获取本接收端当前显示屏的偏转角度信息；

具体地，接收端在接收到视频帧图像以及摄像头的偏转角度信息时，获取接收端当前显示屏的偏转角度信息。具体可以通过接收端携带的传感器，如陀螺仪、重力感应传感器等检测接收端的偏转角度信息，该偏转角度信息即为显示屏的偏转角度信息。

可选的，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息可以基于同一参考系所确定。例如，以图4示例的设备正方向为基准，确定偏转角度信息。当然，接收端也可以按照其它参考系来确定显示屏的偏转角度信息，并在确定之后按照接收端确定摄像头的偏转角度信息时所使用的参考系，对确定的显示屏的偏转角度信息进行修正。

步骤S705、接收端根据所述显示屏的偏转角度信息，对所述目标视频帧图像进行旋转处理，得到旋转后的目标视频帧图像。

具体地，接收端根据当前时刻接收端显示屏的偏转角度信息，对发送端初步旋转处理后的目标视频帧图像进行再次旋转处理，得到旋转后的目标视频帧图像。

相比于上述实施例，本实施例中将图像旋转处理分为两个过程，其一在发送端执行，由发送端根据摄像头的偏转角度信息对采集的视频帧图像进行第一次旋转处理，得到目标视频帧图像。其二，接收端根据显示屏的偏转角度信息对目标视频帧图像进行二次旋转处理，得到旋转后的目标视频帧图像。旋转后的目标视频帧图像与用户观看方向一致。

接下来，本申请以接收端角度对视频图像处理方法进行介绍。参见图8，图8为本申请实施例公开的一种视频图像旋转方法流程图。

其中，方法项未披露的细节可以参照上文相关介绍。

如图8所示，该方法包括：

步骤S10、接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

步骤S11、获取本接收端当前显示屏的偏转角度信息；

具体地，接收端在接收到视频帧图像以及摄像头的偏转角度信息时，获取接收端当前显示屏的偏转角度信息。具体可以通过接收端携带的传感器，如陀螺仪、重力感应传感器等检测接收端的偏转角度信息，该偏转角度信息即为显示屏的偏转角度信息。

其中可选的，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息可以基于同一参考系所确定。

步骤S12、根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

具体地，接收端综合考虑采集视频帧图像时摄像头的偏转角度信息，以及当前时刻接收端显示屏的偏转角度信息，根据双方的相对偏转角度信息对视频帧图像进行旋转处理，旋转后的视频帧图像与用户观看方向一致，即旋转后的视频帧图像与地平行。

可选的，为了防止设备轻微转动引起方向频繁变化，本申请可以将旋转角度[0°,360°]映射到n个角度区间。也即，预先划分得到n个角度区间。

基于此，所述摄像头的偏转角度信息可以为摄像头的偏转角度值所对应的角度区间。所述获取本接收端当前显示屏的偏转角度信息的过程，可以包括：

获取本接收端当前显示屏的偏转角度值；

在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间。

参照图6所示的角度区间划分方式，本申请可以划分4个角度区间。基于此，确定偏转角度值对应的角度区间的过程可以是：

按照下述公式确定与所述显示屏的偏转角度值对应的角度区间Rr:

Rr＝Floor(((R1+45)％360)/90)

其中，Floor表示向下取整，R1表示显示屏的偏转角度值，R1的取值范围为[0°,360°]，％表示取模，Rr的取值范围为[0，3]。

进一步地，所述根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像的过程，可以包括：

1)根据所述摄像头的偏转角度值所对应的角度区间Rs，以及所述显示屏的偏转角度值所对应的角度区间Rr，确定补偿角度C_i:

C_i＝(-(R_r-R_s)*90+360)％360

2)将所述视频帧图像按照补偿角度C_i进行旋转，得到旋转后的视频帧图像。

可选的，发送端向接收端发送的视频数据可以是数据包形式，所述视频帧图像记录在数据包的主体部分，所述在采集所述视频帧图像时摄像头的偏转角度信息记录在数据包的包头信息中。

进一步地，本申请实施例公开了另一种视频图像处理方法，参见图9，图9为本申请实施例公开的另一种视频图像处理方法流程图。

如图9所示，该方法包括：

步骤S20、接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转处理后得到的视频帧图像；

步骤S21、获取本接收端当前显示屏的偏转角度信息；

其中可选的，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息可以基于同一参考系所确定。

步骤S22、根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

相比于上一实施例，本实施例的方法中由发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对采集的原始视频帧图像进行旋转处理后得到视频帧图像，将视频帧图像发送给接收端，接收端进一步根据显示屏的偏转角度信息，对视频帧图像进行二次旋转处理，得到旋转后的视频帧图像，旋转后的视频帧图像与用户观看方向一致。

下面对本申请实施例提供的视频图像处理装置进行描述，下文描述的视频图像处理装置与上文描述的视频图像处理方法可相互对应参照。

参见图10，图10为本申请实施例公开的一种视频图像处理装置结构示意图。

如图10所示，该装置包括：

第一视频数据接收单元10，用于接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

第一显示屏偏转角度获取单元11，用于获取本接收端当前显示屏的偏转角度信息；

其中可选的，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息可以基于同一参考系所确定。

第一图像旋转单元12，用于根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

可选的，所述摄像头的偏转角度信息为摄像头的偏转角度值所对应的角度区间；所述第一显示屏偏转角度获取单元，可以包括：

偏转角度值获取单元，用于获取本接收端当前显示屏的偏转角度值；

角度区间确定单元，用于在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间。

可选的，所述角度区间确定单元可以包括：

第一角度区间确定子单元，用于按照下述公式确定与所述显示屏的偏转角度值对应的角度区间Rr:

Rr＝Floor(((R1+45)％360)/90)

其中，Floor表示向下取整，R1表示显示屏的偏转角度值，R1的取值范围为[0°,360°]，％表示取模，Rr的取值范围为[0，3]。

可选的，所述第一图像旋转单元可以包括：

补偿角度确定单元，用于根据所述摄像头的偏转角度值所对应的角度区间Rs，以及所述显示屏的偏转角度值所对应的角度区间Rr，确定补偿角度C_i:

C_i＝(-(R_r-R_s)*90+360)％360

角度旋转单元，用于将所述视频帧图像按照补偿角度C_i进行旋转，得到旋转后的视频帧图像。

参见图11，图11为本申请实施例公开的另一种视频图像处理装置结构示意图。

如图11所示，该装置包括：

第二视频数据接收单元20，用于接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转处理后得到的视频帧图像；

第二显示屏偏转角度获取单元21，用于获取本接收端当前显示屏的偏转角度信息；

可选的，所述摄像头的偏转角度信息与所述接收端显示屏的偏转角度信息可以基于同一参考系所确定。

第二图像旋转单元22，用于根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

对于视频接收终端的硬件结构，参照图12，图12为本申请实施例提供的一种终端硬件结构示意图。

如图12所示，终端可以包括：

处理器1，通信接口2，存储器3，通信总线4，和显示屏5；

其中处理器1、通信接口2、存储器3和显示屏5通过通信总线4完成相互间的通信；

可选的，通信接口2可以为通信模块的接口，如GSM模块的接口；

处理器1，用于执行程序；

存储器3，用于存放程序；

程序可以包括程序代码，所述程序代码包括处理器的操作指令。

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

其中，程序具体可以用于：

接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

获取本接收端当前显示屏的偏转角度信息；

根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

或者，

接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转处理后得到的视频帧图像；

获取本接收端当前显示屏的偏转角度信息；

根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (18)

1.一种视频图像处理方法，其特征在于，该方法包括：

接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

获取本接收端当前显示屏的偏转角度信息；

根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

2.根据权利要求1所述的方法，其特征在于，所述摄像头的偏转角度信息为摄像头的偏转角度值所对应的角度区间；

所述获取本接收端当前显示屏的偏转角度信息，包括：

获取本接收端当前显示屏的偏转角度值；

在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间。

3.根据权利要求2所述的方法，其特征在于，所述在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间，包括：

按照下述公式确定与所述显示屏的偏转角度值对应的角度区间Rr:

Rr＝Floor(((R1+45)％360)/90)

其中，Floor表示向下取整，R1表示显示屏的偏转角度值，R1的取值范围为[0°,360°]，％表示取模，Rr的取值范围为[0，3]。

4.根据权利要求3所述的方法，其特征在于，所述根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像，包括：

根据所述摄像头的偏转角度值所对应的角度区间Rs，以及所述显示屏的偏转角度值所对应的角度区间Rr，确定补偿角度C_i:

C_i＝(-(R_r-R_s)*90+360)％360

将所述视频帧图像按照补偿角度C_i进行旋转，得到旋转后的视频帧图像。

5.根据权利要求1所述的方法，其特征在于，所述视频数据为数据包形式，所述视频帧图像记录在数据包的主体部分，所述在采集所述视频帧图像时摄像头的偏转角度信息记录在数据包的包头信息中。

6.一种视频图像处理方法，其特征在于，该方法包括：

接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转处理后得到的视频帧图像；

获取本接收端当前显示屏的偏转角度信息；

根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

7.一种视频图像处理装置，其特征在于，该装置包括：

第一视频数据接收单元，用于接收发送端发送的视频数据，所述视频数据包括视频帧图像以及在采集所述视频帧图像时摄像头的偏转角度信息；

第一显示屏偏转角度获取单元，用于获取本接收端当前显示屏的偏转角度信息；

第一图像旋转单元，用于根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

8.根据权利要求7所述的装置，其特征在于，所述摄像头的偏转角度信息为摄像头的偏转角度值所对应的角度区间；

所述第一显示屏偏转角度获取单元，包括：

偏转角度值获取单元，用于获取本接收端当前显示屏的偏转角度值；

角度区间确定单元，用于在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间。

9.根据权利要求8所述的装置，其特征在于，所述角度区间确定单元包括：

第一角度区间确定子单元，用于按照下述公式确定与所述显示屏的偏转角度值对应的角度区间Rr:

Rr＝Floor(((R1+45)％360)/90)

其中，Floor表示向下取整，R1表示显示屏的偏转角度值，R1的取值范围为[0°,360°]，％表示取模，Rr的取值范围为[0，3]。

10.根据权利要求9所述的装置，其特征在于，所述第一图像旋转单元包括：

补偿角度确定单元，用于根据所述摄像头的偏转角度值所对应的角度区间Rs，以及所述显示屏的偏转角度值所对应的角度区间Rr，确定补偿角度C_i:

C_i＝(-(R_r-R_s)*90+360)％360

角度旋转单元，用于将所述视频帧图像按照补偿角度C_i进行旋转，得到旋转后的视频帧图像。

11.一种视频图像处理装置，其特征在于，该方法包括：

第二视频数据接收单元，用于接收发送端发送的视频数据，所述视频数据包括视频帧图像，所述视频帧图像为所述发送端利用采集原始视频帧图像时摄像头的偏转角度信息，对所述原始视频帧图像进行旋转补偿后得到的视频帧图像；

第二显示屏偏转角度获取单元，用于获取本接收端当前显示屏的偏转角度信息；

第二图像旋转单元，用于根据所述显示屏的偏转角度信息，对所述视频帧图像进行旋转补偿，得到旋转后的视频帧图像。

12.一种视频图像处理系统，其特征在于，包括发送端和接收端，其中：

所述发送端用于，获取摄像头采集的视频帧图像；确定在采集所述视频帧图像时所述摄像头的偏转角度信息；将所述视频帧图像以及所述摄像头的偏转角度信息发送给所述接收端；

所述接收端用于，获取本接收端当前显示屏的偏转角度信息；根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像。

13.根据权利要求12所述的系统，其特征在于，所述发送端确定在采集所述视频帧图像时所述摄像头的偏转角度信息，包括：

获取在采集所述视频帧图像时所述摄像头的偏转角度值；

在预设的多个角度区间中，确定与所述摄像头的偏转角度值对应的角度区间；

所述接收端获取本接收端当前显示屏的偏转角度信息，包括：

获取本接收端当前显示屏的偏转角度值；

在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间。

14.根据权利要求13所述的系统，其特征在于，所述发送端在预设的多个角度区间中，确定与所述摄像头的偏转角度值对应的角度区间，包括：

按照下述公式确定与所述摄像头的偏转角度值R1对应的角度区间Rr:

Rr＝Floor(((R1+45)％360)/90)

其中，Floor表示向下取整，R1表示显示屏的偏转角度值，R1的取值范围为[0°,360°]，％表示取模，Rr的取值范围为[0，3]；

所述接收端在预设的多个角度区间中，确定与所述显示屏的偏转角度值对应的角度区间，包括：

按照下述公式确定与所述摄像头的偏转角度值R2对应的角度区间Rs:

Rs＝Floor(((R2+45)％360)/90)

其中，Floor表示向下取整，R2表示显示屏的偏转角度值，R2的取值范围为[0°,360°]，％表示取模，Rs的取值范围为[0，3]。

15.根据权利要求14所述的系统，其特征在于，所述接收端根据所述摄像头的偏转角度信息以及所述显示屏的偏转角度信息，对所述视频帧图像进行旋转处理，得到旋转后的视频帧图像，包括：

根据所述摄像头的偏转角度值所对应的角度区间Rs，以及所述显示屏的偏转角度值所对应的角度区间Rr，确定补偿角度C_i:

C_i＝(-(R_r-R_s)*90+360)％360

将所述视频帧图像按照补偿角度C_i进行旋转，得到旋转后的视频帧图像。

16.根据权利要求13所述的系统，其特征在于，所述发送端将所述视频帧图像以及所述摄像头的偏转角度信息发送给所述接收端，包括：

将所述视频帧图像压缩成码流并分包，得到所述视频帧图像对应的若干个数据包；

在所述数据包的包头信息中，记录所述摄像头的偏转角度值对应的角度区间；

将所述数据包发送给所述接收端。

17.根据权利要求16所述的系统，其特征在于，所述发送端在所述数据包的包头信息中，记录所述摄像头的偏转角度值对应的角度区间，包括：

仅在确定采集所述视频帧图像时所述摄像头的偏转角度值所对应的角度区间产生变化时，将所述摄像头的偏转角度值对应的角度区间记录在所述视频帧图像对应的数据包的包头信息中；

所述接收端还用于：

将接收的所述摄像头的偏转角度值对应的角度区间进行缓存，直至再次收到发送端发送的摄像头的偏转角度值对应的角度区间时，利用再次收到的摄像头的角度区间替换已缓存的摄像头的角度区间，缓存的摄像头的角度区间作为对接收的各视频帧图像进行旋转补偿的基础。

18.一种视频图像处理系统，其特征在于，包括发送端和接收端，其中：

所述发送端用于，获取摄像头采集的视频帧图像；确定在采集所述视频帧图像时所述摄像头的偏转角度信息；利用所述摄像头的偏转角度信息对所述视频帧图像进行旋转处理，得到旋转后的目标视频帧图像；将所述目标视频帧图像发送给所述接收端；

所述接收端用于，获取本接收端当前显示屏的偏转角度信息；根据所述显示屏的偏转角度信息，对所述目标视频帧图像进行旋转处理，得到旋转后的目标视频帧图像。