CN104394451A - 一种智能移动终端的视频呈现方法 - Google Patents

Abstract

本发明涉及一种智能移动终端的视频呈现方法，其特征在于：采用智能移动终端拍摄视频时，记录下智能移动终端在拍摄过程中的位移或/和旋转信息，然后将智能移动终端在拍摄过程中的位移或/和旋转信息与拍摄的视频文件保存在一起；当智能移动终端播放前述视频文件时，也记录下智能移动终端的观看过程中的位移或/和旋转信息，如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配，则播放前述视频文件。本发明拍摄视频时除了保存音视频信息外，还保存了位移(旋转)信息，可让观看者从另一个新的媒体维度体验视频，通过传达的位移或/旋转信息，观看者跟拍摄者同步的位移或/和旋转动作提高了观看视频时的沉浸感。

Description

一种智能移动终端的视频呈现方法

技术领域

本发明涉及一种智能移动终端的视频呈现方法。

背景技术

通常用户拍摄全景照片时需要保持手机稳定匀速的在水平或垂直方向移动，手机通过软件的方法将各幅照片进行拼接合成，这对拍摄者有比较高的要求，稍不稳定就会导致拼接不自然的痕迹。观看者查看全景照片时，由于全景照片往往很长或很宽，观看者需要滑动照片进行浏览照片全景。

同样，如果拍摄者用视频拍摄全景，观看者直接观看视频时由于缺乏代入感，只是直接观看这个视频而已。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种能让观看者在观看视频文件时与拍摄者具有相同的沉浸体验的智能移动终端的视频呈现方法。

本发明解决上述技术问题所采用的技术方案为：一种智能移动终端的视频呈现方法，其特征在于：采用智能移动终端拍摄视频时，记录下智能移动终端在拍摄过程中的位移或/和旋转信息，然后将智能移动终端在拍摄过程中的位移或/和旋转信息与拍摄的视频文件保存在一起；当智能移动终端播放前述视频文件时，也记录下智能移动终端的观看过程中的位移或/和旋转信息，如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配，则播放前述视频文件。

作为改进，采用智能移动终端拍摄视频时，通过开启智能移动终端中自带的能感知智能移动终端的转动加速度或/和移动加速度的加速度传感器设备，通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的位移或/和旋转信息；在智能移动终端播放前述视频文件时，再次开启移动终端中自带的能感知智能移动终端的转动加速度或/和移动加速度的加速度传感器设备，通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端的观看过程中的位移或/和旋转信息。

在实际应用中，通过加速度传感器设备检测到的位移精度较低，只能判断出大概的运动方向和位移，为了提高精度，可通过分析摄像头采集的图像信息进行辅助处理，即：采用智能移动终端拍摄视频时，先通过按帧对视频文件的视频画面检测出拍摄过程中的位移或/和旋转信息的方向和相对距离，然后再通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的位移信息；在智能移动终端播放前述视频文件时，打开智能移动终端的前置摄像头，拍摄前置画面，同样通过按帧对前置画面检测出位观看过程的位移信息的方向和相对距离，然后再通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在观看过程中的位移信息。

作为改进技术方案，如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息不匹配，且观看过程中的位移或/和旋转速度比拍摄过程中的位移或/和旋转速度快，则快速播放前述视频文件；如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息不匹配，且观看过程中位移或/和旋转速度比拍摄过程中位移或/和旋转速度慢，则慢镜头放前述视频文件；如果观看者停止移动，则停止播放前述视频文件。

可以通过以下方式获得智能移动终端在观看过程或拍摄过程中的位移信息：

设智能移动终端的起始的速度为0，位移距离为0，智能移动终端的加速度传感器设备采集数据的周期为t_i，智能移动终端的加速度传感器设备瞬时采集到的加速度为a_i，则智能移动终端瞬时速度智能移动终端的位移信息 $s={\mathrm{\Σ}}_{i=0}^n{v}_i{t}_i=$ ${\mathrm{\Σ}}_{i=0}^n\left({\mathrm{\Σ}}_{j=0}^i{a}_j{t}_j\right)t_i.$

为了提高播放时的顺滑度，可以对计算位移信息的加速度施加一个低通滤波，即：通过以下方式获得智能移动终端在观看过程或拍摄过程中的位移信息：

设智能移动终端的起始的速度为0，位移距离为0，智能移动终端的加速度传感器设备采集数据的周期为t_i，智能移动终端的加速度传感器设备瞬时采集到的加速度为a_i，计算低通滤波后的加速度将a_i’，a_i’＝0.3*a_j+0.7*a_j-1，智能移动终端瞬时速度智能移动终端的位移信息 $s={\mathrm{\Σ}}_{i=0}^n{v}_i{t}_i={\mathrm{\Σ}}_{i=0}^n\left({\mathrm{\Σ}}_{j=0}^i{a_j}^{,}{t}_j\right)t_i.$

用户拍摄或观看时很难做到匀速的移动，甚至位移播放的时候还会存在抖动，为了消除抖动，在智能移动终端播放前述视频文件时，设定一个缓冲区，缓冲区大小为10～20帧，该缓冲区输入需要播放的视频文件的帧序列编号，在智能移动终端播放前述视频文件时，设定一个缓冲区，缓冲区大小为10～20帧，该缓冲区输入需要播放的视频文件的帧序列编号，然后按帧序列顺序输出播放前述视频文件。

为了使用更方便，本发明还对位移或/和旋转信息的偏差提供一定容忍度，即：观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息偏差在预设的容错范围内，即认为观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配。

不同于通常的播放方式，本发明通过用户移动(旋转)手机来观看视频，为了提供直观简洁的交互提示，作为改进的技术方案，当智能移动终端播放前述视频文件时，同时在视频文件播放界面提示智能移动终端在拍摄过程中的位移或/和旋转信息，观看者根据视频文件播放界面提示的位移或/和旋转信息来移动或旋转智能移动终端。

与现有技术相比，本发明的优点在于：本发明拍摄视频时除了保存音视频信息外，还保存了位移(旋转)信息，可让观看者从另一个新的媒体维度体验视频，通过传达的位移或/旋转信息，观看者跟拍摄者同步的位移或/和旋转动作提高了观看视频时的沉浸感。这种全新的播放视频方式，不是传统的基于时间变量来按帧显示视频画面，而是按照位移(旋转)变量来按帧显示画面；本发明可代替全景照片的拍摄和浏览体验，降低拍摄者的稳定性要求，拍摄全景角度任意大(一圈360都可以支持)，拍摄方向任意(上下左右、斜角都可以)，观看者的观看体验也更加丰富和有趣。

附图说明

图1为本发明实施例中以手机为例的采集位移信息时移动加速度传感器采集数据的坐标；

图2为本发明实施例中以手机为例的手机移动路线图；

图3为图2中位移矢量直线向量图；

图4为本发明实施例中以手机为例的拍摄过程示意图；

图5为本发明实施例中以手机为例的观看过程示意图；

图6为本发明实施例中以手机为例的拍摄或观看过程旋转示意图；

图7为本发明实施例中以手机为例的观看过程显示视频帧的示意图；

图8为本发明实施例中以手机为例的旋转信息容错示意图；

图9为本发明实施例中以手机为例的屏幕显示提示示意图；

图10为本发明实施例中以手机为例的另一种屏幕显示提示示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提供了一种智能移动终端的视频呈现方法，其主要特点是：采用智能移动终端拍摄视频时，记录下智能移动终端在拍摄过程中的位移或/和旋转信息，然后将智能移动终端在拍摄过程中的位移或/和旋转信息与拍摄的视频文件保存在一起；当智能移动终端播放前述视频文件时，也记录下智能移动终端的观看过程中的位移或/和旋转信息，如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配，则播放前述视频文件。

当然，如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息不匹配，且观看过程中的位移或/和旋转速度比拍摄过程中的位移或/和旋转速度快，则快速播放前述视频文件；如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息不匹配，且观看过程中位移或/和旋转速度比拍摄过程中位移或/和旋转速度慢，则慢镜头放前述视频文件；如果观看者停止移动，则停止播放前述视频文件。

以下详细阐述本实施离的不同实现的方式：

[通过加速度传感器检测位移信息]

智能移动终端在移动中拍摄视频时，通过加速度传感器，可以知道智能移动终端在空间上的加速度运动的方向和大小。不同智能移动终端具有不同的加速度传感器，可以分别测量智能移动终端的移动加速度和转动加速度，其加速度传感器系统接口和数据精度也各有不同，主流包括移动加速度传感器(用于测量移动加速度)和陀螺仪(用于测量转动加速度)，本实现方式中我们讨论的是普及度比较高的移动加速度传感器，其它更高级的传感器能够获得更精确更灵敏的位移信息，但交互的行为原则是相同的。

采用智能移动终端拍摄视频时，通过开启智能移动终端中自带的能感知智能移动终端移动加速度的移动加速度传感器，通过说动加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的位移信息；在智能移动终端播放前述视频文件时，再次开启移动终端中自带的能感知智能移动终端的移动加速度的移动加速度传感器，通过移动加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端的观看过程中的位移。

如图1，以智能手机为例，定时采集x、y、z方向上的移动加速度，其中z值体现了以垂直于智能手机屏幕平面的运动方向，可以忽略，x和y表示横向和纵向的移动加速度，并且x和y可理解为斜向运动的坐标分解，设起始的速度为0，位移距离为0，数据采集周期为t_i，瞬时采集到的加速度为a_i(这个加速度已经去除了重力)，则瞬时速度 $v_i={\mathrm{\Σ}}_{j=0}^i{a}_j{t}_j,$ 位移 $s={\mathrm{\Σ}}_{i=0}^n{v}_i{t}_i={\mathrm{\Σ}}_{i=0}^n\left({\mathrm{\Σ}}_{j=0}^i{a}_j{t}_j\right)t_i.$

上述位移、速度和加速度都是矢量，即包含了角度和距离信息，移动的距离可以是曲线的，参见图2中的S，我们可以简化为直线向量，见图3中的坐标中的位移矢量S1,这样只要存储一个点的信息。在这里我们设矢量S1的角度为alpha，长度为d，在原点到S1的线上，均匀取点s0、s1、s2、…、sn，如图2.a中“被均匀分解的位移矢量S1”。

[通过视频图像检测位移信息]

在实际应用中，通过移动加速度传感器检测到的位移精度非常低，只能判断出大概的运动方向和位移，为了提高精度，可通过分析摄像头采集的图像信息进行辅助处理。即：采用智能移动终端拍摄视频时，先通过按帧对视频文件的视频画面检测出拍摄过程中的位移或/和旋转信息的方向和相对距离，然后再通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的位移或/和旋转信息；在智能移动终端播放前述视频文件时，打开智能移动终端的前置摄像头，拍摄前置画面，同样通过按帧对前置画面检测出位观看过程的位移或/和旋转信息的方向和相对距离，然后再通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在观看过程中的位移或/和旋转信息。

同样以手机为例，手机在移动中拍摄视频时，可以通过按帧对视频画面检测出位移的方向和相对距离，如图4，尽管我们无法获得精确的运动距离，但我们还是可以获得相对位移大小而不关心景物的远近。同样的，在视频播放时，我们同时打开前置摄像头，拍摄前置画面，检测人脸，如果去除检测到的人脸还有背景，则可用同样的方法获得相对位移信息，如图5，注意此时显示的是播放的视频，为方便说明问题，图中显示的是摄像头采集的信息，人脸作为定位基准，不作为判断位移的信息，前置摄像头采集视频用来判断位移，非显示视频。尽管由于前置摄像头采集的背景画面跟播放视频的景物的远近不同而会造成位移快慢和距离的误差，但这并不影响系统在各自相同环境下移动快慢的处理。如果检测不到人脸，则直接用整个视频画面判断位移；如果检测到全部是人脸而没有背景画面，则不做播放处理或提供一些有趣的提示，比如屏幕可以直接显示前置摄像头采集的画面。

[通过陀螺仪检测转动信息]

鉴于目前的业界的技术水平难以获取精确的手机位移信息，即使通过图像检测位移也会有较大计算量，而获取准确的手机转动角度信息比较容易，因此我们可以采用以转动角度来驱动播放视频方式实现这个浸入式体验会更容易。即：采用智能移动终端拍摄视频时，通过开启智能移动终端中自带的能感知智能移动终端的转动加速度的陀螺仪，通过陀螺仪采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的旋转信息；在智能移动终端播放前述视频文件时，再次开启移动终端中自带的能感知智能移动终端的转动加速度的陀螺仪，通过陀螺仪采集的数据，及智能移动终端记录的时间，获得智能移动终端的观看过程中旋转信息。

同样以手机为例，视频观看者拿起手机以身体为轴转动时，通过陀螺仪就可以获取手机旋转角度。为方便描述，我们定义手机不同时间采集到的角度值为a0、a1、a2、…an。如图6所示：正对拿起手机，以身体为轴旋转an度角。在三维空间的角度可以投影到x、y、z三个方向的平面，根据手机当前的姿态不同，我们只选取x或y方向的角度分量的变化值，作为离散的a0、a1、a2、…an采样值。

以上两个方式中，描述的是基于位移或旋转的播放，即：

播放视频时，将视频的时间变量t，替换为位移变量s，即将原先的视频由t0、t1、t2、…、tn的时间点显示各帧F0、F1、F2、…、Fn，转变为在各个空间位移点s0、s1、s2、…、sn显示各帧。如图7，系统化描述为F_n＝f(t_n)＝f(s_n)，其中F_n为当前播放帧，t_n为某个时间点，s_n为某个空间点，f和f为时间和空间映射到播放帧的函数。注意，时间和空间是连续的，播放帧是离散的，应此通过下标n来表示连续到离散的有意义的取值范围。实际上手机对加速度状态信息采样也是离散的，可能在移动速度较快的情况下无法采集到某些位移点。需要将位移的取值跟帧匹配起来，从而确保位移了S1时播放完全部视频帧序列，假设播放时检测到瞬时的位移ds，视频总共有m帧，则需要播放的视频为m*ds/S1帧，取整数部分，小数部分留给后面。可以看出，每次位移传感采样可能对应需要播放的帧数可能小于1，也可能很大，比如几十帧。

类似的，播放视频时，将视频的时间变量t，替换为角度旋转变量a，即将原先的视频由t0、t1、t2、…、tn的时间点显示各帧F0、F1、F2、…、Fn，转变为在各个旋转角度点a0、a1、a2、…、an显示各帧。如图7，其播放帧的时间函数映射到角度函数的逻辑是一致的。

为了提高播放时的顺滑度，我们对计算位移变量的加速度施加一个低通滤波，表达式为beta*a_i+(1-beta)a_i-1,beta大于0小于1，beta越小滤波越强，建议值取0.3。用户很难做到匀速的移动，甚至位移播放的时候还会存在抖动，因此设定一个缓冲区Jitter buffer，缓冲区大小建议为10～20帧，该缓冲区输入需要播放的视频文件的帧序列编号和播放时间戳，平滑时间戳后，输出播放前述视频文件，从而消除了抖动。

进一步，应该对移动速度的偏差有一定容忍度，即：只要观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息偏差在预设的容错范围内，即认为观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配。比如播放时移动的速度跟录制时速度偏差在v_theta以内(建议值50％)，则可按原始速率播放，超出容错偏差范围的运动才快进或慢镜头如果位移速度过快，可以考虑跳帧播放视频。为了提高易用性，我们允许观看者和录制者的位移有一些偏差；只要两者位移角度能在45度范围内匹配即可响应。如图8，相同位移方向的前后45度范围内为播放区域，相反方向前后45度为倒放区域，其它区域为无响应区域；我们将这45度范围称为容错角r_theta，我们可以根据需要调整r_theta角大小来控制两者的匹配精度。

如果采用角度旋转驱动播放视频，从易用性出发，则可以只考虑左右转动两个方向的旋转角度，即同向旋转为正常播放，逆向旋转为倒放。

不同于通常的播放方式，本方法需要通过用户移动或/和旋转手机来观看视频，提供直观简洁的交互提示是比较重要的。当智能移动终端播放前述视频文件时，同时在视频文件播放界面提示智能移动终端在拍摄过程中的位移或/和旋转信息，观看者根据视频文件播放界面提示的位移或/和旋转信息来移动或旋转智能移动终端。同样以手机为例，参见图9，手机屏幕中箭头不但指示了位移或/和旋转的方向，同时也体现了当前视频播放的进度。图10是另一种设计方案，圈内的圆球的方位指示了位移或/和旋转的方向，如果位移时让圆球处于圆圈中心则移动或/和旋转速度正好，如果移动或/和旋转过快使得视频快进，则圆球会处于反方向的位置；外圈的粗线条表示视频播放进度。应当了解，这些交互设计主要需要体现两方面信息，一是位移或/和旋转方向，二是播放进度；

当然，在位移播放视频画面同时，也应同时播放音频，由于观看者和录制者位移(旋转)的速度不一定能达到一致，需要对播放的音频进行处理。有两种策略，一是变速不变调，二是直接变速变调；前者保证音频信息的真实性，后者的速度可变话程度更大也更有趣。我们可以根据实际需要选取不同的策略。

综上，本发明的创新之处在于：

a.拍摄视频时除了保存音视频信息外，还保存了位移(旋转)信息，可让观看者另一个新的媒体维度体验视频；

b.全新的播放视频方式，不是传统的基于时间变量来按帧显示视频画面，而是按照位移(旋转)变量来按帧显示画面；

c.可代替全景照片的拍摄和浏览体验，降低拍摄者的稳定性要求，拍摄全景角度任意大(一圈360都可以支持)，拍摄方向任意(上下左右、斜角都可以)，观看者的观看体验也更加丰富和有趣。

Claims (9)

1.一种智能移动终端的视频呈现方法，其特征在于：采用智能移动终端拍摄视频时，记录下智能移动终端在拍摄过程中的位移或/和旋转信息，然后将智能移动终端在拍摄过程中的位移或/和旋转信息与拍摄的视频文件保存在一起；当智能移动终端播放前述视频文件时，也记录下智能移动终端的观看过程中的位移或/和旋转信息，如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配，则播放前述视频文件。

2.根据权利要求1所述的智能移动终端的视频呈现方法，其特征在于：采用智能移动终端拍摄视频时，通过开启智能移动终端中自带的能感知智能移动终端的转动加速度或/和移动加速度的加速度传感器设备，通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的位移或/和旋转信息；在智能移动终端播放前述视频文件时，再次开启移动终端中自带的能感知智能移动终端的转动加速度或/和移动加速度的加速度传感器设备，通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端的观看过程中的位移或/和旋转信息。

3.根据权利要求2所述的智能移动终端的视频呈现方法，其特征在于：采用智能移动终端拍摄视频时，先通过按帧对视频文件的视频画面检测出拍摄过程中的位移或/和旋转信息的方向和相对距离，然后再通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在拍摄过程中的位移或/和旋转信息；在智能移动终端播放前述视频文件时，打开智能移动终端的前置摄像头，拍摄前置画面，同样通过按帧对前置画面检测出位观看过程的位移或/和旋转信息的方向和相对距离，然后再通过加速度传感器采集的数据，及智能移动终端记录的时间，获得智能移动终端在观看过程中的位移或/和旋转信息。

4.根据权利要求1或2或3所述的智能移动终端的视频呈现方法，其特征在于：如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息不匹配，且观看过程中的位移或/和旋转速度比拍摄过程中的位移或/和旋转速度快，则快速播放前述视频文件；如果观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息不匹配，且观看过程中位移或/和旋转速度比拍摄过程中位移或/和旋转速度慢，则慢镜头放前述视频文件；如果观看者停止移动，则停止播放前述视频文件。

5.根据权利要求1或2或3所述的智能移动终端的视频呈现方法，其特征在于：通过以下方式获得智能移动终端在观看过程或拍摄过程中的位移信息：

设智能移动终端的起始的速度为0，位移距离为0，智能移动终端的加速度传感器设备采集数据的周期为t_i，智能移动终端的加速度传感器设备瞬时采集到的加速度为a_i，则智能移动终端瞬时速度智能移动终端的位移信息 $s={\mathrm{\Σ}}_{i=0}^n{v}_i{t}_i=$ ${\mathrm{\Σ}}_{i=0}^n\left({\mathrm{\Σ}}_{j=0}^i{a}_j{t}_j\right)t_i.$

6.根据权利要求1或2或3所述的智能移动终端的视频呈现方法，其特征在于：通过以下方式获得智能移动终端在观看过程或拍摄过程中的位移信息：

设智能移动终端的起始的速度为0，位移距离为0，智能移动终端的加速度传感器设备采集数据的周期为t_i，智能移动终端的加速度传感器设备瞬时采集到的加速度为a_i，计算低通滤波后的加速度将a_i’，a_i’＝0.3*a_i+0.7*a_i-1，智能移动终端瞬时速度 $v_i={\mathrm{\Σ}}_{j=0}^i{a_j}^{\′}{t}_j,$ 智能移动终端的位移信息 $s={\mathrm{\Σ}}_{i=0}^n{v}_i{t}_i={\mathrm{\Σ}}_{i=0}^n\left({\mathrm{\Σ}}_{j=0}^i{a}_j{t}_j\right)t_i.$

7.根据权利要求1或2或3所述的智能移动终端的视频呈现方法，其特征在于：在智能移动终端播放前述视频文件时，设定一个缓冲区，缓冲区大小为10～20帧，该缓冲区输入需要播放的视频文件的帧序列编号，然后按帧序列顺序输出播放前述视频文件。

8.根据权利要求1或2或3所述的智能移动终端的视频呈现方法，其特征在于：观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息偏差在预设的容错范围内，即认为观看过程中的位移或/和旋转信息与拍摄过程中的位移或/和旋转信息相匹配。

9.根据权利要求1或2或3所述的智能移动终端的视频呈现方法，其特征在于：当智能移动终端播放前述视频文件时，同时在视频文件播放界面提示智能移动终端在拍摄过程中的位移或/和旋转信息，观看者根据视频文件播放界面提示的位移或/和旋转信息来移动或旋转智能移动终端。