CN103442196B - 一种基于矢量编码用于触摸屏设备的视频录制方法 - Google Patents

Abstract

一种基于矢量编码用于触摸屏设备的视频录制方法，涉及视频录制方法。用户借助带触摸屏设备终端和触摸屏手写笔，打开软件开始录制；在屏上书写；点击拍照按钮或导入图片按钮将图片导入屏幕；选择屏幕上的图片进行移动等变换；输入文字按钮后在触摸点处插入文本输入框，输入文字进行编码；在录制过程中发生错误或想修改最近的画笔痕迹或图片操作错误时，点击软件撤销按钮后录制者认为无错误的时刻或撤销至屏幕上再无内容可供撤销；撤销操作后，想要恢复/重做最近的撤销，可以点击重做按钮，将撤销的对象重新显示在屏幕上；如果发生口误或声音错误，点击声音回退将声音回到前N秒内的某个时刻；结束视频录制时，点击录制界面的完成录制按钮。

Description

一种基于矢量编码用于触摸屏设备的视频录制方法

技术领域

本发明涉及一种视频录制方法，尤其是涉及一种基于矢量编码用于触摸屏设备的视频录制方法。

背景技术

在教育视频领域，目前的视频主要存在三个问题：1）视频的录制成本比较高；2）为了保证能看清楚视频中的内容，录制的视频文件很大，占用大量磁盘和带宽；3）视频录制的过程很难控制，录制质量很差，用户体验很糟糕。

现有的教育类视频录制的方法是架设高清摄像机，并由摄像师负责将镜头跟踪授课主体的移动、课堂上的注意点；同时，为了取得更好的效果，有些采用电子黑板，把粉笔在黑板上的轨迹数据电子化。最后的视频采用传统的有损编码进行压制，如h264等视频压缩算法。这样在视频录制过程中需要高清摄像机、电子黑板、摄像师、讲师、后期的视频压制等，每集约40min的视频成本为人民币2000～10000元。

现有的教育类视频的特点是用户对视频的清晰度有较高的要求，观众可能有时对视频讲解过程中的公式、符号、验算推理的过程等都需要看的非常清晰，而h264之类的视频压缩算法，为了控制整体的码率，往往在有损压缩的时候，尖锐的分界线会变得非常模糊，严重影响效果。如果想要提高视频质量，往往会极大地增加视频文件的大小。500kbits/s的视频播放一般dvd文件很清晰，但播放教育类的视频，实测发现尖锐的分割处会非常模糊。把视频码率提高到1000kbits/s，效果会好些，但这样的视频文件会占用非常大的带宽。20min的视频文件大小达到了146MByte。

现有的教育类视频录制的过程涉及到了摄像师、讲师以及录制环境的光照、外界的噪音、后期剪辑、压制等诸多的变数，导致录制过程不可控，录制的效果良莠不齐，很难达到预期的良好的用户体验。

中国专利CN101150719公开一种并行视频编码的方法及装置，主要包括主处理器及多个编码器，所述主处理器用于将视频序列中的当前帧固定分割成宏块，按预定规则将所有宏块分配给一个或多个条带组；以及将当前帧的条带组按使多个编码器之间处理负荷均衡原则，并依据光栅扫描的顺序划分为一个或多个子条带组；并将划分确定的当前帧所有子条带组和编码配置参数分别传送给多个编码器，之后，由所述的多个编码器对当前帧的子条带组并行进行编码处理，分别输出码流及参数；最后，将各编码器输出的码流及参数汇聚，进一步完成条带组、帧和序列的编码，输出整个序列码流。

中国专利CN102595135A公开一种可伸缩视频编码的方法及装置，包括：在编码增强层ROI(感兴趣区域)中每个宏块时，根据选择的最优运动矢量在相应的虚拟参考帧和原始参考帧中进行运动补偿，得到对应的虚拟参考帧预测值和原始参考帧预测值；并根据每个宏块的实际率失真代价，以所述虚拟参考帧预测值和所述原始参考帧预测值计算总率失真代价；再根据所述总率失真代价，遍历各个编码模式选择出能使所述总率失真代价最小的编码模式作为最优编码模式，进行增强层ROI编码操作。该方法是一种对类似于h264的运动补偿编码加变换编码混合结构的改进方法，改进带来好处有：视频可以伸缩也不会产生较大的失真；选择失真代价最小的编码模式，提高了增强层ROI的编码效率，压缩比有一些提升。但该方法仍不能利用教学类视频的特点：即教学类视频呈现的仅有粉笔（或画笔）、静止图片等。

发明内容

本发明的目的在于针对现有的教育视频领域中存在的以下问题：1）为了保证能看清楚视频种的内容，录制的视频文件很大，占用大量磁盘和带宽；2）视频的录制成本比较高；3）视频录制的过程很难控制，录制质量很差，用户体验很糟糕；提供一种基于矢量编码用于触摸屏设备的视频录制方法。

本发明包括以下步骤：

1）用户借助带触摸屏设备终端和触摸屏手写笔，打开设备上的视频录制软件PocketTutor（掌上课堂），在进入主界面后，点击视频录制开始录制视频；

2）选择画笔的颜色、粗细后在触摸屏上进行书写，在书写过程中和书写完成时对触摸屏上的痕迹进行编码，具体方法为：

（1）记录画笔的颜色、粗细这些画笔本身的属性；

（2）记录画笔痕迹开始和结束的相对时间；

（3）记录画笔起点和终点的坐标；

（4）计算整个画笔痕迹所影响到的最小矩形区域R；

（5）采样记录画笔移动过程中的相对时间和此时画笔所在的坐标点，并将这些中间坐标点在最小矩形区域R中进行按比例放大，保持画笔的细节痕迹；

（6）对特别缓慢的画笔痕迹，使用最小距离法：即取相邻的3个采样点，计算两端采样点的轨迹距离（非直线距离），若小于最小移动距离，则去掉中间的采样点，并调整两端采样点的相对时刻和坐标位置，使得在去掉中间采样点后，播放时仍呈现一致的效果，减少录制的脚本文件的大小；

3）点击拍照按钮进行拍照，或点击导入图片按钮将图片导入到屏幕上，这两种动作的编码方式类似，具体方法为：

（1）记录图片的名称、位置、初始大小、初始缩放系数、初始旋转度数等图片属性；

（2）将图片根据情况进行格式的转换、压缩等操作（可选）；

4）选择屏幕上的图片进行移动、缩放和旋转等变换，操作过程中的每一步骤都在屏幕上实时呈现给录制者，对图片变换操作的编码方法为：

（1）记录图片初始的位置、大小、缩放系数、旋转角度；

（2）记录变换的相对开始时间和相对结束时间；

（3）记录图片变换的最终形态（包括位置、缩放系数和旋转角度等）；

（4）在图片进行变换操作时，取样记录图片变化过程中的相对时间和此刻的图片形态（位置、缩放系数和旋转角度等）；

（5）对剧烈、快速的变换操作使用线性插值的方式补充采样点，使得在播放端播放时候更加平滑；

（6）对特别缓慢的变换操作，使用最小距离法：即对相邻的3个采样，计算两端变换的距离，若小于最小变换距离，则去掉中间的采样点，使得最后的录制文件更小；

5）选择键盘输入文字按钮后，接下来在屏幕上需要输入键盘文字的低分触摸下，就可以在触摸点处插入文本输入框，使用键盘往文本框里面输入文字，按住文本框拖曳可以调整文本框的位置，在完成编辑后即对文本输入框进行编码，具体方法为：

（1）记录文本输入框的位置、大小、初始缩放系数、初始旋转度数等属性；

（2）记录文本输入框内的字体名称、字体大小、字体样式、字体编码方式等；

（3）记录文本框内的文字内容；

（4）记录文本框出现的相对时间，文本框完成编辑的相对时间；

6）在录制过程中发生错误或者想修改最近的画笔痕迹或图片操作错误时，点击软件的撤销按钮后，每点一次撤销当前最近发生的一次操作，可以无限次撤销，直到撤销到录制者认为的没有错误的时刻或者撤销至屏幕上再无内容可供撤销；对这类撤销操作的编码方式类似，具体方法为：

（1）记录动作发生的相对时间；

（2）要撤销、清除的屏幕对象的标识；

（3）将要撤销、清除的屏幕对象编码后放到可恢复/重做对象栈中，以备当需要重做操作时可以从中取出；所述重做对象栈是一个满足后进先出特性的常见数据结构；

7）在做了若干次撤销操作后，想要恢复/重做最近的撤销，可以点击重做按钮，将撤销的对象重新显示在屏幕上；该操作的编码方式为：

（1）从“重做对象栈”中取出最后填充的可重做对象；

（2）将该对象进行重编码，更新对象的开始时间、结束时间、中间过程的时间为当前的相对时间；

8）如果发生口误或声音错误，点击声音回退将声音回到前N秒内的某个时刻：逆向地查找最近N秒内音波的波形平缓的时刻，这样的时刻认为是录制者语句之前的停顿，若找到这样的时刻，则将该时刻作为当前撤销到的时刻点；若找不到这样的时刻，则以当前时间之前的N秒作为撤销到的时刻点；在声音回退到这个撤销时刻点t0后，去检查图像部分的（即触摸屏上的每一个动作）每一个动作所开始的时刻点ti，若ti>t0，则将该动作从屏幕上撤销；对声音撤销的编码方式为：

（1）记录撤销声音发生的相对时间；

（2）记录撤销到的相对时间点；

（3）记录该撤销到的时间点附近要删除的最早的屏幕对象，包括该对象，以及在该对象之后的出现屏幕对象都要从屏幕上删除；

9）结束视频录制时，点击录制界面的完成录制按钮，软件接下来将录制过程中的音频进行转码，并将音频的元数据抽离和置头端，使得音频流更适合网络上的播放；将录制者各种操作的编码按照时间顺序串联起来，并去掉中间用户暂停的时间，将这些动作编码按照时间梳理并转换成标准的统一的格式（如json格式）即构成矢量视频文件，再将该矢量视频文件用zip算法进行压缩，压缩后可以再进行加密，完成后将加密的文件和密码上传到服务器端保存。

在步骤1）中，所述带触摸屏设备终端可采用iPad、iPhone、Android、Windows Phone等带触摸屏的设备；所述触摸屏手写笔可采用手指代替。

本发明通过录制采样的画笔动作、图片变换操作等进行矢量编码，在播放的时候仅根据采样的点完全重现录制时的画笔的动作和图片变换的操作等。基于这种录制方法录制的视频取得了非常理想的结果，20min长度的视频部分的文件大小仅有100kByte左右，用zip算法压缩后约10kByte。传统的标清视频码率在500kbit/s，20min的视频约73.24MByte。这种矢量视频相较于标清的视频文件大小只有其0.013%。另外，播放能够完全重现录制的过程，而且可以根据播放屏幕大小进行自适应地进行矢量变换，并保有同样的清晰度。这些使得这种视频非常容易通过各种带宽有限的条件下的网络（如2G、3G、4G网络）中进行传播、播放、分享。录制这类视频需要带屏幕的触摸设备，如iPad、iPhone、Android等。通过手指或者触摸设备上的笔，就可以在这类设备上进行视频的录制、编码。可以在大部分浏览器中直接播放。相比传统的视频录制方法成本上有巨大的优势、效率上有巨大的提升。

与现有的视频录制方法比较，本发明解决了前述的现有教育、教学类视频的三种弊端，本发明具有以下有益效果：

1）矢量视频编码方式无损的保留了视频录制时的信息，并能够通过矢量变换在不同大小的屏幕上无损保真的重演，使得视频的清晰度、质量都得到了一致的、高清晰度的标准格式。

2）基于触摸屏设备和Pocket Tutor软件的视频录制方式，使得视频录制变得非常的便捷，录制成本也得到大幅的降低。

3）一种标准的视频格式，一致的视频质量。

具体实施方式

以下给出本发明的具体步骤：

1）用户借助带触摸屏设备终端和触摸屏手写笔，打开设备上的视频录制软件PocketTutor（掌上课堂），在进入主界面后，点击视频录制开始录制视频；所述带触摸屏设备终端可采用iPad、iPhone、Android、Windows Phone等带触摸屏的设备；所述触摸屏手写笔可采用手指代替。

2）选择画笔的颜色、粗细后在触摸屏上进行书写，在书写过程中和书写完成时对触摸屏上的痕迹进行编码，具体方法为：（1）记录画笔的颜色、粗细这些画笔本身的属性；（2）记录画笔痕迹开始和结束的相对时间；（3）记录画笔起点和终点的坐标；（4）计算整个画笔痕迹所影响到的最小矩形区域R；（5）采样记录画笔移动过程中的相对时间和此时画笔所在的坐标点，并将这些中间坐标点在最小矩形区域R中进行按比例放大，保持画笔的细节痕迹；（6）对特别缓慢的画笔痕迹，使用最小距离法：即取相邻的3个采样点，计算两端采样点的轨迹距离（非直线距离），若小于最小移动距离，则去掉中间的采样点，并调整两端采样点的相对时刻和坐标位置，使得在去掉中间采样点后，播放时仍呈现一致的效果，减少录制的脚本文件的大小。

3）点击拍照按钮进行拍照，或点击导入图片按钮将图片导入到屏幕上，这两种动作的编码方式类似，具体方法为：（1）记录图片的名称、位置、初始大小、初始缩放系数、初始旋转度数等图片属性；（2）将图片根据情况进行格式的转换、压缩等操作（可选）。

4）选择屏幕上的图片进行移动、缩放和旋转等变换，操作过程中的每一步骤都在屏幕上实时呈现给录制者，对图片变换操作的编码方法为：（1）记录图片初始的位置、大小、缩放系数、旋转角度；（2）记录变换的相对开始时间和相对结束时间；（3）记录图片变换的最终形态（包括位置、缩放系数和旋转角度等）；（4）在图片进行变换操作时，取样记录图片变化过程中的相对时间和此刻的图片形态（位置、缩放系数和旋转角度等）；（5）对剧烈、快速的变换操作使用线性插值的方式补充采样点，使得在播放端播放时候更加平滑；（6）对特别缓慢的变换操作，使用最小距离法：即对相邻的3个采样，计算两端变换的距离，若小于最小变换距离，则去掉中间的采样点，使得最后的录制文件更小。

5）选择键盘输入文字按钮后，接下来在屏幕上需要输入键盘文字的低分触摸下，就可以在触摸点处插入文本输入框，使用键盘往文本框里面输入文字，按住文本框拖曳可以调整文本框的位置，在完成编辑后即对文本输入框进行编码，具体方法为：（1）记录文本输入框的位置、大小、初始缩放系数、初始旋转度数等属性；（2）记录文本输入框内的字体名称、字体大小、字体样式、字体编码方式等；（3）记录文本框内的文字内容；（4）记录文本框出现的相对时间，文本框完成编辑的相对时间。

6）在录制过程中发生错误或者想修改最近的画笔痕迹或图片操作错误时，点击软件的撤销按钮后，每点一次撤销当前最近发生的一次操作，可以无限次撤销，直到撤销到录制者认为的没有错误的时刻或者撤销至屏幕上再无内容可供撤销；对这类撤销操作的编码方式类似，具体方法为：（1）记录动作发生的相对时间；（2）要撤销、清除的屏幕对象的标识；（3）将要撤销、清除的屏幕对象编码后放到可恢复/重做对象栈中，以备当需要重做操作时可以从中取出；所述重做对象栈是一个满足后进先出特性的常见数据结构。

7）在做了若干次撤销操作后，想要恢复/重做最近的撤销，可以点击重做按钮，将撤销的对象重新显示在屏幕上；该操作的编码方式为：（1）从“重做对象栈”中取出最后填充的可重做对象；（2）将该对象进行重编码，更新对象的开始时间、结束时间、中间过程的时间为当前的相对时间。

8）如果发生口误或声音错误，点击声音回退将声音回到前N秒内的某个时刻：逆向地查找最近N秒内音波的波形平缓的时刻，这样的时刻认为是录制者语句之前的停顿，若找到这样的时刻，则将该时刻作为当前撤销到的时刻点；若找不到这样的时刻，则以当前时间之前的N秒作为撤销到的时刻点；在声音回退到这个撤销时刻点t0后，去检查图像部分的（即触摸屏上的每一个动作）每一个动作所开始的时刻点ti，若ti>t0，则将该动作从屏幕上撤销；对声音撤销的编码方式为：（1）记录撤销声音发生的相对时间；（2）记录撤销到的相对时间点；（3）记录该撤销到的时间点附近要删除的最早的屏幕对象，包括该对象，以及在该对象之后的出现屏幕对象都要从屏幕上删除。

9）结束视频录制时，点击录制界面的完成录制按钮，软件接下来将录制过程中的音频进行转码，并将音频的元数据抽离和置头端，使得音频流更适合网络上的播放；将录制者各种操作的编码按照时间顺序串联起来，并去掉中间用户暂停的时间，将这些动作编码按照时间梳理并转换成标准的统一的格式（如json格式）即构成矢量视频文件，再将该矢量视频文件用zip算法进行压缩，压缩后可以再进行加密，完成后将加密的文件和密码上传到服务器端保存。

Claims (5)

1.一种基于矢量编码用于触摸屏设备的视频录制方法，其特征在于包括以下步骤：

1)用户借助带触摸屏设备终端和触摸屏手写笔，打开设备上的视频录制软件PocketTutor即掌上课堂，在进入主界面后，点击视频录制开始录制视频；

2)选择画笔的颜色、粗细后在触摸屏上进行书写，在书写过程中和书写完成时对触摸屏上的痕迹进行编码，具体方法为：

(1)记录画笔的颜色、粗细这些画笔本身的属性；

(2)记录画笔痕迹开始和结束的相对时间；

(3)记录画笔起点和终点的坐标；

(4)计算整个画笔痕迹所影响到的最小矩形区域R；

(5)采样记录画笔移动过程中的相对时间和此时画笔所在的坐标点，并将这些中间坐标点在最小矩形区域R中进行按比例放大，保持画笔的细节痕迹；

(6)对特别缓慢的画笔痕迹，使用最小距离法：即取相邻的3个采样点，计算两端采样点的轨迹距离，若小于最小移动距离，则去掉中间的采样点，并调整两端采样点的相对时刻和坐标位置，使得在去掉中间采样点后，播放时仍呈现一致的效果，减少录制的脚本文件的大小；

3)点击拍照按钮进行拍照，或点击导入图片按钮将图片导入到屏幕上，这两种动作的编码方式类似，具体方法为：

(1)记录图片的名称、位置、初始大小、初始缩放系数、初始旋转度数；

(2)将图片根据情况进行格式的转换、压缩操作；

4)选择屏幕上的图片进行移动、缩放和旋转变换，操作过程中的每一步骤都在屏幕上实时呈现给录制者，对图片变换操作的编码方法为：

(1)记录图片初始的位置、大小、缩放系数、旋转角度；

(2)记录变换的相对开始时间和相对结束时间；

(3)记录图片变换的最终形态；

(4)在图片进行变换操作时，取样记录图片变化过程中的相对时间和此刻的图片形态；

(5)对剧烈、快速的变换操作使用线性插值的方式补充采样点，使得在播放端播放时候更加平滑；

(6)对特别缓慢的变换操作，使用最小距离法：即对相邻的3个采样，计算两端变换的距离，若小于最小变换距离，则去掉中间的采样点，使得最后的录制文件更小；

5)选择键盘输入文字按钮后，接下来在屏幕上需要输入键盘文字的触摸下，就在触摸点处插入文本输入框，使用键盘往文本框里面输入文字，按住文本框拖曳调整文本框的位置，在完成编辑后即对文本输入框进行编码，具体方法为：

(1)记录文本输入框的位置、大小、初始缩放系数、初始旋转度数；

(2)记录文本输入框内的字体名称、字体大小、字体样式、字体编码方式；

(3)记录文本框内的文字内容；

(4)记录文本框出现的相对时间，文本框完成编辑的相对时间；

6)在录制过程中发生错误或者想修改最近的画笔痕迹或图片操作错误时，点击软件的撤销按钮后，每点一次撤销当前最近发生的一次操作，可以无限次撤销，直到撤销到录制者认为的没有错误的时刻或者撤销至屏幕上再无内容可供撤销；对这类撤销操作的编码方式类似，具体方法为：

(1)记录动作发生的相对时间；

(2)要撤销、清除的屏幕对象的标识；

(3)将要撤销、清除的屏幕对象编码后放到恢复/重做对象栈中，以备当需要重做操作时从中取出；所述恢复/重做对象栈是一个满足后进先出特性的常见数据结构；

7)在做了若干次撤销操作后，想要恢复/重做最近的撤销，点击重做按钮，将撤销的对象重新显示在屏幕上；该操作的编码方式为：

(1)从恢复/重做对象栈中取出最后填充的可重做对象；

(2)将该对象进行重编码，更新对象的开始时间、结束时间、中间过程的时间为当前的相对时间；

8)如果发生口误或声音错误，点击声音回退将声音回到前N秒内的某个时刻：逆向地查找最近N秒内音波的波形平缓的时刻，这样的时刻认为是录制者语句之前的停顿，若找到这样的时刻，则将该时刻作为当前撤销到的时刻点；若找不到这样的时刻，则以当前时间之前的N秒作为撤销到的时刻点；在声音回退到这个撤销时刻点t0后，去检查图像部分的每一个动作所开始的时刻点ti，若ti>t0，则将该动作从屏幕上撤销；对声音撤销的编码方式为：

(1)记录撤销声音发生的相对时间；

(2)记录撤销到的相对时间点；

(3)记录该撤销到的时间点附近要删除的最早的屏幕对象，包括该对象，以及在该对象之后的出现屏幕对象都要从屏幕上删除；

9)结束视频录制时，点击录制界面的完成录制按钮，软件接下来将录制过程中的音频进行转码，并将音频的元数据抽离和置头端，使得音频流更适合网络上的播放；将录制者各种操作的编码按照时间顺序串联起来，并去掉中间用户暂停的时间，将这些动作编码按照时间梳理并转换成标准的统一的格式即构成矢量视频文件，再将该矢量视频文件用zip算法进行压缩，压缩后再进行加密，完成后将加密的文件和密码上传到服务器端保存。

2.如权利要求1所述一种基于矢量编码用于触摸屏设备的视频录制方法，其特征在于在步骤1)中，所述带触摸屏设备终端采用iPad、iPhone、Android、Windows Phone带触摸屏的设备。

3.如权利要求1所述一种基于矢量编码用于触摸屏设备的视频录制方法，其特征在于在步骤1)中，所述触摸屏手写笔采用手指代替。

4.如权利要求1所述一种基于矢量编码用于触摸屏设备的视频录制方法，其特征在于在步骤4)第(3)部分中，所述图片变换的最终形态包括位置、缩放系数和旋转角度。

5.如权利要求1所述一种基于矢量编码用于触摸屏设备的视频录制方法，其特征在于在步骤4)第(4)部分中，所述图片形态包括位置、缩放系数和旋转角度。