CN105120183A - 一种提高实物展示流畅性的方法及系统 - Google Patents

Abstract

本发明公开了一种提高实物展示流畅性的方法，其包括以下步骤：步骤1、图像扫描；步骤2、图像采集和存储；步骤3、帧处理；步骤4、图像渲染和显示；步骤5、如果渲染该在前视频图像的时间小于一间隔时间，则继续执行步骤3-4，反之，则执行步骤6；步骤6、对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像执行步骤2-5的操作。本发明还公开了一种提高实物展示流畅性的系统。本发明通过将渲染的帧数据和通过摄像头获取的帧数据的速率进行分离，刷新较快时帧进行重复使用，可以在界面操作频繁的时候设置较大的渲染速度，让绘图或者批注的操作相对流畅，提供了更好的用户体验。

Description

一种提高实物展示流畅性的方法及系统

技术领域

本发明涉及实物展示技术领域，具体涉及一种提高实物展示流畅性的方法及系统。

背景技术

在通过视频进行实物展示过程中，一般需要通过摄像头或摄像机采集实物的图像信息，然后将实物的图像通过显示设备以视频的方式展示出来。在图像以视频的方式展示过程中，大致包括了帧处理、渲染以及显示三部分。

帧处理是通过读取摄像头采集的帧数据并转换成开源计算机图像库(OpenSourceComputerVisionibrary，OpenCV)图像，并将该图像送入每个自定义的过滤器(Filter)中进行处理，过滤器是基于DirectShow创建的组件对象模型(COM)，执行一些多媒体流的操作，如绘图、批注等。过滤器的种类有很多，不同种类的过滤器相互连接在一起就形成了过滤器图表。同时，帧处理过程还包括通过开源计算机图像库对视频图像进行的处理包括如视频绘图、视频的旋转、图像的纠偏、图像的自动捕捉与拍照、图像的自动去黑边、剪切等，高效率的实现了视频图像的实时处理。

在帧处理过程中，为了可以提高数据的处理速度，一般会在在通过dxshow打开摄像头以后创建了一个线程，该线程专门负责读取帧数据并将该帧数据进行过滤器处理，完后调用渲染模块，将经过处理后的图像显示在用户指定的窗口中。但是当用户启动了绘图(或批注等)过滤器后，为了让绘图比较流畅，必须要把渲染的帧率提高起来，这时候就会出现一个现象，渲染(刷新)的帧率大于摄像头本身支持的最大帧率，这个情况下如果还是每一帧数据都从摄像头获取，会拖慢渲染的速度，直接影响了用户体验。

发明内容

针对以上不足，本发明的目的之一在于提供一种提高实物展示流畅性的方法，其通过将渲染的帧数据和通过摄像头获取的帧数据的速率进行分离，刷新较快时帧进行重复使用，可以在界面操作频繁的时候设置较大的渲染速度，让绘图或者批注的操作相对流畅，提供了更好的用户体验。

本发明的目的是这样实现的：

一种提高实物展示流畅性的方法，其包括以下步骤：

步骤1、通过摄像头对实物进行图像扫描，获取所述实物的在前视频图像；

步骤2、采集所述在前视频图像，并将所述在前视频图像以及采集该在前视频图像的时间存储到存储单元中；

步骤3、对步骤2中存储到存储单元中的在前视频图像进行帧处理；

步骤4、将步骤3中帧处理完毕后的在前视频图像经过渲染后进行显示；

步骤5、在步骤4中，如果渲染该在前视频图像的时间小于一间隔时间，则继续执行步骤3-4，反之，则执行步骤6；

步骤6、对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像执行步骤2-5的操作，所述间隔时间为采集所述在后视频图像的时间与采集在前视频图像的时间之差。

所述步骤1还包括通过麦克风捕获音频信息，并将所述音频信息经步骤2-4进行处理。

所述在前视频图像和再后视频图像均为1帧数据。

帧处理后执行挂起操作，所述间隔时间包括该挂起的时间。

所述步骤3中，如果在单位时间内从摄像头获取的视频图像帧数大于帧处理的视频图像帧数，则执行丢帧操作，所述丢帧操作为将多余部分不进行帧处理以及渲染而直接释放，所述多余部分为在单位时间内从摄像头获取的视频图像帧与帧处理的视频图像帧相减后的视频图像帧。

本发明的目的之一在于提供一种提高实物展示流畅性的系统，其通过将渲染的帧数据和通过摄像头获取的帧数据的速率进行分离，刷新较快时帧进行重复使用，可以在界面操作频繁的时候设置较大的渲染速度，让绘图或者批注的操作相对流畅，提供了更好的用户体验。

本发明的目的是这样实现的：

一种提高实物展示流畅性的系统，其包括：

图像扫描单元，用于通过摄像头对实物进行图像扫描，获取所述实物的在前视频图像；

图像采集和存储单元，用于采集所述在前视频图像，并将所述在前视频图像以及采集该在前视频图像的时间存储到存储单元中；

帧处理单元，用于对图像采集和存储单元中存储到存储单元中的在前视频图像进行帧处理；

显示单元，用于将帧处理单元中帧处理完毕后的在前视频图像经过渲染后进行显示；

比较单元，在显示单元中，如果渲染该在前视频图像的时间小于一间隔时间，则继续执行帧处理单元和显示单元，反之，则执行图像再扫描单元；

图像再扫描单元，用于对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像依次执行图像采集和存储单元、帧处理单元、显示单元和比较单元的操作，所述间隔时间为采集所述在后视频图像的时间与采集在前视频图像的时间之差。

所述图像扫描单元还包括音频信息采集单元，用于通过麦克风捕获音频信息，并将所述音频信息经图像采集和存储单元、帧处理单元和显示单元依次进行处理。

所述在前视频图像和再后视频图像均为1帧数据。

所述帧处理单元中，帧处理后执行挂起操作，所述间隔时间包括该挂起的时间。

所述帧处理单元中，如果在单位时间内从摄像头获取的视频图像帧数大于帧处理的视频图像帧数，则执行丢帧操作，所述丢帧操作为将多余部分不进行帧处理以及渲染而直接释放，所述多余部分为在单位时间内从摄像头获取的视频图像帧与帧处理的视频图像帧相减后的视频图像帧。

与现有技术相比，本发明的有益效果在于：

1、通过将渲染的帧数据和通过摄像头获取的帧数据的速率进行分离，刷新较快时帧进行重复使用，可以在界面操作频繁的时候设置较大的渲染速度，让绘图或者批注的操作相对流畅，提供了更好的用户体验。

2、在每次帧处理后执行挂起(通过sleep函数实现)操作，这样既可以降低CPU的使用率，也可以控制帧率。

3、在人眼分辨不出的情况下，通过适当丢帧的操作，进一步提高流畅度。

附图说明

图1为本发明一种提高实物展示流畅性的方法的流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明。

请参照图1所示，一种提高实物展示流畅性的方法，其大致包括以下步骤：

步骤1、通过摄像头对实物进行图像扫描，获取所述实物的在前视频图像；

步骤2、采集所述在前视频图像，并将所述在前视频图像以及采集该在前视频图像的时间存储到存储单元中；

步骤3、创建帧处理线程；

步骤4、通过帧处理线程对存储单元中的在前视频图像进行帧处理；

步骤5、帧处理完毕后，创建一渲染队列和与所述渲染队列对应的渲染队列处理线程，所述渲染队列在内存中建立；

步骤6、将帧处理后的在前视频图像压入到所述渲染队列中；

步骤7、通过渲染队列处理线程实时检测所述渲染队列中是否存在在前视频图像，如果存在，则执行步骤8；

步骤8、通过渲染队列处理线程对该在前视频图像进行渲染后使其显示在用户指定的窗口中；

步骤9、在步骤8中，如果渲染该在前视频图像的时间小于一间隔时间，则继续执行步骤8，反之，则执行步骤10；

步骤10、对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像依次执行步骤2、4、6、7的操作，所述间隔时间为采集所述在后视频图像的时间与采集在前视频图像的时间之差。

其中，上述步骤5-7涉及异步渲染技术，为本发明的一种优选方案，下面对各步骤的实现方式及实现过程做一详细描述。

步骤1涉及图像扫描

通过摄像头对实物进行图像扫描，获取所述实物的在前视频图像。例如通过CMOS(ComplementaryMetalOxieSemiconductor)镜头对待扫描的实物进行图像扫描，也即拍摄，从而获取所述实物的视频图像。同时，根据实际需要，可通过麦克风捕获实物拍摄现场的音频信息，音频信息的处理过程与视频图像的处理过程相似，这里仅以视频图像进行详细的说明。这种拍摄式扫描的方式对扫描实物的介质没有要求，而且可实现对普通平面实物及书籍等立体实物的扫描。将首次扫描获取的实物的视频图像定义为在前视频图像，以与在后扫描获取的视频图像进行区分。

步骤2涉及图像采集和存储

采集所述在前视频图像，并将所述在前视频图像以及采集该在前视频图像的时间存储到存储单元中，存储单元为在内存中创建；视频图像通过视频采集卡进行采集，然后再由视频采集过滤器(VideoCaptureFilter)从视频采集卡中获得视频图像数据流进行解码。解码后的视频图像直接存储到存储单元中，这样帧处理即可直接从存储单元中调取。

步骤3涉及创建帧处理线程

为了实现异步渲染，将原本只有一个线程实现帧处理和渲染的过程，分割成由独立的帧处理线程实现帧处理过程以及由独立的渲染队列处理线程实现渲染过程，帧处理过程的帧数据(视频图像，开始为在前视频图像)来自于存储单元，帧处理后的帧数据在储存到渲染队列中，渲染队列处理线程只针对渲染队列中的帧数据进行渲染。创建帧处理线程以及渲染队列处理线程只执行一次，之后的各种操作时忽略这两个步骤。

步骤4涉及帧处理

帧处理是通过帧处理线程读取摄像头采集的帧数据并转换成开源计算机图像库(OpenSourceComputerVisionibrary，OpenCV)图像，并将该图像送入每个自定义的过滤器(Filter)中进行处理，过滤器是基于DirectShow创建的组件对象模型(COM)，执行一些多媒体流的操作，如绘图、批注等。过滤器的种类有很多，不同种类的过滤器相互连接在一起就形成了过滤器图表。同时，帧处理过程还包括通过开源计算机图像库对视频图像进行的处理包括如视频绘图、视频的旋转、图像的纠偏、图像的自动捕捉与拍照、图像的自动去黑边、剪切等，高效率的实现了视频图像的实时处理。

在帧处理过程中，为了控制帧率和CPU的使用率，在线程中每处理完一帧都调用了sleep函数执行挂起操作，这样即可以降低了cpu的使用率，也可以控制帧率。

步骤5涉及创建渲染队列

由于在图像处理的时候引入了开源计算机图像库，这无疑简化了图像处理的难度，也降低了代码的复杂度。但同时也带来了一个问题，就是在渲染的时候OpenCV的图像不能直接显示到屏幕上，而是要先经过转换，把OpenCV的图像转化为hbitmap(位图句柄)对象，即转换成适应于位块转换方式的位图句柄图像(位图句柄图像是通过位图句柄对OpenCV的图像进行相应的编码形成的图像)，然后通过bitblt(位块转换)的方式进行图像的显示。图像转换是相当损耗CPU的性能的，同时bitblt的渲染由于没有通过硬件加速，渲染的效率就比较低了，这样当帧数据经过帧处理到渲染整个过程所需要的时间就长了，这个流畅的时间长度直接影响了用户的体验，界面会出现反应慢的现象。

在渲染模块启动的时候，即帧处理完成后，创建一个有别于帧处理线程的渲染队列处理线程和一个对渲染队列处理线程相对应的渲染队列，渲染队列处理线程只调用渲染队列中的视频图像进行渲染操作，同时，渲染队列是在内存中创建。

步骤6、将帧处理后的在前视频图像压入到所述渲染队列中，使得渲染队列处理线程只处理该压入到所述渲染队列中的视频图像

步骤7涉及渲染队列检测

通过渲染队列处理线程实时检测所述渲染队列中是否存在在前视频图像，如果存在，则进行渲染和显示，反之，如果未有压入的视频图像，而渲染的时间又小于时间间隔，则渲染队列处理线程继续将之前渲染过的视频图像再次渲染并显示。

步骤8涉及渲染和显示

通过渲染队列处理线程对该在前视频图像进行渲染后使其显示在用户指定的窗口中。渲染的时候先把OpenCV的图像转化为hbitmap对象，即转换成适应于位块转换方式的位图句柄图像，然后通过bitblt的方式进行图像的显示。

步骤9、比较渲染的时间与摄像头采集在前视频图像和在后视频图像的时间间隔之间的关系：如果渲染在前视频图像(该在前视频图像经过帧处理后会存储到渲染队列中)的时间小于间隔时间，则继续执行步骤8，即是将原来通过渲染队列处理线程对该在前视频图像进行渲染后使其显示在用户指定的窗口中的步骤重复一次。

步骤10涉及实物再扫描。

如果渲染在前视频图像的时间小于间隔时间，则对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像依次执行步骤2、4、6、7的操作(此时，将步骤2、4、6、7中的在前视频图像改成再后视频图像即可)。即当在前视频图像渲染完后要判断现在的时间是否到了可以从摄像头获取下一帧视频图像(即在后视频图像)的时间间隔，这里的时间间隔是指摄像头采集在后视频图像的时间与采集在前视频图像的时间之差，如果帧处理过程中设定了挂起操作，则包括该挂起时间，如果还没到，但是已经到了要渲染下一帧的时间了，这时候，这一个要渲染的帧不再通过摄像头获取，而是直接读取存储单元中的在前视频图像；但是当走到步骤8中发现如果渲染存储到渲染队列中的在前视频图像的时间(这个时间理应包括压入渲染队列中的时间)已经足够可以从摄像头获取下一帧视频图像的时候，到了必须要通过摄像头获取下一帧数据的时候(如果不在摄像头获取，而是长时间通过存储单元获取，会导致界面看到的图像数据延时比较严重)，就通过摄像头获取帧数据并同样的把这一帧数据和获取这帧数据的时间在存储单元中保存起来，然后对该在后视频图像的处理方式与在前视频图像的处理方式相同，对待后续每一帧视频图像均采用该方式。

这样做，刷新(渲染)较快时候在前视频图像重复使用，可方便在界面操作频繁的时候设置较大的渲染速度，让绘图或者批注的操作相对流畅，同时硬件帧的采集速度也控制了起来，提供了更好的用户体验。

在帧处理过程中，不管对帧处理的逻辑如何优化，总有可能出现帧数据的处理时间过长导致渲染延时的情况。这个情况是这样产生的，如果一秒钟摄像头可以采集30帧的数据，但是我们从摄像头中获取帧然后进行帧处理的整个逻辑只能保证帧处理的速度达到25帧每秒，这样经过一秒钟以后，我们就帧处理和渲染了25帧的数据，还有5帧的数据怎么办呢？当然我们在没有进行丢帧处理的时候，这5帧的数据当然是下一秒钟里面进行帧处理和渲染了，这就意味着下一秒钟就只能处理本身属于它的二十帧数据了。长时间下去界面理论上是越来越慢的。但是往往我们看到的是摄像头的渲染不会越来越慢，而是这个延时会稳定下来，这是为什么呢？这是因为摄像头里面的缓存空间也不是无限的，他的缓存也是有大小的。当摄像头内部缓存的够用的时候，他也会丢掉前面未被我们代码取走的帧数据。那么在这样的情况下，怎样才能做到界面相对的流畅呢？这里实现的方法如下：

1)、在上面的例子中，我们一秒可以处理的图像为25帧，但是摄像头获取图像一秒可以产生30帧。在已经没办法通过图像帧处理和渲染方法上加速的时候，唯一的办法就是丢掉5帧。

2)、让每一个1秒的时间里都让我们的程序只处理属于他的30帧中的25帧，丢掉属于他的这一秒的5帧(这里有个前提就是丢帧的速度是很快的，我们可以忽略掉丢帧的时间)。

3)、采用匀速丢帧的算法，如果是上面的情况下则采取每处理5帧就丢掉1帧的方法。这样即使丢了帧，人眼也分辨不出来，同时整个流畅度又提高了。

丢帧其实是帧数据被采集了，但是不进行帧处理和渲染，直接在摄像头中采集到数据就直接释放掉的意思。

上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (10)

1.一种提高实物展示流畅性的方法，其特征在于，其包括以下步骤：

步骤1、通过摄像头对实物进行图像扫描，获取所述实物的在前视频图像；

步骤2、采集所述在前视频图像，并将所述在前视频图像以及采集该在前视频图像的时间存储到存储单元中；

步骤3、对步骤2中存储到存储单元中的在前视频图像进行帧处理；

步骤4、将步骤3中帧处理完毕后的在前视频图像经过渲染后进行显示；

步骤5、在步骤4中，如果渲染该在前视频图像的时间小于一间隔时间，则继续执行步骤3-4，反之，则执行步骤6；

步骤6、对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像执行步骤2-5的操作，所述间隔时间为采集所述在后视频图像的时间与采集在前视频图像的时间之差。

2.根据权利要求1所述的提高实物展示流畅性的方法，其特征在于，所述步骤1还包括通过麦克风捕获音频信息，并将所述音频信息经步骤2-4进行处理。

3.根据权利要求2所述的提高实物展示流畅性的方法，其特征在于，所述在前视频图像和再后视频图像均为1帧数据。

4.根据权利要求3所述的提高实物展示流畅性的方法，其特征在于，所述步骤3中，帧处理后执行挂起操作，所述间隔时间包括该挂起的时间。

5.根据权利要求1-4任一项所述的提高实物展示流畅性的方法，其特征在于，所述步骤3中，如果在单位时间内从摄像头获取的视频图像帧数大于帧处理的视频图像帧数，则执行丢帧操作，所述丢帧操作为将多余部分不进行帧处理以及渲染而直接释放，所述多余部分为在单位时间内从摄像头获取的视频图像帧与帧处理的视频图像帧相减后的视频图像帧。

6.一种提高实物展示流畅性的系统，其特征在于，其包括：

图像扫描单元，用于通过摄像头对实物进行图像扫描，获取所述实物的在前视频图像；

图像采集和存储单元，用于采集所述在前视频图像，并将所述在前视频图像以及采集该在前视频图像的时间存储到存储单元中；

帧处理单元，用于对图像采集和存储单元中存储到存储单元中的在前视频图像进行帧处理；

显示单元，用于将帧处理单元中帧处理完毕后的在前视频图像经过渲染后进行显示；

比较单元，在显示单元中，如果渲染该在前视频图像的时间小于一间隔时间，则继续执行帧处理单元和显示单元，反之，则执行图像再扫描单元；

图像再扫描单元，用于对实物进行再次图像扫描，获取所述实物的在后视频图像，并将该在后视频图像依次执行图像采集和存储单元、帧处理单元、显示单元和比较单元的操作，所述间隔时间为采集所述在后视频图像的时间与采集在前视频图像的时间之差。

7.根据权利要求6所述的提高实物展示流畅性的系统，其特征在于，所述图像扫描单元还包括音频信息采集单元，用于通过麦克风捕获音频信息，并将所述音频信息经图像采集和存储单元、帧处理单元和显示单元依次进行处理。

8.根据权利要求6所述的提高实物展示流畅性的系统，其特征在于，所述在前视频图像和再后视频图像均为1帧数据。

9.根据权利要求6所述的提高实物展示流畅性的系统，其特征在于，所述帧处理单元中，帧处理后执行挂起操作，所述间隔时间包括该挂起的时间。

10.根据权利要求6-9任一项所述的提高实物展示流畅性的系统，其特征在于，所述帧处理单元中，如果在单位时间内从摄像头获取的视频图像帧数大于帧处理的视频图像帧数，则执行丢帧操作，所述丢帧操作为将多余部分不进行帧处理以及渲染而直接释放，所述多余部分为在单位时间内从摄像头获取的视频图像帧与帧处理的视频图像帧相减后的视频图像帧。