CN103929627B - 基于Dptz的视频监控互动方法及装置 - Google Patents

Abstract

本发明提供了一种基于Dptz的视频监控互动方法及装置，通过设置三个缓存，第一个缓存用来存放原始全景视频，第二个缓存用来存放基于第一个缓存比例缩小后的全景视频，用于提供全景视频码流，第三个缓存用来存放基于第一个缓存比例缩小以及裁剪后的Dptz视频，用于提供Dptz视频码流，而后同时显示两种视频码流，即基于多视频源缓冲技术从而实现Dptz效果，从而解决了原有方法中Dptz操作不直观不方便的问题。

Description

基于Dptz的视频监控互动方法及装置

技术领域

本发明涉及视频监控领域，尤其是指一种基于Dptz的视频监控互动方法及装置。

背景技术

Dptz即虚拟ptz技术在近几年的摄像机方案中，随着高清甚至超清如4K分辨率视频的出现及随着监控视场范围的越来越大，也越来越多地应用于视频安防监控中。虽然Dptz还不能达到类似于云台、快球之类实际ptz监控产品的最大功能和灵活性，但由于Dptz省去了ptz产品的物理材质和维护成本，只需要在普通枪型摄像机上实现Dptz功能就可以达到和ptz产品类似的功能，这也成为Dptz技术的一大优势。

Dptz的技术原理是对摄像机采集到的每一帧全视场图像，基于一个缩放窗口进行平移、缩放等数字处理，最终得到一个类似于平移或缩放即ptz操作后的局部图像视场帧。Dptz既可以在前端摄像机中通过图像处理器来实现，也可以在后端客户端视频解码后，对解码后的数据帧通过软件处理来实现；考虑到在后端对全视场帧进行软件算法上的Dptz处理会带来两个问题：

1、必须传输原始全视场帧，才能做Dptz处理，但是若要保证全视场帧的清晰度，就要使用很高的带宽来接收原始全视场帧；

2、若不传输原始全视场帧，使用缩减后的全视场帧做Dptz操作即我们常说的电子放大，则会造成清晰度损耗，丢失一些细节。

目前已经有方案在摄像机前端利用图像处理模块的平移&缩放功能来实现Dptz功能，这样做的好处也正是前面后端dptz处理方案劣势的弥补，即一来可以减小码流传输所占带宽；二来可以在小屏上看全视场场景中任何一个局部的但一定倍数范围内像素无损伤的画面。

这个系统一般由UI控制客户端和网络超清摄像机两部分通过网络互联组成。其中UI控制客户端由Dptz控制转换模块和视频解码渲染模块组成；而网络超清摄像机又由嵌入式内核系统，码流传输模块，Dptz命令接收及执行模块等组成。当用户在UI控制客户端上进行Dptz操作时，UI控制客户端会比例映射计算出相应操作框在全视场下的偏移和大小，并发给网络摄像机；网络摄像机根据接收到的操作框的偏移坐标和宽高大小，通过图像处理器对相应视频流数据帧做平移和缩放操作，最终当前码流被转换为和操作框视场范围相符的视频内容，并发给控制客户端更新显示。

但是上述流程存在一个问题，那就是当用户在UI客户端上进行平移，缩放等Dptz操作时，操作后的画面只能在当前画面中显示，如果做太多Dptz操作，就很难知晓当前画面是全景画面中的哪一部分，以及缩放倍数处于哪一等级；此时若用户想直接把画面跳到全景画面中的另一部分，操作起来就很不方便，必须先通过调节缩放倍数把画面还原到全视场画面，然后再对想看的另外一部分区域进行Dptz操作，如此往复，非常不便。

发明内容

本发明所要解决的技术问题是：让用户无论如何操作都可以实时看到当前Dptz画面即全视场画面中的操作框区域处于全视场画面中的哪一部分，并可以在不还原到全视场画面的情况下通过操作框直接跳到画面的另外一个部分，同时可以由当前操作框的大小可以知晓当前Dptz画面的缩放倍数，使得整个Dptz操作变的更直观，更简单。

为了解决上述技术问题，本发明采用的技术方案为：一种基于Dptz的视频监控互动方法，它包括双画面输出流程，所述双画面输出流程包括步骤，

S1)、接收Dptz模式开启命令，进行相应视频源及编码流设置与绑定；

S2)、创建一个主视频缓存，将来自视频输入源的原始分辨率的全视场画面帧缓存到该主视频源缓存中；

S3)、创建全视场子视频源缓存及Dptz局部视场子视频源缓存；

S4)、对主视频源缓存中数据经视频分辨率缩减处理后缓存到全视场子视频源缓存；

对主视频源缓存中数据进行裁剪与视频分辨率缩减处理后缓存到Dptz局部视场子视频源缓存；

S5)、将全视场子视频源缓存和Dptz局部视场子视频源缓存中的数据编码形成编码流后输出。

本发明还涉及一种基于Dptz的视频监控互动装置，它包括双画面展示模块，所述双画面展示模块包括，

启动单元，用于接收Dptz模式开启命令，进行相应视频源及编码流设置与绑定后转到主缓存创建单元；

主缓存创建单元，用于创建一个主视频缓存，将来自视频输入源的原始分辨率的全视场画面帧缓存到该主视频源缓存中而后转到子缓存创建单元；

子缓存创建单元，用于创建全视场子视频源缓存及Dptz局部视场子视频源缓存而后转到视频缓存单元；

视频缓存单元，用于对主视频源缓存中数据经视频分辨率缩减处理后缓存到全视场子视频源缓存；对主视频源缓存中数据进行裁剪与视频分辨率缩减处理后缓存到Dptz局部视场子视频源缓存；而后转到输出单元；

输出单元，用于将全视场子视频源缓存和Dptz局部视场子视频源缓存中的数据编码形成编码流后输出。

本发明的有益效果在于：提供了一种多视频源缓冲技术(即multi-source-buffer技术)，从而使得视频输入源的原始图像可得以分成一个画面用来显示全景全视角画面的码流，本专利中称为全视场画面(又称小画面)；另外一个画面用来显示Dptz操作后全视场中的局部视场区域的画面(又称大画面)内容，本专利中称为Dptz画面的双画面显示。由此，在用户端通过此处送出的两种画面可以在无论如何操作都可以实时看到当前Dptz画面即全视场画面中的缩放框区域处于全视场画面中的哪一部分，同时可以由当前缩放框的大小可以知晓当前Dptz画面的缩放倍数，使得整个Dptz操作变的更直观，更简单。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的视频处理及关系框图；

图2为本发明的用户操作流程图；

图3为本发明的具体示例架构图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于:提供了一种多视频源缓冲技术(即multi-source-buffer技术)，从而使得视频输入源的原始图像可得以分成两个画面，一个画面用来显示全景全视角画面的码流，本专利中称为全视场画面(又称小画面)；另外一个画面用来显示Dptz操作后全视场中的局部视场区域的画面(又称大画面)内容，本专利中称为Dptz画面的双画面显示。由此，在用户端通过此处送出的两种画面可以在无论如何操作都可以实时看到当前Dptz画面即全视场画面中的缩放框区域处于全视场画面中的哪一部分，同时可以由当前缩放框的大小可以知晓当前Dptz画面的缩放倍数，使得整个Dptz操作变的更直观，更简单。

请参阅图1，一种基于Dptz的视频监控互动方法，它包括双画面输出流程，所述双画面输出流程包括步骤，

S1)、接收Dptz模式开启命令，进行相应视频源及编码流设置与绑定；

S2)、创建一个主视频缓存，将来自视频输入源的原始分辨率的全视场画面帧缓存到该主视频源缓存中；

S3)、创建全视场子视频源缓存及Dptz局部视场子视频源缓存；

S4)、对主视频源缓存中数据经视频分辨率缩减处理后缓存到全视场子视频源缓存；

对主视频源缓存中数据进行裁剪与视频分辨率缩减处理后缓存到Dptz局部视场子视频源缓存；

S5)、将全视场子视频源缓存和Dptz局部视场子视频源缓存中的数据编码形成编码流后输出；

从上述描述可知，相比传统的前端Dptz功能实现是直接基于视频输入源(vin)，通过添加缩放窗口(zoom window)，通过平移缩放数字处理，最终得到缩放窗口偏移及缩放后的编码源source buffer，编码器再基于该source buffer进行编码，并发送到客户端显示。本发明的有益效果在于：提供了一种基于多视频源缓冲技术(multi-source-buffer)从而实现Dptz效果的技术方案。简单的说即通过设置三个缓存(buffer)，第一个缓存(buffer)用来存放原始全景视频(该buffer不做它用)，第二个缓存(buffer)用来存放基于第一个缓存(buffer)比例缩小[scale down]后的全景视频，用于提供全景视频码流，第三个缓存(buffer)用来存放基于第一个缓存(buffer)比例缩小[scale down]以及裁剪[crop]后的Dptz视频，用于提供Dptz视频码流，而后同时显示两种视频码流，从而解决了原有方法中Dptz操作不直观不方便的问题。

实施例1：

上述双画面输出流程中步骤S4的视频分辨率缩减处理包括，对主视频源缓存的数据进行scale算法处理后缓存至全视场子视频源缓存中的步骤。

实施例2：

上述双画面输出流程中步骤S4的裁剪与视频分辨率缩减处理包括步骤，

S41)、接收操作框信息；

S42)、根据操作框信息及原始分辨率通过裁剪算法得到在原始分辨率坐标下操作框对应的输入窗口区域的位置及大小；

S43)、对输入窗口进行scale算法处理；

S44)、缓存至Dptz局部视场子视频源缓存。

实施例3：

如图2所示，上述中，它包括用户操作流程，所述用户操作流程包括，

SS1)、发送Dptz模式开启命令；

SS2)、接收对应Dptz局部视场子视频源缓存的编码流于大画面中显示，接收对应全视场子视频源缓存的编码流于小画面中显示；

SS3)、待用户在大画面或小画面中进行Dptz操作；

SS4)、判断该操作发生在大画面中或小画面中，若大画面则执行步骤SS5，小画面则执行步骤SS6；

SS5)、获取当前操作框在大画面中的位置信息与比例信息，而后转到步骤SS9；

SS6)、计算当前操作框在小画面中的位置信息与比例信息；

SS7)、获取前一次操作框的原始大小；

SS8)、计算出当前操作框在小画面中的位置信息，而后转到步骤SS9；

SS9)、将操作框的位置信息与比例信息作为操作框信息向外发送；

SS10)、根据编码流更新大画面显示，并对应更新操作框在小画面中的位置及大小，而后回到步骤SS3。

由此，在同时显示情况下还可使得用户既可以像传统单画面操作方式一样在Dptz画面中进行平移，缩放操作，也可以在全视场画面中拖动缩放框(zoom window)位置或滚轮改变缩放框大小，来实现Dptz画面的变化，并且无论如何操作都可以实时看到当前Dptz画面即全视场画面中的缩放框区域处于全视场画面中的哪一部分，同时可以由当前缩放框的大小可以知晓当前Dptz画面的缩放倍数，使得整个Dptz操作变的更直观，更简单。

实施例4：

所述双画面输出流程由前端网络摄像机实现。

本实施例中，将双画面输出流程放置于前端网络摄像机来实现，从而使得：

(1)由于采用的全景视频是缩减后的，所以可以节省传输带宽；

(2)由于Dptz是前端网络摄像机上做的，所以可以在小码流全景的情况下，保证Dptz视频不受小码流全景视频的影响，有自己独立的分辨率，保证了清晰度。

实施例5：

上述中，所述用户操作流程由客户端实现。

实施例6：

上述中，所述双画面输出流程的步骤S2中的视频输入源为4K超清非球形视场视频。

本实施例中，通过基于4K(即3840x2160分辨率)超清网络摄像机，从而使得获取的是常规非球形视场视频，相比例如基于一个球形或环形的360度全景摄像机获取的视频，根据透视投影原理并基于摄像机中视频视场的极坐标系来模拟Dptz实现的方法的技术而言，本专利的实现不需要做此类矫正处理。

以下就上述实施例提供一个具体实现示例：

参见图3

一、在4K网络摄像机上实现视频multi-source-buffer(多视频源缓冲)技术

1)、网络摄像机接受客户端传输过来的Dptz模式开启命令，对相关视频源及编码流重新设置和绑定；

2)、把vin输出的原始分辨率R_raw(一般大于5Mega pixel)全视场画面帧缓存到一个主source buffer中，该buffer一直不做它用，只作为另外两个子source buffer的数据源，这是因为若该buffer被改变，则另外两个子buffer也会随之受到影响；

3)、创建两个子source buffer，一个用来保存全视场画面缩减(scale down)处理后的低分辨率全视场视频源缓冲区，该缓冲区中的大小为R_Scale，一个用来保存做Dptz处理后的视频源缓冲区，该缓冲区的大小为R_Dptz。

4)、从主source buffer到全视场子source buffer的视频处理；缩减后的全视场视频源用来为客户端中的小屏提供全视场画面，所以该source buffer中的视频分辨率可以从主source buffer的原始分辨率中进行scale down处理，即采取scale算法进行分辨率缩减：

5)、R_Scale＝scale(R_raw，F_Scale)；

6)、从主source buffer到Dptz局部视场子source buffer的视频处理；

首先网络摄像机中的Dptz命令接收模块会随着用户在客户端的Dptz操作，源源不断地接收到客户端动态传输过来的缩放框在原始分辨率中的比例位置信息(F_offset-X，F_offset-y，F_size)，然后网络摄像机的Dptz执行模块就会根据该缩放框信息及R_raw，通过裁剪(crop)算法计算出缩放框即Dptz视场在原始分辨率坐标下的区域位置及大小，也就是输入窗口input window的位置和大小(相当于裁剪)，然后对该输入窗口也进行scale算法处理，最终得到R_Dptz即：

R_Dptz＝scale(crop(F_offset-X，F_offset-y，F_width，F_height，R_raw))；

7)、Dptz子source buffer数据被更新后，被送往编码器编码形成新的Dptz编码流，被送往控制客户端进行解码显示。该Dptz buffer更新过程由于并未改变sourcebuffer中分辨率的大小，所以并未影响编码，码流也一直会实时显示，不会中断。

二、在UI控制客户端上实现双画面设计

在UI控制客户端中的界面中，开启双画面Dptz模式后，UI界面由传统的单画面模式进入双画面模式；开启前单画面只显示超清全视场码流；开启后，客户端会显示出大屏+小屏双屏显示模式，小屏用来显示全视场画面码流，大屏用来显示Dptz画面码流。无论是在哪个画面中都可以做Dptz操作，且Dptz操作后的局部视场画面会实时地显示在大屏中，同时当前Dptz画面对应的缩放框在全视场画面的位置也清晰可见。

该技术的实施流程为：

1)、开启UI控制客户端上的Dptz功能，发送Dptz开启命令给网络摄像机；

2)、UI控制客户端进入Dptz的双画面即双屏模式(大屏+小屏)；

3)、用户在大屏或小屏上进行Dptz操作；

4)、客户端的Dptz控制转换模块获取用户在大屏或小屏上拖拽的Dptz缩放框信息，并根据当前屏幕上缩放框和当前屏幕尺寸的比例关系，确定出网络摄像机可以使用的相对于原始分辨率的缩放框比例系数，若画面屏幕的宽高分别为w_Screen，h_Screen，用户在屏幕上拖拽出的缩放框的宽高分别为w_zoom，h_zoom，则可以计算出原始缩放框与原始分辨率的比例系数为：

F_size＝Min(w_Screen/w_zoom，h_Screen/h_zoom)；取出缩放框比例的最小值发给网络摄像机；

(5)若在大屏上进行Dptz操作，相应的比例信息还要结合前一次缩放框的原始大小，确定缩放框在小屏中的显示位置，并更新显示；

(6)更新后的Dptz码流被实时解码显示，使用户看到Dptz操作后的画面。

本发明还涉及一种基于Dptz的视频监控互动装置，它包括双画面展示模块，所述双画面展示模块包括，

启动单元，用于接收Dptz模式开启命令，进行相应视频源及编码流设置与绑定后转到主缓存创建单元；

主缓存创建单元，用于创建一个主视频缓存，将来自视频输入源的原始分辨率的全视场画面帧缓存到该主视频源缓存中而后转到子缓存创建单元；

子缓存创建单元，用于创建全视场子视频源缓存及Dptz局部视场子视频源缓存而后转到视频缓存单元；

视频缓存单元，用于对主视频源缓存中数据经视频分辨率缩减处理后缓存到全视场子视频源缓存；对主视频源缓存中数据进行裁剪与视频分辨率缩减处理后缓存到Dptz局部视场子视频源缓存；而后转到输出单元；

输出单元，将全视场子视频源缓存和Dptz局部视场子视频源缓存中的数据编码形成编码流后输出。

实施例1：

上述中还包括用户操作模块，所述用户操作模块包括，

模式发送单元，用于发送Dptz模式开启命令而后转到显示单元；

显示单元，用于接收Dptz局部视场子视频源缓存的编码流于大画面中显示，接收对应全视场子视频源缓存的编码流于小画面中显示而后转到等待单元；

等待单元，用于待用户在大画面或小画面中进行Dptz操作而后转到判断单元；

判断单元，用于判断该操作发生在大画面中或小画面中，若大画面则转到大画面获取单元，小画面则转到小画面获取单元；

大画面获取单元，用于获取当前操作框在大画面中的位置信息与比例信息，而后转到信息输出单元；

小画面获取单元，用于计算当前操作框在小画面中的位置信息与比例信息而后转到前获取单元；

前获取单元，用于获取前一次操作框的原始大小而后转到计算单元；

计算单元，用于计算出当前操作框在小画面中的位置信息，而后转到信息输出单元；

信息输出单元，用于将操作框的位置信息与比例信息作为操作框信息向外发送而后转到更新单元；

更新单元，用于根据编码流更新大画面显示，并对应更新操作框在小画面中的位置及大小，而后回到等待单元。

实施例2：

上述双画面展示模块中步骤S4的视频分辨率缩减处理包括，对主视频源缓存的数据进行scale算法处理后缓存至全视场子视频源缓存中的步骤。

实施例3：

上述双画面输出流程中视频缓存单元的裁剪与视频分辨率缩减处理包括，

信息接收单元，用于接收操作框信息而后转到操作框获取单元；

操作框获取单元，用于根据操作框信息及原始分辨率通过裁剪算法得到在原始分辨率坐标下操作框对应的输入窗口区域的位置及大小而后钻到处理单元；

处理单元，用于对输入窗口进行scale算法处理而后转到子缓存单元；

子缓存单元，用于缓存至Dptz局部视场子视频源缓存。

实施例4：

所述双画面展示模块运行于前端网络摄像机。

实施例5：

上述中，所述用户操作模块运行于客户端。

实施例6：

上述中，所述双画面展示模块的主缓存创建单元中的视频输入源为4K超清非球形视场视频。

该装置的有益效果与方法相同，在此不做冗述。

综上所述，本发明提供的一种基于Dptz的视频监控互动方法及装置，与传统Dptz实现方式不同的是，本发明可在4K网络摄像机运用，通过采用灵活的视频multi-source-buffer技术和从而实现UI控制客户端的双画面设计，解决了上述Dptz操作不直观不方便的问题。在本发明中，当在UI控制客户端中开启Dptz模式后，系统自动进行双画面Dptz模式，其中一个画面用来显示全景全视角画面的码流，称之为全视场画面；另外一个画面用来显示Dptz操作后全视场中的局部视场区域的画面内容，称之为Dptz画面。用户既可以像传统单画面操作方式一样在Dptz画面中进行平移，缩放操作，也可以在全视场画面中拖动缩放框(zoom window)位置或滚轮改变缩放框大小，来实现Dptz画面的变化，并且无论如何操作都可以实时看到当前Dptz画面即全视场画面中的缩放框区域处于全视场画面中的哪一部分，同时可以由当前缩放框的大小可以知晓当前Dptz画面的缩放倍数，使得整个Dptz操作变的更直观，更简单。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于Dptz的视频监控互动方法，其特征在于：它包括双画面输出流程，所述双画面输出流程包括步骤，

S1)、接收Dptz模式开启命令，进行相应视频源及编码流设置与绑定；

S2)、创建一个主视频缓存，将来自视频输入源的原始分辨率的全视场画面帧缓存到该主视频源缓存中；

S3)、创建全视场子视频源缓存及Dptz局部视场子视频源缓存；

S4)、对主视频源缓存中数据经视频分辨率缩减处理后缓存到全视场子视频源缓存；

对主视频源缓存中数据进行裁剪与视频分辨率缩减处理后缓存到Dptz局部视场子视频源缓存；

S5)、将全视场子视频源缓存和Dptz局部视场子视频源缓存中的数据编码形成编码流后输出。

2.如权利要求1所述的基于Dptz的视频监控互动方法，其特征在于：所述双画面输出流程中步骤S4的视频分辨率缩减处理包括，对主视频源缓存的数据进行scale算法处理后缓存至全视场子视频源缓存中的步骤。

3.如权利要求1所述的基于Dptz的视频监控互动方法，其特征在于：所述双画面输出流程中步骤S4的裁剪与视频分辨率缩减处理包括步骤，

S41)、接收操作框信息；

S42)、根据操作框信息及原始分辨率通过裁剪算法得到在原始分辨率坐标下操作框对应的输入窗口区域的位置及大小；

S43)、对输入窗口进行scale算法处理；

S44)、缓存至Dptz局部视场子视频源缓存。

4.如权利要求1所述的基于Dptz的视频监控互动方法，其特征在于：它包括用户操作流程，所述用户操作流程包括，

SS1)、发送Dptz模式开启命令；

SS2)、接收Dptz局部视场子视频源缓存的编码流于大画面中显示，接收对应全视场子视频源缓存的编码流于小画面中显示；

SS3)、待用户在大画面或小画面中进行Dptz操作；

SS4)、判断该操作发生在大画面中或小画面中，若大画面则执行步骤SS5，小画面则执行步骤SS6；

SS5)、获取当前操作框在大画面中的位置信息与比例信息，而后转到步骤SS9；

SS6)、计算当前操作框在小画面中的位置信息与比例信息；

SS7)、获取前一次操作框的原始大小；

SS8)、计算出当前操作框在小画面中的位置信息，而后转到步骤SS9；

SS9)、将操作框的位置信息与比例信息作为操作框信息向外发送；

SS10)、根据编码流更新大画面显示，并对应更新操作框在小画面中的位置及大小，而后回到步骤SS3。

5.如权利要求1所述的基于Dptz的视频监控互动方法，其特征在于：所述双画面输出流程由前端网络摄像机实现。

6.如权利要求4所述的基于Dptz的视频监控互动方法，其特征在于：所述用户操作流程由客户端实现。

7.如权利要求4所述的基于Dptz的视频监控互动方法，其特征在于：所述双画面输出流程的步骤S2中的视频输入源为4K超清非球形视场视频。

8.一种基于Dptz的视频监控互动装置，其特征在于：它包括双画面展示模块，所述双画面展示模块包括，

启动单元，用于接收Dptz模式开启命令，进行相应视频源及编码流设置与绑定后转到主缓存创建单元；

主缓存创建单元，用于创建一个主视频缓存，将来自视频输入源的原始分辨率的全视场画面帧缓存到该主视频源缓存中而后转到子缓存创建单元；

子缓存创建单元，用于创建全视场子视频源缓存及Dptz局部视场子视频源缓存而后转到视频缓存单元；

视频缓存单元，用于对主视频源缓存中数据经视频分辨率缩减处理后缓存到全视场子视频源缓存；对主视频源缓存中数据进行裁剪与视频分辨率缩减处理后缓存到Dptz局部视场子视频源缓存；而后转到输出单元；

输出单元，将全视场子视频源缓存和Dptz局部视场子视频源缓存中的数据编码形成编码流后输出。

9.如权利要求8所述的基于Dptz的视频监控互动装置，其特征在于：它包括用户操作模块，所述用户操作模块包括，

模式发送单元，用于发送Dptz模式开启命令而后转到显示单元；

显示单元，用于接收对应Dptz局部视场子视频源缓存的编码流于大画面中显示，接收对应全视场子视频源缓存的编码流于小画面中显示而后转到等待单元；

等待单元，用于待用户在大画面或小画面中进行Dptz操作而后转到判断单元；

判断单元，用于判断该操作发生在大画面中或小画面中，若大画面则转到大画面获取单元，小画面则转到小画面获取单元；

大画面获取单元，用于获取当前操作框在大画面中的位置信息与比例信息，而后转到信息输出单元；

小画面获取单元，用于计算当前操作框在小画面中的位置信息与比例信息而后转到前获取单元；

前获取单元，用于获取前一次操作框的原始大小而后转到计算单元；

计算单元，用于计算出当前操作框在小画面中的位置信息，而后转到信息输出单元；

信息输出单元，用于将操作框的位置信息与比例信息作为操作框信息向外发送而后转到更新单元；

更新单元，用于根据编码流更新大画面显示，并对应更新操作框在小画面中的位置及大小，而后回到等待单元。