CN107018399A - 图像数据传输方法及装置 - Google Patents

Abstract

本发明提供了一种图像数据传输方法及装置，方法包括：可将采集到的图像数据进行预处理以生成多份子图像信息，然后根据子图像信息的份数确定传输链路的数量并设置每条传输链路的权重，再通过确定数量的传输链路及其对应的权重对子图像信息进行传输。以此，可降低图像数据的传输时间，提升数据传输效率，进而提升后续步骤中的图像处理效率。

Description

图像数据传输方法及装置

技术领域

本发明涉及计算机领域，特别地，涉及一种图像数据传输方法及装置。

背景技术

随着计算机技术的发展，虚拟现实(VR，Augmented Reality)技术越来越多的应用到各行各业，以教育行业为例，由于传统教学过程中缺乏生动的教学环境、老师与学生之间的互动等因素，将虚拟现实技术应用于教学应运而生，以模拟出生动的英语环境并可让学生参与互动，可带给学生更好的学习体验。

在虚拟现实技术的应用过程中，通常可采用多个摄像头从多个角度采集现实环境中的图像(比如包括老师在讲课的图像)，然后将采集到的图像数据传送到图像处理装置或者服务器等，以在进行抠图、填充等处理后与预定的背景图像(比如某种英语环境)进行合成，当虚拟现实终端的佩戴用户进行观看时，则可看到上述人物与背景合成后的“人在画中”的效果。

但是，在实际使用过程中，由于图像是通过多个摄像头从多个方向采集，图像数据量较大，虽然现有方案可通过软件或硬件进行图像数据的压缩，但基于目前的网络能力，仍然需要较长的传输时间，进而影响了后续步骤中的图像数据处理效率，因此，在用户观看的画面往往存在时延现象，也会影响用户的使用体验。

发明内容

本发明提供了一种图像数据传输方法及装置，可降低图像数据的传输时间，提升数据传输效率，进而提升后续步骤中的图像数据处理效率。

为实现上述目的，本发明提出了一种图像数据传输方法，包括：

将采集到的图像数据进行预处理以生成多份子图像信息；

根据子图像信息的份数确定传输链路的数量并配置每条传输链路的权重；

通过确定数量的传输链路及其对应的权重对子图像信息进行传输。

可选的，将采集到的图像数据进行预处理以生成多份子图像信息，包括：

由预置三维扫描仪构建所述图像数据对应的三维模型并设定初始边界条件；

根据初始边界条件进行三维模型区域分解，以分解得到与预置的并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到每个进程；

以初始边界条件作为计算条件，若计算过程中初始边界条件发生改变，则重新对该子模型进行计算直至计算子结果为常数，则将每个进程输出的IP数据流均作为子图像信息。

可选的，根据子图像信息的份数确定传输链路的数量，包括：

根据子图像数据的份数分配同等数量的传输链路。

可选的，配置每条传输链路的权重，包括：

基于时间片轮转算法，以轮询的方式在每条传输链路中驻留预置时间；

根据每条传输链路的往返时延配置每条传输链路对应的权重。

可选的，所述预置时间为20ms。

相应的，本发明还提出了一种基于图像数据传输装置，包括：

预处理单元，用于将采集到的图像数据进行预处理以生成多份子图像信息；

传输链路确定单元，用于根据子图像信息的份数确定传输链路的数量并配置每条传输链路的权重；

传输单元，用于通过确定数量的传输链路及其对应的权重对子图像信息进行传输。

可选的，所述预处理单元，具体用于：

由预置三维扫描仪构建所述图像数据对应的三维模型并设定初始边界条件；

根据初始边界条件进行三维模型区域分解，以分解得到与预置的并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到每个进程；

以初始边界条件作为计算条件，若计算过程中初始边界条件发生改变，则重新对该子模型进行计算直至计算子结果为常数，则将每个进程输出的IP数据流均作为子图像信息。

可选的，所述传输链路确定单元，具体用于：

根据子图像数据的份数分配同等数量的传输链路。

可选的，所述传输链路确定单元，具体用于：

基于时间片轮转算法，以轮询的方式在每条传输链路中驻留预置时间；

根据每条传输链路的往返时延配置每条传输链路对应的权重。

可选的，所述预置时间为20ms。

本发明实施例提供了一种图像数据传输方法及装置，可将采集到的图像数据进行预处理以生成多份子图像信息，然后根据子图像信息的份数确定传输链路的数量并设置每条传输链路的权重，再通过确定数量的传输链路及其对应的权重对子图像信息进行传输。以此，一方面，可通过对图像数据进行预处理以生成子图像信息，可减少数据传输量，提高数据传输速度；且由于IP数据流的松耦合特性，在图像处理装置或服务器等接收后可进行自由组合，数据组装更为灵活，以进一步保证数据处理效率；另一方面，可配置多条传输链路及其对应的权重，在保证传输链路负载均衡的同时，可基于多条传输链路并行对图像数据进行传输，以提升数据传输效率，进而提升后续步骤中的图像处理效率。该方案可广泛应用于各种需要进行图像数据传输的领域中，尤其适用于虚拟现实技术的应用过程中，以将采集终端采集到的图像数据基于上述方式传输到图像处理装置或服务器等，以生成三维视频信息并发送至虚拟现实终端，以便虚拟现实终端进行显示(具体处理过程可参见本申请人提出的“基于虚拟现实技术的显示方法及系统”的专利申请)，也就是说，通过提高图像处理效率，进而降低用户观看图面时存在的时延现象，以提升用户使用虚拟现实设备的观看体验。

附图说明

图1是本发明实施例提供的图像数据传输方法流程图；

图2是本发明实施例提供的图像数据传输装置示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参看图1，该实施例提供了一种图像数据传输方法。

所述方法可以包括如下步骤：

S101,将采集到的图像数据进行预处理以生成多份子图像信息。

在具体实现时，该预处理过程可包括如下步骤：

步骤1，由预置三维扫描仪构建所述图像数据对应的三维模型并设定初始边界条件。

步骤2，根据初始边界条件进行三维模型区域分解，以分解得到与预置的并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到每个进程。

步骤3，以初始边界条件作为计算条件，若计算过程中初始边界条件发生改变，则重新对该子模型进行计算直至计算子结果为常数，则将每个进程输出的IP数据流均作为子图像信息。

在实际应用中，步骤3中的计算方式可进一步包括如下步骤：

S31，读入当前进程中对应的输入文件，利用并行特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统，其中并行特征曲线算法中公式为：

其中，K⁽ⁱ⁾为局部刚度矩阵，u⁽ⁱ⁾为局部未知变量，f⁽ⁱ⁾为已知的局部外力向量，R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

S32，对S31的局部未知变量u(i)区分表面自由度和内部自由度并整理，得到表面自由度方程如下:

其中，为当前小区域内部自由度，当前小区域表面和其他区域接界部分自由度，为当前小区域内部自由度对应的外力矢量；为当前小区域表面自由度对应的外力矢量；为矩阵进行初等行列变换后对应的分块矩阵；

S33，运用平衡预条件迭代算法对表面自由度方程进行求解，得到

S34，将代入(2)中的线性系统，采用直接法反解得到

S35，将计算结果u(i)输出到当前进程负责的输出文件中；

S36，如果边界条件发生改变，重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止，每完成一定时间步的计算，进行一次输出文件(即IP数据流)的读写操作，并将每作为子图像信息。

以此，可在后续步骤中将经过预处理的图像数据(也就是IP数据流)以多条传输链路并行发送至图像处理装置或服务器等，一方面，经过预处理后可减少数据传输量，以提高数据传输速度，另一方面，由于IP数据流的松耦合特性，在图像处理装置或服务器接收后可进行自由组合，数据组装更为灵活，以进一步保证数据处理效率。

S102,根据子图像信息的份数确定传输链路的数量并设置每条传输链路的权重。

在具体实现时，可根据子图像数据的份数分配同等数量的传输链路，以在充分利用当前网络传输能力的基础上，对子图像信息进行并行传输，以提高数据传输效率。

此外，还可设置每条传输链路的权重，在具体实现时，可基于时间片轮转算法，以轮询的方式在每条传输链路中驻留预置时间，该预置时间可根据实际需要进行设置，本实施例中可设置为20毫秒(ms)，比如每20ms为一个时间片。

然后，可根据每条传输链路的往返时延(RTT,Round-Trip Time)设置每条传输链路对应的权重，其中，传输链路中特征点数量、传输方向等因素的不同都可能会影响往返时延的大小。

在实际应用中，可记录在每条传输链路中请求发送的时间及接收到应答的时间，计算两个时间之差即可得到该条传输链路中动态变化的RTT，可根据该动态变化的RTT为每条传输链路设置权重，分配给每条传输链路的数据量可与该条传输链路上的RTT成反比，以使RTT越小的传输链路，其权重越大，RTT越大的传输链路，其权重越小，以合理分配调度图像数据(子图像信息)，保证多条传输链路之间的负载均衡。

S103,通过确定数量的传输链路及其对应的权重对子图像信息进行传输。

在确定好传输链路的传输参数(数量、权重等)后，则可基于多条传输链路对子图像信息进行传输，每传输完前一条预处理后的子图像信息后，随即发送最新采集并预处理后的子图像信息，直至将采集到的图像数据传输完毕。

本发明实施例提供了一种图像数据传输方法，可将采集到的图像数据进行预处理以生成多份子图像信息，然后根据子图像信息的份数确定传输链路的数量并设置每条传输链路的权重，再通过确定数量的传输链路及其对应的权重对子图像信息进行传输。以此，一方面，可通过对图像数据进行预处理以生成子图像信息，可减少数据传输量，提高数据传输速度；且由于IP数据流的松耦合特性，在图像处理装置或服务器等接收后可进行自由组合，数据组装更为灵活，以进一步保证数据处理效率；另一方面，可配置多条传输链路及其对应的权重，在保证传输链路负载均衡的同时，可基于多条传输链路并行对图像数据进行传输，以提升数据传输效率，进而提升后续步骤中的图像处理效率。该方案可广泛应用于各种需要进行图像数据传输的领域中，尤其适用于虚拟现实技术的应用过程中，以将采集终端采集到的图像数据基于上述方式传输到图像处理装置或服务器等，以生成三维视频信息并发送至虚拟现实终端，以便虚拟现实终端进行显示(具体处理过程可参见本申请人提出的“基于虚拟现实技术的显示方法及系统”的专利申请)，也就是说，通过提高图像处理效率，进而降低用户观看图面时存在的时延现象，以提升用户使用虚拟现实设备的观看体验。

与前述实施例中提供的图像数据传输方法相对应，本申请实施例还提供了一种图像数据传输装置。

参看图2所示，在本实施例中，所述图像数据传输装置，可以包括：

预处理单元21，可用于将采集到的图像数据进行预处理以生成多份子图像信息。

在具体实现时，所述预处理单元21，可具体用于：

由预置三维扫描仪构建所述图像数据对应的三维模型并设定初始边界条件；

根据初始边界条件进行三维模型区域分解，以分解得到与预置的并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到每个进程；

以初始边界条件作为计算条件，若计算过程中初始边界条件发生改变，则重新对该子模型进行计算直至计算子结果为常数，则将每个进程输出的IP数据流均作为子图像信息。

传输链路确定单元22，可用于根据子图像信息的份数确定传输链路的数量并设置每条传输链路的权重。

在具体实现时，所述传输链路确定单元22，可具体用于：

根据子图像数据的份数分配同等数量的传输链路。

在传输链路的数量确定之后，所述传输链路确定单元22，还可基于时间片轮转算法，以轮询的方式在每条传输链路中驻留预置时间，所述预置时间可根据实际需要进行设置，在本实施例中，比如可设置为20毫秒(ms)。

然后，根据每条传输链路的往返时延设置每条传输链路对应的权重。

传输单元23，可用于通过确定数量的传输链路及其对应的权重对子图像信息进行传输。

本发明实施例提供了一种图像数据传输装置，可将采集到的图像数据进行预处理以生成多份子图像信息，然后根据子图像信息的份数确定传输链路的数量并设置每条传输链路的权重，再通过确定数量的传输链路及其对应的权重对子图像信息进行传输。以此，一方面，可通过对图像数据进行预处理以生成子图像信息，可减少数据传输量，提高数据传输速度；且由于IP数据流的松耦合特性，在图像处理装置或服务器等接收后可进行自由组合，数据组装更为灵活，以进一步保证数据处理效率；另一方面，可配置多条传输链路及其对应的权重，在保证传输链路负载均衡的同时，可基于多条传输链路并行对图像数据进行传输，以提升数据传输效率，进而提升后续步骤中的图像处理效率。该方案可广泛应用于各种需要进行图像数据传输的领域中，尤其适用于虚拟现实技术的应用过程中，以将采集终端采集到的图像数据基于上述方式传输到图像处理装置或服务器等，以生成三维视频信息并发送至虚拟现实终端，以便虚拟现实终端进行显示(具体处理过程可参见本申请人提出的“基于虚拟现实技术的显示方法及系统”的专利申请)，也就是说，通过提高图像处理效率，进而降低用户观看图面时存在的时延现象，以提升用户使用虚拟现实设备的观看体验。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

以上对本发明实施例提供的图像数据传输方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像数据传输方法，其特征在于，包括：

将采集到的图像数据进行预处理以生成多份子图像信息；

根据子图像信息的份数确定传输链路的数量并配置每条传输链路的权重；

通过确定数量的传输链路及其对应的权重对子图像信息进行传输。

2.根据权利要求1所述的方法，其特征在于，将采集到的图像数据进行预处理以生成多份子图像信息，包括：

由预置三维扫描仪构建所述图像数据对应的三维模型并设定初始边界条件；

根据初始边界条件进行三维模型区域分解，以分解得到与预置的并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到每个进程；

以初始边界条件作为计算条件，若计算过程中初始边界条件发生改变，则重新对该子模型进行计算直至计算子结果为常数，则将每个进程输出的IP数据流均作为子图像信息。

3.根据权利要求1所述的方法，其特征在于，根据子图像信息的份数确定传输链路的数量，包括：

根据子图像数据的份数分配同等数量的传输链路。

4.根据权利要求1所述的方法，其特征在于，配置每条传输链路的权重，包括：

基于时间片轮转算法，以轮询的方式在每条传输链路中驻留预置时间；

根据每条传输链路的往返时延配置每条传输链路对应的权重。

5.根据权利要求4所述的方法，其特征在于，所述预置时间为20ms。

6.一种图像数据传输装置，其特征在于，包括：

预处理单元，用于将采集到的图像数据进行预处理以生成多份子图像信息；

传输链路确定单元，用于根据子图像信息的份数确定传输链路的数量并配置每条传输链路的权重；

传输单元，用于通过确定数量的传输链路及其对应的权重对子图像信息进行传输。

7.根据权利要求6所述的装置，其特征在于，所述预处理单元，具体用于：

由预置三维扫描仪构建所述图像数据对应的三维模型并设定初始边界条件；

根据初始边界条件进行三维模型区域分解，以分解得到与预置的并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到每个进程；

以初始边界条件作为计算条件，若计算过程中初始边界条件发生改变，则重新对该子模型进行计算直至计算子结果为常数，则将每个进程输出的IP数据流均作为子图像信息。

8.根据权利要求6所述的装置，其特征在于，所述传输链路确定单元，具体用于：

根据子图像数据的份数分配同等数量的传输链路。

9.根据权利要求6所述的装置，其特征在于，所述传输链路确定单元，具体用于：

基于时间片轮转算法，以轮询的方式在每条传输链路中驻留预置时间；

根据每条传输链路的往返时延配置每条传输链路对应的权重。

10.根据权利要求9所述的装置，其特征在于，所述预置时间为20ms。