CN112383765A - 一种vr图像传输方法及装置 - Google Patents

一种vr图像传输方法及装置 Download PDF

Info

Publication number
CN112383765A
CN112383765A CN202011249829.7A CN202011249829A CN112383765A CN 112383765 A CN112383765 A CN 112383765A CN 202011249829 A CN202011249829 A CN 202011249829A CN 112383765 A CN112383765 A CN 112383765A
Authority
CN
China
Prior art keywords
image data
image
eye image
module
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011249829.7A
Other languages
English (en)
Other versions
CN112383765B (zh
Inventor
杨李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Information System Integration Co ltd
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
China Mobile System Integration Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
China Mobile System Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Xiongan ICT Co Ltd, China Mobile System Integration Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011249829.7A priority Critical patent/CN112383765B/zh
Publication of CN112383765A publication Critical patent/CN112383765A/zh
Application granted granted Critical
Publication of CN112383765B publication Critical patent/CN112383765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例提供了一种VR图像传输方法及装置。该方法包括：获取第一VR图像数据，其中，所述第一VR图像数据是将左眼图像数据或右眼图像数据进行分段后的图像数据；压缩所述第一VR图像数据；向接收端发送所述第一VR图像数据，以用于所述接收端解压所述第一VR图像数据，并基于生成模型映射得到第二VR图像数据，所述第二VR图像数据为右眼图像数据或者左眼图像数据。根据本发明实施例的方法能够提高VR图像的压缩效率，并降低VR图像的传输成本。

Description

一种VR图像传输方法及装置
技术领域
本发明属于图像传输领域，尤其涉及一种虚拟现实(Virtual Reality，VR)图像传输方法和装置。
背景技术
随着科技发展，VR技术在各行业的应用越来越广泛，VR图像的传输是使用VR技术时难以回避的问题。
目前，VR图像数据量较大，在传输VR图像时为减少数据传输成本，一般将VR图像通过压缩后再传输，然后在接收端对图像解压，人们便可以在接收端观看VR图像。
由于VR图像数据量大，造成压缩效率较低，传输成本高。
发明内容
本发明实施例提供一种VR图像传输方法及装置，能够提高VR图像的压缩效率，并降低VR图像的传输成本。
第一方面，提供了一种VR图像传输方法，该方法包括：
获取第一VR图像数据，其中，第一VR图像数据是将左眼图像数据或右眼图像数据进行分段后的图像数据；
压缩第一VR图像数据；
向接收端发送第一VR图像数据，以用于接收端解压第一VR图像数据，并基于生成模型映射得到第二VR图像数据，第二VR图像数据为右眼图像数据或者左眼图像数据。
在一种可能的实现方式中，获取第一VR图像数据，包括：
获取第三VR图像数据，第三VR图像数据为左眼图像数据或右眼图像数据；
根据图像风格迁移模型和第三VR图像数据生成第一VR图像数据，其中，第一VR图像数据是经过风格迁移后的左眼图像数据或右眼图像数据。
在一种可能的实现方式中，根据图像风格迁移模型和第三VR图像数据生成所述第一VR图像数据后，该方法还包括：
通过像素的线性变换对第三VR图像数据和第一VR图像数据进行直方图匹配。
在一种可能的实现方式中，在根据图像风格迁移模型和第三VR图像数据生成第一VR图像数据之前，该方法还包括：
根据目标风格图像数据和第三VR图像数据训练图像风格迁移模型，其中，图像风格迁移模型为生成对抗神经网络。
第二方面，提供了一种VR图像传输方法，该方法包括：
接收发送端发送的第一VR图像数据，其中，第一VR图像数据是发送端将左眼图像数据或右眼图像数据进行分段并压缩后的图像数据；
解压第一VR图像数据；
根据第一VR图像数据和生成模型映射得到第二VR图像数据，其中，第二VR图像数据是右眼图像数据或左眼图像数据。
在一种可能的实现方式中，在根据第一VR图像数据和生成模型生成第二VR图像数据之前，该方法还包括：
根据第一VR图像数据和第二VR图像数据训练生成模型。
第三方面，提供了一种VR图像传输装置，该装置包括：
分段模块，用于将第一VR图像数据分段，其中第一VR图像数据是左眼图像数据或右眼图像数据；
获取模块，用于获取分段后的所述第一VR图像数据；
压缩模块，用于压缩分段后的第一VR图像数据；
发送模块，用于向接收模块发送第一VR图像数据，以用于接收模块解压第一VR图像数据，并基于生成模型映射得到第二VR图像数据，第二VR图像数据为右眼图像数据或者左眼图像数据。
在一种可能的实现方式中，装置还包括：
风格迁移模块，用于根据图像风格迁移模型和第三VR图像数据生成第一VR图像数据，其中，第一VR图像数据是经过风格迁移后的左眼图像数据或右眼图像数据，第三VR图像数据为左眼图像数据或右眼图像数据；
匹配模块，用于通过像素的线性变换对第一VR图像数据和第三VR图像数据进行直方图匹配。
第四方面，提供了一种VR图像传输装置，该装置包括：
接收模块，用于接收发送模块发送的第一VR图像数据，第一VR图像数据是发送模块将左眼图像数据或右眼图像数据进行分段并压缩后的图像数据；
解压模块，用于解压第一VR图像数据；
生成模块，用于根据第一VR图像数据和生成模型生成第二VR图像数据，其中，第二VR图像数据是右眼图像数据或左眼图像数据
第五方面，提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面或者第二方面的任一可能实现方式中的方法。
第六方面，提供了一种计算机存储介质，该计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或者第二方面的任一可能实现方式中的方法。
基于本发明实施例提供的VR图像传输方法、装置、设备及存储介质，通过将VR图像的左眼或右眼图像在发送端分段、压缩并传输，在接收端接收并解压左眼或右眼图像，然后在接收端根据左眼或右眼图像利用生成模型映射得到右眼图像或左眼图像，通过减少需要传输的VR图像数据量，提高了VR图像的压缩效率，同时降低了VR图像的传输成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种VR图像传输方法的流程示意图；
图2是本发明实施例提供的一种VR图像传输装置的结构示意图；
图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着科技发展，VR技术在各行业的应用越来越广泛，VR图像的传输是使用VR技术时难以回避的问题。
目前，VR图像数据量较大，在传输VR图像时为减少数据传输成本，一般将VR图像的左眼图像和右眼图像通过压缩后再传输，然后在接收端对图像解压，人们便可以在接收端观看VR图像。
由于VR图像数据量大，造成压缩效率较低，传输成本高。
因此，本发明实施例提供了一种VR图像传输方法、装置、设备及存储介质，发送端向接收端发送左眼图像数据或右眼图像数据，接收端根据生成模型和左眼图像数据或右眼图像数据，映射得到右眼图像数据或左眼图像数据，能够提高VR图像的压缩效率，并降低VR图像的传输成本。
为了使得本发明描述更容易理解，下面先对本发明实施例中的名词进行解释。
VR图像是基于全景图像真实场景下的虚拟现实技术，它通过计算机技术实现全方位互动式观看真实场景的还原展示。
VR图像有三个特点：第一，VR图像是三维(3Dimensions，3D)全景图像，VR全景图像是通过将拍下来的平面图片放到一个仿真的3D的环境中生成；第二，数据量大，为了记录全景视角，VR图像往往是由多个镜头使用全景技术合成，因此VR图像包含的数据信息量较大；第三，VR图像的左眼和右眼图像分辨率相同，所以左眼和右眼看到的图像内容高度相似。
图1示出了本发明一个实施例提供的一种VR图像传输方法的流程图。如图1所示，VR图像的传输包括以下步骤：
110，获取第一VR图像数据。
在一个示例中，发送端可以是电脑、手机或平板等。
发送端获取第一VR图像数据，第一VR图像数据可以是将左眼图像数据或右眼图像数据进行分段后的图像数据。
发送端可以从分段后的VR图像数据中提取出左眼图像数据或右眼图像数据，由于VR图像数据量大，在处理VR图像前将其分段，可以提高后续对VR图像的提取、压缩和传输效率，降低成本。
120，压缩所述第一VR图像数据。
发送端将接受到的第一VR图像数据进行压缩，以减少后面传输第一VR图像数据时的数据量。同时，因为仅需压缩左眼图像数据或右眼图像数据，提高了压缩效率。
对第一VR图像数据的压缩方法可以是通过联合图像专家小组(JointPhotographic Experts Grou，JPEG)进行压缩，也可以是联合图像专家小组2000(JointPhotographic Experts Group，JPEG2000)、可移植网络图形格式(Portable NetworkGraphic Format，PNG)或图像互换格式(Graphics Interchange Format，GIF)进行压缩。
对第一VR图像进行压缩后再传输，可以减少图像传输时的数据量，减少传输成本。
130，向接收端发送所述第一VR图像数据。
发送端向接收端发送第一VR图像数据。
在一个示例中，接收端可以是VR头盔、VR眼镜等。在一个示例中，电脑向VR头盔发送左眼图像数据或右眼图像数据。
因为仅需传输左眼图像数据或右眼图像数据，提高了图像数据传输效率，并减少了传输成本。
140，接收发送端发送的所述第一VR图像数据。
在一个示例中，VR头盔接收电脑发送的左眼图像数据或右眼图像数据。
150，解压所述第一VR图像数据。
接收端对第一VR图像数据进行解压，对第一VR图像数据的解压方法可以是JPEG、JPEG2000、PNG或GIF。
160，根据所述第一VR图像数据和生成模型映射得到第二VR图像数据。
第二VR图像数据是右眼图像数据或左眼图像数据，生成模型是可以根据左眼图像数据映射得到右眼图像数据的模型，也可以是根据右眼图像数据映射得到左眼图像数据的模型。
在一个示例中，VR头盔或VR眼镜接收到电脑发送的左眼图像数据或右眼图像数据后，对左眼图像数据或右眼图像数据进行解压，根据左眼图像数据或右眼图像数据和生成模型映射得到右眼图像数据或左眼图像数据，用户可以在VR头盔或VR眼镜收看到左眼图像数据和右眼图像数据，也就是完整的VR图像。
本发明实施例可以在发送端仅对VR图像的左眼图像数据或右眼图像数据进行压缩并发送给接收端，经传输，在接收端接收VR图像的左眼图像数据或右眼图像数据，并在接收端根据左眼图像数据和生成模型映射得到右眼图像数据，或者在接收端根据右眼图像数据和生成模型映射得到左眼图像数据。
本发明实施例的压缩和传输的数据量比现有的VR图像传输方法的压缩和传输数据量减少一半，能够提高VR图像的压缩效率，并降低VR图像的传输成本。
本发明提供的一个实施例中，发送端将一张VR图像数据进行分段，并分别提取左眼图像和右眼图像。在一个示例中，分段采用的方法为整行分段的方法，即当图像的数据矩阵为m*n时，其中m为图像的高，n为图像的宽，设定分段图像的高为h，则将图像数据的每h行分为一段。此时，每个分段图像的高为h，宽为n。根据VR设备图像处理能力、时延要求等条件的变化，图像高度h也可以根据需求改变。
在本发明提供的一个实施例中，生成模型经过下面的训练过程得到：
将多张VR图像数据作为训练集，从每张VR图像中提取左眼图像数据和右眼图像数据，VR图像的左眼图像数据和右眼图像数据相似度较高。将训练集中的每张左眼图像数据和与其对应的右眼图像数据依次成对地输入到生成模型中，训练生成模型由左眼图像数据生成右眼图像数据。或者，将训练集中的每张右眼图像数据和与其对应的左眼图像数据依次成对地输入到生成模型中，训练生成模型由右眼图像数据生成左眼图像数据。
设置生成模型的初始网络参数，在一个示例中，初始网络参数具体设置为：将卷积层的卷积核的大小均设置为5×5，步长均设置为2，边沿填充方式均设置为SAME，将归一化层的均值都设置为0，方差均设置为1。
利用随机梯度下降算法，更新生成模型的网络参数，所述的随机梯度下降算法的计算公式如下：
θv+1＝θv-L′(θV)
其中，θV+1表示第v+1次更新后的网络参数，θV表示第v次更新后的网络参数，L表示损失值，L′表示对损失值求偏导操作，L′(θV)表示损失值L(θ)在网络参数为θv时的偏导值。
经上述方法得到训练好的生成模型，可以在接收端接收VR图像的左眼图像数据或右眼图像数据，并在接收端根据左眼图像数据和生成模型映射得到右眼图像数据，或者在接收端根据右眼图像数据和生成模型映射得到左眼图像数据。
上面阐述了一种VR图像传输方法，下面阐述另一种VR图像传输方法。
本发明提供的一个实施例中，获取第一VR图像数据，包括以下步骤：
获取第三VR图像数据，第三VR图像数据为左眼图像数据或右眼图像数据。
根据图像风格迁移模型和第三VR图像数据生成第一VR图像数据，其中，第一VR图像数据是经过风格迁移后的左眼图像数据或右眼图像数据。
图像风格迁移是指根据用户想要的目标风格，把现有图像经过风格转换为目标风格图像。
VR图像风格迁移是将VR图像根据想要的目标风格，经过风格转换得到目标风格图像。在某些场景中，用户对图像风格有需求，因此需要将图像风格转换为用户所需的风格。
根据目标风格图像数据和第三VR图像数据训练图像风格迁移模型，其中，目标风格图像数据是用户想看到的图像风格的数据，图像风格迁移模型为生成对抗神经网络，通过风格迁移模型将第三VR图像数据转换为具有目标风格的第一VR图像数据。
生成模型根据目标风格的第一VR图像数据映射得到的第二VR图像数据，同样是具有目标风格的图像数据。
本发明实施例可以将VR图像转换成具有用户想要的风格的图像，满足用户对VR图像风格的需求。
在本发明的一个实施例中，风格迁移模型可以是基于循环生成对抗网络(CycleGenerative Adversarial Networks，CycleGAN)，包括若干个生成器和鉴别器。生成器为一个卷积神经网络，它可以将一张图像从某一风格转化为另一个风格。鉴别器为一个卷积神经网络，它可以判断某一张图像是否为目标风格的图像。
风格迁移模型经过下面的训练过程得到：
将多张第三VR图像数据作为训练集。
生成器首先利用卷积神经网络从输入的第三VR图像中提取特征，将图像压缩成预设数量的特征向量；然后将第三VR图像转换为具有目标风格的图像，同时保留第三VR图像特征；最后，利用反卷积层完成从特征向量中还原出低级特征的工作，最后得到第一VR图像。
鉴别器将一张图像作为输入，并判断其为第三VR图像或是第一VR图像。
在一个示例中，在训练过程中，第三VR图像数据集被分为若干个大小为50张图像的小批次。每次计算一个小批次内所有样本的损失函数的梯度的平均值，然后将损失函数向负梯度的方向变化，并将变化通过反相传播算法将误差(梯度)向前传播。这部分的目标包括两部分：用来将生成样本图片匹配到目标域分布的对抗损失；用来防止映射和映射互相冲突的循环一致性损失。
本发明实施例训练得到的风格迁移模型，可以对VR图像进行风格迁移，得到目标风格的VR图像，满足用户对图像风格的需求。
在本发明提供的一个实施例中，通过像素的线性变换对第三VR图像数据和第一VR图像数据进行直方图匹配。
VR图像经过风格迁移后，输出的第三VR图像的颜色分布可能会偏离第一VR图像的分布，而与目标风格图像色彩分布更为接近，失去了原来色彩丰富、对比明显的特点，影响了美感。通过像素的线性变换对第三VR图像数据和第一VR图像数据进行直方图匹配，线性变换的方法考虑了各个颜色通道之前的变换关系，避免所得风格迁移图像空间扭曲，使第一VR图像保留第三VR图像的色彩分布。
基于图1对应实施例提供的VR图像传输方法，本发明实施例还提供了一种VR图像传输装置，如图2所示。
图2是本发明实施例提供的一种VR图像传输装置的结构示意图。
如图2所示，该VR图像传输装置可以包括分段模块210，获取模块220，压缩模块230，发送模块240，接收模块250，解压模块260，生成模块270。
分段模块210，用于将第一VR图像数据分段，其中第一VR图像数据是左眼图像数据或右眼图像数据；
VR图像数据量大，处理VR图像前进行分段加快图像处理效率。
获取模块220，用于用于获取分段后的所述第一VR图像数据；
压缩模块230，用于压缩分段后的第一VR图像数据；
将第一VR图像数据进行压缩，可以减少图像传输时的数据量。
发送模块240，用于向接收模块250发送第一VR图像数据，以用于接收模块240解压第一VR图像数据并基于生成模型映射得到第二VR图像数据，第二VR图像数据为右眼图像数据或者左眼图像数据；
接收模块250，用于接收发送模块发送的第一VR图像数据；
解压模块260，用于解压第一VR图像数据；
解压后的第一VR图像用于生成第二VR图像。
生成模块270，用于根据第一VR图像数据和生成模型生成第二VR图像数据。
生成模型是可以根据左眼图像数据映射得到右眼图像数据的模型，也可以是根据右眼图像数据映射得到左眼图像数据的模型。根据第一VR图像数据和生成模型生成第二VR图像数据后，便得到完整的VR图像数据。
本发明实施例提供的装置可以仅对VR图像的左眼图像数据或右眼图像数据进行分段、压缩并发送给接收模块，经传输，接收模块接收VR图像的左眼图像数据或右眼图像数据，并经过解压模块解压后，并在生成模块根据左眼图像数据和生成模型映射得到右眼图像数据，或者在生成模块根据右眼图像数据和生成模型映射得到左眼图像数据。
本发明实施例的压缩和传输的数据量比现有的VR图像传输方法的压缩和传输数据量减少一半，能够提高VR图像的压缩效率，并降低VR图像的传输成本。
在本发明提供的一个实施例中，如图2所示，VR图像传输装置还可以包括风格迁移模块280和匹配模块290。
风格迁移模块280，用于根据图像风格迁移模型和第三VR图像数据生成第一VR图像数据，其中，第一VR图像数据是经过风格迁移后的左眼图像数据或右眼图像数据，第三VR图像数据为左眼图像数据或右眼图像数据；
通过风格迁移模型将第三VR图像数据转换为具有目标风格的第一VR图像数据。生成模型根据目标风格的第一VR图像数据映射得到的第二VR图像数据，同样是具有目标风格的图像数据。
本发明实施例训练得到的风格迁移模型，可以对VR图像进行风格迁移，得到目标风格的VR图像，满足用户对图像风格的需求。
匹配模块290，用于通过像素的线性变换对第一VR图像数据和第三VR图像数据进行直方图匹配。
VR图像经过风格迁移后，输出的第三VR图像的颜色分布可能会偏离第一VR图像的分布，而与目标风格图像色彩分布更为接近，失去了原来色彩丰富、对比明显的特点，影响了美感。通过像素的线性变换对第三VR图像数据和第一VR图像数据进行直方图匹配，线性变换的方法考虑了各个颜色通道之前的变换关系，避免所得风格迁移图像空间扭曲，使第一VR图像保留第三VR图像的色彩分布。
本发明实施例可以将左眼VR图像数据或右眼VR图像数据，转换为具有目标图像风格的右眼VR图像数据或左眼VR图像数据，保留原图像色彩丰富、对比明显的特点，同时避免所得风格迁移图像空间扭曲。
本发明实施例提供的VR图像传输装置，分段模块用于将第一VR图像数据分段，其中第一VR图像数据是左眼图像数据或右眼图像数据；获取模块，用于获取分段后的第一VR图像数据；压缩模块，用于压缩分段后的第一VR图像数据；发送模块，用于向接收模块发送第一VR图像数据，以用于接收模块解压第一VR图像数据，并基于生成模型映射得到第二VR图像数据，第二VR图像数据为右眼图像数据或者左眼图像数据；接收模块，用于接收发送模块发送的第一VR图像数据；解压模块，用于解压第一VR图像数据；生成模块，用于根据第一VR图像数据和生成模型生成第二VR图像数据，其中，第二VR图像数据是右眼图像数据或左眼图像数据。
VR图像传输过程仅需传输VR图像的左眼图像数据或右眼图像数据，通过减少需要传输的VR图像数据量，提高了VR图像的压缩效率，同时降低了VR图像的传输成本。
本发明实施例提供的VR图像传输装置执行图1所示的方法中的各个步骤，并能够减少需要传输的VR图像数据量，提高了VR图像的压缩效率，同时降低了VR图像的传输成本。
图3示出了本发明实施例提供的一种电子设备的硬件结构示意图。
在电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(Read Only Memory，ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现图1所示实施例中的任意一种VR图像传输方法。
在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图3所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该电子设备可以执行本发明实施例中的VR图像传输方法，从而实现结合图1描述的VR图像传输方法和图2描述的VR图像传输装置。
本发明实施例提供的VR图像传输的设备，可以通过压缩和传输VR图像的左眼图像数据或右眼图像数据，根据左眼图像数据或右眼图像数据，和生成模型生成右眼图像数据或左眼图像数据，减少需要压缩和传输的VR图像数据量，提高压缩效率，同时降低传输成本。
另外，结合上述实施例中的VR图像传输方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种VR图像传输。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实VR图像传输方法，其特征在于，包括：
获取第一VR图像数据，其中，所述第一VR图像数据是将左眼图像数据或右眼图像数据进行分段后的图像数据；
压缩所述第一VR图像数据；
向接收端发送所述第一VR图像数据，以用于所述接收端解压所述第一VR图像数据，并基于生成模型映射得到第二VR图像数据，所述第二VR图像数据为右眼图像数据或者左眼图像数据。
2.根据权利要求1所述的VR图像传输方法，其特征在于，所述获取第一VR图像数据，包括：
获取第三VR图像数据，所述第三VR图像数据为左眼图像数据或右眼图像数据；
根据图像风格迁移模型和所述第三VR图像数据生成所述第一VR图像数据，其中，所述第一VR图像数据是经过风格迁移后的左眼图像数据或右眼图像数据。
3.根据权利要求2所述的VR图像传输方法，其特征在于，所述根据图像风格迁移模型和所述第三VR图像数据生成所述第一VR图像数据后，所述方法还包括：
通过像素的线性变换对所述第三VR图像数据和所述第一VR图像数据进行直方图匹配。
4.根据权利要求2所述的VR图像传输方法，其特征在于，在所述根据图像风格迁移模型和所述第三VR图像数据生成所述第一VR图像数据之前，所述方法还包括：
根据目标风格图像数据和所述第三VR图像数据训练所述图像风格迁移模型，其中，所述图像风格迁移模型为生成对抗神经网络。
5.一种VR图像传输方法，其特征在于，包括：
接收发送端发送的第一VR图像数据，其中，所述第一VR图像数据是所述发送端将左眼图像数据或右眼图像数据进行分段并压缩后的图像数据；
解压所述第一VR图像数据；
根据所述第一VR图像数据和生成模型映射得到第二VR图像数据，其中，所述第二VR图像数据是右眼图像数据或左眼图像数据。
6.根据权利要求5所述的VR图像传输方法，其特征在于，在所述根据所述第一VR图像数据和生成模型生成第二VR图像数据之前，所述方法还包括：
根据所述第一VR图像数据和所述第二VR图像数据训练所述生成模型。
7.一种VR图像传输装置，其特征在于，所述装置包括：
分段模块，用于将第一VR图像数据分段，其中所述第一VR图像数据是左眼图像数据或右眼图像数据；
获取模块，用于获取分段后的所述第一VR图像数据；
压缩模块，用于压缩分段后的所述第一VR图像数据；
发送模块，用于向接收模块发送所述第一VR图像数据，以用于所述接收模块解压所述第一VR图像数据，并基于生成模型映射得到第二VR图像数据，所述第二VR图像数据为右眼图像数据或者左眼图像数据。
8.根据权利要求7所述的VR图像传输装置，其特征在于，所述装置还包括：
风格迁移模块，用于根据图像风格迁移模型和第三VR图像数据生成第一VR图像数据，其中，所述第一VR图像数据是经过风格迁移后的左眼图像数据或右眼图像数据，所述第三VR图像数据为左眼图像数据或右眼图像数据；
匹配模块，用于通过像素的线性变换对所述第一VR图像数据和所述第三VR图像数据进行直方图匹配。
9.一种VR图像传输装置，其特征在于，所述装置包括：
接收模块，用于接收发送模块发送的第一VR图像数据，所述第一VR图像数据是所述发送模块将左眼图像数据或右眼图像数据进行分段并压缩后的图像数据；
解压模块，用于解压所述第一VR图像数据；
生成模块，用于根据所述第一VR图像数据和生成模型生成第二VR图像数据，其中，所述第二VR图像数据是右眼图像数据或左眼图像数据。
10.一种VR图像传输设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1至6任意一项所述的VR图像传输方法。
CN202011249829.7A 2020-11-10 2020-11-10 一种vr图像传输方法及装置 Active CN112383765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011249829.7A CN112383765B (zh) 2020-11-10 2020-11-10 一种vr图像传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011249829.7A CN112383765B (zh) 2020-11-10 2020-11-10 一种vr图像传输方法及装置

Publications (2)

Publication Number Publication Date
CN112383765A true CN112383765A (zh) 2021-02-19
CN112383765B CN112383765B (zh) 2023-04-07

Family

ID=74578841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011249829.7A Active CN112383765B (zh) 2020-11-10 2020-11-10 一种vr图像传输方法及装置

Country Status (1)

Country Link
CN (1) CN112383765B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646095A (zh) * 2008-08-06 2010-02-10 索尼株式会社 图像处理装置、图像处理方法及程序
CN102300105A (zh) * 2010-06-25 2011-12-28 深圳Tcl新技术有限公司 一种将2d内容转换成3d内容的方法
CN102342120A (zh) * 2009-09-28 2012-02-01 松下电器产业株式会社 三维图像处理装置及其控制方法
CN102710948A (zh) * 2011-03-28 2012-10-03 三星电子株式会社 处理三维图像数据的方法和执行该方法的显示装置
CN102780894A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种3d图像的编解码方法
CN107396082A (zh) * 2017-07-14 2017-11-24 歌尔股份有限公司 一种图像数据的处理方法和装置
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
CN108174178A (zh) * 2018-01-09 2018-06-15 重庆爱奇艺智能科技有限公司 一种图像显示方法、装置及虚拟现实设备
CN108712643A (zh) * 2018-04-27 2018-10-26 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像系统
CN109429054A (zh) * 2017-08-18 2019-03-05 北京传送科技有限公司 Vr图像压缩方法及其装置
CN109587504A (zh) * 2017-09-29 2019-04-05 北京传送科技有限公司 Vr影像数据压缩方法
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110166759A (zh) * 2018-05-28 2019-08-23 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质、电子装置
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110969117A (zh) * 2019-11-29 2020-04-07 北京市眼科研究所 一种基于Attention机制的全卷积神经网络的眼底图像分割方法
CN111325817A (zh) * 2020-02-04 2020-06-23 清华珠三角研究院 一种虚拟人物场景视频的生成方法、终端设备及介质
CN111754396A (zh) * 2020-07-27 2020-10-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质
CN111753908A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像分类方法和装置及风格迁移模型训练方法和装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646095A (zh) * 2008-08-06 2010-02-10 索尼株式会社 图像处理装置、图像处理方法及程序
CN102342120A (zh) * 2009-09-28 2012-02-01 松下电器产业株式会社 三维图像处理装置及其控制方法
CN102300105A (zh) * 2010-06-25 2011-12-28 深圳Tcl新技术有限公司 一种将2d内容转换成3d内容的方法
CN102710948A (zh) * 2011-03-28 2012-10-03 三星电子株式会社 处理三维图像数据的方法和执行该方法的显示装置
CN102780894A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种3d图像的编解码方法
CN107396082A (zh) * 2017-07-14 2017-11-24 歌尔股份有限公司 一种图像数据的处理方法和装置
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
CN109429054A (zh) * 2017-08-18 2019-03-05 北京传送科技有限公司 Vr图像压缩方法及其装置
CN109587504A (zh) * 2017-09-29 2019-04-05 北京传送科技有限公司 Vr影像数据压缩方法
CN108174178A (zh) * 2018-01-09 2018-06-15 重庆爱奇艺智能科技有限公司 一种图像显示方法、装置及虚拟现实设备
CN108712643A (zh) * 2018-04-27 2018-10-26 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像系统
CN110166759A (zh) * 2018-05-28 2019-08-23 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质、电子装置
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110969117A (zh) * 2019-11-29 2020-04-07 北京市眼科研究所 一种基于Attention机制的全卷积神经网络的眼底图像分割方法
CN111325817A (zh) * 2020-02-04 2020-06-23 清华珠三角研究院 一种虚拟人物场景视频的生成方法、终端设备及介质
CN111753908A (zh) * 2020-06-24 2020-10-09 北京百度网讯科技有限公司 图像分类方法和装置及风格迁移模型训练方法和装置
CN111754396A (zh) * 2020-07-27 2020-10-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112383765B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109600618A (zh) 视频压缩方法、解压缩方法、装置、终端和介质
CN108734653B (zh) 图像风格转换方法及装置
US20060039478A1 (en) Image decoding and reducing apparatus and method
CN112270755B (zh) 三维场景构建方法、装置、存储介质与电子设备
CN112562019A (zh) 图像色彩调整方法及装置、计算机可读介质和电子设备
US20210217145A1 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN113096185A (zh) 视觉定位方法、视觉定位装置、存储介质与电子设备
CN114140346A (zh) 一种图像处理方法及装置
CN110991298B (zh) 图像的处理方法和装置、存储介质及电子装置
CN113409203A (zh) 图像模糊程度确定方法、数据集构建方法与去模糊方法
CN103985102A (zh) 一种图像处理方法及系统
CN115083006A (zh) 虹膜识别模型训练方法、虹膜识别方法及装置
CN112383765B (zh) 一种vr图像传输方法及装置
CN111402159B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN112287945A (zh) 碎屏确定方法、装置、计算机设备及计算机可读存储介质
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113592009A (zh) 图像语义分割方法、装置、存储介质与电子设备
CN114339252A (zh) 一种数据压缩方法及装置
CN114419517A (zh) 视频帧处理方法、装置、计算机设备及存储介质
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113781336A (zh) 图像处理的方法、装置、电子设备与存储介质
CN113362260A (zh) 图像优化方法及装置、存储介质及电子设备
CN114758201B (zh) 一种高光谱图像分类的视觉转换方法和系统
CN111951168B (zh) 图像处理方法、图像处理装置、存储介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231206

Address after: No. 220 Qingyuan Street, Shijiazhuang City, Hebei Province, 050011

Patentee after: China Mobile System Integration Co.,Ltd.

Patentee after: China Mobile xiongan information and Communication Technology Co.,Ltd.

Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd.

Patentee after: China Mobile Information System Integration Co.,Ltd.

Address before: 071700 No.88, South Aowei Road, Rongcheng County, Baoding City, Hebei Province

Patentee before: China Mobile xiongan information and Communication Technology Co.,Ltd.

Patentee before: China Mobile System Integration Co.,Ltd.

Patentee before: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd.